Module ‘XXX‘ doesn‘t exist on the Hugging Face Hub

发表于2023-10-09|nlp

|总字数:129|阅读时长:1分钟|浏览量:

Module ‘accuracy’ doesn’t exist on the Hugging Face Hub either.

问题：

1 2	Module 'accuracy' doesn't exist on the Hugging Face Hub either. Module 'f1' doesn't exist on the Hugging Face Hub either.

原因

出现这个错误，主要在使用evaluate时，加载accuarcy,由于网络问题访问不到导致的。

1	acc_metric = evaluate.load("accuracy")

解决方案

下载对应的py文件，然后从本地加载

1	https://github.com/huggingface/datasets/tree/main/metrics

从本地加载评估模块

1
2
3

from datasets import load_metric
acc_metric = load_metric("./accuracy.py")
f1_metirc = load_metric("./f1.py")

文章作者: 小鱼吃猫

文章链接: https://jhacker.cn/posts/2023/ai/Module-%E2%80%98XXX%E2%80%98-doesn%E2%80%98t-exist-on-the-Hugging-Face-Hub/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源小鱼吃猫！

chang-jian-cuo-wu nlp ai

相关推荐

Pypi本地镜像服务器搭建

Pypi本地镜像服务器搭建主要功能全镜像同步(可以指定镜像源) 下载指定依赖包定时同步快速开始安装依赖 1pip install pip2pi==0.8.2 执行main.py 原理其实是下载依赖，然后执行 dir2pi -S . 1python main.py 此时可以看到packages目录下有所有的包和一个sample文件夹，如果需要在内网环境下使用，请把sample拷贝进内网机即可。 3.配置pypi索引服务器可以使用python,也可以使用Nginx,当然，也可以使用对象存储（做一个静态映射即可） 123#在下载目录里创建server服务，8080为端口号，可以随意设置：cd packagespython -m http.server 8080 nginx配置如下： 12345678server { listen 80; server_name example.com; root /sample; index index.html index.htm;} 4.打开网页就可以看所有的包了 1http:/...

预训练模型分类及其代码实战

预训练模型分类及其代码实战本文是带你手把手对预训练模型进行继续训练。预训练模型分类对于什么预训练模型，以及预训练模型的由来，可以参考知乎上的“请问深度学习中预训练模型是指什么？如何得到？”，一个比一个好。本文主要是以代码的角度进行解析如何与对这些预训练模型进行继续训练。目前预训练模型的分类以及适用任务：序列到序列（Transformer）：机器翻译，阅读理解，文本生成任务,文本摘要因果语言模型（Causal Language Model, CLM）：文本生成任务掩码语言模型（Masked Language Model, MLM）：自然语言理解，如：信息抽取，完型填空，情感分析等前缀语言模型（Prefix language model）：文本生成任务，文本摘要预训练模型详解序列到序列模型序列到序列模型，其实就是Encoder-Decoder模型，也就是最简单的Transformer架构。Encoder 部分是 Masked Multi-Head Self-Attention，Decoder 部分是 Casual Multi-Head Cross-Attentio...

root安装的conda，其他用户不可见

root安装的conda，其他用户不可见要使其他用户能看到安装了 conda 的目录，您需要将 conda 安装目录的权限设置为公共读、写和执行。以下是一些建议的步骤：首先，找到 conda 安装目录的路径。您可以使用以下命令来找到它： 1which conda 这将显示 conda 的版本信息，并显示 conda 安装目录的路径。例如： 1/root/anaconda3 然后，使用 sudo 修改 conda 安装目录的权限： 1sudo chmod 777 /root/anaconda3 这将把 conda 安装目录的权限设置为所有用户都可以读、写和执行。如果您希望其他用户能够使用 conda，而不是以 root 权限运行 it，您可以将 conda 添加到系统的 PATH 环境变量中。这可以通过以下步骤实现： a. 打开 /etc/profile 文件以编辑： 1sudo vi /etc/profile b. 在文件末尾添加以下内容（确保使用实际的 conda 安装目录路径替换 /root/anaconda3）： 1export PATH=$PATH:...

文本摘要之序列到序列模型-t5

文本摘要之序列到序列模型-t5 文本摘要相关内容查阅预训练模型之文本摘要 1 导入相关包12345import osos.environ["CUDA_VISIBLE_DEVICES"] = "1" import torchfrom datasets import Datasetfrom transformers import AutoTokenizer, AutoModelForSeq2SeqLM, DataCollatorForSeq2Seq, Seq2SeqTrainer, Seq2SeqTrainingArguments 2 加载数据集1234567import json# train.json有140w数据，dev.json只有1w数据，with open('./LCSTS_new/train.json','r') as f: lines = f.readlines() train_data = [json.loads(line) for line in lines[:10000...

预训练模型实战之文本摘要

预训练模型实战之文本摘要任务描述文本摘要是指通过各种技术，对文本或者是文本的集合，抽取、总结或是精炼其中的要点信息，用以概括和展示原始文本的主要内容或大意。作为文本生成任务的主要方向之一，从本质上而言，这是一种信息压缩技术。文本摘要技术是信息爆炸时代，提升人们获取有效信息效率的关键技术之一，如何从冗余、非结构化的长文本中提炼出关键信息，构成精简通顺的摘要，是文本摘要的核心问题。实验概述在之前的文章预训练模型实战中，介绍到了四种预训练语言模型，四种语言模型都可以做文本摘要任务，但像bert这种掩码语言模型效果就相对差一点儿。本文选取四种语言模型，在文本摘要任务上做对比试验。实验配置数据集LCSTS_new中文短摘要生成数据集2015年发布的生成式短摘要数据集，以微博原文为输入，1~2句话的短摘要为输出。预训练模型鉴于资源限制，本文选择的模型在一方面要支持中文，另一方面要模型体积尽可能小，所以本实验的结果并不能代表模型的性能。 hfl/chinese-macbert-base 掩码语言模型 Langboat/mengzi-t5-base seq2s...

基于BERT的命名实体识别

基于BERT的命名实体识别先配置一下模型路径 1model_path="/data1/model/chinese-macbert-base" Step1 导入相关包1234import evaluatefrom datasets import load_datasetfrom transformers import AutoTokenizer, AutoModelForTokenClassification, TrainingArguments, Trainer, DataCollatorForTokenClassificationfrom seqeval.metrics import classification_report Step2 加载数据集123456# 如果可以联网，直接使用load_dataset进行加载ner_datasets = load_dataset("peoples_daily_ner")# 如果无法联网，则使用下面的方式加载数据集# from datasets import DatasetDict# ner_da...

数据加载中