Transformers 框架学习——持续更新

发表于2023-08-01|pythonnlp

|总字数:237|阅读时长:1分钟|浏览量:

Transformers 框架学习——持续更新

一、概述

二、组件

三、实战

文本

图像

图像分类之——阿猫阿狗的识别

四、其他

Module ‘XXX‘ doesn‘t exist on the Hugging Face Hub

五、附件

代码地址：
https://github.com/Lyn4ever29/transformers-learning
微信公众号 codeCraft编程工艺

文章作者: 小鱼吃猫

文章链接: https://jhacker.cn/posts/2023/ai/Transformers-%E6%A1%86%E6%9E%B6%E5%AD%A6%E4%B9%A0%E2%80%94%E2%80%94%E6%8C%81%E7%BB%AD%E6%9B%B4%E6%96%B0/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源小鱼吃猫！

相关推荐

基于向量匹配的检索式问答实战

基于向量匹配的检索式问答实战可以先看一看检索式问答的综述，《检索式问答综述》,这篇是实战，直接上代码。准备工作数据集：wangrui6/Zhihu-KOL，包含10w条知乎通用问答数据，以下是两个示例： INSTRUCTION (string) RESPONSE (string) 从北大光华读完MBA的人都去了哪里工作？这里我们根据北大光华的数据给大家分析一下。 Python3中如何得到Unicode码对应的中文？ “看的头晕啊！编码真是把人绕晕了啊！” 模型：哈工大的一个中文BERThfl/chinese-macbert-base 分析可以根据要问的问题和知识库里的句子计算相似度进行答案的搜索，但这要求需要有成对的相似句子对作为训练数据集。这需要每个文法都需要有至少两个以上的句子，这很不现实。所以在实际中，可以直接计算问题和答案之间的相似度，以此来完成答案的索引。代码实现模型训练利用问答对训练一个文本相似度计算模型用做编码器这部分和之前的文章是一样的，可以参考文本相似度匹配中问题2的代码存储数据利用上一步训练来的编...

Transformers框架之Datasets 组件

Transformers框架之Datasets 组件Transformers学习之Datasets 组件一、说明用途：Datesets 顾名思义就是用来加载和保存数据集的组件二、加载Huggingface数据集选择数据集如下图，你可以在对应位置选择你想要的数据集，选择任务和语言后，右边会出现对应的数据集点进去对应的数据集，可以看到预览整个数据集，然后点击复制按钮就可以加载数据集了。加载数据集 123from datasets import *datasets = load_dataset("shibing624/snli-zh")print(datasets) 输出结果如下，可以看到整个数据集的配置：只有一个训练集集，一共有419402条数据，每条数据包含三个字段。 123456DatasetDict({ train: Dataset({ features: ['premise', 'hypothesis', 'label'], num...

Transformers学习之Evaluate组件

Transformers学习之Evaluate组件这是一个评估函数，在模型训练与测试中，我们会根据一些指标来对模型进行评测，用起来也非常简单哈。 12# 导包import evaluate 支持的评估函数支持的评估函数较多，这里只列出几个常见的，其余可以使用 evaluate.list_evaluation_modules() 方法进行查看 1234{'name': 'f1', 'type': 'metric'}{'name': 'recall', 'type': 'metric'}{'name': 'accuracy', 'type': 'metric'}{'name': 'precision', 'type': ...

Transformers框架实战——商品评价的情感分析实战

Transformers框架实战——商品评价的情感分析实战 Transformers框架基础教程及更多实战内容以商品评价数据集为例,使用bert进行情感分析。数据集来源：https://github.com/SophonPlus/ChineseNlpCorpus Step1 导包12from transformers import AutoTokenizer, AutoModelForSequenceClassification, Trainer, TrainingArgumentsfrom datasets import load_dataset,load_from_disk Step2 加载数据集1dataset = load_dataset("csv", data_files="./JD.com_comments.csv", split='train') 这个数据集共包含720 万条评论，包含用户ID，商品ID，评分，时间，评论标题，评论内容这六个字段。看一下第一条数据。 12345678{'...

Transformers框架之Trainer组件

Transformers框架之Trainer组件Trainer参数解读在学习完Tokenizer、Datasets、Model、Evaluate组件后，Trainer组件是用来训练模型的，也是最简单的。以下是一个最基础的Trainer的参数示例: 123456789trainer = Trainer( model=model, # 模型 args=training_args, # 训练参数 train_dataset=train_dataset, # 训练集 eval_dataset=eval_dataset, # 验证集 tokenizer=tokenizer, # 分词器 data_collator=data_collator, # 数据收集器 compute_metrics=compute_metrics, # 评估函数) 接下来，以**情感分析（外卖评价）**为...

root安装的conda，其他用户不可见

root安装的conda，其他用户不可见要使其他用户能看到安装了 conda 的目录，您需要将 conda 安装目录的权限设置为公共读、写和执行。以下是一些建议的步骤：首先，找到 conda 安装目录的路径。您可以使用以下命令来找到它： 1which conda 这将显示 conda 的版本信息，并显示 conda 安装目录的路径。例如： 1/root/anaconda3 然后，使用 sudo 修改 conda 安装目录的权限： 1sudo chmod 777 /root/anaconda3 这将把 conda 安装目录的权限设置为所有用户都可以读、写和执行。如果您希望其他用户能够使用 conda，而不是以 root 权限运行 it，您可以将 conda 添加到系统的 PATH 环境变量中。这可以通过以下步骤实现： a. 打开 /etc/profile 文件以编辑： 1sudo vi /etc/profile b. 在文件末尾添加以下内容（确保使用实际的 conda 安装目录路径替换 /root/anaconda3）： 1export PATH=$PATH:...

数据加载中