Transformers学习之Evaluate组件
Transformers学习之Evaluate组件这是一个评估函数,在模型训练与测试中,我们会根据一些指标来对模型进行评测,用起来也非常简单哈。 12# 导包import evaluate 支持的评估函数支持的评估函数较多,这里只列出几个常见的,其余可以使用 evaluate.list_evaluation_modules() 方法进行查看 1234{'name': 'f1', 'type': 'metric'}{'name': 'recall', 'type': 'metric'}{'name': 'accuracy', 'type': 'metric'}{'name': 'precision', 'type': ...
Transformers框架之Datasets 组件
Transformers框架之Datasets 组件Transformers学习之Datasets 组件一、说明 用途:Datesets 顾名思义就是用来加载和保存数据集的组件 二、加载Huggingface数据集 选择数据集如下图,你可以在对应位置选择你想要的数据集,选择任务和语言后,右边会出现对应的数据集点进去对应的数据集,可以看到预览整个数据集,然后点击复制按钮就可以加载数据集了。 加载数据集 123from datasets import *datasets = load_dataset("shibing624/snli-zh")print(datasets) 输出结果如下,可以看到整个数据集的配置:只有一个训练集集,一共有419402条数据,每条数据包含三个字段。 123456DatasetDict({ train: Dataset({ features: ['premise', 'hypothesis', 'label'], num...
Transformers框架之Model学习
Transformers框架之Model学习在Transformers快速入门中介绍了pipeline()方法的使用。Model是Transformers中重要组件之一,主要负责加载和使用模型。接下来,以翻译任务为例子,使用huggingface中的现有模型进行翻译。 一、快速使用12345# pileline中指定从英文翻译到中文(只针对多语言,这里是可以不指定的)from transformers import pipeline pipe = pipeline("translation_EN_to_ZH", model="Helsinki-NLP/opus-mt-en-zh") print(pipe("are you ok?")) #[{'translation_text': '你还好吗?'}] 接下来,就逐步操作,了解一下Model组件。 二、加载模型我们需要先在huggingface中找到自己想要的模型,这里我选择Helsinki-NLP...
Transformers框架之分词器(Tokenizer)学习
Transformers框架之分词器(Tokenizer)学习一、基础用法导包1from transformers import AutoTokenizer 加载Tokenizer 从Huggingface官网加载 12# 从HuggingFace加载Tokenizer tokenizer = AutoTokenizer.from_pretrained("bert-base-chinese") 从本地加载 12# 从本地加载tokenizer tokenizer = AutoTokenizer.from_pretrained("./bert_chinese_tokenizer") 使用分词器12345# 分词 sen = "小鱼吃猫博客网站" tokens = tokenizer.tokenize(sen) print(tokens)# ['小', '鱼', '吃', '猫', '博', '客...
Transformers快速入门
Transformers快速入门 用一个简单的例子来示意,文本分类 安装1pip install transformers 示例——情感分析 以下均为python代码,我是放在jupyter中写的 123456from transformers import pipelinepipe = pipeline("text-classification")res = pipe("just so so!")print(res)# [{'label': 'POSITIVE', 'score': 0.9974353909492493}] 注意: pipeline() 方法指定任务和加载模型的,返回的对象可以用来做具体的事。 pipe() 方法在此时传入的是你要分类的文本 pipeline() 方法支持传入不同的参数,用来指定不同的任务,具体内容见下表。 在执行pipeline时,代码会自动从huggingface.co中下载模型到本地,这个例子中,使用的模型是dist...
root安装的conda,其他用户不可见
root安装的conda,其他用户不可见要使其他用户能看到安装了 conda 的目录,您需要将 conda 安装目录的权限设置为公共读、写和执行。以下是一些建议的步骤: 首先,找到 conda 安装目录的路径。您可以使用以下命令来找到它: 1which conda 这将显示 conda 的版本信息,并显示 conda 安装目录的路径。例如: 1/root/anaconda3 然后,使用 sudo 修改 conda 安装目录的权限: 1sudo chmod 777 /root/anaconda3 这将把 conda 安装目录的权限设置为所有用户都可以读、写和执行。 如果您希望其他用户能够使用 conda,而不是以 root 权限运行 it,您可以将 conda 添加到系统的 PATH 环境变量中。这可以通过以下步骤实现: a. 打开 /etc/profile 文件以编辑: 1sudo vi /etc/profile b. 在文件末尾添加以下内容(确保使用实际的 conda 安装目录路径替换 /root/anaconda3): 1export PATH=$PATH:...
Linux计算文件的SHA256值
Linux计算文件的SHA256值只需要一行命令 1sha256sum filename.txt 输出结果如下: 1745b0de439a5aeffebe80de439a5aeffebe8344c6839a5aeffebe8344c68051823cf08 filename.txt
利用高德地图在uniapp中进行路线规划
利用高德地图在uniapp中进行路线规划下载地址:利用高德地图在uniapp中进行路线规划 示例图片 使用文档一、说明 本插件的原理是利用高德地图API进行路线规划,然后利用官方的map组件进行展示。 本插件的key不需要配置密钥,如果你觉得需要配置密钥才显示,那就是其他问题。 官方map组件支持的平台,本插件完全支持,但除小程序外的其他平台,需要再manifest.json中进行配置,uniapp官方文档已经很清楚了,请自行查阅文档。 请原谅,非本插件问题(如:是小程序平台使用地图的问题),本人一律不予回复。 如有其他疑问,请发邮件或者评论,私信不一定能看到,谢谢理解。 二、高德KEY申请注意:本项目中使用的是高德地图微信小程序Key,是支持所有平台运行的,但其他平台需要单独配置,具体查看下文[各平台适配](#各平台适配)。 2.1 官方文档https://lbs.amap.com/api/wx/summary/或https://developer.amap.com/api/wx/summary/ 2.2 步骤 填写应用信息 添加微信小程序Key 三、使用步骤3.1 从插...
离线激活 JRebel
离线激活 JRebel 以下方法来自于网络,如有侵权,联系我删除 我试了网上别人提供的激活地址,都不靠谱,以下是本地激活的方式; IntelliJ IDEA 2023.1与JRebel 2023.2.1 正常使用 下载激活工具下载后双击运行,激活结束后再关闭就好 https://github.com/ilanyu/ReverseProxy 填写激活地址激活地址内容是http://127.0.0.1:8888/{GUID},下边是GUID生成的网址 https://www.guidgen.com 填写地址如下图,邮箱随便写一个就ok
使用Docker部署SprignBoot项目
使用Docker部署SprignBoot项目安装Docker1curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun && systemctl start docker && systemctl enable docker 写Dockerfile文件123FROM java:8ENV TZ=Asia/ShanghaiENTRYPOINT ["java","-jar","/home/app.jar"] 主要看最后一句,这条命令加起来就是容器启动的时候,要执行的命令 java -jar app.jar 你要的其他参数以数组的形式,加到后边就可以。 构建镜像12# xxxx为你要起的镜像名称,可以加版本号啥的docker build -t xxxx . 启动容器1234567docker run -d \--name yyyy --restart always \-p 8001:8000 \-e "TZ=...

