pytorch-gpu安装
不同版本cuda下的安装pytorch-gpu的pip命令
不同版本cuda下的安装pytorch-gpu的pip命令
用于提交seo的Hexo-SEO-Auto-Push插件的安装手册
如题
通过手动修改注册表实现windows右键菜单添加打开命令窗口功能
将完成预训练的模型进一步训练按照一定方式训练下游数据集,使其达到任务要求
基于pycharm集成环境的PyQT5的环境安装与相关工具配置
hexo本地成功手动部署后的进阶版本
1、投入目标任务的文本数据集重新训练哈工大已完成MLM任务预训练的roberta模型
2、使其能够完成下游文本分类任务
模型下载地址,只需下载模型相关文件即可,config.json、pytorch_model.bin、vocab.txt
1 | from transformers import AutoModelForSequenceClassification |
数据集下载地址,内部数据结构如下,具体信息可见下载链接中readme文件描述
1 | 6551700932705387022_!_101_!_news_culture_!_京城最值得你来场文化之旅的博物馆_!_保利集团,马未都,中国科学技术馆,博物馆,新中国 |
1 | import re |
完成预处理的data变量中的训练样本数据格式如下:
| index | content | label |
|---|---|---|
| 4383 | 以色列警告称如果战机被击落将会轰炸俄军事基地你怎么看 | 9 |
| 5244 | 月份北京楼市各区成交排名昌平丰台密云三区热度高 | 5 |
| 5608 | 市值与业绩倒挂华大基因是第二个乐视网吗 | 12 |
1 | import torch |
1 | from tqdm import tqdm |
1 | import numpy as np |
注:预训练模型的finetune基本就是这个套路,模型部分基本没太大变动,一般只需要根据数据集进行预处理,处理成模型适用的输入格式
总的来说,虚拟机下的ubuntu扩容分为三步:
1、虚拟机扩容
2、进入系统对多出来的容量新建分区
3、将新分区挂在到指定目录并完成固化
这点没什么好说,VMware的虚拟机扩容得先删掉所有快照,不然没法扩容只能加磁盘
1、将多出来的内存新建分区
1 | # 新建目录用于挂载新分出来的分区 |
1 | # 输入 m 可以查看命令说明 |
只有将分区挂载到指定目录上,这个空间才能投入使用
1 | mount /dev/sda6 /data |
但是这样挂载的目录有一个缺陷,重启后就没了,还得重新挂载,所以需要执行固化
1 | # 1、确定分区uuid |
/dev/sda6: UUID="01c6810e-738f-47c2-882f-2451b93a163d" TYPE="ext4" PARTUUID="212a7071-d49e-0f41-95df-b7a35eef881b"
复制下UUID的值,后面需要使用
1 | # 2、将分区信息固化到系统配置信息中 |
保存文件,重启系统,至此完成扩容,重启后就可以在df -lh中看到相关容量信息了
1、创建文件夹,下载Anaconda
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2021.05-Linux-x86_64.sh
2、安装
chmod +x Anaconda3-2021.05-Linux-x86_64.sh
./Anaconda3-2021.05-Linux-x86_64.sh
1 | Please, press ENTER to continue |
打开~/.bashrc会看到这段配置
1 | # >>> conda initialize >>> |
3、验证安装
1 | source ~/.bashrc |
4、取消默认自动进入base环境
1 | conda config --set auto_activate_base false |
5、配置清华镜像
1 | # 开启下载时通道显示 |
conda config --show验证
1、新建nlp虚拟环境
1 | conda create -n nlp python=3.6.8 |
1、安装jupyter lab
1 | conda install jupyterlab |
2、编辑配置信息
1 | # 生成配置文件 |
3、生成远程密码
1 | # 进入python命令行 |
4、使用conda的Python环境
1 | # 安装依赖 |
5、多用户配置
1 | # 复制多份.jupyter/jupyter_lab_config.py,修改其中端口号与密码,以脚本形式后台执行 |
6、代码提示
① 先去Node官网下载安装包,解压安装到指定位置
1 | sudo mkdir -p /usr/local/lib/nodejs |
② 关闭所有jupyter进程
③ 激活base环境,安装jupyterlab-lsp插件
1 | conda activate |
④ 重启jupyter,看到左下角状态栏有✔Fully字样即为成功
⑤ 去除下划线纠错标识,工具栏 - Settings - Advanced Settings,开启json视图,添加下方键值对即可关闭:
1 | {"ignoreMessagesPatterns": [".*"]} |