因项目需要，把PyTorch模型转为onnx。 Huggingface的模型无法直接转为onnx（仅有部分支持），如果是huggingface的模型，需要先转成PyTorch，详见文章《Huggingface模型转PyTorch模型》。 onnx是一种通用的模型架构，详细介绍可参考官网。 转换代码： from transformers import AutoTokenizer from transformers import AutoModel from transformers import LlamaToken…

Huggingface本身的模型其实就是基于PyTorch的，但是格式不算通用。 from transformers import AutoTokenizer from transformers import AutoModel import torch from transformers import LlamaTokenizer, LlamaForCausalLM # convert huggingface model to pytorch model modelfromhuggingface=LlamaFor…

使用以下命令升级Gitlab时，报错了。 sudo apt update && sudo apt install gitlab-ce 主要的报错内容： RuntimeError: gitlab_rails['smtp_tls'] and gitlab_rails['smtp_enable_starttls_auto'] are mutually exclusive 原因是因为，在配置文件/etc/gitlab/gitlab.rb中，同时配置了smtp_tls和smtp_enable_starttls…

在使用git pull命令时报错： error: Your local changes to the following files would be overwritten by merge: Please, commit your changes or stash them before you can merge. 这是因为本地做了修改，如果本地修改不重要，可以放弃： git reset --hard git pull

现在的经济可以称为是粉丝经济。一个产品、一个品牌、一个明星，一定要有很多的粉丝，才能挣到钱。 这么说，粉丝应该是顾客、甲方、上帝，可是现在看来，粉丝远远没有这么幸福，不过是被割了一茬又一茬的韭菜。 粉丝是韭菜，看起来很可怜，但是可怜之人又必有可恨之处，粉丝的可恨之处，就在于恨其不幸，怒其不争。 所谓粉丝，就是无论你喜爱的产品、品牌、明星什么样，你都无条件支持，所谓的闭眼买，无脑支持，就是你不幸的根源。 一个人，需要轻贱到什么程度，会承认自己是一个手机的粉丝？这品牌的手机不管做成什么样，我都买这个牌子。那么这个公司就…

人都是自欺欺人的。 有一个词语我们应该都听说过：耐脏。耐脏是什么意思呢？很脏，但是看不出来，或者不是很明显。 我不知道为什么，这么一个自欺欺人的事情，竟然在很多时候变成了优点。 装修，你去买瓷砖，卖瓷砖的人告诉你，你应该买一个灰色的，灰色的卖的很好，不能买白色的。你问为什么：因为灰色的耐脏，白的不耐脏。 同事买了一个车，灰色，你说：怎么买了这么一个颜色？同事说：耐脏。 你去买衣服，老人告诉你：别买白的，白的不耐脏。 此时，你应该重新审视耐脏的问题了。东西脏了，就应该尽快清洗，这对你的健康是有好处的。所以，让脏的东西…

在Linux系统中，有时候需要监控系统资源，比如显卡占用，内存占用等。此时可以用watch命令来解决。 watch -n 2 -d nvidia-smi 其中-n指的是时间间隔，单位秒。-d指的是显示区别。后面跟上命令就可以了。 如果查看内存占用，使用： watch -n 2 -d free -g

Dolly是一个基于GPT-J的微调模型，使用了GPT-J-6B作为预训练模型。 Github上公开的源代码是notebook代码，需要做一些修改才能在本地的服务器上运行。 环境配置 可以使用conda来管理自己的虚拟环境。如果没有conda，可以根据这篇文章来进行安装。 创建环境： conda create --name dolly 训练过程中，需要用到gcc编译ninja，gcc版本要求至少5以上，否则会报错。 !! WARNING !! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!…

打开终端，执行命令 conda install anaconda-clean 进入anaconda安装目录的bin目录，执行： ./anaconda-clean --yes 会提示创建了一个备份，卸载后可以删除。 Backup directory: /home/laoyang/.anaconda_backup/2023-03-09T214544 执行命令 rm -rf anaconda3 再次登陆，就不会看到base了。 编辑环境变量文件： vim .bashrc 删除所有与conda有关的设置，一般在最下面。 执…

Anaconda是一种用来管理Python运行环境的工具，能够快速解决安装各种软件包的依赖问题，所以推荐使用。 如果一台服务器，有多个用户使用，可以使用root把软件安装在/opt下，然后共享给所有用户使用。其他用户将在自己的home dir下创建属于自己的虚拟环境，互相之间不会影响。 安装方法 使用root用户登陆系统。 在官方网站下载最新的安装包。 wget https://repo.anaconda.com/archive/Anaconda3-2022.10-Linux-x86_64.sh 然后开始安装： b…

前面文章写过，关于如何安装驱动和Cuda，但是这种方法安装，驱动和Cuda的版本来自于软件库，通常来说，软件库的版本落后于最新版本。 部分框架对Cuda版本又有要求，太低了不能运行，所以需要对版本进行升级。 升级准备 升级前，需要将原有的驱动删除。否则会报错，例如： 下列软件包有未满足的依赖关系： libnppc11 : 冲突: nvidia-libopencl1 但是 530.30.02-1 正要被安装 E: 错误，pkgProblemResolver::Resolve 发生故障，这可能是有软件包被要求保持现状的…