使用PyTorch进行模型训练的时候，遇到了错误： RuntimeError: expected scalar type Half but found Float 有一种可能的原因是训练的时候使用了FP16和其他的精度，但是有些显卡不支持混合精度，比如Nvidia的V100显卡，这样就不能使用FP16这个精度进行训练。 在你的模型代码中，将： fp16=True 改为： fp16=False 有可能可以解决问题。
onnx的模型加载，需要用到onnx runtime。 推理代码： import torch import onnxruntime as rt from transformers import LlamaTokenizer def generate_prompt(text): return f"""Below is an instruction that describes a task. Write a response that appropriately completes the request. ### …
因项目需要，把PyTorch模型转为onnx。 Huggingface的模型无法直接转为onnx（仅有部分支持），如果是huggingface的模型，需要先转成PyTorch，详见文章《Huggingface模型转PyTorch模型》。 onnx是一种通用的模型架构，详细介绍可参考官网。 转换代码： from transformers import AutoTokenizer from transformers import AutoModel from transformers import LlamaToken…
Huggingface本身的模型其实就是基于PyTorch的，但是格式不算通用。 from transformers import AutoTokenizer from transformers import AutoModel import torch from transformers import LlamaTokenizer, LlamaForCausalLM # convert huggingface model to pytorch model modelfromhuggingface=LlamaFor…
Dolly是一个基于GPT-J的微调模型，使用了GPT-J-6B作为预训练模型。 Github上公开的源代码是notebook代码，需要做一些修改才能在本地的服务器上运行。 环境配置 可以使用conda来管理自己的虚拟环境。如果没有conda，可以根据这篇文章来进行安装。 创建环境： conda create --name dolly 训练过程中，需要用到gcc编译ninja，gcc版本要求至少5以上，否则会报错。 !! WARNING !! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!…
Anaconda是一种用来管理Python运行环境的工具，能够快速解决安装各种软件包的依赖问题，所以推荐使用。 如果一台服务器，有多个用户使用，可以使用root把软件安装在/opt下，然后共享给所有用户使用。其他用户将在自己的home dir下创建属于自己的虚拟环境，互相之间不会影响。 安装方法 使用root用户登陆系统。 在官方网站下载最新的安装包。 wget https://repo.anaconda.com/archive/Anaconda3-2022.10-Linux-x86_64.sh 然后开始安装： b…
前面文章写过，关于如何安装驱动和Cuda，但是这种方法安装，驱动和Cuda的版本来自于软件库，通常来说，软件库的版本落后于最新版本。 部分框架对Cuda版本又有要求，太低了不能运行，所以需要对版本进行升级。 升级准备 升级前，需要将原有的驱动删除。否则会报错，例如： 下列软件包有未满足的依赖关系： libnppc11 : 冲突: nvidia-libopencl1 但是 530.30.02-1 正要被安装 E: 错误，pkgProblemResolver::Resolve 发生故障，这可能是有软件包被要求保持现状的…
顾名思义，分类器就是一类特殊的人工智能算法，主要用来做分类。也就是说，能用来做分类的人工智能算法，我们都可以称之为分类器。 分类器的学术定义是：在标记好类别的训练数据基础上判断一个新的观察样本所属的类别。其中，标记好类别也就是所谓的有所标注，当然这个条件并不是必须的，也可以不标注，这样就是无监督分类。其实，分类器的基本理念，就是在训练数据集上，找到代表事物本身的特征数据和它所属的类别之间的关系，从而形成一个特定的模型。当再有新的样本（应该在训练数据中从未出现过）到来时，模型通过带入，计算新样本所属的类别。 深度学习…
计算机系统中，没有文字、图像、音频、视频，只有一种东西，就是数字。而且，底层全部都是二进制数字。 任何现实当中的问题，在进入计算机领域时，都需要考虑，如何将这个问题中的物理世界数字化，因为之后数字化之后，才能进入计算机领域。这个数字化的过程，就是编码。编码过的内容，经过计算机处理后，将会变成另外一串数字，这些数字如果要被人看到，就需要用计算机解析出来，再投影到屏幕上，用喇叭播放出来等方式，这个解析的过程，就是解码。 在人工智能领域，所有的人工智能算法，也都无法直接处理现实中的信息，也需要将需要处理的内容数字化，这个…
自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。主要的目标是使用计算机相关方法、算法和技术，分析、处理、理解人类的语言。虽然人类的不同语言之间有差别，但是有些算法和技术，是通用的。 自然语言处理的应用场景非常广泛，主要包括机器翻译、舆情监测与分析、自动摘要抽取与生成、观点提取、文本分类、问题回答（专家系统）、文本语义对比、语音识别、中文OCR、文本自动生成等方面，可以说跟我们的日常生活息息相关。 接下来的一系列文章的主要目的，是为初学…
关注公众号
