Dolly是一个基于GPT-J的微调模型，使用了GPT-J-6B作为预训练模型。 Github上公开的源代码是notebook代码，需要做一些修改才能在本地的服务器上运行。 环境配置 可以使用conda来管理自己的虚拟环境。如果没有conda，可以根据这篇文章来进行安装。 创建环境： conda create --name dolly 训练过程中，需要用到gcc编译ninja，gcc版本要求至少5以上，否则会报错。 !! WARNING !! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!…

Anaconda是一种用来管理Python运行环境的工具，能够快速解决安装各种软件包的依赖问题，所以推荐使用。 如果一台服务器，有多个用户使用，可以使用root把软件安装在/opt下，然后共享给所有用户使用。其他用户将在自己的home dir下创建属于自己的虚拟环境，互相之间不会影响。 安装方法 使用root用户登陆系统。 在官方网站下载最新的安装包。 wget https://repo.anaconda.com/archive/Anaconda3-2022.10-Linux-x86_64.sh 然后开始安装： b…

前面文章写过，关于如何安装驱动和Cuda，但是这种方法安装，驱动和Cuda的版本来自于软件库，通常来说，软件库的版本落后于最新版本。 部分框架对Cuda版本又有要求，太低了不能运行，所以需要对版本进行升级。 升级准备 升级前，需要将原有的驱动删除。否则会报错，例如： 下列软件包有未满足的依赖关系： libnppc11 : 冲突: nvidia-libopencl1 但是 530.30.02-1 正要被安装 E: 错误，pkgProblemResolver::Resolve 发生故障，这可能是有软件包被要求保持现状的…

顾名思义，分类器就是一类特殊的人工智能算法，主要用来做分类。也就是说，能用来做分类的人工智能算法，我们都可以称之为分类器。 分类器的学术定义是：在标记好类别的训练数据基础上判断一个新的观察样本所属的类别。其中，标记好类别也就是所谓的有所标注，当然这个条件并不是必须的，也可以不标注，这样就是无监督分类。其实，分类器的基本理念，就是在训练数据集上，找到代表事物本身的特征数据和它所属的类别之间的关系，从而形成一个特定的模型。当再有新的样本（应该在训练数据中从未出现过）到来时，模型通过带入，计算新样本所属的类别。 深度学习…

计算机系统中，没有文字、图像、音频、视频，只有一种东西，就是数字。而且，底层全部都是二进制数字。 任何现实当中的问题，在进入计算机领域时，都需要考虑，如何将这个问题中的物理世界数字化，因为之后数字化之后，才能进入计算机领域。这个数字化的过程，就是编码。编码过的内容，经过计算机处理后，将会变成另外一串数字，这些数字如果要被人看到，就需要用计算机解析出来，再投影到屏幕上，用喇叭播放出来等方式，这个解析的过程，就是解码。 在人工智能领域，所有的人工智能算法，也都无法直接处理现实中的信息，也需要将需要处理的内容数字化，这个…

自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。主要的目标是使用计算机相关方法、算法和技术，分析、处理、理解人类的语言。虽然人类的不同语言之间有差别，但是有些算法和技术，是通用的。 自然语言处理的应用场景非常广泛，主要包括机器翻译、舆情监测与分析、自动摘要抽取与生成、观点提取、文本分类、问题回答（专家系统）、文本语义对比、语音识别、中文OCR、文本自动生成等方面，可以说跟我们的日常生活息息相关。 接下来的一系列文章的主要目的，是为初学…

基本概念 线性回归，其实说白了，就是期待用线性函数，来描述输入变量和输出之间的关系。输入变量，是可以通过采集、搜集得到的数据，而输出的变量，则是将要预测或者得出结论的那个参数。 问题描述 比如说，一个单变量的线性回归问题：预测房价与房间大小的关系。现在我们遇到的问题是：我们想知道，当给我们一套房子时，我们能否较为准确的预测出它的价格。 在实际生活中，我们知道，房价并不单纯与房间大小呈线性关系，可是，如果我们不知道其他的参数（这些参数，在人工智能中有一个更准确的概念，叫做特征），这些参数或者无法搜集，或者搜集的不准确…

这篇文章主要用来介绍人工智能的相关概念。 人工智能（ Artificial Intelligence，AI）的概念，出现的比较早，主要用来研究如何让计算机，像人类一样，具备智能处理信息、解决问题的能力，包含相关的理论、方法、技术和相关的软件产品。人工智能的范围是非常广泛的，包括自然语言处理、机器学习、专家系统、图像识别等。所采用的方法也非常多，比如遗传算法等最优解求解算法、SVM等分类器、神经网络、深度学习等。人工智能是一个庞大的概念，并不单指某一种方法或者技术，而是一个学科。 然而，就我个人的理解，目前基本上大部…