Dolly是一个基于GPT-J的微调模型,使用了GPT-J-6B作为预训练模型。 Github上公开的源代码是notebook代码,需要做一些修改才能在本地的服务器上运行。 环境配置 可以使用conda来管理自己的虚拟环境。如果没有conda,可以根据这篇文章来进行安装。 创建环境: conda create --name dolly 训练过程中,需要用到gcc编译ninja,gcc版本要求至少5以上,否则会报错。 !! WARNING !! !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!…