使用PyTorch进行模型训练的时候，遇到了错误： RuntimeError: expected scalar type Half but found Float 有一种可能的原因是训练的时候使用了FP16和其他的精度，但是有些显卡不支持混合精度，比如Nvidia的V100显卡，这样就不能使用FP16这个精度进行训练。 在你的模型代码中，将： fp16=True 改为： fp16=False 有可能可以解决问题。

onnx的模型加载，需要用到onnx runtime。 推理代码： import torch import onnxruntime as rt from transformers import LlamaTokenizer def generate_prompt(text): return f"""Below is an instruction that describes a task. Write a response that appropriately completes the request. ### …

因项目需要，把PyTorch模型转为onnx。 Huggingface的模型无法直接转为onnx（仅有部分支持），如果是huggingface的模型，需要先转成PyTorch，详见文章《Huggingface模型转PyTorch模型》。 onnx是一种通用的模型架构，详细介绍可参考官网。 转换代码： from transformers import AutoTokenizer from transformers import AutoModel from transformers import LlamaToken…

Huggingface本身的模型其实就是基于PyTorch的，但是格式不算通用。 from transformers import AutoTokenizer from transformers import AutoModel import torch from transformers import LlamaTokenizer, LlamaForCausalLM # convert huggingface model to pytorch model modelfromhuggingface=LlamaFor…