保存模型

大语言模型微调及其应用的探索 跟踪前沿的技术

保存模型

  1. torch.save(model.state_dict(), “model.pth”);
  2. 带有优化器参数保存模型
torch.save({
    "model_state_dict": "model.state_dict(),
    "optimizer_state_dict": optimizer.state_dict()
},
"model_opt.pth"

);


导入模型

  1. torch.load(“mode.path”); 将文件反序列化成python对象
  2. model.load_state_dict()导入模型参数
  3. optimizer.load_state_dict()导入优化器参数