评估大语言模型

1. 模型训练一段时间后，我们要主动对模型进行评估
2. 模型的状态

一、 模型的状态

1. train_loss与val_loss都很低， 学习状态很好（我们想看到的）
2. train_loss极低；但val_loss停止下降， 甚至反弹， 过拟合
3. train_loss很高; 下降缓慢； val_loss也一样很高， 欠拟合
4. tranin_loss很低； val_loss极高， 数据问题 （作业与考试内容不匹配）

二、 评估方法

1. 以批次为单位， 达到一定训练批次开始评估
2. 评估不能以epoch(轮次)为单位， 这样的话颗粒都太粗
3. 评估时， 要同时对训练数据与验证数据进行评估
4. 这样才能根据两主的loss值对模型的状态作出合理的评估

注意地方

1. 进行评估时， 要将model设置推理模型
2. 评估是在训练过程中进行的，所以评估后要恢复回训练模式
3. 此外,评估时不要进行梯度计算