结论
在进行大模型训练的时候，epoch的大小是对灾难性遗忘问题有影响的。epoch 太少会导致欠拟合问题，太多会导致过拟合问题。
实验
采用lora微调方法对chatglm3-6b模型进行微调，加入700条领域数据，结束后对微调后的模型进行评测。
通用数据集的评测分数
可以看到，除了epoch-2，某些数据集的分数有所下降以外，可以说，随着epoch的减少，数据集评分会出现上升趋势。
领域数据集的评测分数
epoch-5
epoch-1
可以观察到随着epoch的减少，领域射弩聚集的评测分数呈现下降趋势
理解epoch
epoch是机器学习中遍历数据集的次数。在做大模型训练时，你使用一个1000个样本的数据集来进行训练。设置epoch=1的意思可以理解为，让模型学习1次数据集。用中学生学习数学的场景来解释，就是学生刷真题的遍数，epoch=1就是刷一遍真题。数学试题也分不同的领域，当某个领域的试题做的多了，而其他领域的试题做的少就会导致当前领域的分数提高，而其他领域的分数会因为长时间不做题而降低（遗忘）
训练时调整epoch的宗旨
关键在于找到一个折衷点，既要采用尽可能少的epoch（这会导致欠拟合），又要采用尽可能多的epoch（这会导致过拟合）。找到最佳epoch数需要进行一些实验，并且可能需要使用诸如提前停止之类的技术来避免过拟合
网友评论