跳到主要内容

如何处理模型回答胡乱/重复

更新时间:2025-08-13 18:30:25

💡 问题表现:

出现胡乱/重复的模型回答,如何处理?

📌 问题原因:

使用template或者其他参数未正确使用。

✅ 解决方法:

  • 若该问题发生在训练之前,通常是由于使用了未经对齐(base)的模型或不恰当的模板template,请保证使用对齐后(instruct/chat)的模型和正确的模板template
  • 若该问题发生在训练之后,请检查训练和推理使用的模板template是否一致,同时检查是否发生了过拟合。如果发生了过拟合,请减小训练轮数num_train_epochs和学习率learning_rate