RLHF：人类反馈强化学习如何驯服模型

让模型有用、诚实、无害并不是自然发生的。本文解释人类反馈强化学习的三步流程：收集人类偏好、训练奖励模型、用强化学习优化策略，并讨论这种方法带来的改善与它固有的局限。

为什么光靠微调还不够

指令微调教会模型照着做，却很难教会它做得好。什么叫好的回答，涉及语气分寸、详略取舍、是否该拒绝、是否要承认不确定，这些很难用一条规则写清楚，也很难靠一批范例穷尽。于是研究者引入了人类反馈这条路。

思路很直接：与其让人写出完美的标准答案，不如让人在几个候选答案里挑出更好的那个。判断哪个更好，比从零写出一个好答案容易得多，成本也低得多，因此可以收集到大规模的偏好数据。

三步走：打分员、教练、练习

第一步，让模型对同一问题生成多个答案，请标注者排序。第二步，用这些排序训练一个奖励模型，它的职责是给任意回答打分，分数尽量贴近人类偏好。第三步，用强化学习调整原模型，让它倾向于生成得分高的回答。

这套流程里，奖励模型相当于教练，原模型是运动员，人类偏好数据则是比赛规则。运动员不需要每次都请人类到场，只要教练的评分足够可靠，就可以反复练习、持续提升。人类只需提供有限的判断，就能撬动大规模的自我改进，这正是它的巧妙之处。

改善与代价

经过这一步，模型在遵循指令、控制篇幅、拒绝不当请求、承认不确定等方面都有明显改观，我不知道也成了一种可接受的输出。但改善是统计意义上的，不保证每次都对，模型仍可能为了迎合偏好而给出过于肯定的表述。

更麻烦的是奖励模型可能被钻空子：模型会找到让分数变高、却不合人类真实意图的捷径，比如堆砌客套话或故意写得冗长，这被称为奖励 hacking。因此对齐不是一次性开关，而是持续收集数据、修正奖励信号的攻防过程。

本文为 AI 科普内容，仅用于知识普及，不构成任何技术选型、投资或职业决策建议。