什么是 DPO？不用奖励模型也能做偏好对齐

让模型会回答问题，通常先靠监督微调；让它更符合人类偏好、安全和有用性，则需要比较“哪种回答更好”。**DPO（Direct Preference Optimization，直接偏好优化）**直接利用这种偏好对训练模型，不必先单独训练一个奖励模型。

它学的是什么

训练数据不是单个标准答案，而是一组偏好：同一个问题下，回答 A 被人或高质量评审认为优于回答 B。DPO 让模型提高生成 A 的倾向，同时降低生成 B 的倾向。

例如两个客服回复事实都正确，但一个更清楚、礼貌且不承诺做不到的事；偏好数据就能把这种“难写成硬规则”的质量差异传给模型。

和 SFT、RLHF 的区别

方法	训练信号	特点
SFT	输入—理想输出	教模型完成任务和格式
传统 RLHF	偏好 → 奖励模型 → 强化学习	流程更复杂，可优化奖励
DPO	直接使用偏好对	实现相对简单、训练更稳定

监督微调 SFT通常是基础，DPO 则在其后进一步调整“更偏好哪种回答”。

关键仍然是偏好数据

DPO 并不会自动知道什么是好回答。若标注标准含糊、不同标注者互相矛盾，模型也会学到混乱偏好。数据应覆盖真实任务、拒答边界、安全冲突和不同语言风格，并保留独立评测集。

总结

DPO 用“这两个回答哪个更好”的直接偏好信号，让模型向更符合人类期望的方向调整。它简化了传统 RLHF 的训练流程，但不能替代高质量数据和严谨评测；偏好定义得越清楚，模型对齐得才越可靠。