Reinforcement Learning for LLMs
这篇博客想梳理大语言模型对齐阶段最常见的几条路线：PPO、DPO、GRPO 和 GSPO。 它们经常一起出现，但并不在同一个层级上。更准确地说，SFT 是让模型学会“按指令回答”的第一步；RLHF / DPO / GRPO / GSPO 则是在此基础上，让模型的输出更符合人类偏好、任务奖励或可验证标准。 ...
这篇博客想梳理大语言模型对齐阶段最常见的几条路线：PPO、DPO、GRPO 和 GSPO。 它们经常一起出现，但并不在同一个层级上。更准确地说，SFT 是让模型学会“按指令回答”的第一步；RLHF / DPO / GRPO / GSPO 则是在此基础上，让模型的输出更符合人类偏好、任务奖励或可验证标准。 ...