LLM

原文：Harness Engineering for Self-Improvement，作者 Lilian Weng。 递归式自我改进（recursive self-improvement, RSI） 的概念可以追溯到 I. J. Good (1965)。他把“超智能机器”定义为一个能够在所有智力活动上超越人类，并能设计出更好机器来改进自身的系统。Yudkowsky (2008) 用“递归式自我改进”这个说法描述一个特定反馈环：AI 使用当前智能来改进产生其智能的认知机器。 ...

这篇博客想梳理大语言模型对齐阶段最常见的几条路线：PPO、DPO、GRPO 和 GSPO。 它们经常一起出现，但并不在同一个层级上。更准确地说，SFT 是让模型学会“按指令回答”的第一步；RLHF / DPO / GRPO / GSPO 则是在此基础上，让模型的输出更符合人类偏好、任务奖励或可验证标准。 ...