原文：Harness Engineering for Self-Improvement，作者 Lilian Weng。 递归式自我改进（recursive self-improvement, RSI） 的概念可以追溯到 I. J. Good (1965)。他把“超智能机器”定义为一个能够在所有智力活动上超越人类，并能设计出更好机器来改进自身的系统。Yudkowsky (2008) 用“递归式自我改进”这个说法描述一个特定反馈环：AI 使用当前智能来改进产生其智能的认知机器。 ...
Why not ReAct? 传统 RAG 通常只在生成前检索一次，检索内容主要由原始问题决定。因此，在多跳问答或复杂推理任务中，它很容易遇到信息不足、检索偏差或上下文不完整的问题。 ...
这篇博客主要是总结一下项目，讲这个项目的 Agent Harness Loop Engineering 这个项目本质上是一个 prompt 引导的 ReAct Agent。标准 ReAct loop 用 langchain.agents.create_agent 搭；如果要完全控制 Think、Act、Observe、Reflect 每个节点，就直接用 StateGraph 自己搭。 ...
这篇博客想梳理大语言模型对齐阶段最常见的几条路线：PPO、DPO、GRPO 和 GSPO。 它们经常一起出现，但并不在同一个层级上。更准确地说，SFT 是让模型学会“按指令回答”的第一步；RLHF / DPO / GRPO / GSPO 则是在此基础上，让模型的输出更符合人类偏好、任务奖励或可验证标准。 ...
策略梯度 回顾一下，使用策略网络 $\pi(a|s; \boldsymbol{\theta})$ 来控制 Agent。 状态价值函数 $$ \begin{aligned} V_\pi(s) &= \mathbb{E}_{A \sim \pi}\big[Q_\pi(s, A)\big] \\ &= \sum_a \pi(a|s; \boldsymbol{\theta}) \cdot Q_\pi(s, a) \end{aligned} $$策略梯度 $$ \frac{\partial V_\pi(s)}{\partial \boldsymbol{\theta}} = \mathbb{E}_{A \sim \pi}\left[ \frac{\partial \ln \pi(A | s; \boldsymbol{\theta})}{\partial \boldsymbol{\theta}} \cdot \underline{Q_\pi(s, A)} \right] $$Baseline 在策略梯度强化学习中，baseline $b(s)$ 是一个仅由当前状态 $s$ 决定、和采样动作 $A$ 无关的标量值。Baseline 的核心就是降低梯度方差，避免参数更新抖动，加快训练收敛。baseline 有以下性质： ...