Agentic RL 与传统 RL 框架讨论
面向大语言模型的强化学习研究长期分成两条互不衔接的线索。一条线索使用 Reinforcement Learning from Human Feedback(RLHF)、Reinforcement Learning from AI Feedback(RLAIF)和 Direct Preference Optimization(DPO),把模型对齐到人类偏好或基准分数;另一条线索把模型作为可规划、可调用工具、可维护记忆的智能体。两条线索术语不一致,工作按单一能力、单一领域和自定义环境分散展开,跨方法、跨基准的对照难以进行。问题之所以重要,是因为模型的使用场景已经从单轮应答转向在动态、部分可观测环境中完成多步决策;缺少共同的形式化框架,训练收益和泛化表现无法在同一口径下累积。
此前主流的偏好式训练被隐式当作一个退化的单步 Markov Decision Process(MDP)。状态只有一个提示词,时间步 $T=1$,转移确定性地直达终止态,模型收到一个终局标量奖励即结束,观测完全可见。这一模型不包含多轮交互、工具调用、环境反馈和稀疏且延迟的奖励。已有的智能体工作多采用提示工程或启发式模块拼装,模块之间不经过强化学习自适应,规划、工具使用、记忆等能力与具体环境绑定。
这篇综述(Zhang et al, 2026)把 Agentic Reinforcement Learning(Agentic RL)与偏好式训练在 MDP 与 Partially Observable Markov Decision Process(POMDP)口径下逐项区分,按能力和应用领域建立双轴分类,并汇总公开环境、基准和训练框架。它推进的环节位于链路最上游的问题形式化与评测口径层,不替换策略、奖励或环境中的任一具体实现。
一、解决的学术问题
结论:这篇综述处理的核心问题,是 Agentic RL 与传统 LLM 强化学习之间缺少统一形式化定义,研究版图割裂,方法与基准无法横向比较。
问题本身是:偏好式强化微调(preference-based reinforcement fine-tuning, PBRFT)与智能体方向各自积累了大量工作,但前者以单轮文本对齐为对象,后者以多步交互决策为对象,两者没有共用的决策过程模型。综述综合了五百余项近期工作,指出已有研究常按孤立能力、单一领域或自定义环境组织,术语和评测协议不一致,系统比较与跨领域泛化因此受阻。
这一问题的重要性来自场景的变化。模型不再只生成一段应答,而要在环境中感知、推理、调用工具、保留记忆,并在较长时间跨度内调整策略。若两类训练仍沿用各自的描述方式,能力边界、训练数据需求和评测结果无法彼此对照,研究结论难以叠加。
此前主流做法卡在决策模型的表达能力上。PBRFT 的训练过程被写成退化 MDP 元组 $\langle S_{\mathrm{trad}}, A_{\mathrm{trad}}, P_{\mathrm{trad}}, R_{\mathrm{trad}}, T=1, \gamma=1\rangle$:状态空间 $S_{\mathrm{trad}}={\mathrm{prompt}}$,动作空间为纯文本序列,转移 $P(s_1\mid s_0,a)=1$ 为确定性,奖励为单一标量 $r(a)$。这一形式装不下动态转移、部分观测和逐步反馈。已有的智能体系统多以提示工程或启发式模块拼装,模块之间不通过在线交互更新策略,规划、工具使用、记忆等能力与具体环境绑定。
二、端到端链路与衡量指标
结论:按主流视角,链路由环境状态与观测、策略决策、动作与转移、奖励、策略更新五个环节构成;结果指标挂在轨迹层面,内部环节使用代理指标。
1. 环境状态与观测。 设完整世界状态为 $s_t$,智能体只能获得观测 $o_t=O(s_t)$。这一环节衡量环境的可验证性与交互吞吐。环境可验证性指反馈能否由单测、符号校验或规则机器判定,按可判定任务占比统计;交互吞吐指单位时间生成的并行轨迹数量。
2. 策略决策。 策略 $\pi_\theta$ 在观测上输出决策,覆盖规划、工具使用、记忆、推理、自我改进与感知六项能力。各能力使用代理指标:
-
工具调用正确率:正确且必要的调用次数除以总调用次数;
-
记忆检索准确率:检索到相关记忆条目数除以检索条目总数;
-
推理步正确率:过程评估器判为正确的中间步数除以中间步总数;
-
反思纠错率:经反思后转正确的轨迹数除以初始出错轨迹数。
3. 动作与转移。 动作空间拆为文本动作与环境动作两个子空间:
$A_{\mathrm{agent}} = A_{\mathrm{text}} \cup A_{\mathrm{action}}$
$A_{\mathrm{text}}$ 为自回归生成的自然语言 token,不改变外部状态;$A_{\mathrm{action}}$ 为结构化动作,由特殊令牌界定,用于调用工具或修改环境。状态按 $s_{t+1}\sim P(s_{t+1}\mid s_t,a_t)$ 随机演化。这一环节的指标为动作合法率(格式合法、可被环境解析的动作占比)与转移成功率(动作执行后状态按预期推进的比例)。
4. 奖励。 Agentic RL 的逐步奖励分三类取值:
$R_{\mathrm{agent}}(s_t,a_t)= \begin{cases} r_{\mathrm{task}}, & \text{任务完成},\ r_{\mathrm{sub}}(s_t,a_t), & \text{步级推进},\ 0, & \text{其他}. \end{cases}$
奖励信号可为稠密、稀疏或学习得到,例如单测通过、符号校验成功。衡量维度包括奖励类型(结果奖励或过程奖励)与奖励稀疏度(非零奖励步占总步数的比例)。
5. 策略更新与端到端评估。 PBRFT 的目标为单轮期望标量奖励:
$J_{\mathrm{trad}}(\theta)=\mathbb{E}{a\sim\pi\theta}[r(a)]$
无折扣因子。Agentic RL 的目标为折扣累计回报:
$J_{\mathrm{agent}}(\theta)=\mathbb{E}{\tau\sim\pi\theta}\left[\sum_{t=0}^{T-1}\gamma^t R_{\mathrm{agent}}(s_t,a_t)\right],\quad 0<\gamma<1$
端到端指标定义如下:
- 任务成功率:$N$ 条轨迹中完成任务的比例,
$\mathrm{SR}=\frac{1}{N}\sum_{i=1}^{N}\mathbb{1}(\tau_i\ \text{完成任务})$
- pass@k:每题采样 $k$ 条轨迹,至少一条正确即计成功。设共采样 $n$ 条、其中 $c$ 条正确,无偏估计为
$\mathrm{pass@}k=1-\frac{\binom{n-c}{k}}{\binom{n}{k}}$
pass@1 即单次作答正确率。
- 累计回报:单条轨迹内折扣奖励之和
$G=\sum_{t=0}^{T-1}\gamma^t R(s_t,a_t)$
再对多条轨迹取平均。
-
样本效率:达到目标回报所需的交互步数或轨迹条数,数值越低效率越高。
-
泛化:在训练域外任务集上的任务成功率或 pass@1,以域外绝对值或域内外差值衡量。
-
交互成本:平均轨迹步数、token 消耗、端到端延迟与工具调用次数。
训练算法侧,Proximal Policy Optimization(PPO)以策略比率裁剪更新策略;Group Relative Policy Optimization(GRPO)在一组采样上以组内相对奖励估计优势,不再设置独立的价值网络。
三、介入环节与受影响指标
结论:综述介入的是链路最上游的问题形式化与分类、评测口径环节;它改动的是参照系,而非某个算法模块,因此影响指标的定义与比较方式,不直接产生新的性能数值。
在形式化层面,综述把 PBRFT 显式写为退化 MDP 元组,把 Agentic RL 建模为 POMDP 元组 $\langle S_{\mathrm{agent}}, A_{\mathrm{agent}}, P_{\mathrm{agent}}, R_{\mathrm{agent}}, \gamma, O\rangle$,在状态、动作、转移、奖励、目标五个维度上对齐两者差异。动作空间被统一拆为 $A_{\mathrm{text}}$ 与 $A_{\mathrm{action}}$,目标函数从单轮期望标量奖励改为折扣累计回报。
在分类层面,综述按规划、工具使用、记忆、推理、自我改进、感知六项能力,以及各应用领域建立双轴分类,并汇总公开环境、基准与框架。它没有替换策略网络、奖励模型或环境模拟器中的任一组件。
受这套口径直接影响的指标有四类:其一,评测终点从终局单标量奖励、单轮正确率,转向长程累计回报与轨迹级任务成功率、pass@k;其二,信用分配从结果奖励扩展到过程奖励下逐步信号的有效性;其三,整体分数被细化为规划、工具、记忆、推理等分项代理指标;其四,比较维度新增域外泛化与交互成本(步数、token、延迟)。综述本身不训练模型、不上榜基准,上述指标的数值不由它推高,改变的是这些指标被如何定义、归类和对照。
参考文献
Zhang, G., Geng, H., Yu, X., Yin, Z., Zhang, Z., Tan, Z., … Bai, L. (2026). The landscape of agentic reinforcement learning for LLMs: A survey. Transactions on Machine Learning Research. arXiv. https://arxiv.org/abs/2509.02547