标题PivotRL: High Accuracy Agentic Post-Training at Low Compute Cost来源arXiv, 2603.21383v1摘要长时间代理任务的后训练在计算效率和泛化之间存在紧张关系。虽然监督微调SFT是计算效率高的但它经常遭受域外OOD退化。相反端到端强化学习E2 E RL保留了OOD功能但由于多次启用策略推出而导致计算成本高。我们引入了E2 E RL一种新的框架它在现有的SFT轨迹上运行以将SFT的计算效率与E2 E RL的OOD准确性结合起来联合收割机。E2 E RL依赖于两个关键机制首先它执行本地的、基于策略的展开和对枢轴的过滤信息性的中间回合其中采样的动作在结果中表现出高方差;第二它利用对功能等价动作的奖励而不是要求严格的字符串匹配与SFT数据演示。我们从理论上证明这些机制激励具有高自然梯度范数的强学习信号同时最大限度地保留与训练任务无关的动作的策略概率排序。与相同数据上的标准SFT相比我们证明在四个代理域上EARRRL平均实现了4.17%的域内准确率在非代理任务中OOD准确率提高了10.04%。值得注意的是在代理编码任务中NVIDIA的Nemotron-3-Super-120 B-A12 B采用了E2 E RL作为生产规模代理人岗位培训的主力军。️文章简介研究问题如何在长程智能体任务的后训练中既保留端到端强化学习的域外泛化能力又避免其高昂的计算成本同时克服监督微调导致的性能退化主要贡献论文提出了 PivotRL 框架通过筛选高方差中间状态和利用功能等价奖励以极低计算成本实现了优于 SFT 的域内精度和卓越的域外保持能力。重点思路提出“支点Pivot”筛选机制离线分析专家轨迹仅保留那些模型采样动作结果存在高低差异即高方差的中间轮次进行训练避免在过于简单或完全失败的步骤上浪费计算资源。设计基于验证器的功能等价奖励函数不再强制要求生成动作与演示数据严格字符串匹配而是只要动作在功能上正确如工具调用有效即给予正反馈适应生成式动作空间的多样性。结合局部在线 rollout 与组相对策略优化GRPO仅在筛选出的支点状态进行短序列采样更新理论上证明了该机制能最大化自然梯度范数并保留无关动作的概率排序。分析总结在四个智能体领域实验中PivotRL 相比同等数据的 SFT域内准确率平均提升 4.17%且在非智能体任务的域外准确率上高出 10.04%有效避免了 SFT 常见的灾难性遗忘。在 SWE-Bench 代码任务基准上PivotRL 达到了与端到端强化学习相当的准确率但所需的 rollout 轮次减少了 4 倍训练墙壁时间减少了 5.5 倍显著降低了计算开销。消融实验证实若移除支点筛选或使用严格的字符串匹配奖励模型性能均会大幅下降证明这两个核心组件对于获取强学习信号和维持泛化能力缺一不可。个人观点论文通过“支点筛选”精准定位具有学习价值的中间轮次并利用“功能奖励”解决了传统模仿学习中对形式过度敏感的问题。附录