理论动机(Theorem2)任务过难或过易时RM训练退化任务太难(Policy 总失败)RM 只见负例 → p− 饱和 → 无法区分步骤好坏任务太易(Policy 总成功)RM 只见正例 → p 饱和 → 无法区分步骤好坏重要性权重 ||f||/||f−|| → 0(太难)或 → ∞(太易)→ RM 训练 bias所以保持合适难度不仅对 Policy 有益对 RM 训练也是数学必要的。Algorithm 1 的 Environment Adaptation 步骤acc(q) 当前任务 q 上 Policy 的成功率if acc(q) a_high (0.8): # 任务太简单了s summarize_errors(RM的推理过程) # 提取 RM 识别出的错误模式q′ LLM.harder(q, error_summarys) # 基于失败模式生成更难版本if a_low acc(q′) acc(q): # 验证确实变难但还可学Q.replace(q, q′) # 替换任务集中的 qelif acc(q) a_low (0.2): # 任务太难了s summarize_errors(RM的推理过程)q′ LLM.easier(q, error_summarys) # 基于错误模式生成更易版本if acc(q) acc(q′) a_high: # 验证确实变易但还有挑战Q.replace(q, q′)任务生成的核心机制不是随机扰动而是语义引导的有针对性修改RM 的推理输出(自然语言)→ 总结出 Policy 在这类步骤上总是出错” 的模式→ LLM 基于这个错误摘要 原任务 q → 生成新任务 q′→ 新任务在 Policy 的弱点处更具针对性实际例子(论文 Figure 3)Computer Use (OSWorld)原任务“在Chrome里搜索X”Policy总在多标签页管理上失败→ RM推理反复犯同一种多标签错误→ harder(q)“在已有3个标签页的情况下在特定标签页搜索x”Text Game (ALFWorld)原任务拿起水壶”Policy导航正常但物体识别失败→ harder(q)“在杂乱房间中找到遮挡的水壶”与OpenClaw-RL的对比设计维度 RLAnything OpenClaw-RLRM是否联合训练 是(Consistency Feedback) X否(固定LLM Judge)步骤信号来源 RM(联合优化) LLM Judge(零样本)Environment 来源 动态生成(难度自适应) 真实用户对话(无法控制)任务难度控制 a_low0.2a_high0.8 无控制(用户行为随机)Off-policy处理 PPO clip(隐式) PPO clip 503 pause关键差异OpenClaw-RL 用的 LLM Judge 是冻结模型判断标准不随 Policy 变化。RLAnything 的 RM 是动态学习的会随Policy能力提升而变得更精准。这是真正的联合优化”vs 单方向打分的本质区别。OpenClaw-RL 能引入 RLAnything 思路的改进方向给LLM Judge 加入 Consistency Feedback(让 Judge 也接受轨迹结果的监督)根据用户流失率/留存率动态调整评分标准”(Environment难度类比)7.3 SWE-Universe水平扩展的代表上面 7.2 详解了 RLAnything垂直扩展/难度自适应的代表这里我们看另一个方向的代表——SWE-Universe水平扩展/数量扩展的代表。核心问题如何把 GitHub 上千万 PR 自动转化为可验证的训练环境PR(issue patch tests)↓↓ Building Agent迭代自验证↓ in-loop Hacking Detector防止 grep / 浅匹配的假验证↓可执行的 verifier (evaluation.sh) “结构上不失真的可训练决策过程”三大挑战与解决方案挑战 解决方案 效果低构建成功率 迭代自验证循环buggy → fix 双向测试 82.6% → 94%Verifier 质量差 In-loop Hacking Detector 拒绝 grep 式捷径成本过高 训练专用轻量 MoE 模型Qwen-Next-80B-A3B 超过 Claude-Opus-4.5成本大幅降低规模807,693 条多语言实例来自 52,000 个 GitHub 仓库。应用结果Qwen3-Max-Thinking RL 训练后 SWE-Bench Verified 75.3%。7.4 两个代表的对比与编译器类比把 SWE-Universe水平扩展与 RLAnything垂直扩展放在一起对比能看清两种 Env Scaling 路线的差异SWE-Universe RLAnything (Forge) ──────────────────────────────────────────────────────Env Scaling 水平扩展数量807K 实例 垂直扩展难度自适应策略 从存量 GitHub PR 中提取 从 policy 失败中生成新任务挖矿式扩展 自进化式扩展Verifier 从 PR 的 test suite 中构建 从 RM 的一致性信号中学习关键创新 Hacking Detector Policy RM Env 联合优化这两个工作都可以用编译器问题做类比帮助理解 Env Scaling 的本质。编译器优化问题输入是 source code人类写的程序目标是 machine code最优执行效率搜索空间是所有可能的 transformation 序列指数级难点在于局部最优 ≠ 全局最优验证方式是运行代码测量执行时间。Env Scaling 问题输入是 task specification人类定义的任务目标是 training tasks最优的学习材料搜索空间是所有可能的 task 变体指数级难点在于好的训练任务难觅、局部有用 ≠ 整体有用验证方式是训练 agent 测量能力提升。更深的结构对应编译器 Env Scaling──────────────────────────────────────────────────────────────────────Optimization passes ⇆ Curriculum stages训练阶段Type system ⇆ Task grammar任务结构约束Dead code elimination ⇆ Filter useless tasks过滤无信号任务Loop unrolling ⇆ Subtask decomposition任务分解Register allocation ⇆ Compute budget allocation计算资源分配JIT compilation ⇆ Adaptive curriculum运行时适应难度Superoptimization ⇆ Automated curriculum search搜索最优 env具体到两个工作SWE-Universe ≈ 编译器工具链自动化PRsource code→ [Building Agent 编译] → 可执行的 verifiermachine code。问题是如何可靠地编译出正确的 VerifierHacking Detector 的作用就是消除 dead code防止捷径让验证假通过。RLAnything ≈ 自适应 JIT 编译器 Profile-Guided Optimization传统 JIT 用固定优化规则、根据运行时 profile 选择优化RLAnything 把 RM 的失败报告当作 runtime profile根据 profile 调整 task相当于 JIT 根据 profile 调整优化策略。最深的类比RLAnything 的 Environment Adaptation 就是把编译目标设为移动靶——不是在固定任务上优化 policy而是让任务本身追着 policy 的弱点跑这正是 “Superoptimization JIT” 的结合。两者面临的核心难题相同搜索空间指数级爆炸局部评估单个 pass 或单个 task 的收益无法预测全局效果需要学习一个搜索策略而非枚举补充RLAnything 和 OpenClaw-RL 是同一团队Yinjie Wang, Mengdi Wang, Ling Yang。OpenClaw-RL 的环境真实用户是 RLAnything 框架在对话场景的具体实例化。policy而是让任务本身追着policy的弱点跑这正是Super optimization JIT的结合。补充注意 RLAnything 和 OpenClaw-RL 是同一团队 (Yinjie WangMengdi WangLing Yang)。OpenClaw-RL 的环境真实用户是 RLAnything 框架在对话场景的具体实例化。7.5 下一代 Env Scaling 方向方向一LLM生成环境(无限任务自动合成)当前人工设计任务→有限、难以扩展下一代LLM作为 Environment GeneratorLLM 生成 task specification↓ agent执行↓ verifier验证(代码执行/mathchecker/规则检查)↓ 根据agent失败的任务生成更多类似任务↓ 无限扩展自动关注agent的弱点代表AlphaCode的合成竞赛题STaR/ RLVR(RL from verifiable rewards)Self-Play Fine-Tuning (SPIN)方向二对抗性环境(动态对抗Agent弱点)当前环境固定agent逐渐适应下一代环境adversarially追着agent的弱点跑比如Environment Generator学习“agent在哪类任务上失败”→ 生成更多那类任务 agent改进→ Generator再找新的弱点→ GAN式的env-agent对抗训练方向三WorldModels作为内部环境(梦境训练)Dreamer / DreamerV3:学习一个WorldModel(状态转移模型)在World Model内部做RL(imagined rollout)不需要运行真实环境