均场扩散器将离线多代理强化学习扩展至数千个代理论文来源: arXiv:2605.30190v1 核心论点 (Core Thesis)MF-Diffuser (Mean-Field Diffuser) 提出了一种将基于扩散轨迹规划从单代理扩展到大规模多代理系统的框架。通过引入无界性 (Propagation of Chaos) 保证该方法在轨迹分布的 Wasserstein 空间 进行规划使得少量代表性代理即可捕获全群动态。其核心贡献包括• Value-weighted Chaotic Entropy Objective: 调和生成保真度与回报最大化之间的矛盾• Hierarchical Coarse-to-Fine Strategy: 在去噪过程中渐进式扩大代理群体• 理论界: 证明生成策略是近似 Mean-Field Nash Equilibrium并给出显式收敛保证 实验设置与基准测试基准测试设置核心发现Stage Games协调博弈、囚徒困境等MF-Diffuser 在多数设置下取得最佳回报Sequential Dynamics多代理动力学系统在离线数据次优且极端规模下表现最显著Adversarial Team Competition对抗性团队竞争证明 MF-Diffuser 在对抗环境下的鲁棒性 关键实验步骤与脚本数据收集与预处理• Offline Dataset: 使用预收集的轨迹数据集包含多代理交互记录• Trajectory Distribution: 计算轨迹分布并映射到 Wasserstein 空间模型训练• Denoising Network: 训练扩散模型以捕获轨迹分布• Value-Weighted Objective: 引入回报权重平衡生成多样性与质量• Coarse-to-Fine Expansion: 逐步增加代理数量进行训练推理与评估• Guided Sampling: 通过引导采样生成高回报计划• Performance Metrics: 比较返回率、收敛速度和分布匹配度 理论分析要点亚最优界分解 (Suboptimality Bounds)端到端亚最优界由四个可解释的项组成1 Mean-Field Approximation Error: 均场近似误差缩放为 \mathcal{O}(H^2/\sqrt{N})2 Offline Distribution Shift: 离线分布移位不随代理数量 N 增长而扩大3 Estimation Error: 估计误差4 Generalization Gap: 泛化间隙收敛性保证证明生成的策略是近似 Mean-Field Nash Equilibrium并给出显式收敛速率。这保证了在大规模多代理系统中MF-Diffuser 能够收敛到稳定的策略分布。 核心洞察与评估“MF-Diffuser 通过引入 value-weighted chaotic entropy objective成功调和了生成模型的高保真度与多代理系统的回报最大化目标。”“Hierarchical coarse-to-fine strategy 允许模型在去噪过程中逐步细化策略从粗粒度的群体分布到细粒度的个体决策显著提升了大规模场景下的规划效率。” 总结MF-Diffuser 通过将轨迹规划提升到 Wasserstein 空间并利用无界性原理进行降维成功将基于扩散的离线强化学习扩展到数千个代理的系统。其理论界和实验结果共同表明该方法在大规模多代理决策中具有显著优势特别是在离线数据次优和极端规模场景下。