一、从一次深夜调试说起上周在部署一个仓储机器人的决策模块时，遇到了一个典型问题：机器人在空旷区域运行良好，一旦进入货架密集区，路径选择就开始“抽风”——明明有更优路径，却反复在几个货架间来回试探。日志里刷满了重复的状态-动作对，像极了新手司机在窄巷里左右打方向。问题出在行动模块的策略生成部分。我们最初用了基于规则的决策树，后来换成了监督学习模型，但面对动态环境（其他移动机器人、临时堆放货物）始终表现僵硬。那一刻我意识到，是时候把强化学习（RL）从实验环境搬到生产环境了。二、RL策略优化：不是“更聪明”，而是“更会试错”很多人把强化学习想象成一种“高级智能”，其实它的核心逻辑很朴素：让智能体在试错中学会哪些行动能带来长期收益。在行动模块中引入RL，不是为了替代传统控制算法，而是为了补足那些难以用规则描述的决策场景。举个例子：AGV小车遇到临时路障，规则引擎可能要求“立即停止并上报”，但RL策略可能会尝试“减速绕行并观察其他小车路径”。后者不是预设的，而是从历史成功通过类似障碍的经验中学到的。三、工程落地的三个关键层1. 状态设计：别把原始数据直接扔进去早期版本我直接把激光雷达点云、电机编码器信号拼接成状态向量，结果训练了三天都没收敛。# 反面教材：状态维度爆炸st