前言26年7.10日我在朋友圈说道建议大厂们发预训练模型的时候尽量选择具备一定实用价值的任务以作为验证预训练模型的能力老是做一些千篇一律的桌面收纳都无感了那什么样的任务是实用的呢比如下图中的这些场景(图源我视频号主页上的介绍)这就有点像25年 大家都在各种卷单纯的locomotion、跳舞、打拳、跑马拉松、上下楼梯后来很多人就厌倦了于是终于开卷相对实用的loco-mani(当然话说回来loco-mani要想做得好离不开足够稳定的locomotion)对于我司七月而言未来几年侧重为机器人落地造垂直大脑故最关注的还是插拔、装配这类更实用的工作比如本文要介绍的T-WAM而非单纯的前沿 比如单纯追WAM 其实意义也不大毕竟无论是VLA还是WAM它两之间并非绝对的冲突、对立一方面 可以融合 二方面 技术都只是工具第一部分 VT-WAM: Visual-Tactile World Action Model for Contact-RichManipulation1.1 引言与相关工作1.1.1 引言如原论文所述富接触操作在机器人操作中构成了一项核心且长期存在的挑战也是实现实际部署的关键不同于空域操作此类任务依赖于局部的交互状态包括形变、压力、滑移和摩擦这些状态在视觉观测中通常仅弱可见、瞬时存在或被遮挡从而使得在执行过程中需要基于触觉进行调整的场景下仅依赖视觉的策略 [1], [2] 变得不可靠最新的视觉-触觉策略 [3], [4], [5] 将触觉传感引入动作预测之中并在高接触contact-rich任务上取得了进展然而这些策略往往未能充分挖掘触觉信息 [6]原因在于高接触操作主要依赖于局部接触的演化而非整体场景的变化具体而言如图 1(a) 所示触觉变形仅在短暂的接触阶段发生演化并提供力反馈。相比之下视觉观测在大多数帧中都能提供密集的场景级信息。这种在信息可得性上的时间不均衡导致在联合训练过程中神经网络更偏向利用视觉证据而触觉信号则处于未被充分利用的状态为了解决这一问题作者的关键洞见是将动作预测与触觉演化相耦合使策略能够在接触阶段利用触觉变化。最近世界动作模型World Action ModelsWAMs通过将动作预测与视频预测相结合实现了对世界动态的预测能力 [7], [8], [9]在世界动作模型的基础上来自1 SKL-MAIS, Institute of Automation, Chinese Academy of Sciences、2 School of Artificial Intelligence, University of Chinese Academy of Sciences、3 TARS Robotics、4 National University of Singapore、5 Fudan University的研究者提出了 VT-WAM这是一种视觉-触觉世界动作模型在统一的流匹配框架下联合学习未来视觉预测、触觉形变预测以及动作预测其项目地址为vt-wam.github.io其paper地址为VT-WAM: Visual-Tactile World Action Model for Contact-Rich Manipulation具体而言VT-WAM 包含两个核心模块使触觉动态对于动作预测变得有用非对称 MoT 注意力AsymmetricMoT Attention将动作 token 分别路由到第一帧视觉锚点以获取场景上下文以及路由到完整的触觉序列以捕捉接触演化过程这样一来在不丢弃接触阶段所需触觉动态信息的前提下就能够启用视觉缓存推理模式。接触门控 AVTAG 进一步通过只在训练阶段使用的 hinge排序损失来减弱视觉主导偏置该损失鼓励动作查询在接触阶段关注触觉证据这一辅助性引导使得当接触信息在物理上具有较高信息量时该模型更多地依赖触觉动力学而无需改变推理阶段的模型架构1.1.2 相关工作首先针对密集接触操控的触觉策略触觉传感在富接触操作中非常有用因为它能够提供局部交互信息现有的触觉策略通常以三种方式利用触觉信号一类工作在扩散策略diffusionpolicies[1] 上加入触觉条件包括 FARM [10]、TacDiffusion [11]、PolyTouch [12] 和 KineDex[13]另一类工作则开发利用触觉或力反馈进行在线接触校正的反应式或双系统策略包括 RDP[3]、Force Policy [14] 和 M2-ResPolicy [15]最新的视觉-语言-动作Vision-Language-Action,VLA模型进一步将触觉反馈集成到大规模策略架构中例如BiTLA [16]OmniVTLA [5]VTLA[17]Tactile-VLA [18]TaF-VLA [19]VLA-Touch [4]除了将触觉观测作为策略输入之外近期的视觉-触觉世界模型还显式预测接触的演化VT-WM 在潜在递归状态空间中联合建模视觉和触觉观测并利用所学习到的动力学进行规划 [20]而OmniVTA 则预测视觉-触觉的演化并将预测得到的触觉融入自适应策略融合和反射控制中 [21]————这些方法表明触觉形变对富接触任务具有重要价值但触觉预测仍然是通过规划或下游动作模块被间接使用相比之下作者的 VT-WAM 在一个统一的 flow matching 目标中将触觉预测与动作预测耦合起来并采用非对称 MoT 注意力和接触门控引导从而实现对触觉动力学敏感的动作预测其次对于用于操作任务的世界动作模型与直接根据当前观测和语言指令预测动作的视觉-语言-动作Vision-Language-Action, VLA模型相比世界动作模型World Action Models, WAM[22] 在动作预测中显式引入了未来状态预测现有的 WAM 通常根据未来状态预测与动作预测耦合的方式被组织为级联式和联合式两种架构级联式 WAM 首先合成未来的视觉状态或中间计划然后再从预测的未来中推导可执行的动作具有代表性的方法包括UniPi [23]VLP[24]RoboEnvision [25]Dream4manip [26]相比之下联合式 WAM 在一个共享的生成目标下同时学习未来动力学和动作预测例如Fast-WAM [9]DreamZero [27]Motus [28]LingBot-VA [8]GigaWorld-Policy [29]UWM[7]然而现有的 WAM 主要建模用于动作预测的视觉动力学。VT-WAM 将 WAM 扩展到触觉形变动力学使接触演化能够直接为动作预测提供信息1.2 VT-WAM的完整方法论VT-WAM 是一种用于高接触度操作任务的视觉-触觉世界行动模型World Action Model在给定腕部相机观测、触觉形变观测、本体感觉状态、语言指令以及动作块的条件下VT-WAM 在统一的流匹配flow matching框架中联合学习未来视觉预测、触觉形变预测以及动作预测图 2 展示了 VT-WAM 的整体架构包括视觉-触觉-动作专家主干网络、Asymmetric MoT Attention、接触门控 AVTAG以及其训练与推理流程a) 通过非对称 MoT 注意力连接三个模态特定专家实现联合视觉-触觉-动作流匹配b) 训练和推理过程中非对称 MoT 注意力中的注意力掩码c) 具有关节接触门控的 AVTAG 在训练阶段施加仅用于训练的合页排序损失鼓励动作查询在接触阶段优先利用触觉证据1.2.1 VT-WAM 的架构如图 2(a) 所示VT-WAM 采用视觉-触觉-动作专家架构视觉专家将腕部摄像头的 token 编码为全局场景上下文触觉专家通过触觉形变 token建模局部接触演化动作专家则基于视觉和触觉证据预测动作片段非对称 MoT 注意力将三个专家连接起来从而在一个骨干网络内实现联合的视觉、触觉与动作预测VT-WAM 首先将每种模态映射为一个token 序列腕部相机序列由Wan2.2 视频VAE [30]编码并划分为视觉tokens触觉形变序列包含来自两个触觉表面的三维形变场参考OmniVTA [21]一个预训练的触觉VAE 将该序列编码为触觉tokens每个动作块通过线性投影为动作tokens语言指令和本体感受状态通过交叉注意力机制[31] 提供给每个expert在第层非对称 MoT 注意力层中每个专家都从其自身的 token 流中计算 query、key 和 value 张量。随后这些张量按照视觉、触觉和动作 token 的顺序进行拼接非对称 MoT 注意力在以下范围内执行带掩码的注意力计算这个串联后的 token 序列这里表示在视觉、触觉和动作token 上的注意力图决定哪些query token 可以关注哪些key token。得到的输出给出了视觉、触觉和动作专家的更新token特征经过不对称MoT 注意力层之后模态特定的投影头在flow matching 目标下为视觉、触觉和动作token 预测速度场视觉和触觉专家在训练过程中监督未来视觉预测和触觉形变预测而动作头则生成用于控制的动作片段1.2.2 非对称 MoT 注意力非对称 MoT 注意力用于控制在 MoT [32] 层中视觉、触觉和动作 token 之间的信息交换方式。该设计源于对高接触控制的两个需求首先腕部相机观测主要提供全局场景上下文而触觉形变则为接触交互提供关键证据。因此动作预测需要访问触觉序列以捕捉接触的演化过程其次尽管触觉动力学对高接触控制至关重要但在部署过程中对未来视觉 token 进行去噪会引入不必要的延迟因此VT-WAM 采用非对称读出动作 token 关注触觉序列以获取接触动力学信息但在视觉上仅关注首帧的视觉 token以获得全局上下文图 2(b) 展示了这种读出在训练和推理阶段是如何实现的训练期间VT-WAM 将视觉、触觉和动作分支保持在一个联合流匹配模型中因此对未来视觉、触觉和动作的预测会被共同优化推理期间会去除未来视觉 token。触觉和动作分支使用首帧视觉锚点而动作 token 则对正在去噪的触觉潜在序列进行注意力计算这在保留接触动力学建模的同时避免了未来视觉预测的成本且作者在下文中形式化由非对称读出所使用的跨模态掩码视觉token 被划分为首帧视觉锚点和未来视觉token令表示首帧视觉token 的数量表示所有视觉token的数量表示触觉token 的数量表示动作token的数量VT-WAM 按照的顺序打包这些token并应用分块注意力掩码其中行对应被更新的查询token列对应可作为信息源的键token。为0 的条目允许注意力而则阻止注意力。在每个专家内部保留同模态注意力以下规则规定了跨模态的信息流动方式对于视觉专家来说触觉和动作键被屏蔽(mask out)以确保局部接触形变和未来动作token不会修改视觉表征对于触觉专家来说在所有视觉token 中只有第一帧的视觉锚点是可见的这样既能将触觉动态锚定在全局场景语境中又能避免对未来视觉token 的依赖同时此读出掩模中动作键也被屏蔽了对于动作专家而言该掩码会暴露第一帧的视觉锚点以及完整的触觉序列从而与用于控制的视觉缓存推理模式相匹配因此非对称 MoT 注意力既能保持视觉表征的稳定又能在视觉上下文中对触觉动态进行约束grounding并为动作预测同时提供视觉锚点和接触演化信息1.2.3 基于接触门控的动作-视觉-触觉注意力引导尽管非对称 MoT 注意力机制允许动作 token 关注触觉 token但联合训练仍可能更偏向视觉证据而非触觉证据这是因为在富接触任务中视觉信号与触觉信号之间存在不平衡视觉观测在大多数帧上都能提供密集的场景级信息相比之下触觉变形具有局部性且在时间上稀疏它主要在短暂的接触区间内才变得具有信息量而在非接触阶段则较弱或几乎不激活 [21]因此在联合流匹配目标下模型可以主要依赖视觉上下文来降低训练损失却未充分利用在接触阶段至关重要的触觉动态信息为缓解这一不平衡VT-WAM 引入了动作-视觉-触觉注意力引导Action-Visual-Tactile Attention GuidanceAVTAG如图 2(c) 所示AVTAG 在训练阶段额外增加了一个仅用于训练的辅助注意力目标用于计算从动作查询到视觉和触觉证据的相对注意力在接触阶段它施加一个由接触信号门控的 hinge 排序损失当相对触觉注意力低于相对视觉注意力时给予惩罚这样就引导动作查询在局部物理交互具有信息量时提高对触觉信息的注意力AVTAG 从动作查询到视觉和触觉键构建一个辅助注意力分布。为清晰起见作者省略层索引并使用,和表示来自MoT Attention 层的动作查询以及视觉-触觉键令表示拼接后的视觉和触觉键为了在不直接改变视觉和触觉键表征的情况下引导动作查询作者对应用stop-gradient 并定义其中表示停止梯度stop-gradient。该辅助注意力仅用于AVTAG 损失因此其梯度在引导动作查询的同时使视觉和触觉键仍由主流的流匹配目标进行优化对于每个动作tokenAVTAG 将分配给视觉键和触觉键的辅助注意力相加随后将这两个量归一化为相对的视觉和触觉注意力权重AVTAG 仅将该指导应用于接触阶段中的动作token令表示接触阶段的动作 token它们通过明显的触觉形变来识别辅助损失被定义为这种铰链排序损失在接触阶段惩罚视觉占主导的注意力并且一旦便不再产生惩罚1.2.4 训练目标与高效推理首先对于流匹配训练目标VT-WAM 通过对视觉、触觉和动作 token 进行联合流匹配目标训练。视觉、触觉和动作专家分别预测其对应模态的速度场从而得到这里、和分别表示针对视觉、触觉和动作 token 的预测速度场而、以及记为 a相应的流匹配目标当 AVTAG 被启用时完整的训练目标为其次对于高效的视觉缓存推理VT-WAM 支持两种推理模式联合推理模式和视觉缓存推理模式对于视觉-触觉预测分析作者使用联合推理模式在该模式下模型同时对视觉、触觉和动作tokens 进行去噪以评估其预测能力对于真实世界控制作者使用视觉缓存推理模式在该模式下将当前视觉观测保持为第一帧锚点并移除未来视觉预测在这种模式下VT-WAM 仅通过非对称 MoT 注意力对触觉和动作潜变量进行去噪触觉专家通过预测未来触觉形变来建模接触演化而动作专家通过同时关注视觉锚点和触觉序列来预测动作块这样在部署期间就避免了预测未来视觉 tokens 的开销1.3 实验如原论文所述接下来首先介绍实验设置包括机器人平台、实现细节、基线方法、基准任务以及评估指标随后作者在六个高接触密集的操作任务上评估 VT-WAM分析视觉-触觉预测的质量并通过消融实验量化关键组件的贡献1.3.1 实验设置第一对于机器人平台为了在真实世界的高接触操作任务上评估 VT-WAM作者使用如图3 所示的机器人该平台由一台7 自由度的xArm7机器人组成配备Robotiq 2F-85 并联夹爪、腕部相机以及安装在夹爪指内表面的两个Xense 触觉传感器腕部相机以30 Hz 的频率采集128 × 128 的RGB 观测每个触觉传感器以30 Hz 的频率记录接触表面上的35 × 20三维形变场第二对于实现细节训练数据是通过人类动力学示教收集的每个任务包含100 条专家轨迹视觉、触觉、本体感受和动作流在训练前被同步并重采样到30 HzVT-WAM 使用预训练的Wan2.2-5B [30] 作为视觉骨干网络并为触觉和动作专家使用参数规模为1B 的DiT 模型所有实验中损失权重设为和且使用AdamW 优化器进行模型训练学习率为1 × 10−4权重衰减为1 × 10−2采用bf16 混合精度梯度裁剪阈值为1.0并在5 % 预热之后使用余弦学习率衰减训练在NVIDIA A100 (80GB) GPU 上进行在推理评估阶段VT-WAM 运行在远程NVIDIA A100 推理服务器上并使用10 步去噪进行动作预测第三对于基线作者将 VT-WAM 与具有代表性的基线方法进行比较这些基线涵盖视觉运动控制visuomotor、VLA 和 WAM 策略DP Tactile[10]一种以触觉为条件的扩散策略diffusion policy根据机器人状态、腕部相机图像以及触觉观测来预测动作片段RDP[3]一种反应式视触觉策略利用触觉反馈进行在线动作细化π0.5[2]一种不使用触觉输入的通用视觉-语言-动作策略OmniVTLA[5]一种触觉增强的 VLA 模型利用触觉观测来进行动作预测Fast-WAM[9]一种世界动作模型world actionmodel用于建模视觉动态并在无触觉输入的情况下预测动作————ps有一说一个人觉得 本文这个专门加了触觉的 相当于在垂类场景中做了增强的去对比vla或wam的基膜如果没有在插拔场景中 表现更好 就奇怪了说明 白加触觉了所有方法都在每个任务上分别进行训练使用相同的示教数据并在相同的机器人平台、任务定义和评测指标上进行评估1.3.2 基准任务与评估指标基准任务如图 4 所示作者在六个高接触任务[3], [21] 上对 VT-WAM 进行评估这些任务被划分为两大类表面交互任务和受限插入任务表面交互任务包括 wipe board、wipe vase 和 peelcucumber这些任务要求在平面、曲面或可变形表面上进行持续运动受限插入任务包括 insert plug、swipe card 和 insert tube这些任务要求在严苛的几何约束或视觉遮挡条件下进行精细的对齐操作评估指标对于每种方法和每个任务作者进行 20 次独立试验并报告成功率对于表面交互类任务得分取自 {0,0.5,1}0 表示失败0.5 表示完成目标区域的一半以上1 表示完成整个目标区域对于受限插入类任务得分为二元取值{0,1}其中 1 表示物体到达目标位置否则为01.3.3 主要结果首先对于任务性能表 I 给出了六个高接触任务上的性能表现VT-WAM 在所有评估方法中取得了最高的成功率。与最强基线方法 Fast-WAM [9]相比VT-WAM 将成功率从 45.00% 提升到71.67%对应 26.67% 的绝对提升在表面交互任务中在执行过程中手腕相机的观测通常只发生细微变化而接触变化则发生在局部交互表面因此基于视觉的策略在这些任务上仍然受限π0.5 达到36.67 % 成功率而OmniVTLA 即使使用了触觉输入也仅达到33.33 %这种对比表明仅将触觉观测作为策略输入不足以建模触觉交互动力学这可能解释了它为何不能提高成功率Fast-WAM通过对动作条件视觉动力学建模(说白了预测的动作基于对未来的视觉状态)将成功率提高到56.67 %突出了动作条件动力学建模的优势然而Fast-WAM 仍然是纯视觉的无法直接捕获局部触觉交互。VT-WAM 通过将触觉变形建模为交互动力学将成功率提升到81.67%在受限插入任务中成功更依赖于精细对准而不是持续的表面覆盖在插入插头、刷卡和插入导管这三类任务上VT-WAM 达到了 61.67% 的成功率而 OmniVTLA 为 38.33%Fast-WAM为 33.33%这些结果表明当机器人需要在严格的几何约束下修正小位姿误差时触觉动力学同样十分有用改进在插入导管任务上尤为明显由于导管是透明的视觉对准不可靠成功执行需要基于接触信息进行修正结合表面交互任务的结果这表明将触觉形变动力学与动作预测进行耦合可以提升富接触任务的成功率其次对于视觉-触觉预测结果作者对视觉-触觉预测结果进行分析以评估 VT-WAM 的预测建模能力。为进行该分析作者在联合推理模式下运行 VT-WAM同时预测腕部摄像头观测和触觉形变场而实际世界控制则使用上文所述的视觉缓存visual-cache推理模式图 5 表明VT-WAM能够预测在时间上连贯的腕部摄像头观测以及触觉形变轨迹这些轨迹能够捕捉局部接触模式包括压力集中和接触迁移参考 OmniVTA [21]作者通过形变幅值误差和方向一致性来量化触觉预测质量l2 距离是在整个三维形变场上计算的而余弦相似度则是在非零形变区域上计算的所有方法都在相同的任务示例上进行评估。如表 II所示VT-WAM 相较于基线模型取得了更低的形变误差和更高的方向一致性这表明触觉专家模型学到了有意义的接触形变动力学1.3.4 消融研究作者在“擦拭花瓶”和“插入管子”这两个任务上进行了消融实验它们分别代表了两种基准评测设置表 III 用于评估两个设计问题一是如何将触觉动力学融入动作预测二是接触门控的 AVTAG 是否能通过引导动作查询关注触觉动力学从而提升真实环境中的成功率消融实验1如何将触觉动态融入动作预测与仅使用视觉的Fast-WAM 基线相比 Sym. (T Seq.) 加入了具有对称MoT 注意力的触觉序列预测使wipe vase 的成功率从55 % 提高到65 %insert tube 的成功率从25% 提高到40 %这一结果表明引入触觉动态提供了超出视觉动态之外的额外信息————ps40%也好55%也好这种成功率在工厂里完全没法落地故还是得先增加数据再上RL然而对称融合在推理过程中需要未来的视觉和触觉预测从而增加了计算成本为了避免未来视觉预测VT-WAM 采用了非对称MoT注意力其中动作查询关注第一帧视觉锚点和完整的触觉序列通过对比 Asym. (T0) 和 Asym. ( T Seq.)体现了时间触觉信息的重要性。当动作查询被限制在第一帧触觉时 Asym. (T0) 在wipe vase 上仅达到40 %在insert tube 上为30 %。允许动作查询关注完整的触觉序列将成功率分别提升到70 % 和50 %这一对比表明与只使用初始触觉状态相比动作预测能够从触觉随时间的演化中获益消融实验 2接触门控注意力引导的有效性最后一组对比实验用于剥离 AVTAG 的贡献。变体 Asym. (TSeq.) 和完整的 VT-WAM 使用相同的非对称 MoT 注意力机制唯一的区别在于在VT-WAM 训练期间是否施加接触门控的AVTAG。这种引导使 wipe vase 任务的成功率从70% 提升到 85%insert tube 任务的成功率从50% 提升到 55%这表明性能提升源自训练过程中学到的、更具接触感知能力的触觉注意力图6 进一步通过一个带有接触扰动的擦拭花瓶试验来说明这一效应AVTAG 在擦拭花瓶过程中促进触觉注意以实现接触恢复。红色和蓝色曲线分别表示来自动作专家的相对触觉和视觉注意权重 p_t 和 p_v 虚线曲线表示用于可视化的接触力 |F_z|手腕摄像头视角是策略唯一可用的视觉输入而侧视图仅用于可视化。当支撑平面向下移动时手腕摄像头视角仅发生细微变化因而几乎无法提供有关接触阶段的有效信息。AVTAG 促使动作专家在该接触阶段更加强调对触觉证据的关注使模型能够重新建立接触并完成任务在执行过程中花瓶的支撑平面被向下移动从而打断擦拭板与花瓶表面的接触腕部相机视角是策略唯一可用的视觉输入而侧视图仅用于可视化交互过程。接触丢失后腕部相机视角仅发生细微变化因此仅凭腕部相机视角无法可靠识别接触阶段如果没有AVTAG动作专家在整个试验过程中表现出几乎静态的注意力模式并始终被视觉 token 主导。这种对视觉的偏置使得策略无法对接触丢失做出响应有了 AVTAG动作专家会在接触阶段提升对触觉的注意力从而使策略能够利用触觉证据重新建立与花瓶表面的接触并完成擦拭任务