π0.5 代表了一种很典型的当代 VLA 设计思路能 token 化的条件尽量 token 化放进统一多模态上下文对连续低层控制不强行全离散化而是保留 flow matching 这类更适合动作生成的表示让 VLM 负责理解世界和任务让 action expert 负责输出连续控制再用一个共享 Transformer把理解和控制真正接起来一、π0.5 的核心考点和面试题1、架构创新采用‌单模型双层输出‌机制。主干 VLM基于 PaliGemma/SigLIPGemma同时输出‌文本化高层子任务‌如“拿起盘子”和‌连续低层动作块‌通过 Action Expert Flow Matching 生成无需外接 Planner。2、FAST 离散动作与 Flow Matching 连续动作结合Fast 离散动作适合大规模预训练因为它能把动作转成 token让机器人动作学习变成类似语言建模的问题。Flow Matching 连续动作适合真实执行因为机器人最终需要连续控制量而不是离散 token。π0.5 把二者结合起来预训练用 FAST 离散动作提高训练效率 后训练用 Flow Matching 生成连续动作 推理先生成子任务再生成连续动作块3、训练策略‌‌两阶段训练‌预训练阶段融合机器人轨迹、互联网多模态数据、高层语义标签等异构数据使用‌FAST Tokenizer‌将动作离散化以加速收敛后训练阶段针对移动机械臂微调引入‌流匹配Flow Matching‌ 替代离散采样以支持高频实时控制。4、注意力掩码设计避免信息泄漏通过让离散动作 token与连续流匹配动作 token 互不关注即设置注意力权重为0避免两种动作表示之间的信息泄漏例如 action expert 直接从 FAST token 中读出动作答案而不是根据图像和语言自己学习动作。5、π0.5 与 π0 的差异状态处理‌π0 显式投影 State 层π0.5 将 State 直接融入 VLM 输入动作生成‌π0 主要依赖流匹配π0.5 采用离散动作预训练 连续动作后训练的混合策略调节机制‌π0.5 引入‌GemmaRMSNorm‌动态调节 LayerNorm对去噪过程控制更精细数据侧重‌π0.5 强调跨环境泛化数据互联网 多机器人明确聚焦‌家庭移动操作场景。‌‌6、π0.5 的推理流程是怎样的为什么设计成两层‌推理分两步但由‌同一模型‌完成第一步根据图像和指令预测‌高层语义子任务‌离散文本 Token如“打开抽屉”第二步基于该子任务通过‌Action Expert 模块结合流匹配‌生成‌连续平滑的低层动作轨迹‌。设计原因高层推理频率低需强语义理解低层控制频率高50Hz需连续值且实时性要求高。分层既保留了长程规划能力又满足了物理控制的动态需求且共享 VLM 表征避免了信息损耗。7、π0.5 如何实现“开放世界泛化”数据从哪里来‌核心在于‌异构数据联合训练‌。不仅使用目标机器人的演示数据更大量引入‌非固定机器人数据、互联网图文/VQA 数据、高层语义子任务预测数据及人类口头指令数据‌。预训练时 97.6% 的数据来自非目标场景/非机器人源迫使模型学习通用物理常识与语义关联而非过拟合特定环境特征从而在未见过的家庭环境中仍能推理出正确子任务序列。二、推荐如下学习链接训练数据集的组成及差异从 π0 到 π0.7Physical Intelligence 的 VLA 演化路线梳理这篇文章将系统梳理 Physical Intelligence 提出的 π 系列 VLA 模型从 π0、π0https://mp.weixin.qq.com/s/EZ4Q5ru4i-biTya8ME1x3A代码研究路线、整体框架、数据流向、改动动机借鉴如下链接从源码出发真正看懂OpenPI π0.5的模型结构、训练逻辑和推理过程https://mp.weixin.qq.com/s/D4ltNAHcp2sQFUHCwiN8Vw公式及原理细节、损失函数细节《VLA 系列》π0.5 | 流匹配 | 分层推理 | VLA_vla pi0.5-CSDN博客文章浏览阅读2k次点赞31次收藏22次。π0.5统一架构的VLA模型实现开放世界泛化 π0.5基于π0升级采用统一Transformer架构通过分层推理全局任务→语义子任务→连续动作和离散-连续动作融合表示实现开放世界复杂任务的端到端控制。模型核心创新 分层推理机制单模型完成高层语义分解与低层动作生成突破传统双模型分离设计的冗余问题 混合动作表示预训练阶段用离散token提升效率推理阶段切换为连续流匹配实现精细控制 多模态统一处理支持图像、文本、机器人状态的异构输入通过模态专属专家权重优化多源数据协同训练。 _vla pi0.5https://guo-pu.blog.csdn.net/article/details/157972180?spm1001.2014.3001.5502