核心发现
方法论
作者提出两大潜在动作监督视角：一是利用图像潜在动作正则化轨迹，二是用动作潜在表示统一目标空间。在统一基线下，设计并比较了四种策略：隐式对齐（LA-Align）、直接解码（LA-Direct）、条件解码（LA-Cond）和动作到Token映射（LA-Tok）。通过LIBERO和RoboTwin 2.0等数据集，结合真实机器人实验，系统分析了不同策略的效果。研究强调：图像潜在动作适合长远推理，动作潜在表示擅长复杂运动协调，离散Token监督表现最佳。
关键结果
- 在LIBERO-Long任务中，图像潜在动作提升了平均性能达8.4%-10.8%，显示其在长距离规划中的优势。RoboTwin 2.0中，动作Token策略提升成功率17.5%，在复杂运动任务中表现优越。直接用离散Token监督VLM，显著优于连续表示，验证了离散监督的有效性。多任务联合训练中，潜在动作监督持续改善性能，显示其在多模态、多任务环境中的潜力。
- 不同策略在不同任务表现差异明显：图像潜在动作在场景理解和长远推理中效果更佳，而动作Token在复杂机械操作中表现优越。实验还揭示：潜在动作监督在多数据混合训练中具有鲁棒性，能有效缓解异构数据带来的语义不匹配问题。
- 本研究首次系统性比较了潜在动作在VLA中的多策略整合效果，为未来多模态机器人学习提供理论基础和实践指南。
研究意义
该研究突破了异构数据环境下VLA模型的瓶颈，提出潜在动作作为中间表示，有效缓解动作空间不一致问题。其在长远推理和复杂运动中的优势，为机器人自主学习和多模态理解提供了新思路。通过系统比较不同潜在表示策略，为未来多模态融合和机器人自主决策提供了理论支撑。该方法的推广，有望推动机器人在复杂环境中的自主操作能力，促进智能系统的普适性和鲁棒性提升。
技术贡献
本文提出了两大潜在动作监督策略：一是利用图像潜在动作正则化轨迹，二是用动作潜在Token统一目标空间。设计了四种具体整合策略，结合VQ-VAE和Transformer架构，创新性地将离散潜在Token引入VLA训练流程。通过系统性实验验证，展示了离散Token监督在复杂任务中的优越性，为多模态学习提供了新技术路径。该工作还首次在多任务、多场景下验证潜在动作的鲁棒性，为未来机器人自主学习提供理论基础。
新颖性
本研究首次系统性比较了图像与动作两类潜在动作在VLA中的整合策略，提出了四种创新性方案，特别是动作Token的引入，显著提升了复杂任务表现。与以往只关注单一潜在表示的工作不同，本文系统分析了不同策略的适用场景和效果，为潜在动作的理论和实践提供全面框架。这在多模态机器人学习领域具有开创性意义。
局限性
- 当前方法在极端复杂环境或高维动作空间中仍存在泛化不足的问题，尤其是在极少样本或未见过场景下表现有限。
- 潜在动作的离散化策略可能引入信息损失，影响细粒度控制的精度，尤其在高精度任务中表现尚待优化。
- 模型训练依赖大量标注数据和计算资源，实际部署时面临效率和可扩展性挑战。
未来方向
未来将探索更高效的潜在动作编码方式，提升模型在极端复杂环境中的泛化能力。还计划结合强化学习优化潜在动作的表达，增强自主适应能力。此外，将扩展到多机器人协作和零样本推理场景，推动多模态自主系统的实用化。
AI 总览摘要
视觉-语言-动作（VLA）模型作为机器人自主学习的重要方向，面临异构数据带来的动作空间不匹配难题。传统方法多依赖直接监督，难以兼容多平台、多任务环境。本文提出系统性研究潜在动作作为中间表示的策略，旨在提升模型的泛化能力和复杂任务处理水平。
研究从两个核心视角展开：一是利用图像潜在动作正则化轨迹，作为高层视觉规划；二是用动作潜在Token统一目标空间，简化语义匹配。基于统一的VLA基线，设计了四种整合策略：隐式对齐（LA-Align）、直接解码（LA-Direct）、条件解码（LA-Cond）和动作Token映射（LA-Tok）。这些策略通过Transformer架构实现，结合VQ-VAE编码，支持离散潜在表示的引入。
在LIBERO和RoboTwin 2.0等模拟数据集，以及真实机器人JAKA上，系统验证了不同策略的效果。结果显示，图像潜在动作在长距离推理中表现优越，提升8.4%-10.8%；动作Token在复杂机械任务中提升成功率17.5%。离散Token监督显著优于连续表示，验证其有效性。多任务训练中，潜在动作监督持续改善模型性能，展现出强大鲁棒性。
该研究为多模态机器人自主学习提供了理论基础和实践路径，特别是在异构数据环境下的泛化能力。未来，将结合强化学习和多机器人协作，推动自主系统的智能化和普适性。虽然仍面临高维控制和效率优化的挑战，但潜在动作的系统性研究开启了机器人自主学习的新篇章。
深度解读
原文摘要
Latent actions serve as an intermediate representation that enables consistent modeling of vision-language-action (VLA) models across heterogeneous datasets. However, approaches to supervising VLAs with latent actions are fragmented and lack a systematic comparison. This work structures the study of latent action supervision from two perspectives: (i) regularizing the trajectory via image-based latent actions, and (ii) unifying the target space with action-based latent actions. Under a unified VLA baseline, we instantiate and compare four representative integration strategies. Our results reveal a formulation-task correspondence: image-based latent actions benefit long-horizon reasoning and scene-level generalization, whereas action-based latent actions excel at complex motor coordination. Furthermore, we find that directly supervising the VLM with discrete latent action tokens yields the most effective performance. Finally, our experiments offer initial insights into the benefits of latent action supervision in mixed-data, suggesting a promising direction for VLA training. Code is available at https://github.com/RUCKBReasoning/From_Pixels_to_Tokens.