核心发现
方法论
AVP模型通过视觉原语接口，将视觉语言模型（VLM）与动作专家分离。VLM负责推断下一阶段目标，并生成视觉原语令牌，动作专家则根据这些令牌执行任务。监督信号直接来自末端执行器的运动学。
关键结果
- AVP在真实机器人抓取放置任务中成功率提高37.04%，优于其他方法。
- 在数据效率、空间组合泛化和物体级别迁移方面表现出一致的提升。
- 通过消融实验验证视觉原语在空间推理中的关键作用。
研究意义
该研究通过引入视觉原语，显著提升了机器人操作的成功率和泛化能力，解决了现有方法中指令理解、空间场景理解和运动控制耦合的问题。
技术贡献
AVP模型通过视觉原语将任务目标明确化，减少了动作专家的学习负担，提高了数据效率和泛化能力。
新颖性
首次在机器人操作中引入视觉原语作为显式通信接口，区别于以往依赖语言或外部视觉提示的方法。
局限性
- 需要精确的手眼校准，系统对相机外参漂移或物理干扰敏感。
- 两阶段推理引入了额外的运行时延迟。
未来方向
未来可以探索如何减少推理延迟，以及在更多复杂场景中验证AVP的有效性。
AI 总览摘要
机器人操作领域一直以来的目标是实现通用的操作能力。现有的视觉语言动作（VLA）模型虽然在多任务场景中表现出色，但在指令理解、空间推理和动作生成上存在耦合问题，影响了学习效率和泛化能力。AVP模型通过引入视觉原语，明确了VLM与动作专家的学习职责，显著提升了操作成功率和泛化能力。
AVP模型由预训练的VLM、自回归解码器和动作专家组成。VLM解析语言指令和多视角观测，生成视觉原语令牌，这些令牌作为动作专家的条件输入，指导机器人执行任务。通过真实机器人实验，AVP在多个任务中表现出色，尤其是在中国象棋操作和多米诺骨牌放置任务中。
尽管AVP在多个方面表现出色，但其两阶段推理引入了额外的时延，并且对手眼校准的精度要求较高。未来的研究可以探索如何优化推理效率，并在更复杂的环境中验证其有效性。
深度分析
研究背景
视觉语言模型（VLM）在语言理解和视觉感知上取得了显著进展，然而在机器人操作中，如何有效利用这些模型仍是一个挑战。现有的VLA模型通常将语言指令和视觉观测直接映射为动作，导致指令理解、空间场景理解和运动控制的耦合，限制了学习效率和泛化能力。
核心问题
现有VLA模型在处理复杂任务时，难以有效分离任务相关的视觉信息和动作生成，导致泛化能力弱，尤其是在对象、布局或环境变化时表现不佳。
核心创新
AVP通过视觉原语接口，将VLM与动作专家的学习职责分离。VLM负责推断任务目标并生成视觉原语，动作专家根据这些原语执行任务，从而提高了数据效率和泛化能力。
方法详解
- �� VLM解析语言指令和多视角观测，生成视觉原语令牌。
- �� 自回归解码器预测下一阶段的视觉原语。
- �� 动作专家根据视觉原语执行任务，监督信号来自末端执行器的运动学。
实验设计
实验在真实机器人平台上进行，任务包括中国象棋操作、多米诺骨牌放置和一般物体抓取放置。使用的基线包括π0.5和其他最新方法，评估指标为成功率和数据效率。
结果分析
AVP在中国象棋操作任务中成功率达90.28%，较π0.5提高37.04%。在多米诺骨牌放置任务中，AVP在抓取和方向成功率上均优于基线。
应用场景
AVP可用于需要高精度操作的机器人任务，如精密装配、复杂环境中的物体抓取和放置。
局限与展望
AVP对手眼校准精度要求较高，且两阶段推理引入了额外的时延。未来研究可探索如何优化推理效率和在更多复杂场景中验证其有效性。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭。你需要从冰箱里拿出食材，然后放到锅里煮。AVP就像一个聪明的助手，它能告诉你食材在哪里，并帮你把它们放到锅里。这样你就不用担心找不到东西或者放错地方。AVP通过视觉原语，把任务分解成简单的步骤，让机器人更容易理解和执行。就像你在厨房里有一个清晰的食谱，知道每一步该做什么，机器人也有一个明确的计划，知道该如何行动。
简单解释 像给14岁少年讲一样
想象你在玩一个机器人游戏，你需要指挥机器人去抓取和放置物体。AVP就像一个超级助手，它能告诉你物体在哪里，并帮你把它们放到正确的位置。这样你就不用担心机器人会抓错东西或者放错地方。AVP通过视觉原语，把任务分解成简单的步骤，就像游戏中的任务指南，让机器人更容易理解和执行。是不是很酷？
术语表
视觉原语 (Visual Primitives)
视觉原语是VLM生成的空间标记，用于指导动作专家执行任务。
在AVP中，视觉原语用于明确任务目标，减少动作专家的学习负担。
视觉语言模型 (Vision-Language Model)
VLM是一种结合视觉和语言理解的模型，能够处理多模态输入。
在AVP中，VLM负责解析语言指令和视觉观测，生成视觉原语。
动作专家 (Action Expert)
动作专家是负责执行具体任务的模块，基于视觉原语生成动作。
在AVP中，动作专家根据视觉原语执行任务，提升操作成功率。
末端执行器运动学 (End-Effector Kinematics)
末端执行器运动学描述了机器人手臂末端的运动特性。
在AVP中，末端执行器运动学用于生成视觉原语的监督信号。
空间组合泛化 (Spatial-Compositional Generalization)
空间组合泛化指模型在不同空间配置下的适应能力。
AVP通过视觉原语提升了空间组合泛化能力。
开放问题 这项研究留下的未解疑问
- 1 如何在更复杂的环境中验证AVP的有效性？
- 2 如何减少两阶段推理带来的时延？
- 3 如何提高对相机外参漂移的鲁棒性？
应用场景
近期应用
精密装配
AVP可用于需要高精度操作的精密装配任务，提升生产效率。
远期愿景
复杂环境中的机器人操作
AVP有潜力在复杂环境中实现更高效的机器人操作，推动自动化技术的发展。
原文摘要
Vision-Language-Action (VLA) models have emerged as a promising paradigm for generalist robotic manipulation. A common design in current architectures maps language instructions and visual observations to actions in a single forward pass. While conceptually simple, this formulation entangles instruction comprehension, spatial scene understanding, and motor control within a single learning objective. As a result, the action expert must implicitly relearn cognitive and perceptual capabilities already present in the pretrained VLM, which can limit both learning efficiency and generalization. We introduce AVP (Action with Visual Primitives), an end-to-end architecture that implements this visual-primitive-centric interface: the VLM infers the next-stage target and emits visual-primitive tokens that condition a flow-matching action expert, with supervision derived from end-effector kinematics. Real-robot experiments on general pick-and-place tasks show that AVP improves the success rate by 37.04% over pi_0.5 and outperforms other recent methods, with consistent gains in data efficiency, spatial-compositional generalization, and object-level transfer.