核心发现
方法论
本文提出的RECAP策略基于预训练的Cosmos Policy模型，通过引入检索机制，将目标实体（query）与成本较低的实体（pool）配对训练，形成冻结的检索条件残差策略。在推理阶段，模型通过索引检索池中的示范轨迹，条件化预测动作，从而实现无需参数微调的任务扩展。该方法结合了世界动作模型（WAM）中的未来图像预测目标，增强视觉一致性，提升长时序行为的表现。具体算法包括：• 训练阶段，利用配对示范学习残差动作；• 测试阶段，动态索引检索池中的示范轨迹；• 结合未来图像预测，强化检索条件的动作生成。
关键结果
- 在PushT任务中，测试时通过扩展检索池，成功覆盖未见角度，成功率由6.0%提升至34.9%，实现18倍成本降低；
- 在RoboTwin 2.0多任务环境中，检索池增长带来成功率从9.0%提升至31.5%，优于传统跨实体迁移方法；
- 在真实机器人实验中，利用人类手部演示作为检索池，成功实现对未见任务的零微调适应，成功率达80%（放置瓶子）和30%（关门），验证了方法在实际场景中的有效性。
研究意义
该研究突破了机器人视觉语言模型在新任务和新实体上的高成本瓶颈，通过检索机制实现任务泛化和跨实体迁移，极大降低了数据采集和模型微调的需求。其在工业自动化、家庭服务和自主操作等领域具有广泛应用潜力，为实现通用机器人提供了新思路。尤其是在长时序行为和多任务场景中，结合未来图像预测的检索增强策略显著提升了模型的鲁棒性和泛化能力。该方法的核心创新在于：一是将任务适应转化为索引检索问题，二是利用预训练的世界动作模型强化视觉一致性，三是实现无需参数更新的快速任务扩展。
新颖性
本研究首次提出在视觉语言行动模型中引入检索机制，替代传统的微调策略，特别是在跨实体迁移和长时序任务中表现出优越性能。区别于以往仅依赖参数微调或少量示范的技术，RECAP通过预训练模型结合外部示范池，实现任务的快速适应和泛化，填补了现有方法在成本和效率上的空白。其创新点在于：• 采用检索增强的残差策略，减少模型参数调整；• 利用未来图像预测强化视觉一致性；• 在多场景中验证其在真实机器人上的有效性，展现出极强的实用价值。
局限性
- 该方法依赖于目标和池实体在动作空间上的共享，结构差异较大时效果受限；
- 检索机制对示范轨迹的质量和描述能力敏感，视频源的多样性和表示仍需优化；
- 在极端动态或大规模差异场景中，残差预测可能出现偏差，影响行为准确性。
未来方向
未来将探索跨实体动作空间的通用接口或学习动作翻译器，提升不同结构实体间的迁移能力。同时，结合更丰富的多模态表示和大规模网络视频数据，增强检索的多样性和鲁棒性。此外，优化检索策略以应对大规模异构数据和动态场景，推动机器人自主学习的广泛应用。
AI 总览摘要
在机器人自主行为研究中，如何在无需反复微调模型的情况下实现对新任务的快速适应，一直是行业的核心难题。传统方法依赖于大量任务特定的示范和参数微调，既耗时又昂贵。本文提出的RECAP策略，通过引入检索机制，将任务适应转变为索引示范的过程，实现了在测试阶段无需参数更新的任务扩展。该方法基于预训练的Cosmos Policy模型，将示范轨迹作为条件，预测目标动作，结合未来图像预测增强视觉一致性。实验结果显示，在PushT、RoboTwin 2.0和真实机器人场景中，RECAP显著优于传统微调和跨实体迁移方法，成功实现未见角度和任务的高效泛化。通过不断扩展检索池，模型的任务覆盖范围持续增长，验证了其在实际应用中的潜力。该研究为机器人通用性和自主学习提供了新思路，降低了成本，提升了效率，推动了机器人智能的未来发展。
深度分析
研究背景
机器人视觉语言模型近年来取得突破，代表性工作包括OpenVLA、DreamZero和Cosmos Policy。这些模型结合预训练的视觉和语言理解能力，支持复杂任务执行。然而，现有方法多依赖于任务特定示范和微调，成本高昂，难以快速扩展到新任务和新实体。跨实体迁移和长时序行为的泛化仍是挑战，尤其在实际应用中，示范采集和模型微调难以满足工业和家庭场景的需求。近年来，检索增强策略在自然语言处理和计算机视觉中表现出色，但在机器人任务中的应用尚处于探索阶段。
核心问题
核心问题在于如何在保持模型泛化能力的同时，降低新任务和新实体的适应成本。传统微调策略每个新任务都需大量示范和训练，耗费时间和计算资源，限制了机器人在多变环境中的灵活性。跨实体迁移更面临几何和动力学差异带来的挑战，导致模型难以直接迁移。如何利用已有示范资源实现快速、低成本的任务扩展，成为亟待解决的问题。
核心创新
本研究的创新点包括：1）引入检索机制，将示范轨迹作为条件，形成冻结的残差策略，避免参数微调；2）结合预训练的世界动作模型（WAM）中的未来图像预测，强化视觉一致性，提升长时序行为表现；3）实现任务的零微调扩展，通过不断扩展检索池，逐步覆盖新任务和新实体。该方法突破了传统微调的限制，为机器人任务泛化提供了新路径。
方法详解
- �� 训练阶段：利用配对示范（query和pool）学习残差动作，输入包括示范轨迹和状态，输出目标动作残差；• 采用Cosmos Policy模型，结合未来图像预测目标，增强视觉一致性；• 设计索引机制，从示范池中检索最匹配的轨迹片段，条件化预测动作；• 训练目标包括动作和未来图像的联合流式匹配损失，确保动作与场景演变一致；• 测试阶段：动态扩展示范池，通过索引检索匹配轨迹，无需微调参数，条件化预测目标动作，实现任务迁移。
实验设计
在PushT、RoboTwin 2.0和真实机器人场景中，采用不同的示范池和任务设置，评估模型在未见角度和任务上的泛化能力。对比基线包括微调模型、仅检索和联合训练模型。关键指标为成功率和任务覆盖范围，实验中不断扩展示范池，观察性能提升。参数设置包括：示范轨迹长度H、检索距离度量、模型超参数等。
结果分析
在PushT任务中，成功率由6.0%提升至34.9%，实现18倍成本节约；在RoboTwin中，成功率从9.0%增长到31.5%，优于传统迁移方法；在真实机器人上，利用人类手部演示作为检索池，成功完成未见任务，验证了方法的实用性和鲁棒性。这些结果表明，检索机制能有效扩展模型的任务覆盖范围，减少训练成本。
应用场景
该方法适用于工业机器人、家庭服务机器人和自主操作系统，尤其在多任务、多实体环境中表现出色。只需准备示范池，无需频繁微调，即可实现快速任务迁移。未来可结合大规模网络视频，提升示范多样性，推动机器人自主学习和普适化应用。
局限与展望
依赖于目标和池实体在动作空间上的共享，结构差异大时效果受限；示范轨迹质量影响检索效果，视频源多样性和表示需优化；在极端动态场景中，残差预测可能偏差，影响行为精度。未来需解决跨实体动作空间的通用接口和示范表示问题。
通俗解读 非专业人士也能看懂
想象你在厨房里做菜，平时用的锅和刀都很熟悉，但有时候你会用不同的锅或刀子。有个聪明的助手可以帮你找出最适合的工具，只要你告诉它你想做什么。这个助手不用每次都重新学习，只要它记住了各种工具的使用方法，就能根据你的需求快速帮你找到合适的工具。这样，你就不用每次都花时间重新训练它，它只需要从已有的工具库里检索信息，然后帮你完成任务。这个方法就像机器人一样，利用已有的示范和记忆，快速适应新任务，节省了很多时间和精力。
简单解释 像给14岁少年讲一样
想象你在学校的美术课上画画，你平时用的画笔和颜料都很熟悉。有时候老师会让你用不同的画笔或者颜料，但你不用重新学怎么用，只要你告诉老师你想画什么，老师就会帮你找到之前用过的画笔和颜料，然后帮你继续画。这个过程就像机器人用的检索系统，它不用每次都重新学习新任务，而是从记忆里找出最合适的示范，然后根据这个示范调整自己的动作。这样，机器人可以很快学会新任务，就像你用熟悉的工具画画一样简单。这个方法让机器人变得更聪明、更快，能在不同的场景中帮你完成各种任务，就像你的老师帮你找到最合适的画笔一样。
原文摘要
Extending a vision-language-action (VLA) policy to a new task typically requires task-specific teleoperated demonstrations and per-task fine-tuning, making adaptation costly in both data collection and compute. In this paper, we show that this target-side per-task adaptation cost can be replaced by retrieval. Our retrieval-augmented policy is trained once on paired demonstrations from the target embodiment (query) and a cheaper embodiment (pool, e.g., human-hand video), then frozen. New tasks are added at deployment by appending pool-side demonstrations to a retrieval pool. The frozen policy conditions on retrieved trajectories at every control step, so new tasks are absorbed by indexing data rather than updating parameters. Fine-tuning is needed only to take on a new, unseen embodiment, not for each new task. We show that retrieval improves policies beyond a specific backbone, including standard VLA policies, but its effect is especially pronounced in Cosmos Policy, a video-generation-based world-action model (WAM). In this setting, retrieval supplies coarse task progression, while the WAM's future-image objective provides an additional visual consistency signal that strengthens the retrieval-conditioned actions. On PushT, we study how retrieval provides a reusable high-level motion prior for cross-embodiment generalization to unseen goal angles, while on RoboTwin 2.0 our method outperforms cross-embodiment baselines on unseen tasks, and we additionally demonstrate the method on a real robot.