RMBench: Memory-Dependent Robotic Manipulation Benchmark with Insights into Policy Design
提出RMBench基准和Mem-0策略，系统评估记忆能力在机器人操作中的作用。
核心发现
方法论
本文基于任务记忆复杂度（TMC）指标，设计包含9个不同记忆需求的操控任务，利用RoboTwin 2.0平台实现模拟。提出Mem-0模块化策略，结合视觉语言模型（VLM）和多层记忆结构（锚点与滑动窗口），支持长时记忆的显式建模。通过系统性消融实验，分析不同架构对记忆表现的影响，验证在多样任务中的优越性。
关键结果
- 在M(1)和M(n)任务中，Mem-0平均成功率提升38.4%和21.2%，显著优于传统策略。具体在“Rearrange Blocks”任务中成功率由29%提升至89%。在“Cover Blocks”任务中，成功率由0%提升至68%。消融实验显示，锚点记忆和关键任务推理模块对性能提升至关重要。
- 在模拟和真实机器人环境中，Mem-0展现出良好的泛化能力，成功应对不同任务场景。与Pi0.6和X-VLA等预训练模型相比，Mem-0在记忆依赖任务中表现更优，验证了显式记忆机制的有效性。
- 系统分析揭示架构设计中的关键因素，包括记忆窗口大小和任务阶段分类器对性能的影响，为未来策略优化提供指导。
研究意义
该研究填补了机器人操控中系统性评估记忆能力的空白，为设计具备长时记忆的机器人策略提供了理论基础和实践工具。通过引入任务记忆复杂度指标，推动操控任务的标准化分类，有助于理解不同记忆需求对策略性能的影响。实验结果表明，显式记忆机制在复杂操作中的重要性，为工业自动化、服务机器人等应用提供技术支撑，促进机器人自主决策能力的提升。
技术贡献
本文提出基于任务记忆复杂度的任务分类体系，构建了多层次的操控任务集。设计了Mem-0模块化策略，结合视觉语言模型与多层记忆结构，实现长时记忆的显式建模。系统性分析了不同架构组件（锚点、滑动窗口、任务阶段分类器）对记忆表现的影响，提供了策略设计的理论指导。实验验证了方法在模拟和真实环境中的优越性，为未来记忆增强策略提供了技术框架。
新颖性
首次提出任务记忆复杂度指标，用于系统划分操控任务的记忆需求。基于此设计了RMBench，涵盖多层次记忆任务，推动操控任务的标准化评估。Mem-0策略引入模块化设计，结合视觉语言模型与多层记忆机制，显著优于现有基线模型，验证了显式记忆在复杂操控中的关键作用。这些创新突破了以往仅依赖短期观察的限制，为机器人自主决策提供新思路。
局限性
- Mem-0在处理高度语义依赖任务（如“Observe and Pick Up”）时仍受预训练模型优势影响，表现有限。任务阶段分类器在某些细粒度任务中可能误判，导致操作重复或失败。系统在极端复杂场景或超长任务中存在计算成本较高的问题，未来需优化模型效率和记忆管理策略。
未来方向
未来将结合强化学习优化记忆策略，提升长时依赖任务中的自主性。探索多模态信息融合与自适应记忆管理，增强策略的鲁棒性。计划扩展到多机器人协作场景，推动实际工业应用落地，同时完善任务分类和记忆机制的理论基础。
AI 总览摘要
近年来，机器人操控技术快速发展，但大多策略依赖短期观察，难以应对需要长时记忆的复杂任务。本文提出RMBench基准，系统划分任务记忆复杂度（TMC），设计涵盖多层次记忆需求的九项操控任务，支持对记忆能力的全面评估。基于此，开发Mem-0策略，采用视觉语言模型（VLM）结合多层记忆结构（锚点与滑动窗口），实现任务中长时记忆的显式建模。实验显示，Mem-0在多项任务中成功率提升明显，平均成功率比传统模型高38.4%，验证了显式记忆机制的有效性。通过消融分析，确认锚点记忆和任务阶段分类器对性能提升的关键作用。这一研究不仅推动了机器人自主决策的理论发展，也为工业自动化和服务机器人提供了技术基础。未来，结合强化学习和多模态信息融合，将进一步提升机器人在复杂环境中的适应能力。该工作为机器人记忆策略的系统评估和设计提供了新范式，具有重要的学术和应用价值。
深度分析
研究背景
机器人操控技术经历了从基于硬编码规则到深度学习的快速演进。早期方法如基于模型的规划和强化学习在简单任务中表现良好，但在复杂、多步骤任务中缺乏长时记忆支持。近年来，视觉语言模型（VLM）和预训练策略推动了操控能力的提升，但大多模型仍依赖短期观察，难以应对非马尔可夫性任务。现有基准如MemoryBench和LIBERO-Long在一定程度上考虑记忆，但缺乏系统的任务分类和多层次评估。本文基于此背景，提出任务记忆复杂度（TMC）指标，旨在系统化划分操控任务的记忆需求，为后续研究提供统一标准。
核心问题
现有机器人操控策略多假设任务为马尔可夫过程，依赖短期观察，难以处理需要长时记忆的任务。这导致在记忆依赖性强的场景中表现不佳，限制了机器人自主性和适应性。如何设计能够显式建模长时记忆的策略，成为关键难题。缺乏系统化的任务分类和评估平台，使得不同策略在复杂任务中的表现难以比较，也阻碍了技术的推广应用。
核心创新
提出任务记忆复杂度指标，系统划分操控任务的记忆需求。设计RMBench，涵盖多层次记忆任务，推动操控任务的标准化。Mem-0策略采用模块化架构，结合视觉语言模型和多层记忆（锚点与滑动窗口），实现长时记忆的显式建模。引入任务阶段分类器，支持结构化推理和闭环控制，显著优于传统短期观察模型。这些创新突破了现有模型在非马尔可夫任务中的局限，推动机器人自主决策向更高层次发展。
方法详解
- �� 任务分类：基于任务记忆复杂度（TMC）指标，将任务划分为M(0)、M(1)和M(n)，定义每类任务对记忆的具体需求。• RMBench设计：在RoboTwin 2.0平台上构建九项操控任务，涵盖不同记忆层次，支持大规模评估。• Mem-0架构：包括规划模块（利用视觉语言模型进行子任务推理，结合关键记忆窗口）和执行模块（利用锚点和滑动记忆进行动作生成，采用扩散变换器（DiT）实现低延迟控制）。• 任务阶段分类器：通过MLP检测子任务完成状态，支持闭环交互。• 实验流程：在模拟和真实机器人中，训练多策略模型，比较成功率，进行消融分析，验证架构有效性。
实验设计
采用RMBench中的九项任务，评估包括非预训练模型（DP、ACT）和预训练模型（Pi0.6、X-VLA），训练50个示范，测试100轮。重点在记忆依赖任务中，观察Mem-0的成功率提升。消融实验分析不同记忆模块（锚点、滑动窗口、任务分类器）对性能的影响。真实机器人实验验证系统在实际场景中的适应性。指标包括成功率、任务完成时间和鲁棒性，确保结果的可靠性和可重复性。
结果分析
Mem-0在记忆任务中的平均成功率达42%，比传统模型提升31.6%。在“Rearrange Blocks”任务中成功率从29%提升至89%，在“Cover Blocks”中由0%升至68%。消融实验显示，移除锚点记忆或任务分类器导致成功率下降约20%。在真实机器人中，Mem-0表现出优异的泛化能力，验证了显式记忆机制的实用性。这些数据充分证明了设计的有效性和优越性。
应用场景
该方法适用于工业自动化中的复杂装配、仓储中的多步骤操作，以及服务机器人中的长时任务管理。通过显式建模长时记忆，机器人能更好地理解环境变化和历史状态，提升自主决策能力。未来还可结合强化学习，优化记忆管理策略，推动智能机器人在复杂环境中的应用。
局限与展望
当前模型在处理高度语义依赖和超长任务时仍存在性能瓶颈，尤其在极端复杂场景下计算成本较高。任务分类器在某些细粒度任务中误判率较高，影响操作效率。未来需优化记忆管理策略和模型推理速度，以适应更复杂的实际应用需求。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，每次你都需要记住之前放了什么材料、放在哪个架子上，以及什么时候需要添加调料。普通机器人就像只看眼前的食材，不能记住之前的操作，所以只能做简单的菜。而这个研究就像教机器人记住所有操作步骤和材料放置位置，帮助它做出复杂的菜肴。通过设计专门的记忆工具，让机器人可以像人一样回忆起之前的细节，完成更复杂的任务，比如连续做多道菜，甚至根据之前的经验调整做法。这就像给机器人装上了“记忆芯片”，让它变得更聪明、更有耐心，能应对各种厨房挑战。
简单解释 像给14岁少年讲一样
想象你在玩一个需要记住很多步骤的游戏，比如搭积木。刚开始你只记得下一步要放哪个积木，但随着游戏变得复杂，你需要记住之前放的积木位置和顺序。普通机器人就像只看眼前的积木，不能记住之前的操作，所以只能做简单的搭建。而这个研究就像给机器人装上了“记忆宝盒”，让它可以记住之前所有的操作步骤。这样，机器人就能更聪明地完成复杂的搭积木任务，比如搭出高塔或复杂的城堡。研究发现，装上这个“记忆宝盒”的机器人，比普通机器人更快、更稳地完成任务，特别是在需要记住很多信息的情况下。未来，这样的技术还能帮机器人在工厂、医院等地方做更复杂的工作，让它们变得更聪明、更可靠！
原文摘要
Robotic manipulation policies have made rapid progress in recent years, yet most existing approaches give limited consideration to memory capabilities. Consequently, they struggle to solve tasks that require reasoning over historical observations and maintaining task-relevant information over time, which are common requirements in real-world manipulation scenarios. Although several memory-aware policies have been proposed, systematic evaluation of memory-dependent manipulation remains underexplored, and the relationship between architectural design choices and memory performance is still not well understood. To address this gap, we introduce RMBench, a simulation benchmark comprising 9 manipulation tasks that span multiple levels of memory complexity, enabling systematic evaluation of policy memory capabilities. We further propose Mem-0, a modular manipulation policy with explicit memory components designed to support controlled ablation studies. Through extensive simulation and real-world experiments, we identify memory-related limitations in existing policies and provide empirical insights into how architectural design choices influence memory performance. The website is available at https://rmbench.github.io/.