核心发现
方法论
CUBic采用三部分架构：单向感知聚合利用掩码注意力融合多视角信息，双向感知协调通过共享码本实现隐式交互，统一感知到控制的扩散策略将感知表示转化为同步动作。模型通过端到端训练，结构上实现感知与控制的自然协调，避免手工设计的耦合机制。具体算法包括基于DiT的扩散模型、向量量化（VQ）编码和多阶段训练策略，确保感知信息的稳定性与动作的同步性。
关键结果
- 在RoboTwin基准测试中，CUBic在协调准确率和任务成功率上均优于现有最先进方法，平均成功率提升12%，在复杂双臂操作中表现出色。
- 在单臂任务中，CUBic实现了更高的定位精度和抓取成功率，显示其感知融合能力；在双臂协作任务中，模型展现出优越的协调能力，显著减少误差和冲突。
- 消融实验验证了感知聚合、双向协调和扩散策略的各自贡献，整体架构的端到端训练极大提升了模型的泛化能力和鲁棒性。
研究意义
该研究突破了双臂视觉控制的结构瓶颈，将感知与控制融合在统一的表示空间中，解决了以往方法中依赖硬编码耦合或分离的矛盾。其创新的共享编码机制为机器人自主协作提供了新思路，有望推动工业自动化、复杂装配和人机协作等应用的发展，极大提升机器人在复杂环境中的适应性和效率。
技术贡献
提出基于共享码本的双臂感知表示，结合多视角感知聚合与双向协调机制，创新性地将感知与控制映射到统一的潜在空间。引入端到端扩散策略实现动作生成，打破了传统分离感知和控制的框架，为多臂机器人提供了更为自然和高效的协调方式。模型设计兼顾可解释性与泛化能力，为未来多模态机器人学习提供新范式。
新颖性
首次提出将双臂感知与控制统一建模为共享编码空间，通过双码本机制实现隐式交互，避免了以往方法中强耦合或完全分离的局限。这一创新架构在多视角感知融合和端到端动作生成方面具有开创性，为机器人多臂协调提供了全新解决方案。
局限性
- 模型对复杂环境中的遮挡和动态变化仍存在一定挑战，感知信息的鲁棒性有待提升。
- 训练过程依赖大量示范数据，计算成本较高，实际部署时需优化模型效率。
- 当前架构主要在模拟环境和有限真实场景验证，泛化到更复杂任务仍需进一步研究。
未来方向
未来将探索多模态感知融合、强化学习与自监督机制结合，提升模型在未知环境中的适应性。还将优化训练策略，降低数据和计算需求，扩展到更复杂的工业和服务机器人场景，推动多臂机器人自主协作的广泛应用。
AI 总览摘要
近年来，机器人视觉控制技术取得了显著进步，但多臂协作仍面临感知与动作协调的挑战。传统方法多采用硬编码耦合或分离感知策略，难以兼顾自主性与协调性。本文提出CUBic框架，通过共享编码机制，将双臂感知与控制统一建模，突破了以往的结构限制。
CUBic由三大核心组件组成：单向感知聚合利用掩码注意力融合多视角信息，确保局部感知的准确性；双向感知协调通过共享码本实现隐式交互，使两个臂在保持自主性的同时实现协调；感知到控制的扩散策略将感知表示转化为同步动作，确保动作的物理一致性。模型在端到端训练中，结构上实现了感知与控制的自然融合，无需手工设计的耦合机制。
在RoboTwin基准测试中，CUBic显著优于现有方法，平均成功率提升12%，在复杂双臂操作中表现尤为突出。实验还验证了各个模块的贡献，显示其在精确感知和协调任务中的优越性。这一创新架构不仅提升了机器人自主协作能力，也为未来多模态、多臂机器人系统提供了理论基础。
总之，CUBic通过引入共享潜在空间，成功解决了多臂感知与控制的矛盾，为机器人智能化迈出了重要一步。未来，结合强化学习和多模态感知，将进一步推动机器人在工业、医疗和服务领域的广泛应用。
深度分析
研究背景
机器人视觉控制技术经历了从基于特征的手工设计到深度学习的快速发展。早期方法如模仿学习和强化学习逐步提升了自主能力，但多臂协作仍受限于感知融合和动作协调的复杂性。近年来，端到端学习框架如Diffusion Policy和VQ-VAE在单臂任务中表现优异，但在多臂场景中，感知与控制的耦合问题依然突出。传统方法多采用硬编码的角色划分或信息交换机制，导致系统缺乏灵活性和鲁棒性。随着多模态感知和表示学习的发展，研究逐渐转向利用共享编码空间实现多臂感知与动作的自然融合，但缺乏统一的理论框架。本文提出的CUBic正是在此背景下，结合多视角感知融合、隐式交互机制和扩散模型，推动多臂机器人自主协作迈向新阶段。
核心问题
多臂机器人在视觉感知和动作控制中面临两个核心难题：一是如何实现多视角信息的有效融合，保证局部感知的准确性；二是如何在保持各臂自主性的基础上，实现高效的协调。现有方法要么过度分离感知与控制，导致协调困难，要么强制耦合，牺牲自主性。这些问题限制了多臂机器人在复杂环境中的应用。尤其是在动态变化和遮挡条件下，感知信息的鲁棒性不足，导致动作不准确或冲突。解决这些瓶颈，需在感知表示和动作生成机制上进行创新，建立一种既能保持局部自主，又能实现全局协调的统一模型。
核心创新
本研究提出的核心创新包括：1）共享编码空间，通过双码本机制实现感知与动作的隐式交互，避免硬编码耦合；2）多视角感知融合，利用掩码注意力机制实现局部信息的有效整合；3）端到端扩散策略，将感知表示直接映射到同步动作，提升动作的物理一致性。这些创新点解决了传统方法中感知融合不充分和协调机制不灵活的问题，为多臂机器人提供了更自然、更高效的协作方式。特别是共享码本机制，首次将多臂感知与控制统一建模，突破了以往的结构限制。
方法详解
- �� 单向感知聚合：利用ResNet-18提取多视角图像特征，通过MLP投影到统一空间，采用掩码注意力Transformer实现局部感知融合。• 双向感知协调：将感知特征量化为两个共享码本中的离散码，利用双码本机制实现隐式交互，保持臂的自主性。• 扩散策略：基于DiT架构，将感知到的潜在表示输入扩散模型，通过交叉注意力生成同步动作序列。• 训练策略：采用两阶段训练，第一阶段单臂预训练，第二阶段冻结感知模块，训练双臂协调能力。• 损失函数：结合扩散模型的噪声重建损失和向量量化的重构损失，确保感知与动作的稳定性和一致性。
实验设计
在RoboTwin基准上，模型与Diffusion Policy、3D Diffusion Policy等多种方法对比，评估指标包括成功率、协调精度。采用多场景、多任务设置，验证模型在单臂定位、双臂协作、复杂操作中的表现。通过消融实验分析感知融合、双向协调和扩散策略的贡献。模型在复杂操作中成功率平均提升12%，显著优于对比方法，验证其泛化能力和鲁棒性。
结果分析
CUBic在RoboTwin测试中，平均成功率达51.8%，优于基线的38.5%（DP）和39.8%（DP3）。在复杂任务如双瓶堆叠和苹果拾取中表现尤为突出，成功率分别提升了约10-15%。消融实验显示，去除共享码本或双向协调会导致性能下降，验证了架构设计的有效性。模型还展现出良好的泛化能力，在真实环境中保持高效表现。
应用场景
该技术适用于工业装配、仓储物流、协作机器人等场景，能实现高效的多臂操作和精确感知。依赖多视角感知和端到端训练，适合自动化生产线和复杂任务环境。未来结合强化学习，将进一步提升自主适应能力，推动机器人在更广泛的应用中实现自主协作。
局限与展望
模型对遮挡和动态环境的鲁棒性仍需提升，训练成本较高，依赖大量示范数据。在极端复杂场景下，感知信息可能出现失真，影响动作协调。未来需优化模型结构和训练策略，以增强泛化能力和实际部署效率。
通俗解读 非专业人士也能看懂
想象一个厨房里有两个厨师同时做菜。每个厨师都需要知道自己手里的材料和位置，同时还要知道另一个厨师的动作，以免碰撞或重复工作。传统方法要么让两个厨师完全独立，各做各的，要么让他们紧密合作，彼此依赖。CUBic就像给两个厨师配备了一个共同的菜单和秘密信号系统，让他们既能自己专注，又能默契配合。它用一种特殊的“语言”让两个厨师在不打扰对方的情况下，知道彼此的动作和位置，从而一起高效完成菜肴。这种方法让厨房里的合作变得更自然、更顺畅，也更智能。
简单解释 像给14岁少年讲一样
想象你和朋友在玩一款合作游戏。你们都要完成任务，但不能一直盯着对方看，否则会打扰。你们需要一种秘密的信号或暗示，让对方知道你的动作，同时自己也能理解对方在做什么。CUBic就像给机器人配备了这种秘密信号系统，让两个机械手可以同时做事，又不会撞到一起。它用一种特别的“语言”把两个机械手的动作和感知信息放在一起，让它们既能自己做事，又能配合得很好。这样，机器人就能像两个默契的厨师一样，合作完成复杂的任务，不仅效率高，还很稳当。
术语表
扩散模型 (Diffusion Model)
一种通过逐步添加噪声再逆向去噪实现数据生成的概率模型，广泛用于图像和动作生成。
在本文中用于生成同步的双臂动作序列。
向量量化 (VQ)
将连续潜在空间离散化为有限的码本索引，便于表示和学习。
用于感知和动作潜在表示的编码。
共享码本 (Shared Codebook)
两个或多个模态共享的离散表示空间，用于实现隐式交互和信息融合。
实现双臂感知与控制的协调。
端到端训练 (End-to-End Training)
从输入到输出全部由单一模型学习，无需中间手工设计。
确保感知与控制的自然融合。
多视角感知 (Multi-view Perception)
利用多个视角获取环境信息，增强感知的全面性和鲁棒性。
模型的感知输入来源。
开放问题 这项研究留下的未解疑问
- 1 如何在更复杂、动态环境中保持感知的鲁棒性仍未解决，模型在遮挡和快速变化场景下表现不足。
- 2 多模态融合的效率和泛化能力有待提升，尤其是在有限数据条件下的表现。
应用场景
近期应用
工业装配线
实现多臂机器人高效协作，提升装配速度和精度，适用于汽车制造、电子装配等行业。
远期愿景
自主协作机器人
未来机器人能自主学习和适应复杂环境，实现更智能的工业、医疗和服务应用，减少人工干预。
原文摘要
Recent advances in visuomotor policy learning have enabled robots to perform control directly from visual inputs. Yet, extending such end-to-end learning from single-arm to bimanual manipulation remains challenging due to the need for both independent perception and coordinated interaction between arms. Existing methods typically favor one side -- either decoupling the two arms to avoid interference or enforcing strong cross-arm coupling for coordination -- thus lacking a unified treatment. We propose CUBic, a Coordinated and Unified framework for Bimanual perception and control that reformulates bimanual coordination as a unified perceptual modeling problem. CUBic learns a shared tokenized representation bridging perception and control, where independence and coordination emerge intrinsically from structure rather than from hand-crafted coupling. Our approach integrates three components: unidirectional perception aggregation, bidirectional perception coordination through two codebooks with shared mapping, and a unified perception-to-control diffusion policy. Extensive experiments on the RoboTwin benchmark show that CUBic consistently surpasses standard baselines, achieving marked improvements in coordination accuracy and task success rates over state-of-the-art visuomotor baselines.