核心发现
方法论
本文提出基于EgoScaler框架，从四个大型自我视频数据集中自动提取物体操控轨迹，无需辅助标注。通过自动去噪和补全，构建了规模达45,157集的预训练数据集。采用π0架构，在模拟和真实机器人环境中验证，结果显示预训练提升任务成功率超过20%，与真实机器人数据表现相当，结合两者效果更佳。
关键结果
- 预训练模型在多项操作任务中成功率提升超过20%，显著优于从零开始训练，且与使用真实机器人数据的模型性能相当。
- 新数据集在模拟和真实环境中均表现优异，特别是在复杂操作任务中优于传统方法，结合真实数据后效果进一步提升。
- 自动轨迹提取和数据筛选方法有效保证了数据质量，验证了无标注自我视频在机器人预训练中的潜力。
研究意义
该研究突破了机器人视觉-语言模型训练对昂贵标注的依赖，利用普遍可得的自我视频资源实现大规模预训练，为机器人自主学习提供了可扩展、低成本的解决方案。这不仅推动了机器人自主操作的研究，也为未来多模态学习提供了新思路。
技术贡献
提出无需辅助标注的轨迹自动提取方法，结合多源自我视频构建大规模预训练数据集，显著提升模型在复杂环境中的泛化能力。采用EgoScaler框架，结合自动筛选策略，有效保证数据质量，为机器人学习提供了新的数据采集范式。
新颖性
首次实现从纯自我视频中自动提取高质量物体操控轨迹，突破了依赖密集手势标注的限制，显著扩展了机器人预训练数据的规模和多样性，推动了无标注学习的应用前沿。
局限性
- 轨迹提取在复杂背景和遮挡场景下仍存在误差，影响数据质量和模型性能。
- 模型在极端环境或未见场景中的泛化能力仍需验证，未来需结合多模态信息提升鲁棒性。
- 自动筛选策略可能遗漏部分有效轨迹，影响数据多样性和模型效果。
未来方向
未来将结合多模态信息（如深度、手势）优化轨迹提取，探索更强的无标注学习机制，扩展到更多复杂任务和环境，推动机器人自主学习的规模化和普适化。
AI 总览摘要
本研究提出一种创新的方法，利用EgoScaler框架从无标注的自我视频中自动提取物体操控轨迹，为机器人视觉-语言模型的预训练提供大规模数据资源。传统方法依赖昂贵的手势标注和专家操作，限制了数据规模和多样性。本文通过自动识别动作起止点、提取物体位置变化、进行点云配准和旋转计算，成功从四个不同的自我视频数据集中获得了超过4.5万条高质量轨迹。经过筛选和去噪后，构建了规模庞大且多样的预训练数据集。采用先进的π0架构，在模拟和实际机器人环境中验证，结果显示预训练模型在多项操作任务中成功率提升超过20%，与使用真实机器人数据的模型表现相当，结合两者效果更佳。这一方案突破了以往依赖密集标注的局限，为机器人自主学习提供了低成本、可扩展的途径。研究强调，利用普遍可得的自我视频资源，不仅提升了数据获取效率，也推动了多模态机器人学习的未来发展。未来工作将结合多源信息，优化轨迹提取算法，扩展到更复杂场景，推动机器人自主操作的广泛应用。
深度分析
研究背景
机器人学习近年来快速发展，尤其是在视觉-语言模型（VLA）方面，旨在让机器人理解自然语言指令并自主完成任务。早期研究多依赖专家操控的仿真或实物机器人数据，成本高且难以扩展。近年来，利用人类日常视频（egocentric videos）作为数据源成为研究热点，因其丰富的手部动作和交互信息。已有研究如EgoVLA和EgoMimic利用手势和动作标注提升模型性能，但依赖昂贵的硬件和密集标注，限制了数据规模。与此同时，自动提取动作轨迹的技术逐渐成熟，但在复杂环境中的准确性仍待提升。本研究旨在突破标注瓶颈，利用无标注自我视频自动构建大规模训练集，推动机器人自主学习的普及。
核心问题
现有方法依赖密集手势和动作标注，成本高昂且难以大规模推广。自我视频虽丰富，但缺乏明确的动作轨迹信息，限制了其在机器人学习中的应用。如何自动从无标注视频中提取高质量的操控轨迹，成为关键难题。解决此问题对于降低数据采集成本、提升模型泛化能力具有重要意义，但在复杂背景、遮挡和多样场景中，轨迹提取的准确性和鲁棒性仍面临挑战。
核心创新
本研究提出基于EgoScaler的自动轨迹提取方法，结合多源自我视频数据，自动识别动作起止点、提取物体位置变化、进行点云配准和旋转计算，生成高质量的6DoF轨迹。无需手动标注，极大扩展了数据规模。通过自动筛选和去噪，确保数据质量。采用π0架构，在模拟和真实环境中验证，显著提升任务成功率。该方法突破了传统依赖密集标注的限制，为机器人自主学习提供了新范式。
方法详解
- �� 采集四个大型自我视频数据集（Ego4D、Ego-Exo4D、HDEPIC、Nymeria），每个包含丰富的日常活动场景。
- �� 使用GPT-4o识别动作起止时间和操控对象。
- �� 利用开源分割模型和点云追踪器提取物体位置序列。
- �� 通过点云配准将序列投影到起始帧坐标系，消除摄像头运动。
- �� 计算连续帧之间的变换，获得旋转序列，最终合成为6DoF轨迹。
- �� 自动筛选噪声轨迹，基于距离变化和背景相似性阈值剔除异常数据。
- �� 构建包含图像、文本指令和轨迹的多模态数据集，用于预训练π0模型。
- �� 在模拟和真实机器人环境中验证预训练效果，通过成功率和任务完成度进行评估。
实验设计
采用模拟环境（SIMPLER BridgeData V2）和真实机器人（ALOHA）进行验证。在模拟中，训练基于预训练模型和从零训练对比，评估成功率。真实环境中，设计四个指令任务，收集800个样本，进行成功率统计。超参数包括批次大小、学习率和筛选阈值。通过 ablation 研究验证数据规模和筛选策略对模型性能的影响，确保方法的稳健性。
结果分析
预训练模型在多项任务中成功率提升超过20%，优于从零训练，且与使用真实机器人数据的模型表现相当。自动提取的轨迹质量高，结合筛选策略后，数据噪声降低，模型泛化能力增强。融合多源数据后，性能进一步提升，验证了方法的有效性。对比传统标注方法，显著降低成本，扩展了数据规模，为机器人自主学习提供新路径。
应用场景
该方法可广泛应用于机器人自主操作、工业自动化、家庭服务等场景。利用自我视频实现低成本大规模数据采集，支持多模态学习和指令理解。未来可结合深度信息和手势数据，提升复杂任务的执行能力，推动机器人在多变环境中的自主适应。
局限与展望
轨迹提取在遮挡和复杂背景下仍存在误差，影响模型性能。模型在极端或未见场景中的泛化能力有限，需结合多模态信息增强鲁棒性。自动筛选策略可能遗漏部分有效轨迹，影响数据多样性。未来需优化算法，提高提取精度，扩展到更复杂的任务和环境。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，手里拿着锅铲，按照食谱一步步操作。以前，教机器人做饭需要你用特殊的相机和标记每个动作，既麻烦又费钱。现在，我们用普通的自拍视频，机器人可以自己观察你做饭的全过程，从中学会如何操作。就像看视频学做菜一样，机器人通过自动分析视频中的物体移动，学习到如何拿起、放下、旋转这些动作。这样，机器人就能更快、更便宜地学会新技能，不再依赖昂贵的硬件或繁琐的标注。这项技术让机器人变得更聪明，也更容易推广到家庭和工厂中，帮助人们完成各种任务。
简单解释 像给14岁少年讲一样
想象你在家里帮妈妈做饭，你看着视频学习怎么切菜、炒菜。以前，要教机器人学这些动作，得用特殊的相机和手工标记每个动作，既麻烦又贵。现在，科学家用普通的手机视频，让机器人自己看视频，学会了这些动作。就像你看YouTube学做菜一样，机器人通过分析视频中的物体移动，知道什么时候拿起菜刀，什么时候放到锅里。这种方法不用花很多钱，也不用人工标记，就能让机器人学会很多技能。未来，机器人可以更快学会新东西，帮我们做家务、工作，变得更聪明、更贴心。
原文摘要
Egocentric videos capture how humans manipulate objects and tools, providing diverse motion cues for learning object manipulation. Unlike the costly, expert-driven manual teleoperation commonly used in training Vision-Language-Action models (VLAs), egocentric videos offer a scalable alternative. However, prior studies that leverage such videos for training robot policies typically rely on auxiliary annotations, such as detailed hand-pose recordings. Consequently, it remains unclear whether VLAs can be trained directly from raw egocentric videos. In this work, we address this challenge by leveraging EgoScaler, a framework that extracts 6DoF object manipulation trajectories from egocentric videos without requiring auxiliary recordings. We apply EgoScaler to four large-scale egocentric video datasets and automatically refine noisy or incomplete trajectories, thereby constructing a new large-scale dataset for VLA pre-training. Our experiments with a state-of-the-art $π_0$ architecture in both simulated and real-robot environments yield three key findings: (i) pre-training on our dataset improves task success rates by over 20\% compared to training from scratch, (ii) the performance is competitive with that achieved using real-robot datasets, and (iii) combining our dataset with real-robot data yields further improvements. These results demonstrate that egocentric videos constitute a promising and scalable resource for advancing VLA research.