HumanScale: Egocentric Human Video Can Outperform Real-Robot Data for Embodied Pretraining
本研究提出利用自我中心人类视频作为预训练数据源，超越机器人轨迹，提升机器人任务泛化能力。
核心发现
方法论
采用基于Mixture-of-Transformers（MoT）的自回归模型，比较自我中心视频与机器人轨迹在相同规模（5000小时）下的预训练效果。通过过滤和伪标签流程处理视频数据，确保多样性和质量。模型在机器人任务上的后训练采用相同数据集，评估其在已知和未知任务中的表现。研究重点在于验证自我中心视频在规模扩展时的表现，以及其在泛化和实际应用中的优势。
关键结果
- 在相同预训练数据规模下，基于自我中心视频的模型在机器人动作预测验证损失上比机器人轨迹低24%，表现更优。特别是在未见任务（out-of-distribution）中，成功率提升至90%，远超机器人轨迹的52.5%，显示出更强的泛化能力。
- 随着预训练数据的增加（从100小时到5000小时），自我中心视频的验证损失持续下降，呈现出良好的规模效应，说明其潜力未被充分挖掘。相较之下，机器人轨迹的性能趋于饱和，难以实现进一步提升。
- 在实际机器人任务中，使用自我中心预训练的模型在面对新环境和未见物体时表现出更高的成功率，验证了其在开放世界中的适应性和鲁棒性。
研究意义
该研究突破了机器人预训练数据的传统限制，证明自我中心人类视频可以作为高效、低成本且多样化的预训练资源，显著提升机器人在复杂环境中的泛化能力。这为机器人自主学习提供了新的思路，有望推动机器人技术向更大规模、多样化应用场景扩展，降低数据采集成本，促进机器人智能的普及和实用化。
技术贡献
提出基于Mixture-of-Transformers的预训练框架，有效融合视频动态预测与动作推断。创新性在于利用伪标签和过滤流程提升视频数据质量，突破了机器人轨迹数据在规模和多样性上的限制。模型在多任务、多环境下展现出优越的泛化能力，为未来大规模预训练提供了技术基础。
新颖性
首次系统性比较自我中心人类视频与机器人轨迹在相同规模下的预训练效果，验证了前者在规模扩展和泛化方面的优势。创新点在于利用伪标签提升视频数据的动作信息，打破了传统对机器人动作数据的依赖，开辟了低成本大规模预训练的新路径。
局限性
- 当前模型仍依赖伪标签和过滤流程，可能引入噪声，影响预训练效果。未来需优化标签生成和过滤机制以提升数据质量。
- 自我中心视频在动作精确性和机器人动作空间的对齐方面仍存在差距，后续需结合少量真实机器人数据进行微调。
- 实验主要在模拟环境和有限任务集上验证，实际复杂场景中的泛化能力仍需进一步验证。
未来方向
未来将探索多模态数据融合，提升预训练模型的动作理解能力；同时，结合少量真实机器人数据进行微调，增强模型的动作空间对齐。还计划扩展到多任务、多机器人系统，验证其在工业、服务等实际应用中的效果。
AI 总览摘要
机器人自主学习的核心瓶颈在于高质量、多样化数据的获取。传统的机器人轨迹数据虽精确，但成本高昂，难以大规模扩展。近年来，随着大规模预训练模型的兴起，如何利用低成本、多样化的数据源成为研究热点。本研究提出利用自我中心人类视频作为预训练数据，挑战机器人轨迹的垄断地位。
通过构建基于Mixture-of-Transformers的自回归模型，结合伪标签和过滤流程，有效提升视频数据的质量和多样性。实验结果显示，在相同数据规模下，模型在机器人动作预测和任务成功率方面均优于传统机器人轨迹预训练，尤其在未见任务中的泛化能力显著增强。
这一发现为机器人预训练提供了全新思路：利用易获取的自我中心视频，学习丰富的世界表征，然后通过少量真实机器人数据进行微调，实现高效、低成本的泛化能力提升。未来，结合多模态信息和多任务场景，有望推动机器人自主学习迈向更大规模、更复杂的应用场景，降低成本，提升实用性。
深度分析
研究背景
机器人学习近年来经历了从模仿学习到深度强化学习的演变，代表性工作如DeepMind的DQN、OpenAI的GPT系列，以及视觉-动作联合预训练模型。传统方法依赖高成本的机器人轨迹数据，虽然精确但受限于环境和任务的多样性。近年来，利用互联网视频、第三人称视角和模拟数据进行预训练，逐渐展现出提升泛化能力的潜力，但在实际机器人任务中的效果仍有限。如何在保证数据质量的同时，扩大数据规模，成为当前研究的核心难题。
核心问题
现有机器人预训练主要依赖昂贵的机器人轨迹，难以实现大规模、多样化。机器人数据的采集成本高、环境受限，导致模型泛化能力不足，特别是在面对未见任务和新环境时表现不佳。如何利用低成本、多样化的自我中心人类视频替代机器人轨迹，成为亟待解决的问题。这涉及数据的多样性、标签的准确性以及模型的泛化能力等多个方面的挑战。
核心创新
本研究的创新在于提出基于Mixture-of-Transformers的预训练框架，结合伪标签和过滤流程，有效提升人类视频的动作信息质量。首次系统性比较自我中心视频与机器人轨迹在相同规模下的预训练效果，验证了前者在规模扩展和泛化方面的优势。通过低成本获取大量多样化数据，突破了传统机器人数据的局限，为机器人自主学习提供了新路径。
方法详解
- �� 构建预训练数据集：从HumanNet中筛选5000小时多样化的自我中心视频，利用手势伪标签提取动作信息。• 采用Mixture-of-Transformers模型，结合视频动态预测与动作推断。• 伪标签生成：通过手势追踪和动作重定向，获得动作标签。• 过滤流程：筛除低质量或重复数据，确保数据多样性。• 预训练：在大规模视频上训练模型，学习丰富的世界表征。• 后训练：在有限真实机器人任务上微调，提升动作空间对齐。• 评估：在已知和未知任务中评估模型性能，包括验证损失和实际机器人成功率。
实验设计
采用5000小时自我中心视频与机器人轨迹数据，预训练模型后在AgiBot平台进行微调。设计包括在不同任务和环境中的验证，比较在已知和未知任务中的表现。关键指标为动作预测验证损失和成功率，结合不同数据规模进行分析。还进行消融实验，验证伪标签和过滤流程的效果。实验结果显示，自我中心视频在规模扩展时持续提升性能，优于机器人轨迹，特别是在泛化能力方面。
结果分析
模型在相同规模下，自我中心视频预训练使验证损失降低24%，未见任务成功率提升至90%，显著优于机器人轨迹的52.5%。验证了视频数据在规模扩大时的持续增长潜力。实验还表明，随着数据量增加，模型在未见任务中的表现持续改善，显示出良好的规模效应和泛化能力。这些结果验证了自我中心视频作为预训练资源的有效性，为未来大规模机器人学习提供了新思路。
应用场景
该方法可广泛应用于服务机器人、工业自动化和家庭助手等场景，利用低成本视频数据实现高效预训练，减少对昂贵机器人数据的依赖。未来还可结合多模态信息，提升机器人在复杂环境中的自主学习和适应能力，推动机器人技术的普及。
局限与展望
当前模型依赖伪标签，可能引入噪声影响性能。数据的多样性虽高，但在极端环境或复杂任务中仍存在不足。实际应用中，模型对动作空间的对齐和精确性仍需优化，未来需结合少量真实数据进行微调，提升泛化和鲁棒性。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭，平时你会用不同的食材和工具，做出各种菜肴。传统上，机器人学习做饭需要你用专门的机器人手臂反复练习，每次都很贵、很慢。而现在，研究发现，只要看大量人类做饭的视频，学习他们的动作和操作，就能让机器人学会做饭。这就像你通过看别人做菜的视频，学会了很多技巧，然后用少量实际操作就能掌握。这样，机器人不用花大价钱去采集每个动作，只要看视频，就能学到丰富的技能。这个方法不仅省钱，还能让机器人学得更聪明、更灵活，就像你在厨房里变得越来越厉害一样。
简单解释 像给14岁少年讲一样
你知道吗？以前让机器人学会做事情，比如拿东西、拼装玩具，要让它反复练习，花很多钱和时间。而现在，科学家们发现，只要让机器人看很多人做事情的视频，它就能学会很多动作。就像你看YouTube上的烹饪视频，学会了很多厨艺，然后自己试着做。这样，机器人不用每次都用昂贵的设备练习，只要看视频，就能学到很多技能。而且，它还能学会新东西，比如新玩具或新游戏，因为它看了很多不同的场景。这个发现让机器人变得更聪明、更便宜，也更能帮我们做各种事情。
原文摘要
Embodied foundation models are expected to benefit from data scaling like large language models, but face a much tighter data bottleneck. Teleoperated real-robot trajectories remain the dominant pretraining source due to their precise action supervision and embodiment alignment, yet their scalability is limited by high collection cost, acquisition difficulty, and low behavioral and environmental diversity. These limitations have sparked interest in egocentric human video as a scalable, substantially lower-cost, and more diverse alternative for embodied model pretraining. However, its effectiveness compared to teleoperated real-robot data remains underexplored. To address this question, we conduct a systematic study comparing egocentric human video and teleoperated real-robot trajectories as pretraining data sources for embodied foundation models, under fixed post-training and validation protocols. Surprisingly, we find that egocentric data, when processed through a carefully designed filtering and labeling pipeline, is not merely a viable substitute for model pretraining but can lead to superior performance. With the same amount of pretraining data, models pretrained on egocentric data achieve a 24% lower validation loss on real-robot action prediction, as well as 52.5% and 90% higher success rates on in-distribution and out-of-distribution real-robot task execution, respectively. This finding verifies a scalable paradigm for embodied foundation models: pretrain on egocentric human video to learn diverse world representations, then adapt with a small amount of labeled real-robot data for action-space alignment. We hope this study encourages broader exploration of egocentric data and offers guidance for data quality assessment before costly robot data collection.