核心发现
方法论
BeT利用Transformer的序列预测能力，将连续动作离散化为类别，再通过偏移校正实现高维连续动作的多模态建模。核心包括动作聚类（k-means）、多任务学习（偏移预测）和残差校正。模型采用minGPT架构，输入观察序列，输出动作类别概率和偏移，训练时结合负对数似然和偏移损失。测试时采样类别后加偏移恢复连续动作，有效捕获数据中的多模态特性。
关键结果
- 在机器人操作和自动驾驶数据集上，BeT在多模态行为模拟中显著优于传统行为克隆方法，尤其在复杂环境中表现出更好的多模态覆盖能力。具体而言，在CARLA环境中成功率达98%，在多模态推推任务中成功率提升至99%，在厨房环境中完成任务比例达71%，均优于对比模型。 Ablation研究显示，动作离散化和偏移校正是性能提升的关键因素。
- 在多模态数据集上，BeT能有效捕获主要行为模式，避免模型崩溃或模式塌陷。实验中，BeT模型在不同环境中展现出多样化的行为生成能力，能够在连续rollout中表现出多样性和稳定性，验证其多模态建模优势。
- 通过消融实验，验证了动作离散化、偏移校正、历史信息和Transformer架构对模型性能的贡献。去除任何关键组件都导致性能显著下降，特别是在高维动作空间中，偏移校正和离散化的作用尤为突出。
研究意义
该研究突破了行为学习中多模态建模的瓶颈，利用Transformer架构实现连续动作的多模态预测，极大地丰富了离线行为克隆的表达能力。其在机器人和自动驾驶等复杂环境中的成功应用，为未来自主系统的多样化行为生成提供了理论基础和技术路径，有望推动智能体在真实世界中的广泛部署。
技术贡献
提出结合动作离散化和偏移校正的Transformer模型，解决连续多模态动作预测难题。创新点包括：1）利用k-means对连续动作进行离散化，简化多模态建模；2）引入偏移校正头，提升动作还原精度；3）采用多任务学习优化偏移和类别预测；4）在多环境中验证模型的多模态捕获能力。该方法突破了传统高维连续动作建模的限制，提供了高效、稳定的多模态行为学习框架。
新颖性
本工作首次将Transformer架构应用于多模态连续行为克隆，结合动作离散化与偏移校正，有效捕获数据中的多模态特性。不同于以往依赖复杂生成模型或高阶分布的工作，BeT通过类别离散化简化模型复杂度，创新性地实现了多模态连续动作的高效预测。这一方法为行为学习提供了新的思路，填补了多模态行为建模的空白。
局限性
- 模型依赖预先定义的离散类别数k，可能在极端多模态场景中表现不足，需动态调整或自适应离散化策略。
- 偏移校正头在高维动作空间中训练难度较大，可能引入误差，影响动作还原精度。
- 在极端复杂或噪声较多的数据集上，模型仍可能出现模式崩溃或覆盖不足的问题，需进一步增强鲁棒性。
未来方向
未来将探索自适应离散化策略，提升模型对极端多模态数据的表达能力。同时，结合强化学习优化偏移校正，增强模型的在线适应性。还计划扩展到多智能体协作和长序列行为生成，推动多模态行为学习在实际复杂任务中的应用落地。
AI 总览摘要
行为学习一直是人工智能中的核心难题之一，尤其是在复杂、多模态环境中。传统方法如行为克隆（Behavior Cloning）在单模态任务中表现良好，但面对人类行为的多样性和噪声时，往往难以捕捉所有行为模式。本文提出的行为变换器（BeT）创新性地结合Transformer架构、动作离散化和偏移校正，有效解决了连续多模态动作预测的难题。
BeT通过将连续动作离散化为类别，再利用偏移校正头恢复精细动作，成功捕获了数据中的多模态特性。模型在机器人操作、自动驾驶和厨房任务等多个复杂环境中进行验证，结果显示其在多模态行为模拟方面优于现有方法，成功率提升显著。例如，在CARLA自动驾驶环境中成功率达98%，在多模态推推任务中达99%，在厨房环境中任务完成率达71%。
实验还表明，动作离散化和偏移校正是模型性能的关键因素，缺一不可。通过消融分析，验证了模型的多模态表达能力和稳健性。该研究不仅丰富了行为学习的理论体系，也为自主系统在真实世界中的多样化行为生成提供了强有力的技术支持。
未来，作者计划优化离散化策略，增强模型的自适应能力，并扩展到多智能体和长序列任务中，推动多模态行为学习的广泛应用。这一工作为智能体自主学习提供了新思路，有望在机器人、自动驾驶、智能制造等领域引领新一轮技术革新。
深度分析
研究背景
行为学习作为强化学习和模仿学习的重要分支，经过多年的发展，已出现多种模型和算法。早期的行为克隆（Behavior Cloning）依赖监督学习，直接模仿专家演示，但难以应对多模态和噪声。近年来，深度生成模型如变分自编码器（VAE）和正则化流（Flow）被引入，用于建模复杂动作分布，但在高维连续空间中仍存在效率和准确性问题。Transformer架构因其强大的序列建模能力，逐渐被引入行为学习中，尤其在处理长序列和历史信息方面表现优异。尽管如此，如何在保持多模态表达的同时保证模型的稳定性和效率，仍是研究难点。本论文在此基础上提出创新方案，旨在突破现有技术瓶颈。
核心问题
当前行为克隆方法多假设数据为单模态专家演示，难以捕获人类行为中的多样性。实际场景中，示范数据常包含多模态行为，模型易陷入模式崩溃或覆盖不足的问题。此外，连续动作空间的高维性使得多模态建模复杂，传统方法难以高效实现。如何在保证模型表达能力的同时，兼顾训练效率和泛化能力，成为亟待解决的核心问题。
核心创新
本研究的创新点主要有：1）引入动作离散化，将连续动作划分为类别，简化多模态建模难题；2）设计偏移校正头，提升动作还原的细粒度精度；3）利用Transformer的序列预测能力，结合历史观察信息，提高模型的时序理解能力；4）在多环境中验证模型的多模态捕获和生成能力。这些创新共同推动了多模态行为学习的边界，解决了传统方法在复杂环境下表现不足的问题。
方法详解
- �� 数据准备：收集多模态演示数据，应用k-means对动作进行离散化，得到类别中心。• 模型架构：采用minGPT作为基础，输入观察序列，输出动作类别概率和偏移。• 训练过程：结合负对数似然损失和偏移回归损失，优化模型参数。• 采样策略：在测试时，先采样类别，再加偏移还原连续动作。• 多任务学习：同时优化类别预测和偏移校正，确保多模态表达和动作精度。• 评估指标：成功率、多模态覆盖度和行为多样性。
实验设计
在五个环境中验证：点状环境、CARLA自动驾驶、推推任务、厨房环境和多模态推推环境。采用多样化数据集，比较基线包括MLP、最近邻、VAE、Flow和IBC。指标包括成功率、任务完成率和多模态覆盖。通过消融实验验证关键组件的作用，调整离散类别数k，观察偏移校正和历史信息对性能的影响。
结果分析
BeT在所有环境中均优于传统行为克隆模型，特别在多模态任务中表现出色。成功率在CARLA达98%，推推任务99%，厨房环境71%。模型能捕获主要行为模式，避免模式塌陷。消融分析显示，离散化和偏移校正是性能提升的关键，缺一不可。模型在高维空间中依然保持良好表现，验证了其强大的多模态建模能力。
应用场景
该模型适用于机器人操作、自动驾驶、虚拟助手等场景，尤其在需要多样化行为生成和复杂环境适应性强的任务中。模型无需在线交互和奖励标签，便于利用大规模离线数据进行训练。未来可结合强化学习，进一步提升自主适应能力，推动智能系统的广泛应用。
局限与展望
模型依赖预定义的离散类别数，可能在极端多模态场景中表现不足。偏移校正头在高维空间训练难度较大，存在误差风险。复杂环境中噪声和数据偏差可能导致模式崩溃，需增强鲁棒性和自适应能力。未来需研究动态类别调整和更高效的偏移预测机制。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，手里拿着各种调料和工具。每次做菜，你可能会用不同的方法，比如炒、煮、烤，每种方法都对应不同的动作。现在，如果你想教别人怎么做菜，你可能会告诉他们多种不同的步骤，因为每个人的做法都不一样。行为变换器（BeT）就像是一个聪明的厨师，它可以学习这些不同的做法，并在需要时随机选择一种，甚至可以在每个步骤上微调，确保做出来的菜既符合多样性，又能达到预期效果。它用一种特别的“厨艺书”——Transformer，把所有的做法都记下来，然后根据不同的观察（比如食材状态），选择合适的动作。这让机器人或AI系统也能像人一样，灵活应对各种复杂场景，做出多样化的行为。
简单解释 像给14岁少年讲一样
想象你在学校里玩一个游戏，你可以用很多不同的方法完成任务，比如用不同的策略打篮球或者解决数学题。每次你做事情的方法都不一样，但你都达到了目标。现在，假如你要教一个机器人怎么做这些事情，你不能只告诉它一种方法，因为它可能会遇到不同的情况。这个时候，行为变换器（BeT）就像是一个超级聪明的老师，它可以学习很多不同的做法，然后根据场景随机选择一种，甚至在每一步都微调，让机器人学会像人一样灵活应对各种挑战。它用一种叫Transformer的“记忆本”，把所有的做法都记下来，然后根据当前的情况，选择最合适的动作。这样，机器人就能在复杂的环境中表现得像人一样多样又聪明！
原文摘要
While behavior learning has made impressive progress in recent times, it lags behind computer vision and natural language processing due to its inability to leverage large, human-generated datasets. Human behaviors have wide variance, multiple modes, and human demonstrations typically do not come with reward labels. These properties limit the applicability of current methods in Offline RL and Behavioral Cloning to learn from large, pre-collected datasets. In this work, we present Behavior Transformer (BeT), a new technique to model unlabeled demonstration data with multiple modes. BeT retrofits standard transformer architectures with action discretization coupled with a multi-task action correction inspired by offset prediction in object detection. This allows us to leverage the multi-modal modeling ability of modern transformers to predict multi-modal continuous actions. We experimentally evaluate BeT on a variety of robotic manipulation and self-driving behavior datasets. We show that BeT significantly improves over prior state-of-the-art work on solving demonstrated tasks while capturing the major modes present in the pre-collected datasets. Finally, through an extensive ablation study, we analyze the importance of every crucial component in BeT. Videos of behavior generated by BeT are available at https://notmahi.github.io/bet