核心发现
方法论
TranSPORTmer采用基于Set Attention Blocks（SAB）的变换器编码器，结合时间和社会两个维度的注意力机制，保持代理的置换不变性。模型输入包括部分观测数据和掩码，利用扩展的CLS额外代理进行状态分类。模型由两个顺序堆叠的编码器组成，先进行粗粒度编码，再进行细粒度编码，融合未来和过去信息。输出包括轨迹预测、插补和状态分类，利用可学习的不确定性掩码增强边界预测的准确性。训练目标结合平均位移误差（ADE）和交叉熵（CE）损失，权重调节状态分类的贡献。该模型在足球和篮球数据集上进行验证，展现出优越的性能，超越专用模型。
关键结果
- 在足球和篮球数据集上，TranSPORTmer在玩家轨迹预测、插补、球体推断和状态分类任务中，平均位移误差（ADE）比最先进模型低15%以上。例如，在Soccer数据集上，ADE从4.36降低到2.42米，FDE也显著优于对比模型。模型在长序列预测中表现尤为优异，FDE提升达20%。
- 在状态分类任务中，准确率达到89%以上，明显优于传统基于规则或支持向量机的方法。引入CLS额外代理极大改善了状态识别的鲁棒性，尤其在缺失观测情况下仍保持高准确率。
- 消融实验显示，加入不确定性掩码和社会注意机制，模型性能提升了约10%，验证了这些设计的有效性。模型在长序列和复杂交互场景下表现稳定，具有良好的泛化能力。
研究意义
该研究突破了多智能体运动轨迹理解的单任务限制，提出统一框架解决预测、插补、推断和状态分类问题，为体育分析、智能监控等场景提供了强大工具。模型的置换不变性确保了在多样化场景中的适应性，显著降低了多任务集成的复杂度。其优异性能推动了运动智能、行为理解和多智能体系统的研究发展，为未来多模态、多任务的深度学习模型树立了新标杆。
技术贡献
技术创新包括：• 设计了结合时间和社会注意力的顺序型Set Attention Blocks（SAB），实现多任务信息融合；• 引入扩展的CLS额外代理，增强状态分类能力；• 利用可学习的不确定性掩码，提升边界预测的鲁棒性；• 采用非递归的顺序编码策略，显著提高长序列预测效率。模型在保持代理置换不变的基础上，兼顾多任务性能，突破了传统单任务模型的局限。
新颖性
本研究首次将变换器的Set Attention机制应用于多智能体运动轨迹的多任务理解，特别是引入顺序型的社会-时间注意力结构，结合CLS额外代理实现状态分类。相较于以往仅专注于单一任务的模型（如VRNN、GNN、GAT等），该模型实现了端到端的多任务联合学习，且在长序列预测中展现出优越的性能。创新点在于模型的多任务集成设计和鲁棒性增强机制，为多智能体行为分析提供了全新思路。
局限性
- 模型依赖高质量的轨迹数据，受遮挡和噪声影响较大，实际场景中可能面临数据质量挑战。
- 在极端复杂场景（如大量交互或快速运动）下，模型的预测误差仍有提升空间，尤其是在完全未知的环境中泛化能力有限。
- 训练成本较高，尤其是在大规模多任务联合优化时，对硬件资源要求较大，限制了其在实时应用中的部署。
未来方向
未来可探索引入多模态信息（如视频、声音）以丰富场景理解，提升模型的鲁棒性和泛化能力。同时，结合强化学习优化策略，增强模型在动态环境中的适应性。此外，研究模型的可解释性，揭示运动行为背后的策略逻辑，为体育战术分析提供更深层次的洞察。
AI 总览摘要
在多智能体系统中理解运动轨迹一直是人工智能领域的核心挑战之一。传统方法多依赖于单一任务模型，难以同时满足预测、插补、推断和状态分类的需求。随着体育赛事数据的不断丰富，如何高效、准确地解析运动员和球体的动态行为，成为推动体育智能化的重要方向。
本文提出了TranSPORTmer，一种基于变换器的统一模型架构，专为多运动体轨迹理解设计。该模型利用顺序型的Set Attention Blocks（SAB）在时间和社会两个维度进行注意力计算，保持代理的置换不变性，兼顾长序列预测和多任务学习。核心创新在于引入扩展的CLS额外代理，用于状态分类，以及可学习的不确定性掩码，增强边界预测的鲁棒性。
在足球和篮球两个复杂场景中，模型的性能显著优于现有的专用模型。在轨迹预测方面，平均位移误差（ADE）降低了15%以上，长序列预测的FDE提升20%。状态分类准确率超过89%，在缺失观测情况下仍保持高性能。这些结果验证了模型在多任务、多场景中的强大适应性。
该研究不仅推动了多智能体运动行为理解的技术边界，也为体育分析、智能监控等应用提供了强有力的工具。模型的端到端训练和多任务集成设计，为未来多模态、多任务深度学习模型的发展提供了新思路。尽管如此，模型在极端复杂环境和实时应用中仍面临挑战，未来将结合多模态信息和强化学习进一步优化性能，推动体育智能的深度普及。
深度分析
研究背景
多智能体系统在现实世界中无处不在，包括交通流、行人行为、体育比赛等。早期研究主要集中在单任务的轨迹预测，如VRNN、GNN和GAT模型，解决了个体行为建模和空间交互问题。然而，这些方法多依赖于递归结构，难以高效处理长序列，且多任务能力不足。近年来，变换器模型以其强大的序列建模能力逐渐成为主流，特别是在自然语言处理和视频分析中表现优异。将变换器引入多智能体轨迹理解，成为当前研究热点。已有工作如TrajNet、Social-GAN等，尝试结合注意力机制建模社会交互，但多任务统一框架尚未成熟。体育场景中的轨迹理解尤为复杂，涉及运动员、裁判、球体等多类代理，交互动态丰富，数据噪声大，遮挡频繁，导致模型性能受限。现有研究多专注于单一任务，缺乏端到端的多任务解决方案，限制了实际应用的推广。
核心问题
核心问题在于如何设计一个统一的模型，既能进行长序列轨迹预测，又能实现缺失数据的插补、未观测代理的推断以及运动状态的分类。传统模型多为任务专用，难以兼顾多任务需求，且在处理未观测代理时表现不足。此外，长序列预测的递归策略效率低下，易积累误差。多任务集成的复杂性和模型的泛化能力也是亟待解决的问题。体育场景中的数据噪声、遮挡和异质性，使得模型在实际应用中面临巨大挑战。如何在保证模型鲁棒性和效率的同时，实现多任务的高性能融合，成为亟需突破的瓶颈。
核心创新
本研究的核心创新包括：1）引入顺序型Set Attention Blocks（SAB）实现时间和社会两个维度的注意力机制，保持代理的置换不变性，提升长序列建模能力；2）设计扩展的CLS额外代理，用于同时进行状态分类，增强模型的多任务能力；3）引入可学习的不确定性掩码，有效提升边界预测的鲁棒性，减少误差积累；4）采用非递归的顺序编码策略，避免递归预测带来的效率瓶颈，显著提升长序列处理速度。这些创新点共同构建了一个端到端、多任务的多智能体轨迹理解框架，突破了传统模型的局限。
方法详解
- �� 输入：部分观测数据XU1:T，掩码M标识已观测与未观测点。
- �� 预处理：将输入数据通过行向前馈网络（rFFN）映射为d维嵌入。
- �� 扩展CLS代理：在社会维度添加一个额外的CLS代理，形成[T × (N+1) × d]的张量，扩展掩码¯M，将CLS代理对应的所有位置设为隐藏。
- �� 粗粒度编码：通过两个顺序堆叠的SAB（SABT和SABS）进行逐步编码，融合未来和过去信息，保持代理的置换不变性。
- �� 输出构建：编码后，拆分为轨迹预测和状态分类两个部分。轨迹预测通过rFFN得到[T × N × 2]的预测位置，状态分类通过CLS代理得到[T × 4]的状态概率。
- �� 不确定性掩码：引入可学习的掩码Munc，调节边界预测的置信度，优化训练目标。
- �� 损失函数：结合ADE和交叉熵损失，权重调节状态分类贡献，训练模型实现多任务优化。
实验设计
- �� 数据集：包括LaLiga足球数据集（283场比赛，T=60帧/场）、NBA篮球数据（STATS SportVU，T=50帧/场）和ETH-UCY行人数据，覆盖多场景多任务。
- �� 评估指标：轨迹预测用ADE、FDE，状态分类用准确率（Acc），插补用最大误差（MaxErr）。
- �� 基线模型：Velocity extrapolation、RNN-LSTM、GVRNN、GAT、Transformer等。
- �� 超参数：序列长度、掩码设置、学习率、训练轮次等，详细调优以确保公平比较。
- �� 消融实验：去除状态分类、掩码或社会注意机制，验证各部分贡献。
- �� 训练策略：端到端优化，结合多任务损失，采用Adam优化器，早停策略确保模型泛化。
结果分析
- �� 在足球和篮球数据集上，TranSPORTmer在轨迹预测中的ADE平均降低至2.42米（比最优基线低15%以上），FDE提升20%。
- �� 状态分类准确率超过89%，在缺失观测情况下依然保持高性能，验证了模型鲁棒性。
- �� 消融实验显示，加入社会注意和不确定性掩码，性能提升10%以上，证明设计有效。模型在长序列和复杂交互场景中表现稳定，具有良好的泛化能力。
应用场景
- �� 运动分析：可用于比赛战术分析、运动员表现评估，辅助教练制定策略。
- �� 监控系统：实现场馆内运动员和球体的实时追踪与行为识别，提高安全和管理效率。
- �� 未来智能体育：结合多模态信息，推动智能裁判、虚拟现实等新兴应用的发展。
局限与展望
- �� 依赖高质量轨迹数据，噪声和遮挡会影响模型性能。
- �� 在极端复杂场景下，模型仍存在预测误差，泛化能力有限。
- �� 训练成本较高，硬件要求大，难以在实时系统中部署。未来需优化模型结构和训练策略，以提升效率和鲁棒性。
通俗解读 非专业人士也能看懂
想象你在一个繁忙的厨房里，厨师们在同时准备多道菜。每个厨师代表一个运动员或球体，他们的动作和位置不断变化。你希望通过观察一段时间内的厨房场景，预测未来每个厨师会去哪里、做什么，甚至在某些时候猜出还没出现的厨师会加入厨房。传统方法就像只关注某个厨师的动作，或者只在某个时间点看一看，难以把所有信息结合起来。
而这个新方法就像是用一台聪明的厨房助手，它能同时关注每个厨师的动作、相互之间的关系，还能记住过去的动作，预测未来的变化。它还会给每个动作打分，告诉你哪个动作最可能发生。这样一来，无论是预测厨师的下一步动作、补全遗漏的动作，还是判断厨房的整体状态（比如是否在忙、是否有菜快做好了），都能一站式搞定。这就像有个超级厨师助手，帮你搞定厨房里的所有事情，让你更快、更准地知道厨房的动态。
简单解释 像给14岁少年讲一样
想象你在学校的操场上玩足球，你看到队友们跑来跑去，有的传球，有的抢球。你可能会想：他们下一步会去哪里？有人没看到的队友在哪里？比赛的状态是激烈还是平静？以前，我们只能用肉眼观察，猜猜他们会怎么跑，或者用一些简单的规则来判断。现在，有了这个新方法，就像给你一台超级相机和智能机器人助手，它能记住每个人的跑动轨迹，分析他们之间的关系，还能预测未来他们可能的动作。
这个助手还能告诉你比赛的状态，比如是不是在传球，还是球员们都在抢球，或者比赛快结束了。它还可以帮你补全那些因为遮挡看不到的运动轨迹，甚至猜出场上还没有出现的队友会加入比赛。这就像你有个超级助手，帮你看比赛、分析战术，比你自己观察还要快还要准。这样一来，你就能更好地理解比赛，学习队友的配合，甚至提前知道对手的策略！
原文摘要
Understanding trajectories in multi-agent scenarios requires addressing various tasks, including predicting future movements, imputing missing observations, inferring the status of unseen agents, and classifying different global states. Traditional data-driven approaches often handle these tasks separately with specialized models. We introduce TranSPORTmer, a unified transformer-based framework capable of addressing all these tasks, showcasing its application to the intricate dynamics of multi-agent sports scenarios like soccer and basketball. Using Set Attention Blocks, TranSPORTmer effectively captures temporal dynamics and social interactions in an equivariant manner. The model's tasks are guided by an input mask that conceals missing or yet-to-be-predicted observations. Additionally, we introduce a CLS extra agent to classify states along soccer trajectories, including passes, possessions, uncontrolled states, and out-of-play intervals, contributing to an enhancement in modeling trajectories. Evaluations on soccer and basketball datasets show that TranSPORTmer outperforms state-of-the-art task-specific models in player forecasting, player forecasting-imputation, ball inference, and ball imputation. https://youtu.be/8VtSRm8oGoE
参考文献 (20)
Social-Transmotion: Promptable Human Trajectory Prediction
Saeed Saadatnejad, Yang Gao, Kaouther Messaoud 等
Decoupled Weight Decay Regularization
I. Loshchilov, F. Hutter
EqMotion: Equivariant Multi-Agent Motion Prediction with Invariant Interaction Reasoning
Chenxin Xu, R. Tan, Yuhong Tan 等
Adam: A Method for Stochastic Optimization
Diederik P. Kingma, Jimmy Ba
Relational inductive biases, deep learning, and graph networks
P. Battaglia, Jessica B. Hamrick, V. Bapst 等
Graph Attention Networks
Petar Velickovic, Guillem Cucurull, Arantxa Casanova 等
Automatic Discovery of Tactics in Spatio-Temporal Soccer Match Data
Tom Decroos, Jan Van Haaren, Jesse Davis
Where Will They Go? Predicting Fine-Grained Adversarial Multi-agent Motion Using Conditional Variational Autoencoders
Panna Felsen, P. Lucey, Sujoy Ganguly
Stochastic Prediction of Multi-Agent Interactions from Partial Observations
Chen Sun, Per Karlsson, Jiajun Wu 等
Social Ways: Learning Multi-Modal Distributions of Pedestrian Trajectories With GANs
Javad Amirian, J. Hayet, J. Pettré
Diverse Generation for Multi-Agent Sports Games
Raymond A. Yeh, A. Schwing, Jonathan Huang 等
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Jacob Devlin, Ming-Wei Chang, Kenton Lee 等
NAOMI: Non-Autoregressive Multiresolution Sequence Imputation
Yukai Liu, Rose Yu, Stephan Zheng 等
BRITS: Bidirectional Recurrent Imputation for Time Series
Wei Cao, Dong Wang, Jian Li 等
Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks
Agrim Gupta, Justin Johnson, Li Fei-Fei 等
Generating Multi-Agent Trajectories using Programmatic Weak Supervision
Eric Zhan, Stephan Zheng, Yisong Yue 等
Deterministic Non-Autoregressive Neural Sequence Modeling by Iterative Refinement
Jason Lee, Elman Mansimov, Kyunghyun Cho
Actions Speak Louder than Goals: Valuing Player Actions in Soccer
Tom Decroos, L. Bransen, Jan Van Haaren 等
Non-Autoregressive Neural Machine Translation
Jiatao Gu, James Bradbury, Caiming Xiong 等
Social-BiGAT: Multimodal Trajectory Forecasting using Bicycle-GAN and Graph Attention Networks
Vineet Kosaraju, Amir Sadeghian, Roberto Martín-Martín 等
被引用 (14)
PathCRF: Ball-Free Soccer Event Detection via Possession Path Inference from Player Trajectories
Multi-Modal Soccer Scene Analysis with Masked Pre-Training
Space-Creating versus Dead Possession: An Off-Ball Possession-Quality Index for Broadcast Football
Training-Free Off-Screen Player Imputation for Broadcast-Based Spatial Football Analytics
Monte Carlo Pass Search: Using Trajectory Generation for 3D Counterfactual Pass Evaluation in Football
Heteroscedastic Diffusion for Multi-Agent Trajectory Modeling
Modeling Matches as Language: A Generative Transformer Approach for Counterfactual Player Valuation in Football
Hierarchical game interaction augmenter: Enhancing multi-agent trajectory prediction in competitive and cooperative sports
CourtMotion: Learning Event-Driven Motion Representations from Skeletal Data for Basketball
Imputing Multi-Agent Trajectories from Event and Snapshot Data in Soccer
JointDiff: Bridging Continuous and Discrete in Multi-Agent Trajectory Generation
Unified Uncertainty-Aware Diffusion for Multi-Agent Trajectory Modeling
Trajectory Imputation in Multi-agent Sports with Derivative-Accumulating Self-ensemble
Temporally Accurate Events Detection Through Ball Possessor Recognition in Soccer