核心发现
方法论
TrackVLA采用共享大语言模型（如Vicuna-7B）为核心架构，结合视觉编码（EVA-CLIP）提取多尺度视觉特征，利用跨模态投影器将视觉特征映射到语言模型空间。识别任务通过语言模型头输出文本描述，轨迹规划则采用基于锚点的扩散模型（Diffusion Transformer）生成路径。训练过程中，融合855K识别样本与855K跟踪样本，优化目标包括文本预测和轨迹回归，确保识别与规划的紧密结合。模型在合成和真实场景中均表现出优异的零样本泛化能力。
关键结果
- 在Gym-UnrealCV基准中，TrackVLA在零样本条件下成功追踪目标，成功率（SR）达100%，明显优于传统检测+规划方法（如DiMP、SARL），提升超过12%。在自主构建的EVT-Bench中，三类任务（单目标、干扰、多目标）均实现超越SOTA的性能，成功率提升至81%，追踪误差显著降低。
- 在开放场景识别任务中，TrackVLA识别准确率达80.7%，FPS达10，比GPT-4o等基线快百倍，验证了模型在复杂环境中的鲁棒性。模型还展现出强大的跨域迁移能力，适应不同场景和目标类型。
- 消融实验表明，视觉尺度的多层次融合和锚点扩散策略是性能提升的关键，单独使用视觉或文本模块难以达到同样效果。
研究意义
该研究突破了传统模块化的识别与规划分离方式，实现端到端的紧密结合，极大提升Embodied AI在动态复杂环境中的目标追踪能力。模型的零样本泛化能力为机器人自主导航、智能监控等应用提供了理论基础和技术支撑，有望推动智能机器人向更高的自主性和鲁棒性发展。
技术贡献
提出基于共享大语言模型的VLA架构，融合视觉特征与文本信息，创新性引入锚点扩散模型进行轨迹生成，显著提升追踪的连续性和稳定性。训练数据集规模达170万，涵盖多样场景与难度，丰富了Embodied视觉追踪的训练资源。模型在合成与真实环境中均实现SOTA性能，展现出优异的跨域泛化能力。
新颖性
首次将大规模多模态数据与扩散模型结合，提出端到端的VLA架构实现目标识别与轨迹规划的深度融合。区别于传统分离式方法，强调模型内部的认知与运动决策协同，突破了以往多模态追踪在复杂环境中的局限。
局限性
- 模型在极端遮挡或目标快速变化时仍存在误识别或轨迹偏差，说明对动态变化的适应性有待提升。
- 训练依赖大量高质量模拟数据，实际部署时可能面临域差异问题。
- 推理速度虽达10FPS，但在超大规模场景中仍需优化以满足实时需求。
未来方向
未来将探索多模态融合的自适应机制，增强模型对极端遮挡和复杂动态的鲁棒性。同时，计划引入在线学习与自我监督策略，提升模型在真实环境中的适应能力。还将优化推理效率，推动模型在低算力平台上的应用，拓展其在机器人自主导航和智能监控中的实际部署。
AI 总览摘要
在智能机器人和自动化系统中，目标追踪一直是核心难题。传统方法多依赖模块化设计，将目标识别与路径规划拆分，导致误差累积和泛化能力不足。为解决这一难题，Wang等人提出了TrackVLA，一种基于大规模多模态数据训练的端到端视觉-语言-行动（VLA）模型。该模型融合了预训练视觉编码器（如EVA-CLIP）和共享大语言模型（如Vicuna-7B），实现对目标的识别与轨迹的规划同步进行。创新之处在于引入锚点扩散模型（Diffusion Transformer）进行路径生成，结合多尺度视觉特征，增强模型在复杂环境中的连续追踪能力。训练数据集规模达到170万样本，涵盖多样场景和难度，显著提升模型的泛化能力。实验证明，TrackVLA在多个公开基准和自建场景中均优于现有SOTA方法，零样本条件下成功率达100%，追踪误差大幅降低，实时推理速度达10FPS。该研究不仅推动了Embodied AI在动态环境中的目标追踪技术，也为机器人自主导航、智能监控等应用提供了坚实基础。未来，团队计划增强模型对遮挡和动态变化的适应性，优化推理效率，推动其在实际场景中的部署，开启智能自主系统的新篇章。
深度分析
研究背景
Embodied视觉追踪作为机器人自主导航和监控的核心技术，经历了从传统视觉检测到深度学习的快速发展。早期方法多依赖目标检测器（如Faster R-CNN）结合跟踪算法（如Kalman滤波），但在动态复杂环境中表现有限。近年来，视觉基础模型（如CLIP、DINO）推动了多模态感知的突破，但多为离线或模块化设计，难以实现端到端优化。现有的研究多集中在单一任务或有限场景，缺乏跨域泛化能力。随着大规模预训练模型的兴起，融合视觉、语言与动作的多模态模型成为研究热点，旨在实现更鲁棒、更灵活的目标追踪。
核心问题
当前Embodied视觉追踪面临两个主要瓶颈：一是目标识别的准确性在遮挡和高动态场景中不足，二是路径规划的连续性和鲁棒性难以保证。传统方法将识别与规划拆分，导致误差累积，影响整体性能。此外，缺乏大规模、多样化的训练数据，限制模型在真实复杂环境中的泛化能力。如何实现识别与轨迹生成的深度融合，提升模型的端到端性能，成为亟需解决的问题。
核心创新
本研究的核心创新包括：1）提出基于共享大语言模型的VLA架构，实现目标识别与轨迹规划的端到端融合；2）引入多尺度视觉特征融合策略，增强模型对复杂场景的感知能力；3）采用锚点扩散模型（Diffusion Transformer）进行路径生成，有效提升路径连续性与鲁棒性；4）构建规模达170万的多场景、多难度训练集，极大丰富模型的泛化能力。这些创新共同推动了Embodied视觉追踪技术的突破。
方法详解
- �� 视觉编码：利用预训练的EVA-CLIP提取多尺度视觉特征（细粒度与粗粒度）
- �� 跨模态投影：将视觉特征映射到大语言模型空间，形成统一表示
- �� 语言模型：采用Vicuna-7B进行文本生成和路径预测
- �� 轨迹规划：基于锚点的扩散模型（Diffusion Transformer）生成连续路径
- �� 训练目标：融合文本预测与轨迹回归，优化端到端性能
- �� 数据集：结合模拟环境中的跟踪样本与开放场景识别样本
- �� 损失函数：文本交叉熵与轨迹误差共同优化
- �� 训练策略：多任务联合训练，确保识别与规划的协同
- �� 推理流程：在推理阶段，根据任务类型选择文本解码或路径生成
- �� 评价指标：成功率、轨迹误差、识别准确率等
实验设计
模型在合成环境（Gym-UnrealCV）和真实场景（EVT-Bench）中进行评估。对比多种基线，包括检测+规划、强化学习和模仿学习方法。指标涵盖成功率、平均追踪长度、碰撞率等。采用不同难度级别，验证模型的泛化能力。还进行了消融实验，分析多尺度融合和锚点扩散的贡献。
结果分析
在Gym-UnrealCV中，TrackVLA零样本成功率达100%，优于传统方法至少12%；在EVT-Bench中，三类任务成功率分别达81%、74%、50%，显著优于对比模型。识别任务准确率达80.7%，推理速度为10FPS，远超GPT-4o等基线。消融实验显示多尺度融合和锚点扩散策略是性能提升的关键。
应用场景
该模型适用于机器人自主导航、安防监控、智能陪伴等场景，能在复杂环境中实现持续目标追踪。只需少量任务指令和视觉输入，即可实现高精度追踪和识别，极大提升系统的自主性和鲁棒性。未来可结合在线学习，适应动态环境变化。
局限与展望
模型在极端遮挡或目标快速运动时仍存在识别偏差，且对模拟数据依赖较大，实际部署可能面临域偏差。此外，推理速度虽达10FPS，但在超大规模场景中仍需优化以满足实时需求。未来需增强模型的鲁棒性与适应性。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，目标是找到特定的食材，比如一只红色的苹果。传统方法就像用放大镜逐个检查每个水果，容易出错，也很慢。而新方法像是装上了智能眼镜，能同时识别所有水果的特征，还能根据你的指令，自动告诉你哪个是苹果，甚至帮你规划出拿苹果的最佳路径。它学习了很多不同厨房的场景，能在不同的厨房都找到苹果，不管苹果藏得多深或周围有多少其他水果。这就像你有了一个聪明的助手，能帮你快速找到目标，并且在复杂环境中也能保持准确。
简单解释 像给14岁少年讲一样
想象你在学校的操场上玩捉迷藏，你的任务是找到一个穿黑色衣服的人。以前的方法就像用眼睛慢慢找，可能会被其他穿得像的人迷惑，或者藏得太好找不到。而现在，有个超级聪明的机器人助手，它不仅能看得很清楚，还能听你的指令，比如“追踪那个穿黑衣服的人”。这个助手学会了很多场景，能在嘈杂或人多的地方也能准确找到目标。它还会自己规划追踪的路线，确保不会迷路或撞到东西。这个新系统让追踪变得更快、更准，也更智能，就像你有了一个贴心又聪明的伙伴。
原文摘要
Embodied visual tracking is a fundamental skill in Embodied AI, enabling an agent to follow a specific target in dynamic environments using only egocentric vision. This task is inherently challenging as it requires both accurate target recognition and effective trajectory planning under conditions of severe occlusion and high scene dynamics. Existing approaches typically address this challenge through a modular separation of recognition and planning. In this work, we propose TrackVLA, a Vision-Language-Action (VLA) model that learns the synergy between object recognition and trajectory planning. Leveraging a shared LLM backbone, we employ a language modeling head for recognition and an anchor-based diffusion model for trajectory planning. To train TrackVLA, we construct an Embodied Visual Tracking Benchmark (EVT-Bench) and collect diverse difficulty levels of recognition samples, resulting in a dataset of 1.7 million samples. Through extensive experiments in both synthetic and real-world environments, TrackVLA demonstrates SOTA performance and strong generalizability. It significantly outperforms existing methods on public benchmarks in a zero-shot manner while remaining robust to high dynamics and occlusion in real-world scenarios at 10 FPS inference speed. Our project page is: https://pku-epic.github.io/TrackVLA-web.