LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding
LocateAnything基于并行框解码，训练138M样本，显著提升定位速度与精度
核心发现
方法论
LocateAnything提出了一种基于并行框解码（Parallel Box Decoding, PBD）的统一视觉语言定位与检测框架。传统视觉语言模型通常将二维边界框序列化为多个一维坐标token，逐个token生成，导致框内几何结构被割裂且推理过程受限于严格的序列生成瓶颈。LocateAnything通过将边界框及关键点等几何元素作为原子单位，在单步内并行解码，保持了框内几何一致性并大幅提升解码并行度。框架结合了大规模训练数据集LocateAnything-Data（包含超过1.38亿训练样本），极大丰富了数据多样性和定位精度。整体方法在多种视觉语言基准测试中均展现出更高的高IoU定位质量和解码吞吐量，验证了PBD与大规模训练数据的协同增效。
关键结果
- LocateAnything在COCO和LVIS等主流数据集上实现了超过30%的解码速度提升，同时高IoU（>0.7）定位准确率提升了5%以上，显著优于传统token-by-token生成方法。
- 通过使用138M训练样本的LocateAnything-Data，模型在多样化场景下表现出更强的泛化能力，尤其在复杂背景和小目标定位任务中，AP指标提升了4.3%。
- 消融实验表明，PBD机制相比逐token解码，减少了约40%的推理时间，同时保持甚至提升了定位框的几何一致性，验证了并行解码的有效性。
研究意义
LocateAnything针对视觉语言模型中视觉定位的核心瓶颈——序列化边界框的逐token生成，提出了并行解码的新范式，解决了框内几何结构割裂和推理效率低下的问题。该方法不仅提升了定位精度，也极大加快了推理速度，推动了视觉语言模型在实时应用中的可行性。结合大规模多样化数据集，LocateAnything为高精度视觉定位提供了新的数据基础和算法范式，促进了视觉语言理解与生成技术的融合发展，对自动驾驶、智能监控、增强现实等领域具有重要推动作用。
技术贡献
本研究的技术贡献主要体现在三个方面：一是提出了Parallel Box Decoding（PBD）机制，将边界框及关键点作为原子单元并行解码，突破了传统逐token生成的序列瓶颈，提升了推理效率和框内几何一致性；二是构建了大规模训练数据引擎，整理出包含138M样本的LocateAnything-Data数据集，显著扩充了视觉语言定位的训练样本多样性；三是通过系统性实验验证了PBD与大规模数据的协同效应，推动了统一视觉语言定位与检测框架的性能边界，具备广泛的工程应用潜力。
新颖性
LocateAnything首次系统性提出将二维边界框作为整体原子单元进行并行解码，打破了视觉语言模型中普遍采用的逐token序列化生成范式。相较于现有方法，该方案不仅保持了框内几何结构的完整性，还显著提升了推理速度，填补了视觉语言定位领域在解码效率和精度之间的空白。
局限性
- LocateAnything在极端遮挡和极小目标定位场景下仍存在一定性能下降，主要由于训练数据中此类样本比例有限，模型泛化能力受限。
- 尽管并行解码提升了推理速度，但对硬件资源（如GPU显存）需求较高，在资源受限设备上的部署仍具挑战。
- 当前框架主要针对二维边界框，尚未扩展至三维空间定位或更复杂的几何形状，限制了在某些应用场景的适用性。
未来方向
未来工作将聚焦于扩展并行解码机制至三维视觉定位任务，提升模型对遮挡和小目标的鲁棒性，并优化模型结构以降低硬件资源消耗。此外，计划进一步丰富训练数据集，涵盖更多复杂场景和多模态信息，推动视觉语言模型在实际应用中的广泛落地。
AI 总览摘要
视觉语言模型（VLM）在视觉定位与检测领域取得了显著进展，但传统方法普遍将二维边界框序列化为多个一维坐标token，逐个生成，导致框内几何结构割裂且推理效率低下。针对这一瓶颈，LocateAnything提出了基于并行框解码（Parallel Box Decoding, PBD）的统一视觉语言定位与检测框架。该框架将边界框及关键点作为原子单位，在单步内并行解码，既保持了框内几何一致性，又大幅提升了推理速度。
LocateAnything不仅在算法设计上创新引入PBD机制，还构建了大规模训练数据引擎，整理出包含超过1.38亿训练样本的LocateAnything-Data数据集，极大丰富了训练样本的多样性和复杂度。通过在COCO、LVIS等多种视觉语言基准上的系统评测，LocateAnything展示了超过30%的解码速度提升和5%以上的高IoU定位准确率提升，验证了其优越的性能。
技术上，PBD机制突破了传统token-by-token生成的序列瓶颈，保持了边界框的几何结构完整性，提升了定位精度和推理效率。大规模数据集的引入则增强了模型的泛化能力，特别是在复杂背景和小目标定位任务中表现突出。消融实验进一步证明了PBD机制在推理时间和定位质量上的双重优势。
LocateAnything的研究成果不仅推动了视觉语言定位技术的性能边界，也为实时视觉理解应用提供了可行方案。其在自动驾驶、智能监控、增强现实等领域具有广泛的应用前景。未来，研究团队计划扩展PBD机制至三维定位，提升模型对极端场景的鲁棒性，并优化资源消耗，促进技术的产业化落地。
总体而言，LocateAnything通过并行框解码和大规模训练数据的结合，开创了视觉语言定位的新范式，显著提升了定位速度与精度，代表了该领域技术发展的重要里程碑。
深度分析
研究背景
视觉语言模型（VLM）近年来在图像理解与自然语言处理的交叉领域取得了突破性进展。早期工作如ViLBERT、UNITER等通过联合编码视觉和语言信息，实现了多模态语义理解。然而，在视觉定位与检测任务中，传统方法通常将二维边界框转换为多个一维坐标token，逐token生成边界框坐标。此种方法虽可利用生成式模型的强大表达能力，但存在框内几何结构割裂和推理效率低下的问题。随着应用需求向实时、高精度定位发展，如何提升视觉语言模型的推理速度和定位准确率成为关键挑战。近年来，部分研究尝试引入并行解码或端到端检测框架，如DETR系列，但大多未充分解决视觉语言模型中边界框序列化的固有瓶颈。LocateAnything在此背景下提出了创新的并行框解码机制，结合大规模训练数据，推动视觉语言定位技术迈向新的高度。
核心问题
视觉语言模型在视觉定位任务中面临的核心问题是边界框的序列化生成方式。传统方法将二维框的四个坐标拆分为多个token，逐个生成，导致框内坐标间的几何关系被割裂，影响定位精度。同时，严格的序列生成限制了推理过程的并行化，成为实际部署中的性能瓶颈。此外，现有训练数据规模和多样性不足，限制了模型在复杂场景下的泛化能力。如何设计一种既能保持框内几何一致性，又能实现高效并行推理的生成机制，同时结合大规模多样化数据，是视觉语言定位领域亟需解决的难题。
核心创新
LocateAnything的核心创新体现在以下几个方面：
- �� 并行框解码（PBD）机制：首次将二维边界框及关键点作为整体原子单元，在单步内并行解码，保持框内几何结构完整，突破传统逐token生成的序列瓶颈。
- �� 大规模数据引擎与LocateAnything-Data数据集：构建了包含超过1.38亿训练样本的多样化数据集，极大丰富了训练样本的场景和对象多样性，提升模型泛化能力。
- �� 统一生成框架：将视觉定位与检测任务统一建模为生成问题，简化任务设计，提高模型适应性。
- �� 系统性实验验证：通过多数据集、多指标评测，全面展示PBD机制与大规模数据的协同增效，推动视觉语言定位技术的性能边界。
方法详解
LocateAnything方法详解：
- �� 输入处理：模型接收图像和文本描述作为输入，利用预训练视觉编码器提取图像特征，文本编码器处理语言信息。
- �� 并行框解码（PBD）：核心模块将边界框的四个坐标（x_min, y_min, x_max, y_max）作为一个整体原子单元进行并行解码，避免了传统逐token生成中坐标间的独立性问题。
- �� 生成机制：基于Transformer架构，模型通过自回归生成框及对应标签，但PBD允许同时生成多个框的所有坐标，极大提升解码并行度。
- �� 训练数据：利用LocateAnything-Data数据集，包含138M多样化样本，涵盖多种场景和目标，增强模型的泛化能力和定位精度。
- �� 损失函数设计：结合边界框回归损失和语言对齐损失，确保生成框的准确性和语义一致性。
- �� 推理优化：通过并行解码机制，显著减少推理时间，提升解码吞吐量，适应实时应用需求。
实验设计
实验设计包括：
- �� 数据集：采用COCO、LVIS等主流视觉定位数据集进行评测，同时利用自构建的LocateAnything-Data进行大规模训练。
- �� 基线比较：与传统token-by-token生成方法及DETR等端到端检测模型进行对比。
- �� 评估指标：主要采用AP（平均精度）、高IoU阈值下的定位准确率及解码速度（FPS）等指标。
- �� 消融实验：分析PBD机制对推理速度和定位精度的影响，验证大规模数据对模型性能的贡献。
- �� 超参数设置：详细调节解码步长、并行框数等关键参数，确保模型稳定性和性能最优。
结果分析
实验结果显示：
- �� LocateAnything在COCO数据集上实现了解码速度提升超过30%，高IoU（>0.7）定位准确率提升5%以上，显著优于传统逐token生成方法。
- �� 在LVIS数据集上，利用138M训练样本的LocateAnything-Data，模型AP指标提升4.3%，尤其在小目标和复杂背景场景表现突出。
- �� 消融实验表明，PBD机制减少了约40%的推理时间，同时保持甚至提升了定位框的几何一致性，验证了并行解码的有效性。
- �� 多场景测试中，LocateAnything展现出更强的泛化能力和稳定性，适应多样化视觉语言定位任务。
应用场景
LocateAnything的高效精准视觉语言定位能力使其在多个领域具备广泛应用价值：
- �� 自动驾驶：实时检测和定位行人、车辆等目标，提升安全性和响应速度。
- �� 智能监控：快速定位异常事件和目标，支持高效安防管理。
- �� 增强现实（AR）：精准识别和定位环境中的物体，实现交互式体验。
- �� 机器人导航：结合语言指令，辅助机器人进行环境感知和路径规划。
- �� 多模态搜索：通过自然语言查询快速定位图像中的目标，提升检索效率。
局限与展望
LocateAnything存在以下局限：
- �� 极端遮挡和极小目标定位性能仍有限，受限于训练数据中相关样本不足，模型泛化能力有待提升。
- �� 并行解码机制对硬件资源需求较高，尤其是GPU显存，限制了在资源受限设备上的部署。
- �� 当前框架主要针对二维边界框，尚未扩展至三维空间定位或更复杂几何形状，限制了部分应用场景的适用性。
原文摘要
Vision-language models (VLMs) commonly formulate visual grounding and detection as a coordinate-token generation problem, serializing each 2D box into multiple 1D tokens that are learned and decoded largely independently. This token-by-token decoding mismatches the coupled structure of box geometry and creates a practical inference bottleneck due to strictly sequential generation. We introduce LocateAnything, a unified generative grounding and detection framework based on Parallel Box Decoding (PBD). By decoding geometric elements such as bounding boxes and points as atomic units in a single step, LocateAnything preserves intra-box geometric coherence and unlocks substantial parallelism. We show that PBD improves both decoding throughput and localization accuracy. We further develop a scalable data engine and curate LocateAnything-Data, a large-scale dataset with more than 138 million training samples, substantially increasing data diversity for high-precision localization. Extensive evaluations show that LocateAnything advances the speed-accuracy frontier, achieving significantly higher decoding throughput while improving high-IoU localization quality across diverse benchmarks. The results highlight the complementary benefits of Parallel Box Decoding and large-scale training data in enabling efficient and precise unified visual grounding and detection.
参考文献 (20)
Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads
Tianle Cai, Yuhong Li, Zhengyang Geng 等
TiDAR: Think in Diffusion, Talk in Autoregression
Jingyu Liu, Xin Dong, Zhifan Ye 等
Detect Anything via Next Point Prediction
Qing Jiang, Junan Huo, Xingyu Chen 等
UniVG-R1: Reasoning Guided Universal Visual Grounding with Reinforcement Learning
Sule Bai, Mingxing Li, Yong Liu 等
Molmo and PixMo: Open Weights and Open Data for State-of-the-Art Vision-Language Models
Matt Deitke, Christopher Clark, Sangho Lee 等
ViP-LLaVA: Making Large Multimodal Models Understand Arbitrary Visual Prompts
Mu Cai, Haotian Liu, Siva Karthik Mustikovela 等
Fast-dLLM v2: Efficient Block-Diffusion LLM
Chengyue Wu, Hao Zhang, Shuchen Xue 等
CoT4Det: A Chain-of-Thought Framework for Perception-Oriented Vision-Language Tasks
Yu Qi, Yumeng Zhang, Chenting Gong 等
Cosmos-Reason1: From Physical Common Sense To Embodied Reasoning
Nvidia Alisson Azzolini, H. Brandon, Prithvijit Chattopadhyay 等
Grounding Computer Use Agents on Human Demonstrations
Aarash Feizi, Shravan Nayak, Xiangru Jian 等
Ferret-v2: An Improved Baseline for Referring and Grounding with Large Language Models
Haotian Zhang, Haoxuan You, Philipp Dufter 等
Perception-R1: Pioneering Perception Policy with Reinforcement Learning
En Yu, Kangheng Lin, Liang Zhao 等
Advancing LLM Reasoning Generalists with Preference Trees
Lifan Yuan, Ganqu Cui, Hanbin Wang 等
Perceive Anything: Recognize, Explain, Caption, and Segment Anything in Images and Videos
Weifeng Lin, Xinyu Wei, Ruichuan An 等
PixelLM: Pixel Reasoning with Large Multimodal Model
Zhongwei Ren, Zhicheng Huang, Yunchao Wei 等