核心发现
方法论
本文提出两种基于基础模型的动物姿态追踪方法：一是无监督路径，利用多模态特征实现无需训练的跨物种对应匹配；二是有监督路径，通过引入关键点提示编码器，将结构先验显式融入特征匹配中。两者均基于大规模预训练的视觉基础模型（如DINOv3、Diffusion Hyperfeatures），结合特定匹配机制（如RoMa v2的粗匹配）实现关键点追踪。无监督路径强调跨物种鲁棒性，适应多样环境；有监督路径追求高精度，适合特定任务。模型在APTv2和TigDog数据集上均表现优异，平衡了准确性与泛化能力。
关键结果
- 在APTv2上，无监督模型的[email protected]最高达86.6%，优于多项传统方法，且无需训练即可实现跨物种泛化。
- 有监督模型在关键点追踪精度方面优于无监督路径，达到84.0%的[email protected]，显著优于APTv2的标注方法。
- 在长序列和复杂背景下，模型表现稳定，尤其在高辨识度的物种（如长颈鹿、斑马）中表现优异，但在快速运动和遮挡场景仍存在挑战。
研究意义
该研究突破了动物姿态追踪对大量标注数据的依赖，利用基础模型实现少标注甚至零标注的跨物种泛化，为野生动物监测、行为分析和保护提供了强大工具。其方法兼具灵活性与实用性，推动了动物行为学与计算机视觉的深度融合，有望在实际应用中大规模推广，降低成本，提升效率。
技术贡献
提出结合基础模型特征的promptable追踪框架，创新性引入关键点提示编码器，显式融入结构先验，增强模型对关键点的关注。无监督路径通过训练无关的特征匹配实现跨物种鲁棒性，打破了传统依赖大量标注的限制。该方法兼具高效性与泛化能力，为动物姿态追踪提供了新的技术范式。
新颖性
首次将大规模视觉基础模型直接应用于动物姿态追踪，提出基于特征匹配的无监督跨物种对应机制，以及引入结构提示的有监督路径，显著优于传统的关键点检测和模型微调方法。这种结合预训练特征与少标注的策略，为跨物种、多场景动物行为分析开辟了新路径。
局限性
- 在极端快速运动或严重遮挡场景下，模型仍存在追踪漂移和误匹配问题，原因在于基础特征的局限性和动态变化的复杂性。
- 对多动物同时出现的场景，实例区分和关键点对应仍有待优化，尤其在复杂交互和相似外观情况下。
- 模型对高质量边界框的依赖较强，边界检测不准确时会影响匹配效果。
未来方向
未来将结合时序信息增强连续性，探索多目标多关键点的联合追踪；同时引入自适应边界框和动态特征更新机制，以应对更复杂的场景和多样物种。计划结合多模态信息（如深度、红外）提升鲁棒性，并优化模型的实时性与部署效率。
AI 总览摘要
动物行为研究和野生动物保护对高效、泛化的姿态追踪技术需求日益增长。传统方法依赖大量标注数据，难以适应多样物种和复杂环境，限制了其应用范围。本文提出一种基于大规模视觉基础模型的promptable动物姿态追踪框架，结合无监督和有监督两条路径，显著提升跨物种泛化能力和追踪精度。
该方法利用预训练模型（如DINOv3和Diffusion Hyperfeatures）提取丰富的特征信息，通过特征匹配实现无需训练的对应关系，极大降低了标注成本。引入关键点提示编码器，将结构先验显式融入特征匹配中，提升追踪准确性。实验在APTv2和TigDog两个挑战性数据集上均取得优异表现，尤其在无监督路径中，[email protected]最高达86.6%，优于多项传统方法。
这项工作不仅突破了动物姿态追踪的技术瓶颈，也为野生动物监测、行为分析提供了实用工具。其灵活性和高效性使得在实际场景中推广变得可能，未来可结合时序信息和多模态数据，进一步提升性能，推动动物行为学与计算机视觉的深度融合。
深度分析
研究背景
动物姿态分析经历了从单一图像估计到连续视频追踪的演变。早期方法多依赖手工特征和模板匹配，受限于环境变化和标注成本。近年来，深度学习模型如OpenPose、HRNet在人体姿态估计中取得突破，但在动物领域受限于多样性和标注不足。大规模数据集（如APTv2）推动了监督学习的发展，但仍受制于标注依赖。基础模型（如DINO、Diffusion Hyperfeatures）在视觉任务中表现出强泛化能力，为跨物种、少标注场景提供新机遇。
核心问题
现有动物姿态追踪多依赖大量标注数据，难以实现跨物种泛化，且在复杂背景和动态场景中表现不佳。多物种、多行为、多环境的多样性带来巨大挑战，尤其在野外监测中，标注成本高、环境不可控，限制了模型的实用性。如何利用预训练模型实现少标注甚至零标注的高鲁棒性追踪，成为亟待解决的问题。
核心创新
提出结合基础模型特征的promptable追踪框架，创新点包括：
1）引入关键点提示编码器，将结构先验显式融入特征匹配，提升追踪精度；
2）无监督路径利用多模态特征实现跨物种鲁棒匹配，无需训练，极大降低标注依赖；
3）结合边界框约束和实例匹配，增强多动物场景中的区分能力。这些创新突破了传统依赖大量标注和特定结构的限制，为动物行为分析提供了新思路。
方法详解
- �� 输入：视频序列和单帧标注的关键点。
- �� 特征提取：利用DINOv3或Diffusion Hyperfeatures从每帧提取密集特征。
- �� 无监督路径：直接进行最近邻匹配，结合边界框约束，建立跨帧对应关系。
- �� 有监督路径：将关键点热图编码成结构提示，增强特征的结构关注，通过匹配机制实现高精度追踪。
- �� 损失函数：最小化预测关键点与标注的距离，优化匹配模型。
- �� 训练：无须额外训练，利用预训练特征实现端到端追踪。
实验设计
在APTv2和TigDog两个数据集上评估，采用PCK指标衡量追踪精度。对比多种基础特征（如DINO、Diffusion Hyperfeatures）和不同路径（有监督/无监督）。设置不同的边界框约束和匹配策略，进行消融分析。重点考察跨物种泛化能力、长序列表现和复杂背景适应性。实验还包括与专用追踪器的对比，验证方法的优越性。
结果分析
无监督路径在APTv2上最高达86.6%的[email protected]，优于多项传统追踪方法。引入结构提示后，追踪精度明显提升，尤其在长序列和复杂背景中表现稳定。与专用追踪器相比，基于基础模型的匹配方法展现出良好的泛化能力，验证了特征的丰富性和匹配机制的有效性。多物种场景中，模型在不同动物间表现差异显著，但整体鲁棒性优于传统模型。
应用场景
该技术适用于野生动物监测、行为分析、保护管理等场景。只需少量标注，即可实现多物种、多行为的实时追踪。可结合无人机、监控摄像头等设备，进行大规模野外数据采集和分析。未来还可扩展到多模态数据融合，提升复杂环境下的识别和追踪能力。
局限与展望
模型在快速运动和遮挡严重场景下仍存在漂移问题，特征表达受限。多动物交互和相似外观场景中，区分能力不足。此外，边界框检测的准确性直接影响匹配效果，需进一步优化边界检测和实例区分机制。未来需结合时序信息和多模态特征，提升鲁棒性和实时性。
通俗解读 非专业人士也能看懂
想象你在看一只动物的照片，想知道它的每个身体部位在哪里。传统的方法就像用尺子一一测量每个部位，但如果动物变了样或者背景复杂，就很难找到正确位置。现在，这个新方法像是用一台聪明的相机，它提前学会了很多动物的特征，不管是哪种动物，只要给它一张动物的图片，它就能快速找到关键部位。即使动物在运动或者背景很乱，它也能用它学到的“视觉经验”找到对应的点。这就像你用一只会认动物的“眼睛”，不用很多标记，也能追踪动物的动作。这种技术可以帮助科学家更好地研究动物行为，也能让野生动物保护变得更智能、更高效。
简单解释 像给14岁少年讲一样
你知道吗？想象你在玩一款动物识别游戏，你只需要告诉它一只动物的一个部位，比如它的耳朵，然后它就能在很多动物的视频里找到这个耳朵的位置。以前的方法就像用放大镜逐个找，费时又不准。而现在，有一种超级聪明的“动物眼镜”，它已经学会了很多动物的样子，不管是长颈鹿还是斑马，只要给它一点提示，它就能准确找到动物身体的关键点。它还能在动物跑、跳、藏起来的时候，继续追踪它们的位置。这样，科学家就可以用它来观察动物的动作，了解它们的习性，保护野生动物变得更容易、更智能。这就像你用一只神奇的望远镜，随时随地都能找到动物的每个重要部位。
原文摘要
Animal pose estimation and tracking is important for wildlife monitoring and conservation research, and with limited expert time for labelling automated approaches are imperative. While human pose estimation and tracking has seen rapid progress thanks to large annotated datasets, animal pose remain challenging, due to large morphological and behavioural differences between species and limited annotated data. Existing approaches either optimise generic keypoint localisation from annotated datasets (such as APTv2) with poor generalisation, or track custom keypoints using visual tracking, at the cost of performance. In this paper, we demonstrate that vision foundation models trained on large datasets can be used effectively to track animal pose with limited labelled data. We propose two models, one unsupervised and the other supervised, to track user-selected keypoints in videos. The supervised approach delivers superior tracking accuracy by employing a keypoint prompt encoder to explicitly inject structural priors from a reference frame into feature matching. In parallel, the unsupervised route provides strong cross-species robustness by leveraging diverse foundation-model features for training-free correspondence matching. Extensive evaluation on challenging animal video benchmarks APTv2 and TigDog demonstrates that our framework achieves strong performance while maintaining an effective balance between accuracy and generalisation, offering a practical solution for real-world animal behaviour analysis and conservation applications.