核心发现
方法论
本研究设计了三阶段的ActPair框架：首先，通过引入动作对齐多任务目标对Vision-Language Model（VLM）进行微调，增强模型对行为语义的编码能力；其次，采用原始查询与由大语言模型（LLM）生成的场景语境重写进行平行的后融合检索，融合两种语义视角以提升召回率；最后，利用基于pivot-promote算法的高效pairwise多模态重排序模块，直接进行候选图像的细粒度比较，减少空间和组合歧义。实验在Pedestrian Anomaly Behavior（PAB）数据集上表现优异，超越现有主流方法，且具备良好的迁移能力。
关键结果
- 在PAB公共测试集上，ActPair在R@1指标达到88.62%，mAP达93.97%，优于对比方法如IRRA、RaSa等，特别在细粒度排序方面提升明显。微调后，模型在异常行为检索中的表现提升3.7个百分点，整体排名优越。
- 在非异常场景的RSTPReid数据集上，零样本迁移性能显著优于传统方法，R@1提升至55.25%，跨域泛化能力增强，验证了模型对行为细节的敏感性。
- 消融实验显示，动作对齐多任务学习和平行后融合策略各自贡献约2-3个百分点的性能提升，pairwise重排序在Top-10候选中带来额外的1.5个百分点提升，验证了多模态细粒度比较的有效性。
研究意义
该研究突破了传统基于外观的检索局限，强调行为动作的细粒度理解，极大丰富了视觉-语言跨模态检索的应用场景，特别适用于监控异常行为检测、公共安全等领域。通过引入动作对齐机制，有效缓解pose-semantic差距，推动行为理解技术向更深层次发展，为未来智能监控系统提供理论基础和技术支撑。
技术贡献
创新点在于提出结合动作对齐多任务学习的VLM微调策略，增强模型对行为语义的表达能力；引入场景语境重写与平行后融合机制，提升检索召回率；设计基于pivot-promote的pairwise重排序算法，有效降低多模态细粒度比较的计算成本。这些技术共同推动了行为异常检索的精度与效率，填补了现有方法在细粒度行为理解上的空白。
新颖性
本研究首次将动作对齐多任务目标融入VLM微调，系统性地解决pose-semantic差距问题。提出的平行后融合与pairwise重排序策略，突破了传统点评分的局限，实现了细粒度行为差异的高效比较。整体框架实现了从粗到精的联合优化，开创了多模态行为异常检索的新路径。
局限性
- 模型在极端复杂场景（如多人交互、遮挡严重）下表现仍有限，因动作标签依赖预定义词汇，泛化能力受限。
- pairwise重排序虽提升了细粒度区分，但在候选数极大时计算成本仍较高，需进一步优化算法效率。
- 对动作标签的依赖可能引入偏差，未来需结合无标签或弱监督方法提升鲁棒性。
未来方向
未来将探索无监督或弱监督的动作语义学习方法，提升模型在多样场景下的适应能力。还计划引入时序信息，结合视频动态特征，增强行为理解的深度。同时，优化pairwise重排序算法，降低计算复杂度，推动实时监控应用落地。
AI 总览摘要
随着监控场景中异常行为检测需求的不断增长，传统基于外观特征的检索方法已难以满足细粒度行为识别的挑战。现有技术多依赖静态姿态或绝对点评分，忽视了行为动作的场景依赖性和微妙差异，导致检索准确率不足。为此，本文提出了名为ActPair的创新框架，融合动作对齐、多任务学习、平行后融合和pairwise多模态重排序技术，系统性解决pose-semantic差距问题。
该方法首先通过引入动作标签和场景标签，利用多任务目标对Vision-Language Model进行微调，增强模型对行为语义的敏感性。随后，结合原始查询和由大语言模型生成的场景语境重写，采用平行后融合策略，显著提升召回率，确保细节信息不丢失。最后，利用基于pivot-promote的pairwise重排序算法，直接对候选图像进行细粒度比较，有效缓解空间和组合歧义。
在Pedestrian Anomaly Behavior（PAB）数据集上的实验结果显示，ActPair在R@1达到88.62%，mAP达93.97%，优于所有对比方法，特别是在细粒度排序方面表现优异。迁移到非异常场景的RSTPReid数据集时，也展现出强大的泛化能力，验证了模型对行为细节的敏感性。这一研究不仅提升了行为异常检索的准确性，也为未来智能监控系统提供了坚实的技术基础。尽管如此，模型在复杂交互场景和大规模候选集下仍有优化空间，未来将结合时序信息和无监督学习，推动行为理解技术的进一步发展。
深度分析
研究背景
近年来，随着深度学习和多模态技术的发展，视觉-语言跨模态检索已成为研究热点。早期方法如CLIP、X-VLM等通过对齐图像与文本特征，实现了较好的通用检索能力。然而，针对行为异常检测的特殊需求，研究逐渐关注行为动作的细粒度理解。CMP、SSDC等引入姿态和场景信息，试图弥合pose与语义的差距，但仍受限于静态姿态模糊和场景依赖。近年来，基于大语言模型的重排序方法开始尝试提升细节区分能力，但多为点评分，缺乏高效的细粒度比较机制。整体来看，现有方法在行为细节表达和场景上下文融合方面仍有较大提升空间。
核心问题
核心问题在于如何有效捕捉行为动作的微妙差异，尤其是在静态图像中缺乏时间动态信息的情况下。传统姿态或外观特征难以区分相似动作，且场景背景的干扰使得行为识别变得复杂。此外，现有方法多依赖绝对评分或孤立的特征匹配，难以实现细粒度的行为区分。如何设计一个融合动作语义、场景信息，并能进行高效细粒度比较的统一框架，成为亟待解决的难题。
核心创新
本研究提出了三大创新：第一，结合动作对齐多任务学习，增强VLM对行为语义的表达能力；第二，设计场景语境重写与平行后融合策略，提升检索召回率和细节保留；第三，采用基于pivot-promote的pairwise重排序算法，有效降低多模态细粒度比较的计算成本。这些创新共同实现了从粗到细的行为检索优化，突破了传统点评分和pose模糊的限制，为行为异常检测提供了新思路。
方法详解
- �� 首先，利用动作和场景标签，构建固定词汇表，通过引入动作对齐多任务目标，微调SigLIP2模型，增强其对行为语义的编码能力；
- �� 其次，采用LLM生成场景语境重写，将原始查询扩展为结构化描述，结合场景和行为信息，减缓空间歧义；
- �� 再者，使用双路编码器分别对原始和重写查询进行编码，进行平行后融合，获得候选集，确保召回的全面性；
- �� 之后，利用高效的pivot-promote算法，对候选图像进行pairwise比较，逐步提升排序精度，避免全两两比较的高昂成本；
- �� 最后，将排序结果输出，结合多模态特征，提升行为异常检索的准确率。
实验设计
在PAB和RSTPReid两个数据集上进行评估，采用R@1、R@5、R@10和mAP指标，比较包括IRRA、RaSa、CMP等多模态和外观基础方法。模型超参数如候选数K=100，重排序候选M=10，微调λ=0.2。通过消融实验验证动作对齐、多任务学习和pairwise重排序的贡献。在不同场景下，模型表现优越，特别是在细粒度排序和迁移能力方面，充分展现了技术的有效性。
结果分析
实验结果显示，ActPair在PAB测试集上R@1达88.62%，mAP达93.97%，明显优于对比方法如IRRA（86.33%）、RaSa（84.60%）等。在迁移到RSTPReid数据集时，R@1达到55.25%，比传统方法提升约10个百分点，验证了模型的泛化能力。消融分析表明，动作对齐和平行融合各贡献2-3个百分点，pairwise重排序带来额外提升，整体性能显著提升。
应用场景
该技术可广泛应用于公共安全监控、异常行为检测、智能安防系统等场景。只需输入行为描述文本，即可实现高效、准确的异常行为检索，适合实时监控需求。未来，结合视频时序信息，将进一步提升系统的行为理解深度，推动智能监控的智能化升级。
局限与展望
模型在极端复杂场景（如多人交互、遮挡严重）下表现仍有限，动作标签依赖预定义词汇，泛化能力受限。pairwise重排序在候选数较大时计算成本较高，需优化算法效率。未来应结合无标签学习和时序信息，提升鲁棒性和实时性。
通俗解读 非专业人士也能看懂
想象你在找朋友参加派对，但你只记得他穿的衣服和他在做什么。传统的方法就像只看照片，试图用外表找到他，但有很多人穿得一样，动作也相似，很难区分。现在，这个新方法像是用一个智能助手，不仅看照片，还会听你描述他在跳舞还是吃东西，然后用聪明的比较方式，快速找到最像的那个人。它还会用一些聪明的技巧，把你描述的场景变得更清楚，再用快速的“对比比赛”来确认谁最符合你的描述。这样一来，不管场景多复杂，系统都能更准确地找到你要找的人，特别是在监控录像中识别异常行为时，非常有用。
简单解释 像给14岁少年讲一样
想象你在学校里找朋友，但你只记得他穿的衣服和他在做的事情。普通的方法就像只看照片，试图用外表找到他，但很多人穿得一样，动作也差不多，很难分清。现在，有个聪明的机器人助手，不仅看照片，还能听你描述他在跳舞还是玩游戏，然后用特别的方法，把你的描述变得更清楚。它还会用一种快速的“比赛”方式，把所有候选人逐个比较，找到最符合你描述的人。这样一来，即使场景很复杂，比如很多人在一起，它也能帮你很快找到你要的那个人，特别是在监控视频里找异常行为，比如有人在做奇怪的动作时，非常有用。
术语表
Vision-Language Model (视觉-语言模型)
一种同时处理图像和文本信息的深度学习模型，能理解两者之间的关系，用于跨模态检索和理解。
在论文中，用于将图像和行为描述对齐，增强行为语义表达。
pairwise重排序 (两两比较排序)
一种通过两两候选项比较，逐步优化排序的方法，避免全两两比较带来的高昂计算成本。
用于细粒度行为匹配，提高检索精度。
动作对齐多任务学习
在模型训练中同时优化动作标签识别和跨模态对齐，增强模型对行为语义的理解能力。
提升模型对行为细节的敏感性，缓解pose-semantic差距。
场景语境重写
利用大语言模型，将原始查询扩展为结构化描述，明确行为和背景信息。
减少空间歧义，提升检索召回率。
pivot-promote算法
一种递归式的候选排序算法，通过选择枢轴进行逐步筛选和提升，减少比较次数。
用于多模态细粒度候选排序。
开放问题 这项研究留下的未解疑问
- 1 当前模型在极端复杂场景（如多人交互、遮挡严重）下表现仍有限，如何提升模型对复杂行为的理解和区分能力仍需探索。
- 2 多模态细粒度比较的计算成本较高，尤其在大规模候选集时，如何高效实现实时检索是未来挑战。
- 3 模型对动作标签的依赖可能引入偏差，未来应研究无标签或弱监督的行为语义学习方法以增强鲁棒性。
应用场景
近期应用
公共安全监控
利用本技术实现对异常行为的快速检测，提升监控系统的准确性和响应速度，适用于机场、车站等公共场所。
智能安防系统
结合行为细节识别，增强安防摄像头的智能分析能力，提前预警潜在危险行为，保障公共安全。
远期愿景
智能监控的全面升级
未来将结合时序信息和视频动态特征，实现连续行为分析，推动智能监控向全场景、全时段的自主感知发展。
原文摘要
Text-based person anomaly search requires distinguishing individuals based on fine-grained, context-dependent behaviors rather than mere appearance. Existing methods struggle to capture these context-conditioned actions, frequently relying on isolated skeletal geometry, discarding raw query details during reformulation, or utilizing absolute pointwise scoring for multimodal verification. To address these limitations, we propose \textbf{ActPair}, a unified three-stage coarse-to-fine framework that combines action-aligned retrieval with pairwise multimodal reranking to bridge the pose-semantic gap. First, we fine-tune a vision-language model (VLM) with an action-aligned multi-task objective that encourages the representations to encode action-discriminative semantics. Second, we perform parallel late-fusion retrieval using the original query and a large language model (LLM)-generated context-grounded rewrite, retaining complementary details from both semantic views. Finally, we propose an efficient off-the-shelf reranking module that leverages a pivot-promote algorithm to perform direct pairwise visual comparisons, mitigating residual spatial and compositional ambiguities without the prohibitive inference costs of exhaustive evaluation. Extensive experiments demonstrate that our framework achieves the best results among the compared methods on the Pedestrian Anomaly Behavior (PAB) public test and transfers effectively to an unseen, non-anomaly-specific dataset.