核心发现
方法论
本文提出基于语义原型的自适应偏差迁移框架ADTrans，结合对关系表示的 invariance 测量和动态原型更新，利用对比学习增强关系类别的判别性。通过多阶段数据筛选和偏差识别，将偏差标注转移为高质量的标准标注，确保关系的语义一致性。核心机制包括关系表示的对比学习、原型的动态更新以及偏差数据的筛查，有效缓解数据偏差带来的模型偏差问题。
关键结果
- 在VG和PSG数据集上，ADTrans显著提升了主流模型的R@100指标，提升幅度达3-4个百分点，平均Recall（mR@100）提升超过10%，在SGDet任务中实现了SOTA性能，特别是在长尾关系类别上表现优异。
- 在SGG任务中，结合ADTrans的模型在多项指标上优于仅使用原始数据的模型，表现出更好的关系类别平衡性和泛化能力，验证了偏差迁移的有效性。
- 消融实验显示，关系表示的 invariance 测量、动态原型更新和多阶段筛选三大模块共同作用，显著提升模型鲁棒性和偏差校正效果，尤其在低频关系类别中效果最为明显。
研究意义
该研究为场景图生成中的偏差问题提供了系统性解决方案，突破了以往仅依赖数据增强或模型正则化的局限。通过引入关系语义原型，增强模型对关系类别的判别能力，推动场景理解向更高层次发展。其方法具有良好的泛化性，为多模态任务中的偏差校正提供了新思路，有望在自动驾驶、机器人导航等实际应用中发挥重要作用。
技术贡献
提出基于关系语义原型的偏差迁移框架，结合 invariance 测量和对比学习，创新性地实现偏差数据的自动识别与迁移。引入多阶段筛选机制，有效过滤偏差样本，提升关系表示的鲁棒性。整体架构兼容多种主流关系检测模型，显著改善长尾关系类别的识别性能，推动偏差校正技术的应用落地。
新颖性
首次提出利用关系语义原型进行偏差迁移，结合 invariance 测量和动态原型更新，系统性解决偏差标注问题。区别于传统数据增强或正则化方法，本框架实现偏差的自动识别与迁移，具有较强的适应性和扩展性，填补了关系图生成中偏差校正的研究空白。
局限性
- 当前方法依赖预训练关系模型的性能，若关系模型本身存在偏差，可能影响迁移效果。
- 多阶段筛选机制增加了训练复杂度，可能在大规模数据集上存在效率瓶颈。
- 偏差迁移主要针对关系类别，尚未充分考虑空间位置或对象属性的偏差问题。
未来方向
未来将结合多模态信息（如文本描述、深度信息）进一步提升偏差识别的准确性。探索端到端训练策略，减少多阶段流程的复杂性。此外，计划扩展偏差校正到对象检测和属性识别任务，推动场景理解的全面优化。
AI 总览摘要
场景理解是计算机视觉中的核心任务之一，关系检测和场景图生成（Scene Graph Generation, SGG）在实现复杂场景理解中扮演关键角色。传统方法多依赖于标注数据，但偏差和噪声严重影响模型性能，尤其在长尾关系类别中表现不佳。本文提出的ADTrans框架，基于关系语义原型学习，有效缓解偏差问题。通过 invariance 测量和动态原型更新，自动识别偏差样本并进行迁移，确保关系标签的语义一致性。结合多阶段筛选机制，提升偏差校正的准确性和鲁棒性。实验结果显示，ADTrans在VG和PSG数据集上显著优于现有方法，关系检测指标提升3-4个百分点，长尾关系类别表现尤为突出。这一创新方法不仅推动了场景图生成技术的发展，也为多模态任务中的偏差校正提供了新思路。未来，结合多模态信息和端到端训练，将进一步提升模型的泛化能力和实用性，为自动驾驶、机器人等应用奠定基础。
深度分析
研究背景
场景理解是计算机视觉的核心，早期方法主要依赖于对象检测和关系分类，代表性模型包括Xu等的IMP和Zellers等的Motifs。随着深度学习的发展，关系检测逐渐从粗糙的边界框转向细粒度的场景图，尤其是引入全景分割（panoptic segmentation）后，场景图的表达更为丰富。然而，偏差和噪声在训练数据中普遍存在，导致模型在长尾关系类别上的表现不佳，影响实际应用效果。近年来，偏差校正成为研究热点，诸如Zhang等提出数据迁移方法，但仍存在迁移不精确和偏差引入的问题。
核心问题
当前场景图生成模型面临偏差标注带来的挑战，主要表现为不同标注者偏好差异和语义重叠导致的标签不一致，造成模型难以学习统一的关系表示。偏差不仅影响模型的泛化能力，还加剧了长尾问题，限制了模型在实际场景中的应用。解决这一问题需要自动识别偏差数据，并进行有效迁移，从而构建更为标准化和信息丰富的关系数据集。
核心创新
本研究提出基于关系语义原型的偏差迁移方法，核心创新包括：1）引入 invariance 测量，确保关系表示的稳定性；2）利用对比学习增强关系类别的判别性；3）动态更新关系原型，适应数据变化；4）多阶段筛选偏差样本，过滤噪声。这些创新结合，形成一套完整的偏差校正框架，有效提升关系检测的鲁棒性和准确性，尤其在长尾类别中表现优异。
方法详解
- �� 关系表示提取：利用预训练关系模型（如VCTree）预测关系，结合对比学习优化关系语义嵌入。
- �� invariance 测量：通过正样本的损失方差，评估关系表示的稳定性，鼓励模型学习不偏不倚的关系特征。
- �� 关系原型学习：动态更新关系类别的语义原型，利用平均值和滑动平均策略，保持关系类别的代表性。
- �� 偏差识别：多阶段筛选偏差样本，基于损失方差和分布偏移，剔除噪声数据。
- �� 数据迁移：计算关系原型间的余弦相似度，将偏差标注迁移为标准标注，提升关系标签一致性。
实验设计
在VG和PSG数据集上，采用R@K、mR@K和PR指标评估模型性能。对比基线模型（如Motifs、VCTree）和引入ADTrans的版本，验证偏差迁移的有效性。超参数包括关系表示的对比温度T=0.05，原型更新参数β=5e-5，筛选阈值D=50。通过消融实验验证 invariance 测量、原型更新和多阶段筛选的贡献。结果显示，ADTrans显著提升长尾关系类别的检测能力，模型在多项指标上优于对比模型。
结果分析
ADTrans在VG数据集上的R@100提升3-4个百分点，平均mR@100超过10%，在SGDet任务中实现了SOTA性能。关系类别的平衡性得到改善，低频关系类别的识别率提升显著。消融实验表明，关系表示 invariance 测量和动态原型更新是性能提升的关键因素。整体结果验证了偏差迁移策略的有效性，为场景理解提供了更稳健的解决方案。
应用场景
该方法适用于自动驾驶、机器人导航和智能监控等场景，能提升场景理解的准确性和鲁棒性。通过自动识别偏差关系标签，减少人工标注成本，增强模型在实际复杂环境中的表现。未来结合多模态信息，将推动场景理解在多领域的广泛应用。
局限与展望
目前方法依赖预训练关系模型，若模型本身存在偏差，迁移效果可能受影响。多阶段筛选增加计算成本，难以在超大规模数据集上实时应用。偏差迁移主要针对关系类别，空间位置和对象属性的偏差未充分考虑。未来需优化效率和扩展偏差类型的识别能力。
通俗解读 非专业人士也能看懂
想象你在整理一个大型的相册，里面有很多照片，每张照片都标注了人物和他们在做什么。可是，不同的人标注的内容不一样，有的只写“人在走”，有的写“在跑”，还可能有人写“快跑”。这些不同的标签其实描述的是同一种动作，但表达方式不同，导致相似的内容被标记成不同的类别。这就像在训练一个识别场景的机器人时，它会因为标签不统一而变得困惑。为了让机器人更聪明，研究人员设计了一套方法，像给标签贴上“标签原型”，让它知道“跑步”到底是什么样的。这样，无论标签怎么写，它都能理解是同一种动作。这个方法还能自动发现那些标签不准确或偏差的照片，把它们改正过来，让机器人学得更好。最终，机器人能更准确地理解场景中的人物和动作，就像我们看一张照片能一眼看出发生了什么一样。
简单解释 像给14岁少年讲一样
想象你在整理一堆照片，每张照片都写着一些描述，比如“有人在跑”或者“有人在走”。可是，有时候不同的人会用不同的词来描述同一件事，比如“跑”和“快跑”。这就像每个人用不同的语言说同一件事，让机器人难以理解。科学家们想让机器人学会更聪明，不会被这些不同的描述迷惑。他们设计了一种方法，把所有类似的描述都归到一个“原型”里，就像把所有的“跑”都放在一个篮子里。这样，无论别人怎么描述，机器人都能知道它们其实是一样的。更棒的是，这个方法还能发现那些描述不准确或者偏差的照片，把它们改正过来。这样，机器人学会了更好地理解场景，就像我们看一张照片一眼就知道发生了什么一样。
原文摘要
Panoptic Scene Graph Generation (PSG) parses objects and predicts their relationships (predicate) to connect human language and visual scenes. However, different language preferences of annotators and semantic overlaps between predicates lead to biased predicate annotations in the dataset, i.e. different predicates for same object pairs. Biased predicate annotations make PSG models struggle in constructing a clear decision plane among predicates, which greatly hinders the real application of PSG models. To address the intrinsic bias above, we propose a novel framework named ADTrans to adaptively transfer biased predicate annotations to informative and unified ones. To promise consistency and accuracy during the transfer process, we propose to measure the invariance of representations in each predicate class, and learn unbiased prototypes of predicates with different intensities. Meanwhile, we continuously measure the distribution changes between each presentation and its prototype, and constantly screen potential biased data. Finally, with the unbiased predicate-prototype representation embedding space, biased annotations are easily identified. Experiments show that ADTrans significantly improves the performance of benchmark models, achieving a new state-of-the-art performance, and shows great generalization and effectiveness on multiple datasets.