核心发现
方法论
PosIR采用长度控制的分桶策略，将查询按正向文档长度分组，分析每组内的位置信息影响。通过精确跨度标注和多语言数据，结合多模型评估，严格隔离位置偏差与长度影响，利用梯度显著性分析揭示模型内部机制。核心算法包括Span-based relevance标注和位置敏感性指标（PSI），实现对偏差的定量诊断。
关键结果
- PosIR中，文档超过1536 tokens时，模型性能与MMTEB相关性显著下降，揭示短文本评估的局限性。大部分模型表现出明显的偏好首段（primacy bias），但也存在意外的近端偏好（recency bias），偏差随文档长度增加而增强。梯度显著性分析发现两种不同的注意机制对应偏好类型，验证了偏差的内部机制。
- 在多语言、多领域数据中，PosIR展现出偏差普遍存在，尤其在长文本和跨语言场景中表现更为显著，模型在长文本中的偏差影响了检索效果。
- PosIR的设计显著优于传统短文本评估，揭示了模型在长文本、多语言环境下的局限，为未来模型优化提供了诊断工具。
研究意义
本研究填补了多语言、多领域长文本中位置偏差系统诊断的空白，为理解深度学习模型在复杂场景中的偏好提供了量化工具。PosIR的多样化数据和精细化分析，有助于推动位置鲁棒性检索系统的研发，改善模型在实际应用中的公平性和效果。其标准化框架为未来模型评估和优化提供了统一平台，有望引领行业向更公平、更高效的检索技术迈进。
技术贡献
提出长度控制的分桶策略，有效隔离位置偏差与长度影响，结合多语言、多领域数据构建大规模基准。引入精确跨度标注和位置敏感性指标（PSI），实现偏差的定量分析。利用梯度显著性机制，揭示模型内部两种不同的注意力机制对应偏好类型，丰富了偏差机制的理解。通过跨语言、多场景验证，展示了模型偏差的普遍性和复杂性，为后续模型设计提供了理论基础。
新颖性
首次系统构建多语言、多领域的长文本位置偏差基准PosIR，采用长度控制分桶策略，严格隔离长度影响。引入精细跨度标注和位置敏感性指标，结合梯度显著性分析，揭示偏差的内在机制。这些创新突破了现有短文本和单一语言评估的局限，为偏差诊断提供了全新视角。
局限性
- PosIR主要基于生成式标注，尽管采用多重验证机制，但仍可能存在少量标注误差，影响偏差分析的精度。
- 模型评估集中在嵌入式模型，尚未涵盖基于检索的端到端系统，未来需扩展评估范围。
- 长文本偏差的根源尚未完全解析，未来需结合模型内部机制深入研究偏差形成的深层次原因。
未来方向
未来将结合模型内部注意力机制的可解释性研究，深入分析偏差形成的根源。计划扩展多模态、多任务场景下的偏差诊断，推动偏差鲁棒模型的设计。同时，结合用户行为数据，优化偏差校正策略，提升实际应用中的公平性和效果。
AI 总览摘要
在信息检索的实际应用中，内容的相关性不仅依赖于信息的语义，还受到其在文档中的位置影响。传统评估多关注短文本或单一语言，忽视了长文本中的位置偏差问题。PosIR作为首个多语言、多领域的长文本位置偏差基准，通过长度控制的分桶策略，系统分析模型在不同文档长度和位置上的表现差异。该基准采用精确跨度标注，结合多模型评估和梯度显著性分析，揭示模型在长文本中普遍存在的首段偏好（primacy bias）和意外的近端偏好（recency bias），并验证了偏差背后的内部机制。实验结果显示，大部分模型在超过1536 tokens的长文本中表现出显著的性能下降，偏差随长度增加而加剧。这一发现挑战了现有短文本评价的代表性，强调了长文本偏差诊断的重要性。PosIR的多语言、多领域设计，确保了偏差分析的广泛适用性，为未来开发更具位置鲁棒性的检索模型提供了基础。研究还通过梯度显著性机制，揭示了两种不同的注意力行为对应不同的偏好类型，为模型内部机制的理解提供了新视角。整体而言，PosIR不仅丰富了偏差诊断工具箱，也为推动公平、稳健的检索系统发展指明了方向。未来工作将结合模型内部机制和多模态数据，深入解析偏差根源，优化模型设计，提升实际应用中的公平性和效果。
深度分析
研究背景
信息检索技术经历了从传统词匹配到深度学习的演变。早期方法如TF-IDF和BM25，关注词频和位置特征，但难以捕获复杂语义。近年来，深度嵌入模型如BERT、DPR等推动了检索性能的飞跃，尤其在多语言和长文本场景中表现优异。然而，这些模型在偏好内容位置方面存在系统性偏差，尤其在长文本中表现出首段偏好（primacy bias），影响检索公平性。现有评估多集中在短文本和单一语言，缺乏多样化、系统化的偏差诊断工具，限制了模型在实际复杂场景中的应用。
核心问题
核心问题在于，深度检索模型在长文本和多语言环境中普遍存在位置偏差，表现出对前段内容的偏好，导致后段关键信息被忽略。这种偏差不仅影响检索效果，也带来公平性问题。现有评估框架缺乏对偏差的系统诊断手段，尤其在跨语言、多领域场景中，偏差表现更为复杂。如何量化、分析和缓解这种偏差，成为提升检索系统鲁棒性的重要挑战。
核心创新
提出PosIR基准，创新点包括：1）多语言多领域覆盖，确保偏差分析的普适性；2）长度控制分桶策略，隔离长度与位置影响；3）精确跨度标注，支持细粒度偏差分析；4）引入位置敏感性指标（PSI）和梯度显著性机制，揭示偏差的内部机制。这些创新突破了传统短文本、单一语言评估的局限，为偏差诊断提供了全新工具。
方法详解
- �� 构建多语言多领域数据集，采用长度分桶策略，将查询按正向文档长度分组，分析每组内的偏差。• 利用LLM生成细粒度参考跨度，确保偏差分析的精确性。• 设计偏差指标（PSI）量化模型对不同位置的敏感度。• 结合梯度显著性分析，识别模型内部两种不同的注意力机制，解释偏差形成的原因。• 通过多模型、多场景评估，验证偏差的普遍性和复杂性。• 采用严格的质量控制，确保生成数据的可靠性和一致性。
实验设计
在10个多语言模型上，评估其在PosIR和MMTEB上的表现，比较不同长度分组的偏差指标。采用nDCG@10作为主要指标，分析偏差随文档长度变化的趋势。通过梯度显著性机制，探究模型偏好背后的内部机制。实验还包括跨语言、跨领域的偏差对比，验证PosIR的多样性和代表性。设置合理的超参数，进行消融实验，确保结果的稳健性。
结果分析
模型在长文本（>1536 tokens）中的性能明显下降，相关性指标与短文本（<512 tokens）相比降低30%以上。偏差分析显示，绝大多数模型表现出首段偏好，偏差随着长度增加而增强。梯度机制揭示了两种不同的注意力行为对应偏好类型，验证了偏差的内部机制。PosIR的多语言、多领域数据集，展现出偏差的普遍性和复杂性，强调了偏差缓解的重要性。
应用场景
PosIR可用于评估和优化长文本、多语言检索模型，帮助开发者识别模型偏好，改善偏差问题。适用于搜索引擎、问答系统、知识库等场景，提升检索公平性和效果。未来还可结合用户行为数据，进行偏差校正，推动个性化和公平性提升。
局限与展望
目前偏差分析主要基于生成式跨度标注，可能存在标注误差。模型评估集中在嵌入式模型，未覆盖端到端检索系统。偏差根源尚未完全解析，未来需结合模型内部机制深入研究。长文本偏差在跨语言场景中更复杂，模型在多模态、多任务环境下的表现仍待验证。
通俗解读 非专业人士也能看懂
想象你在图书馆找一本书，书的内容散布在不同章节。传统检索就像只看前几页，忽略了后面的重要信息。PosIR就像给每个章节打上标签，告诉你每个信息在书中的具体位置，然后帮你找到最相关的内容，不会只偏向开头或结尾。这样，不管书多长，重要信息都能被公平找到。它用一种特别的方法，把书的每一部分都标记得很清楚，确保检索系统不会只喜欢前面几章，而忽略了中间或后面的内容。这样，搜索结果更全面、更公平，也更贴近真实需求。
简单解释 像给14岁少年讲一样
想象你在学校图书馆找资料，很多时候你会发现，老师喜欢让你看书的前几页，因为觉得那里最重要，但其实有些关键内容藏在后面。PosIR就像给每一段内容贴标签，告诉你它在书中的具体位置，然后帮你找到最相关的部分。它还会告诉你，模型是不是只喜欢看前面几页，还是也会关注后面。这样一来，无论书多长，重要信息都能被公平找到，就像老师公平对待每一部分内容一样。这个方法让搜索变得更智能、更公平，也更贴近我们实际需要的全面信息。
原文摘要
In real-world documents, the information relevant to a user query may reside anywhere from the beginning to the end. This makes position bias -- a systematic tendency of retrieval models to favor or neglect content based on its location -- a critical concern. Although recent studies have identified such bias, existing analyses focus predominantly on English, fail to disentangle document length from information position, and lack a standardized framework for systematic diagnosis. To address these limitations, we introduce PosIR (Position-Aware Information Retrieval), the first standardized benchmark designed to systematically diagnose position bias in diverse retrieval scenarios. PosIR comprises 310 datasets spanning 10 languages and 31 domains, with relevance tied to precise reference spans. At its methodological core, PosIR employs a length-controlled bucketing strategy that groups queries by positive document length and analyzes positional effects within each bucket. This design strictly isolates position bias from length-induced performance degradation. Extensive experiments on 10 state-of-the-art embedding-based retrieval models reveal that: (1) retrieval performance on PosIR with documents exceeding 1536 tokens correlates poorly with the MMTEB benchmark, exposing limitations of current short-text evaluations; (2) position bias is pervasive in embedding models and even increases with document length, with most models exhibiting primacy bias while certain models show unexpected recency bias; (3) as an exploratory investigation, gradient-based saliency analysis further uncovers two distinct internal mechanisms that correlate with these positional preferences. We hope that PosIR can serve as a valuable diagnostic framework to advance the development of position-robust retrieval systems.