核心发现
方法论
CRAwLeR通过检测法律交叉引用，生成上下文需求查询，并使用大语言模型（LLM）进行过滤。该方法包括：1）检测交叉引用；2）识别查询候选；3）链接目标块与相关上下文；4）生成上下文查询；5）通过对抗性基线和保证提示进行过滤。
关键结果
- 在CRAwLeR-DK数据集上，Recall@10达到55%，在CRAwLeR-PL上达到59%。
- 手动分析显示约80%的查询确实需要上下文。
- 失败分析表明，剩余差距主要归因于上下文化LLM，而非检索器。
研究意义
CRAwLeR首次为上下文感知块检索提供了一个考虑构建效度的基准，特别是在法律文档中使用交叉引用的情况下。这一研究填补了现有基准在构建效度和方法学上的空白。
技术贡献
CRAwLeR引入了一种新的法律文档块检索方法，利用法律交叉引用来自动生成查询和上下文链接。这一方法与现有的上下文化方法相比，提供了更高的精度和效率。
新颖性
CRAwLeR是第一个专注于法律交叉引用的上下文感知块检索数据集，提供了一个明确且可操作的现象，显著区别于现有的上下文检索方法。
局限性
- 上下文化LLM的性能限制了检索效果，特别是在复杂查询中。
- 数据集仅限于丹麦和波兰法律文档，可能不适用于其他法律体系。
未来方向
未来工作可包括扩展到更多语言和法律体系，改进上下文化模型的性能，以及探索更多的上下文依赖类型。
AI 总览摘要
CRAwLeR提出了一种新的法律文档检索方法，专注于上下文依赖的法律交叉引用。现有的上下文感知检索基准常常依赖于重新利用的任务项，难以证明查询真正需要上下文。CRAwLeR通过检测法律交叉引用，生成上下文需求查询，并使用大语言模型进行过滤，解决了这一问题。
在实验中，CRAwLeR在丹麦和波兰法律文档数据集上表现出色，Recall@10分别达到55%和59%。手动分析显示，约80%的查询确实需要上下文，这表明CRAwLeR在构建效度上取得了显著进展。
尽管CRAwLeR在上下文感知检索方面取得了进展，但仍有改进空间。未来的研究可以扩展到更多的法律体系，并改进上下文化模型的性能，以进一步提高检索精度和效率。
深度分析
研究背景
近年来，随着大语言模型（LLM）的发展，上下文感知检索成为信息检索领域的一个重要研究方向。许多现有的基准依赖于重新利用的任务项，难以证明查询真正需要上下文。
核心问题
现有的上下文感知检索基准难以证明查询真正需要上下文，导致得分解释困难。特别是在法律文档中，交叉引用是一个重要的上下文依赖因素。
核心创新
CRAwLeR通过法律交叉引用实现上下文感知的块检索，提供了一个明确且可操作的现象。该方法包括检测交叉引用、生成上下文需求查询，并使用大语言模型进行过滤。
方法详解
- �� 检测法律交叉引用
- �� 识别查询候选
- �� 链接目标块与相关上下文
- �� 生成上下文需求查询
- �� 使用对抗性基线和保证提示进行过滤
实验设计
实验使用了CRAwLeR-DK和CRAwLeR-PL数据集，评估了上下文化检索方法的性能。关键指标包括Recall@10，基线比较包括对抗性基线和保证提示。
结果分析
CRAwLeR在CRAwLeR-DK数据集上Recall@10达到55%，在CRAwLeR-PL上达到59%。手动分析显示，约80%的查询确实需要上下文。
应用场景
CRAwLeR可用于法律文档的自动化检索，特别是在需要考虑交叉引用的情况下。这一方法可以提高法律专业人士的工作效率。
局限与展望
CRAwLeR目前仅限于丹麦和波兰法律文档，可能不适用于其他法律体系。上下文化LLM的性能限制了检索效果，特别是在复杂查询中。
通俗解读 非专业人士也能看懂
想象你在一个图书馆里寻找一本特定的书，但这本书的标题不在书脊上，而是藏在书的某个章节里。CRAwLeR就像一个聪明的图书馆员，它不仅能找到这本书，还能告诉你哪个章节最相关。它通过识别书中的交叉引用，帮助你快速找到所需的信息。这就像是有一个指南针，帮助你在信息的海洋中找到正确的方向。
简单解释 像给14岁少年讲一样
想象你在玩一个寻宝游戏，你需要找到一个藏在地图某个地方的宝藏。CRAwLeR就像是一个超级助手，它能帮你找到地图上的线索，并告诉你宝藏可能藏在哪里。它通过识别地图上的标记，帮助你更快地找到宝藏。这就像是有一个聪明的朋友，帮你在游戏中取得胜利！
术语表
CRAwLeR
一种用于法律文档检索的上下文感知方法，专注于法律交叉引用。
用于生成和过滤上下文需求查询。
Recall@10
检索任务中，目标块在前10个结果中的命中率。
用于评估CRAwLeR的检索性能。
法律交叉引用
法律文本中对其他法律条款或文件的引用。
CRAwLeR用于识别和链接相关上下文。
上下文化LLM
大语言模型用于生成和过滤上下文需求查询。
CRAwLeR的核心组件之一。
对抗性基线
一种不考虑上下文的检索基线，用于评估CRAwLeR的有效性。
用于过滤生成的查询。
开放问题 这项研究留下的未解疑问
- 1 如何扩展CRAwLeR到其他法律体系？需要考虑哪些特定的法律交叉引用？
应用场景
近期应用
法律文档检索
法律专业人士可以使用CRAwLeR快速检索相关法律条款，提高工作效率。
远期愿景
跨语言法律检索
CRAwLeR可以扩展到多语言法律文档，促进国际法律合作。
原文摘要
Existing benchmarks for context-aware chunk retrieval rely heavily on repurposed task items and rarely demonstrate that their queries genuinely require context, making score interpretation difficult. We focus on a specific kind of context dependence, legal cross-references, and introduce CRAwLeR, an operationalization of a narrow, well-defined phenomenon: cross-reference-aware context utilization for chunk retrieval in legal documents. Our pipeline detects legal cross-references, identifies query candidates, links target chunks to their relevant context, generates context-demanding queries with an LLM, and filters them through both an adversarial non-contextual baseline and an assurance prompt. We release CRAwLeR-DK and CRAwLeR-PL, Danish and Polish datasets built with this pipeline, alongside a strong Anthropic-style contextualization baseline. Manual analysis finds that approximately 80% of randomly sampled queries genuinely target the labelled target chunk and require context, with failures following systematic and named patterns. The benchmarks are hard but not solved: best Recall@10 reaches 55% on CRAwLeR-DK and 59% on CRAwLeR-PL. Ablation and failure analysis attribute the remaining gap to the contextualising LLM, not the retriever. Even when the target is retrieved in the top ten, labelled context chunks routinely outrank it. We are the first dataset for context-aware chunk retrieval to carefully consider construct validity and inspect our results in the light of such a narrow, well-defined phenomenon.