QUEST: A Query and Extraction System for Topics in Asylum Law Application Decisions
QUEST系统利用信息检索和LLM评估，识别庇护申请中可信度指标，达成较高检索效果。
核心发现
方法论
QUEST系统结合合成查询生成、主题提取和相关性评估，采用BERTopic进行主题聚类，利用BM25和神经网络嵌入模型（如E5、Qwen3）进行检索，再通过LLM判定相关性和可信度指标。引入domain-specific crels评估，区别于传统relevance，增强对可信度指标的检测能力。采用多阶段检索和重排序策略，结合人工验证和LLM判定，提升识别准确性。
关键结果
- 在PUB和PRIV数据集上，QUEST系统的MAP@100分别达0.572和0.589，NDCG@10达0.757和0.768，优于传统BM25和单一神经模型。credibility相关指标的检索难度明显高于普通相关性，Crels评估表现较低，但反映任务难度。LLM判定与专家标注的κ值低于0.2，显示自动化评估仍有提升空间。
- 系统在不同指标类型的检索效果差异显著，基于神经网络的重排序提升了整体性能，验证了多模型融合的有效性。
- 引入domain-specific crels评估，揭示可信度指标的识别难度，强调任务的复杂性和未来优化方向。
研究意义
该研究推动法律NLP在庇护案件中的应用，特别是在自动识别可信度因素方面，解决了传统方法依赖人工标注、效率低下的问题。通过结合深度学习和大模型，提升了复杂法律文本中关键信息的自动提取能力，为司法决策提供技术支撑，具有广泛的理论和实践意义。未来可推广至其他法律领域，改善司法流程的透明度和效率。
技术贡献
提出QUEST系统，创新性地结合合成查询、主题提取和多模型检索策略，特别引入domain-specific crels评估指标，丰富了法律文本信息检索的评估体系。采用多阶段检索与重排序，结合LLM判定，显著提升可信度指标的识别能力。系统设计兼顾长文本处理与敏感数据保护，为法律NLP提供新范式。
新颖性
首次在庇护案件中引入domain-specific的credibility relevance（crels）指标，区别于传统的relevance评估，强调对可信度指标的专门检测。结合合成查询、主题聚类和多模型检索，突破了长文本法律材料的检索难题，提供了系统化的解决方案。此方法在法律NLP领域具有创新性和实用价值。
局限性
- 模型对极端可信度指标表现不足，尤其在低相关性样本中误判较多，反映出模型对细粒度可信度特征的敏感性不足。
- 数据集受限于高度敏感和私密性，限制了模型的泛化能力和训练规模，未来需探索更广泛的跨国数据迁移策略。
- 系统在处理极长文本和多模态信息（如图片、社交媒体）方面仍有不足，未来需结合多模态学习技术。
未来方向
未来将结合更先进的多模态模型，提升对多源信息的整合能力。探索半监督和迁移学习策略，以增强模型在不同法律体系中的适应性。进一步优化LLM判定的准确性，减少偏差，提升可信度指标的识别精度。同时，推动系统在实际司法场景中的部署与验证，提升自动化辅助决策的实用性。
AI 总览摘要
随着全球政治格局的变化，庇护申请数量持续上升，给司法机构带来巨大压力。传统的人工审查流程耗时长、效率低，亟需自动化工具的支持。QUEST系统应运而生，旨在利用先进的自然语言处理技术，从庇护案件的长文本中自动提取与可信度相关的关键信息。
该系统由合成查询生成、主题提取、检索与重排序、以及基于大模型的相关性评估四大核心模块组成。通过结合BERTopic进行主题聚类，采用BM25和神经嵌入模型（如E5、Qwen3）实现多模态检索，再利用LLM判定相关性和可信度指标，有效提升了长文本中关键信息的识别能力。
实验结果显示，在PUB和PRIV两个数据集上，QUEST系统的检索指标显著优于传统方法，MAP@100分别达到0.572和0.589，NDCG@10达0.757和0.768。特别是在可信度指标的检测方面，任务难度明显增加，但引入domain-specific的crels评估指标，为未来优化提供了方向。
此研究不仅推动了法律NLP的发展，也为司法实践提供了技术基础，有望实现案件审查的自动化和智能化，提升司法透明度与效率。然而，模型在极端可信度样本上的表现仍有待改进，未来需结合多模态信息和跨国数据，进一步提升系统的适应性和准确性。
深度分析
研究背景
法律NLP在司法领域的应用日益广泛，早期多依赖规则和关键词匹配，近年来深度学习模型如BERT、GPT系列的引入极大提升了文本理解能力。特别是在庇护案件中，长文本、证据多样、信息敏感，传统方法难以满足自动化需求。已有研究如Bay-Jørgensen等利用LLMs进行可信度标注，Høgenhaug等尝试基于深度模型进行案件分类，但仍面临长文本处理和多源信息融合的挑战。随着大模型的发展，结合信息检索与推理的系统成为研究热点。
核心问题
庇护案件中的核心难题在于如何自动识别影响裁决的可信度因素。长文本的复杂性、数据敏感性和多样性使得传统人工标注成本高、效率低。现有自动化方法多集中于关键词匹配或浅层语义理解，难以捕捉深层次的可信度指标。如何在保证隐私的前提下，提升模型对长文本中微妙信号的敏感度，成为亟待解决的难题。这不仅关系到技术实现，也影响司法公正与效率。
核心创新
本研究的创新点在于提出QUEST系统，结合合成查询、主题聚类、多模型检索和大模型判定，系统性解决长文本中可信度指标的自动识别问题。引入domain-specific的crels指标，区别于传统relevance，强调对可信度的专门检测。采用多阶段检索与重排序策略，有效提升检测精度。系统设计兼顾敏感数据保护和长文本处理，为法律NLP提供新范式，推动自动化司法辅助的实现。
方法详解
- �� 文档分块：将庇护案件长文本拆分为句子或段落块。
- �� 查询生成：利用少样本提示，从法律代码书中生成针对每块的合成查询。
- �� 主题提取：用BERTopic嵌入生成、降维、聚类，得到主题簇。
- �� 主题命名：用Gemma3为主题簇赋予自然语言标签。
- �� 检索：结合BM25、E5、Qwen3等模型，检索相关块。
- �� 重排序：用monoT5模型对检索结果进行优化。
- �� 相关性评估：用LLM判定块与主题的相关性和可信度指标，区分普通相关性和可信度相关性（crels）。
- �� 评价：计算MAP、NDCG、MRR指标，分析不同模型和指标的表现差异。
实验设计
采用PUB和PRIV两个数据集，PUB为公开摘要，PRIV为完整敏感材料。通过不同检索模型（BM25、SPLADE、E5、Qwen3）和重排序模型（monoT5）进行系统评估。指标包括MAP@100、NDCG@10、MRR@10。引入不同的相关性标签（qrels、crels、label_rels）评估任务难度。模型参数调优，进行多轮交叉验证，确保结果稳健。还通过专家标注验证LLM判定的相关性与可信度一致性。
结果分析
系统在PUB和PRIV数据集上，MAP@100最高达0.572和0.589，NDCG@10达0.757和0.768，优于传统BM25。credibility指标的检索难度明显高于普通相关性，crels的检索效果低于qrels，但反映任务复杂性。重排序模型略微提升了NDCG指标。引入domain-specific crels指标，揭示可信度识别的挑战。LLM判定与专家标注的κ值较低，显示自动化仍需优化。整体结果验证了多模型融合策略的有效性。
应用场景
该系统可应用于司法部门的案件审查辅助，自动提取案件中的关键可信度信息，减轻人工负担，提高效率。未来可结合多模态信息（如图片、视频）扩展应用范围，实现全流程自动化。还可推广至其他法律领域，如合同审查、证据分析，提升法律服务的智能化水平。
局限与展望
模型对极端可信度指标表现不足，尤其在低相关性样本中误判较多，反映出模型对细粒度可信度特征的敏感性不足。数据集受限于高度敏感和私密性，限制了模型的泛化能力和训练规模，未来需探索更广泛的跨国数据迁移策略。系统在处理极长文本和多模态信息（如图片、社交媒体）方面仍有不足，未来需结合多模态学习技术。
通俗解读 非专业人士也能看懂
想象你在一家非常复杂的工厂里工作，工厂里有很多不同的机器和流程，每天都要处理大量的原料和产品。你需要确保每个产品都符合质量标准，但这些产品都来自不同的供应商，信息繁杂且长篇大论。传统的方法就是逐个检查，每次都花费很多时间。现在，有了QUEST，就像是给你配备了一台智能助手，它可以快速扫描所有产品信息，自动找出那些可能存在问题的部分，比如质量不合格或不可信的地方。它用一种特别聪明的“搜索引擎”技术，结合了很多不同的工具，帮你筛选出最关键的内容，让你不用逐字逐句地检查，也能保证产品的质量。这个助手还会用一种“智能判断”技术，告诉你哪些问题最值得关注，节省了大量时间和精力。这样一来，工厂的效率大大提高，产品质量也更有保障。这个系统就像是工厂里的超级助手，帮你在海量信息中找到最重要的线索，让工作变得更快更准。
简单解释 像给14岁少年讲一样
想象你在学校里，有很多学生的作业要批改，但每份作业都很长，而且内容很复杂。以前，你得花很多时间一字一句地看，才能知道哪个学生说得对，哪个地方不可信。现在，有了QUEST，就像是你有一个超级聪明的机器人助手，它可以帮你快速找到作业里最重要的部分，比如学生是否说了谎或者提供了不真实的内容。这个机器人用一种特别厉害的技术，能理解长长的作业，把里面的关键信息提取出来，然后告诉你哪些内容可能不可信，哪些是可信的。它还会用一种“判断力”，帮你决定哪些问题最需要注意。这样，你就不用一字一句地看作业，也能很快判断出学生的答案是真是假。这个助手让你的工作变得简单多了，也让你更快地完成任务，学习也更轻松。就像有个聪明的朋友帮你筛选信息，让你不用担心漏掉重要的线索。
原文摘要
Legal decisions on asylum applications consist of long, complex, and heterogeneous documents, covering narrative applicant interviews, original decisions, and additional supporting materials. If an application is rejected, a critical question in processing an appeal is whether the credibility of the information in the original application was a factor that determined the original decision. In this paper, we present the QUEST system (Query and Extraction System for Topics) to extract and identify factors relating to credibility assessments in two datasets of Danish asylum application appeals. QUEST frames this problem as an information retrieval task, combining synthetic query generation, topic extraction, and relevance assessment to identify information related to credibility indicators in appeals board application materials. In addition to standard retrieval evaluation metrics, we propose a new type of domain-specific assessments distinct from the traditional relevance to evaluate the performance of the tested systems with respect to credibility factors. In this way, we obtain insights about how well automatic methods can return answers for different types of indicators appearing in asylum appeals. Our results indicate that there is an increased challenge when estimating performance using credibility-based relevance assessments, thus pointing to the difficulty of the task.