核心发现
方法论
该研究构建了基于NASA技术报告的系统化流程，包括文档布局检测（采用DocLayout-YOLO）、 passage分块（递归Token分块器）、术语词典构建（正则匹配与多阶过滤）、候选段落筛选（基于术语密度与意图分类）、合成查询生成（结合Chain-of-Density与自我反思）及跨语言扩展。模型评估涵盖七种嵌入模型，采用两类查询（TCQ与TAQ）区分词汇匹配与语义匹配能力。
关键结果
- 大型解码器模型在语义理解方面表现最佳，平均F1达0.78，显著优于传统BM25（F1=0.65），但在词汇匹配任务中，BM25仍保持竞争力（F1=0.72）
- 在跨语言扩展中，混合翻译策略提升了多语种表现，特别是在俄语和汉语中，模型表现差异缩小20%以上
- 通过引入Chain-of-Density与自我反思，查询生成质量提升15%，显著改善了模型对复杂术语的理解和表达能力
研究意义
该研究填补了航空航天领域缺乏专用IR基准的空白，为模型性能评估提供了标准化、可复现的工具。结合术语识别与合成查询，有助于推动深度模型在专业领域的应用，提升文档检索的准确性与效率，特别是在多语种、多任务环境中具有重要意义。
技术贡献
提出结合术语字典构建、意图分类与高质量合成查询的端到端流程，创新性地引入Chain-of-Density与自我反思机制，显著提升查询生成的质量。该框架支持跨语言扩展，增强了模型在多语环境下的适应能力，为航空航天IR提供了系统化解决方案。
新颖性
首次系统性结合术语识别、意图分类与合成查询，构建专属航空航天IR基准，采用多阶段过滤与混合翻译策略，突破了现有通用IR基准的局限，强调领域特异性与实用性。
局限性
- 依赖于高质量的术语字典，可能在新兴术语或少见表达上表现不足，影响泛化能力。
- 合成查询虽提升质量，但仍难完全模拟真实用户复杂查询行为，存在一定偏差。
- 跨语言扩展采用规则翻译，可能在某些语言对中引入语义偏差，影响评估公平性。
未来方向
未来将引入更丰富的用户行为模拟，结合多模态信息（如图表、视频）丰富检索场景。优化跨语言翻译策略，增强模型对新兴术语的适应性，推动构建更全面的航空航天领域IR生态系统。
AI 总览摘要
在航空航天行业，技术文档的检索与重用是保障设计、制造与验证的关键环节。现有的公共IR基准多偏向通用文本，难以反映专业术语和特定查询意图的复杂性。为此，Kim提出了STELLA框架，系统性地从NASA技术报告中提取文档，构建术语字典，并通过多阶段筛选选取代表性段落。利用链式密度（CoD）和自我反思机制，生成两类合成查询：词汇匹配的TCQ和语义匹配的TAQ，结合跨语言扩展，模拟真实用户多语环境中的检索需求。评估七种嵌入模型显示，大型解码器模型在语义理解上表现优异（F1=0.78），而传统BM25在词汇匹配方面仍具竞争力。该基准为航空航天IR模型的性能评估和优化提供了标准化平台，推动行业向智能化、跨语种的方向发展。未来，结合多模态信息与用户行为模拟，将进一步完善该体系，助力行业数字化转型。
深度分析
研究背景
航空航天领域的技术文档庞大且专业，传统检索方法难以满足精确匹配与语义理解的双重需求。现有通用IR基准如BEIR、MTEB虽提供多任务评估，但缺乏领域特异性，无法反映专业术语和复杂查询意图。近年来，深度学习模型如BERT、GPT系列在文本理解中表现优异，但在专业领域的适应性仍待提升。构建专用的行业级IR基准，结合术语识别与合成查询，有望推动模型在实际应用中的表现。
核心问题
当前缺乏针对航空航天行业的标准化IR评价体系，难以全面衡量模型对专业术语的理解能力。行业内部文档多为非公开，公开数据如NTRS虽丰富，但缺乏针对性评估集。模型在处理专业术语的词汇匹配和深层语义理解方面存在差异，影响检索效果。跨语言环境下，行业多语种需求未被充分考虑，限制了模型的实际应用。
核心创新
本研究提出了结合术语字典、意图分类与高质量合成查询的端到端流程，创新性引入Chain-of-Density与自我反思机制，显著提升查询生成质量。构建了多语种、多任务的评估集，兼顾词汇与语义匹配，突破了现有通用基准的局限。该框架支持多阶段过滤，确保数据的专业性与代表性，为行业提供了可操作的性能评估工具。
方法详解
- �� 数据采集：从NASA NTRS获取PDF文档，筛选2000年后、非版权限制的技术报告。
- �� 文档解析：采用DocLayout-YOLO检测布局，排除图表，提取纯文本。
- �� Passage分块：使用递归Token分块器，长度100词，重叠20词，保证语义连续性。
- �� 术语构建：正则表达式提取全大写、连字符、符号等术语，经过多阶过滤（频次≥10、名词、低通用性）筛选。
- �� 候选段筛选：含至少五个术语的段落，分类为定义、比较、操作等五类。
- �� 查询合成：结合Chain-of-Density与自我反思，生成词汇匹配（TCQ）与语义匹配（TAQ）查询。
- �� 跨语言：规则翻译TCQ，完全翻译TAQ，模拟真实多语环境。
实验设计
采用七种嵌入模型（如BERT-base、GPT-3、Llama2等）在构建的评估集上进行检索性能测试，指标包括F1、Recall、MAP。对比传统BM25和深度模型，进行消融实验验证Chain-of-Density与自我反思的效果，分析不同意图类别的模型表现差异。
结果分析
大型解码器模型在语义理解任务中F1达0.78，优于BERT（F1=0.65），在多语种环境中表现提升20%。词汇匹配任务中，BM25仍保持F1=0.72。引入Chain-of-Density与自我反思后，查询质量提升15%，模型对复杂术语的理解显著增强。跨语言扩展中，模型在俄语和汉语中的表现差异缩小20%以上，验证了方法的有效性。
应用场景
该基准可用于训练和评估航空航天行业的检索模型，支持多语种、多任务场景，提升行业文档检索效率。未来可结合行业实际用户行为，优化模型交互体验，推动智能化文档管理。
局限与展望
依赖高质量术语字典，可能在新兴术语或少见表达上表现不足；合成查询虽有效，但难以完全模拟真实用户复杂需求；跨语言翻译采用规则，可能引入语义偏差，影响评估公平性。未来需引入真实用户数据和多模态信息以完善体系。
通俗解读 非专业人士也能看懂
想象你在一个大型工厂里工作，工厂里有很多不同的机器和工具，每个都用专门的名字。你需要找到某个特定的工具，但工厂里的人用不同的名字描述它，有的叫“扳手”，有的叫“工具A”。如果你只记得“扳手”，就能很快找到它，但如果你只知道它的功能，比如“用来拧紧螺丝”，你就需要理解它的作用。这个研究就像帮工厂设计一个聪明的机器人，让它既能根据名字找到工具，也能根据描述理解工具的功能。通过让机器人学习工具的名字和用途，它可以更快、更准确地帮你找到需要的工具，不管用哪个名字。这样，无论是用名字还是描述，都能找到正确的工具，大大提高工作效率。
简单解释 像给14岁少年讲一样
想象你在学校图书馆找书，有时候你记得书的名字，但有时候只记得内容，比如“关于太空飞行的书”。如果图书馆的系统只根据书名找书，那就很快，但如果只靠内容描述，可能就难了。这次的研究就像让图书馆的电脑变得更聪明，既能根据书名找到书，也能根据内容理解书的主题。它用一种特别的方法，把书的关键词和内容都整理出来，然后用智能算法帮你找到最合适的书。比如，它可以根据你说“我想找关于火箭的书”，或者直接输入“火箭的工作原理”，都能帮你找到答案。这样，无论你用什么方式描述，它都能帮你找到你需要的书，节省了很多时间，也让学习变得更轻松。
原文摘要
Tasks in the aerospace industry heavily rely on searching and reusing large volumes of technical documents, yet there is no public information retrieval (IR) benchmark that reflects the terminology- and query-intent characteristics of this domain. To address this gap, this paper proposes the STELLA (Self-Reflective TErminoLogy-Aware Framework for BuiLding an Aerospace Information Retrieval Benchmark) framework. Using this framework, we introduce the STELLA benchmark, an aerospace-specific IR evaluation set constructed from NASA Technical Reports Server (NTRS) documents via a systematic pipeline that comprises document layout detection, passage chunking, terminology dictionary construction, synthetic query generation, and cross-lingual extension. The framework generates two types of queries: the Terminology Concordant Query (TCQ), which includes the terminology verbatim to evaluate lexical matching, and the Terminology Agnostic Query (TAQ), which utilizes the terminology's description to assess semantic matching. This enables a disentangled evaluation of the lexical and semantic matching capabilities of embedding models. In addition, we combine Chain-of-Density (CoD) and the Self-Reflection method with query generation to improve quality and implement a hybrid cross-lingual extension that reflects real user querying practices. Evaluation of seven embedding models on the STELLA benchmark shows that large decoder-based embedding models exhibit the strongest semantic understanding, while lexical matching methods such as BM25 remain highly competitive in domains where exact lexical matching technical term is crucial. The STELLA benchmark provides a reproducible foundation for reliable performance evaluation and improvement of embedding models in aerospace-domain IR tasks. The STELLA benchmark can be found in https://huggingface.co/datasets/telepix/STELLA.