核心发现
方法论
TextMineX提出了一种本体引导的大语言模型管道，用于从人道主义排雷领域的文本中提取知识。该方法将HMA报告结构化为(主体, 关系, 客体)三元组，并结合人类注释的三元组和LLM-as-Judge协议来评估提取的准确性。通过使用柬埔寨排雷行动中心的数据集，确保了实际应用的相关性。
关键结果
- 实验表明，本体对齐的提示提高了提取准确性44.2%，减少了22.5%的幻觉，并增强了20.9%的格式遵从性。
- 通过引入偏差感知的评估框架，减少了位置偏差对无参考评分的影响。
- 在不同的LLM模型上进行实验，验证了本体对齐提示的有效性。
研究意义
该研究通过自动化信息提取和组织，使得人道主义排雷领域的重要知识更易于获取和共享，解决了长期以来信息难以在不同机构间转移的问题。通过提高提取准确性和减少幻觉，TextMineX为人道主义排雷领域的知识管理提供了新的技术手段。
技术贡献
TextMineX在技术上通过本体引导的提示策略显著提高了知识提取的准确性，并首次在HMA领域应用了LLM进行知识提取。该方法结合了布局感知的文档分块和多视角评估，为领域特定的IE应用提供了新的可能性。
新颖性
TextMineX是首个在HMA领域应用本体引导的LLM管道进行知识提取的系统。与现有方法相比，它通过上下文级推理和多本体聚合，显著提高了提取的准确性和实用性。
局限性
- 该方法在处理复杂上下文时可能存在局限，尤其是在涉及多句推理时。
- 需要进一步验证在其他领域的适用性。
- 对本体的依赖可能限制其在非结构化数据中的应用。
未来方向
未来的工作可以包括扩展到其他人道主义领域，进一步优化本体对齐策略，以及探索减少对本体依赖的方法。
AI 总览摘要
人道主义排雷行动(HMA)面临着从冲突地区检测和清除地雷的挑战。尽管HMA机构发布了大量救命的操作知识，但这些信息大多埋藏在非结构化的报告中，限制了信息在不同机构之间的转移。为了解决这个问题，研究人员提出了TextMineX，这是第一个用于从HMA领域文本中提取知识的数据集、评估框架和本体引导的大语言模型(LLM)管道。TextMineX将HMA报告结构化为(主体, 关系, 客体)三元组，从而创建了特定领域的知识。为了确保实际应用的相关性，研究人员利用了来自合作伙伴柬埔寨排雷行动中心的数据集。此外，他们引入了一个偏差感知的评估框架，该框架结合了人类注释的三元组和LLM-as-Judge协议，以减轻无参考评分中的位置偏差。实验结果表明，与基线模型相比，本体对齐的提示提高了提取准确性44.2%，减少了22.5%的幻觉，并增强了20.9%的格式遵从性。研究团队公开发布了数据集和代码，以促进进一步的研究和应用。TextMineX的推出不仅是技术上的进步，也是人道主义上的必要，它使得救命的见解更易于获取、可操作并可在许多HMA机构之间转移。
深度分析
研究背景
人道主义排雷行动(HMA)旨在从冲突地区检测和清除地雷，以便将土地归还给平民使用。尽管HMA机构发布了大量救命的操作知识，但这些信息大多埋藏在非结构化的报告中，限制了信息在不同机构之间的转移。为了应对这一挑战，研究人员提出了TextMineX，这是第一个用于从HMA领域文本中提取知识的数据集、评估框架和本体引导的大语言模型(LLM)管道。
核心问题
HMA领域的知识大多以非结构化文本的形式存在，这使得信息难以在不同机构之间共享和利用。现有的LLM在领域特定的信息提取中表现不佳，缺乏对复杂上下文的处理能力。
核心创新
TextMineX通过本体引导的提示策略显著提高了知识提取的准确性。该方法结合了布局感知的文档分块和多视角评估，为领域特定的IE应用提供了新的可能性。通过上下文级推理和多本体聚合，TextMineX显著提高了提取的准确性和实用性。
方法详解
- �� 利用柬埔寨排雷行动中心的数据集进行实际应用验证。
- �� 引入偏差感知的评估框架，结合人类注释的三元组和LLM-as-Judge协议。
- �� 通过本体对齐的提示策略提高提取准确性。
- �� 采用布局感知的文档分块和多视角评估。
实验设计
实验在不同的LLM模型上进行，包括GPT-4o和Llama3-70B。使用柬埔寨排雷行动中心的数据集进行验证，评估提取的准确性、幻觉率和格式遵从性。实验结果表明，本体对齐的提示策略显著提高了提取的准确性。
结果分析
实验结果表明，与基线模型相比，本体对齐的提示提高了提取准确性44.2%，减少了22.5%的幻觉，并增强了20.9%的格式遵从性。通过引入偏差感知的评估框架，减少了位置偏差对无参考评分的影响。
应用场景
TextMineX可以直接应用于人道主义排雷领域的信息提取和知识管理，帮助不同机构更有效地共享和利用重要的操作知识。
局限与展望
该方法在处理复杂上下文时可能存在局限，尤其是在涉及多句推理时。需要进一步验证在其他领域的适用性。对本体的依赖可能限制其在非结构化数据中的应用。
通俗解读 非专业人士也能看懂
想象你在一个巨大的图书馆里，那里有很多关于如何清除地雷的书籍，但这些书籍都没有目录。TextMineX就像一个超级图书管理员，它能快速浏览这些书籍，找出每本书的关键点，并把它们整理成一个易于理解的目录。这样，其他图书管理员就能快速找到他们需要的信息，而不必逐页翻阅。这个过程就像是在厨房里做饭时，先准备好所有的食材和工具，这样你就能更快地做出美味的菜肴。
简单解释 像给14岁少年讲一样
想象一下，你在玩一个关于清除地雷的游戏。游戏中有很多关卡，每个关卡都有不同的挑战。TextMineX就像是一个超级助手，它能帮助你快速找到每个关卡的关键信息，比如哪里有地雷，怎么清除它们。这样你就能更快地通过关卡，而不必浪费时间去猜测。就像在学校里做作业时，有一个聪明的朋友帮你找出课本中的重点，这样你就能更快地完成作业！
术语表
Ontology (本体)
本体是一个领域内概念及其关系的正式表示。
在TextMineX中，本体用于指导知识提取过程。
LLM (大语言模型)
大语言模型是能够理解和生成自然语言文本的人工智能模型。
TextMineX使用LLM进行知识提取。
HMA (人道主义排雷行动)
HMA是指在冲突地区检测和清除地雷的行动。
TextMineX专注于从HMA领域的文本中提取知识。
Triple (三元组)
三元组是由主体、关系和客体组成的结构化数据。
TextMineX将HMA报告结构化为三元组。
Hallucination (幻觉)
幻觉是指模型生成的与输入不一致的信息。
TextMineX通过本体对齐的提示策略减少了幻觉。
开放问题 这项研究留下的未解疑问
- 1 如何在不依赖本体的情况下提高知识提取的准确性？
- 2 如何将TextMineX扩展到其他人道主义领域？
应用场景
近期应用
人道主义排雷
TextMineX可以帮助排雷机构更有效地共享和利用重要的操作知识。
远期愿景
跨领域知识管理
TextMineX的技术可以扩展到其他需要知识提取和管理的领域，如医疗和金融。
原文摘要
Humanitarian Mine Action (HMA) addresses the challenge of detecting and removing landmines from conflict regions. Much of the life-saving operational knowledge produced by HMA agencies is buried in unstructured reports, limiting the transferability of information between agencies. To address this issue, we propose TextMineX: the first dataset, evaluation framework and ontology-guided large language model (LLM) pipeline for knowledge extraction from text in the HMA domain. TextMineX structures HMA reports into (subject, relation, object)-triples, thus creating domain-specific knowledge. To ensure real-world relevance, we utilized the dataset from our collaborator Cambodian Mine Action Centre (CMAC). We further introduce a bias-aware evaluation framework that combines human-annotated triples with an LLM-as-Judge protocol to mitigate position bias in reference-free scoring. Our experiments show that ontology-aligned prompts improve extraction accuracy by up to 44.2%, reduce hallucinations by 22.5%, and enhance format adherence by 20.9% compared to baseline models. We publicly release the dataset and code.