Kleister: Key Information Extraction Datasets Involving Long Documents with Complex Layouts
Kleister数据集挑战现有KIE模型，最佳模型在NDA和Charity数据集上分别取得81.77%和83.57%的F1分数。
核心发现
方法论
研究使用半监督方法收集数据集，结合文本和结构布局特征进行实体提取。使用Flair、BERT、RoBERTa、LayoutLM、LAMBERT等模型进行基线测试，展示了Kleister数据集对现有模型的挑战性。
关键结果
- 在Kleister NDA数据集上，最佳模型LAMBERT取得了81.77%的F1分数，显示了其在处理长文档和复杂布局上的优势。
- Kleister Charity数据集上，LAMBERT模型取得了83.57%的F1分数，尤其在处理表格结构的收入和支出实体上表现突出。
- 实验表明，使用布局特征的模型在复杂布局文档上有显著优势。
研究意义
该研究通过提供新的Kleister数据集，填补了长文档和复杂布局信息提取领域的空白，为学术界和工业界提供了新的基准。它帮助评估现有模型在真实商业场景中的表现，推动更复杂信息提取任务的进展。
技术贡献
研究提供了两个新数据集，展示了现有KIE模型在处理长文档和复杂布局时的局限性，并提出了使用布局特征的模型，如LAMBERT，能够显著提升性能。
新颖性
首次引入长文档和复杂布局的KIE数据集，结合文本和结构布局特征进行实体提取，与现有数据集相比，具有更高的挑战性和实用性。
局限性
- 在某些情况下，模型在处理OCR质量较差的文档时表现不佳，影响了实体提取的准确性。
- 对于需要推理的实体，如金额的单位，模型表现有限。
未来方向
未来工作可以集中在提高OCR质量的处理能力，以及开发更强大的模型来处理需要推理的复杂实体提取任务。
AI 总览摘要
在自然语言处理领域，关键信息提取（KIE）任务的重要性日益增加，但目前缺乏用于评估解决方案的基准问题。为填补这一空白，研究者们引入了两个新的数据集：Kleister NDA和Kleister Charity。这些数据集包含扫描和数字生成的长英文文档，要求NLP系统利用文本和结构布局特征提取各种实体。
Kleister Charity数据集包括2788份慈善组织的年度财务报告，共有61643页和21612个实体需要提取。Kleister NDA数据集则包含540份保密协议，共有3229页和2160个实体需要提取。研究者提供了多个最先进的基线系统（如Flair、BERT、RoBERTa、LayoutLM、LAMBERT），展示了这些数据集对现有模型的强大挑战。
在实验中，最佳模型在Kleister NDA和Kleister Charity数据集上分别取得了81.77%和83.57%的F1分数。研究者们分享了这些数据集，以鼓励在更深入和复杂的信息提取任务上的进展。
深度分析
研究背景
关键信息提取（KIE）在自然语言处理中的重要性日益增加，尤其是在商业市场中。现有的KIE系统在公开可用的数据集上表现出色，但在实际应用中仍存在差距。近年来，研究者们开始通过创建新的KIE数据集来填补这一空白，如扫描收据和表单理解数据集。
核心问题
当前KIE任务缺乏长文档和复杂布局的基准数据集，这限制了模型在真实商业场景中的评估和应用。复杂的文档布局、特定的商业逻辑和OCR质量等问题使得信息提取任务更加困难。
核心创新
研究引入了两个新数据集，Kleister NDA和Kleister Charity，专注于长文档和复杂布局的实体提取。通过结合文本和结构布局特征，研究展示了现有模型在这些数据集上的表现。
方法详解
- �� 使用半监督方法收集数据集，减少了手动标注的工作量。
- �� 评估了多个最先进的NER架构（Flair、BERT、RoBERTa、LayoutLM、LAMBERT），并采用Pipeline方法进行实验。
- �� 对数据和基线结果进行了详细分析。
实验设计
实验使用了Kleister NDA和Kleister Charity数据集，评估了Flair、BERT、RoBERTa、LayoutLM、LAMBERT等模型的性能。实验设计包括数据集的分割、模型的训练和评估，以及对OCR工具的比较。
结果分析
实验结果显示，使用布局特征的模型在复杂布局文档上表现更好。LAMBERT模型在Kleister NDA和Kleister Charity数据集上分别取得了81.77%和83.57%的F1分数。
应用场景
Kleister数据集为评估现有KIE模型在长文档和复杂布局上的性能提供了新的基准。它可以用于开发更强大的信息提取系统，应用于商业合同、财务报告等场景。
局限与展望
研究中使用的OCR工具在处理质量较差的扫描文档时表现有限，影响了模型的准确性。某些需要推理的实体提取任务仍然具有挑战性。
通俗解读 非专业人士也能看懂
想象你在一个图书馆里，图书馆有很多书，每本书都有不同的布局和内容。你的任务是从这些书中找到特定的信息，比如书的作者、出版日期等。Kleister数据集就像这些书，而我们的模型就像一个聪明的图书管理员，它能快速找到你需要的信息，即使这些信息藏在复杂的布局中。
简单解释 像给14岁少年讲一样
嘿，想象一下你在玩一个游戏，你需要从一堆复杂的地图中找到隐藏的宝藏。每张地图都有不同的布局和线索。Kleister数据集就像这些地图，而我们的模型就像一个超级侦探，能帮你快速找到宝藏！是不是很酷？
术语表
KIE (关键信息提取)
从文档中提取重要信息的过程，通常涉及实体识别和关系抽取。
在论文中，KIE用于从长文档和复杂布局中提取实体。
OCR (光学字符识别)
将扫描图像中的文本转换为可编辑文本的技术。
用于处理Kleister Charity数据集中的扫描文档。
NER (命名实体识别)
识别文本中实体（如人名、地名、组织名）的过程。
在实验中使用多种NER模型进行实体提取。
LayoutLM
一种结合文本和布局信息的模型，用于处理复杂布局的文档。
在实验中用于评估其在Kleister数据集上的性能。
LAMBERT
一种结合文本和布局特征的模型，专门用于处理复杂布局的文档。
在实验中表现最佳的模型。
开放问题 这项研究留下的未解疑问
- 1 如何提高OCR工具在低质量扫描文档上的表现？
- 2 如何开发更强大的模型来处理需要推理的复杂实体提取任务？
应用场景
近期应用
商业合同分析
使用Kleister数据集训练的模型可以帮助企业快速分析合同中的关键信息，提高效率。
远期愿景
智能文档管理系统
开发一个系统，能够自动处理和分析各种复杂布局的文档，提升企业信息管理能力。
原文摘要
The relevance of the Key Information Extraction (KIE) task is increasingly important in natural language processing problems. But there are still only a few well-defined problems that serve as benchmarks for solutions in this area. To bridge this gap, we introduce two new datasets (Kleister NDA and Kleister Charity). They involve a mix of scanned and born-digital long formal English-language documents. In these datasets, an NLP system is expected to find or infer various types of entities by employing both textual and structural layout features. The Kleister Charity dataset consists of 2,788 annual financial reports of charity organizations, with 61,643 unique pages and 21,612 entities to extract. The Kleister NDA dataset has 540 Non-disclosure Agreements, with 3,229 unique pages and 2,160 entities to extract. We provide several state-of-the-art baseline systems from the KIE domain (Flair, BERT, RoBERTa, LayoutLM, LAMBERT), which show that our datasets pose a strong challenge to existing models. The best model achieved an 81.77% and an 83.57% F1-score on respectively the Kleister NDA and the Kleister Charity datasets. We share the datasets to encourage progress on more in-depth and complex information extraction tasks.