核心发现
方法论
研究引入了ConTRoL数据集，专注于长文本的上下文推理。数据集由8,325对“上下文-假设”组成，涵盖多种复杂推理类型，如逻辑推理。数据集来源于警察招聘的口头推理测试，质量高于众包数据。
关键结果
- BART模型在ConTRoL上的准确率为56.34%，显著低于人类的87.06%。
- 现有模型在长文本推理任务中表现不佳，尤其在信息整合和逻辑推理上。
- 人类在ConTRoL数据集上的表现远超现有模型，显示出模型在复杂推理任务中的不足。
研究意义
该研究通过ConTRoL数据集揭示了现有自然语言推理模型在长文本上下文推理中的不足，推动了对复杂推理任务的研究。数据集可用于测试下游任务，如摘要的事实正确性检查。
技术贡献
ConTRoL数据集的引入为自然语言推理领域提供了新的基准，特别是在长文本和复杂推理任务中。该数据集的设计超越了传统的句子级推理，强调了多段落推理的必要性。
新颖性
ConTRoL是首个专注于长文本上下文推理的数据集，填补了现有数据集在推理复杂性和文本长度上的空白，提供了更具挑战性的测试环境。
局限性
- 现有模型在长文本推理任务中表现不佳，尤其在信息整合和逻辑推理上。
- 数据集的复杂性可能导致模型训练时间增加。
未来方向
未来研究可探索改进模型在长文本推理中的表现，特别是在信息整合和逻辑推理方面。还可开发新的方法来处理更长的文本和更复杂的推理任务。
AI 总览摘要
自然语言推理（NLI）是自然语言处理中的基本任务，通常在句子级别进行。然而，现有数据集在测试长文本的上下文推理时存在不足。为此，研究者引入了ConTRoL数据集，专注于长文本的复杂推理任务。该数据集由8,325对“上下文-假设”组成，涵盖多种推理类型，如逻辑推理，来源于警察招聘的口头推理测试，质量高于众包数据。
实验结果显示，现有的最先进语言模型在ConTRoL上的表现远不如人类，特别是在信息整合和逻辑推理上。这表明现有模型在处理复杂推理任务时存在显著不足。
ConTRoL数据集的引入为自然语言推理领域提供了新的基准，推动了对复杂推理任务的研究。未来研究可探索改进模型在长文本推理中的表现，特别是在信息整合和逻辑推理方面。
深度分析
研究背景
自然语言推理（NLI）是自然语言处理中的基本任务，通常用于测试语言模型的语义表示能力。现有的NLI数据集多为句子级别，适合测试语义表示，但在测试长文本的上下文推理时存在不足。
核心问题
现有的NLI数据集在测试长文本的上下文推理时存在不足，无法充分评估模型在复杂推理任务中的表现。
核心创新
ConTRoL数据集专注于长文本的上下文推理，填补了现有数据集在推理复杂性和文本长度上的空白。
方法详解
- �� 引入ConTRoL数据集，专注于长文本的上下文推理。
- �� 数据集由8,325对“上下文-假设”组成，涵盖多种推理类型。
- �� 数据集来源于警察招聘的口头推理测试，质量高于众包数据。
实验设计
实验使用多种最先进的语言模型，如BERT、RoBERTa和BART，评估其在ConTRoL数据集上的表现。结果显示，这些模型在长文本推理任务中表现不佳。
结果分析
BART模型在ConTRoL上的准确率为56.34%，显著低于人类的87.06%。现有模型在信息整合和逻辑推理上表现不佳。
应用场景
ConTRoL数据集可用于测试下游任务，如摘要的事实正确性检查，推动复杂推理任务的研究。
局限与展望
现有模型在长文本推理任务中表现不佳，尤其在信息整合和逻辑推理上。数据集的复杂性可能导致模型训练时间增加。
通俗解读 非专业人士也能看懂
想象你在看一部长篇电视剧，每集都有很多角色和情节。要理解整个故事，你需要记住每个角色的关系和情节的发展。这就像ConTRoL数据集中的任务：模型需要在长文本中找到线索，推断出正确的结论。
简单解释 像给14岁少年讲一样
想象你在玩一个复杂的解谜游戏。每个关卡都有很多线索，你需要把它们拼凑在一起，找出真相。这就是ConTRoL数据集的任务：让计算机像你一样聪明，能在长篇故事中找到答案！
术语表
ConTRoL
ConTextual Reasoning over Long Texts的缩写，是一个专注于长文本上下文推理的数据集。
用于测试模型在长文本中的推理能力。
自然语言推理
判断一个假设是否可以从一个前提中合理推断出来的任务。
用于评估语言模型的语义理解能力。
逻辑推理
通过逻辑关系推断结论的过程。
ConTRoL数据集中的一种推理类型。
上下文推理
基于上下文信息进行推断的过程。
ConTRoL数据集的核心任务。
BART
一种用于序列到序列任务的预训练模型，结合了双向和自回归Transformer。
在ConTRoL数据集上的表现优于其他模型。
开放问题 这项研究留下的未解疑问
- 1 现有模型在长文本推理任务中表现不佳，尤其在信息整合和逻辑推理上。
- 2 如何提高模型在复杂推理任务中的表现仍是一个开放问题。
应用场景
近期应用
摘要事实检查
ConTRoL数据集可用于测试模型在摘要事实正确性检查任务中的表现。
远期愿景
复杂推理任务
推动自然语言处理领域对复杂推理任务的研究，开发更强大的语言模型。
原文摘要
Natural language inference (NLI) is a fundamental NLP task, investigating the entailment relationship between two texts. Popular NLI datasets present the task at sentence-level. While adequate for testing semantic representations, they fall short for testing contextual reasoning over long texts, which is a natural part of the human inference process. We introduce ConTRoL, a new dataset for ConTextual Reasoning over Long texts. Consisting of 8,325 expert-designed "context-hypothesis" pairs with gold labels, ConTRoL is a passage-level NLI dataset with a focus on complex contextual reasoning types such as logical reasoning. It is derived from competitive selection and recruitment test (verbal reasoning test) for police recruitment, with expert level quality. Compared with previous NLI benchmarks, the materials in ConTRoL are much more challenging, involving a range of reasoning types. Empirical results show that state-of-the-art language models perform by far worse than educated humans. Our dataset can also serve as a testing-set for downstream tasks like Checking Factual Correctness of Summaries.