STREET: A Multi-Task Structured Reasoning and Explanation Benchmark
STREET基准测试评估多任务推理与解释，GPT-3和T5模型仍落后于人类表现。
核心发现
方法论
STREET基准测试包括多个领域的任务，如数学、逻辑推理和常识推理。每个问题都有一个推理图，展示了如何从前提推导出答案。使用了GPT-3和T5模型进行评估，重点在于生成结构化的推理步骤。
关键结果
- GPT-3在数学任务中表现较好，答题准确率达到34.8%，但在其他任务中表现不佳。
- T5模型在ARC和SCONE任务中表现优异，分别达到了93.5%和69.6%的答题准确率。
- 生成的推理图与人类相比仍有较大差距，特别是在复杂推理任务中。
研究意义
STREET为多步骤推理和解释提供了一个统一的评估框架，填补了自然语言推理领域的资源空白。它有助于推动研究者开发更强大的模型，提高模型的解释能力。
技术贡献
提出了推理图的概念，将推理过程结构化为有向无环图。与现有的数据集相比，STREET提供了更复杂的推理结构和更多的推理步骤。
新颖性
STREET首次将多任务和多领域的推理与解释结合在一起，通过推理图展示完整的推理过程，显著增强了模型的解释性。
局限性
- 模型在生成复杂推理图时表现不佳，特别是在AR-LSAT任务中。
- 现有模型的推理能力仍远低于人类水平。
未来方向
未来研究可以集中在提高模型生成复杂推理图的能力，以及探索如何更好地利用推理图进行模型训练。
AI 总览摘要
STREET基准测试提出了一个多任务、多领域的自然语言推理与解释框架，旨在解决现有问答数据集无法充分评估模型推理能力的问题。该框架要求模型不仅要回答问题，还要生成结构化的推理步骤，展示如何从问题中的前提出发得出结论。通过对GPT-3和T5模型的评估，发现它们在生成推理图方面仍落后于人类表现，特别是在复杂推理任务中。STREET的出现为研究者提供了一个新的工具，帮助他们开发更强大的模型，提高模型的解释能力，推动自然语言处理领域的进步。尽管如此，现有模型在复杂推理任务中的表现仍有待提高，未来的研究可以集中在提升模型的推理能力和解释性上。
深度分析
研究背景
自然语言处理领域一直在追求让机器具备推理能力。传统的推理系统主要依赖符号或概率知识进行多步骤操作，但在处理模糊性和学习推理规则方面存在不足。近年来，语言模型在直接处理自然语言推理方面取得了进展，然而，现有资源仍不足以全面评估模型的推理能力。
核心问题
现有问答数据集多为单步推理，缺乏对多步骤推理和解释能力的评估。模型需要能够生成结构化的推理步骤，以展示如何从前提出发得出答案。
核心创新
STREET创新性地结合了多任务和多领域的推理与解释，通过推理图展示完整的推理过程，显著增强了模型的解释性。这一框架填补了自然语言推理领域的资源空白。
方法详解
- �� 使用多个领域的任务，包括数学、逻辑和常识推理。 • 每个问题都有一个推理图，展示从前提出发的推理步骤。 • 评估使用了GPT-3和T5模型，重点在于生成结构化的推理步骤。
实验设计
实验设计包括使用多个数据集，如GSM8K和AR-LSAT。对比基线模型，评估模型的答题准确率和生成推理图的能力。使用了不同大小的模型进行实验，以测试其在不同任务上的表现。
结果分析
T5模型在ARC和SCONE任务中表现优异，答题准确率分别为93.5%和69.6%。然而，在生成推理图方面，模型的表现仍远低于人类水平，特别是在复杂推理任务中。
应用场景
STREET可以用于评估和训练更强大的自然语言推理模型，特别是在需要多步骤推理和解释的应用场景中，如教育和法律领域。
局限与展望
现有模型在生成复杂推理图时表现不佳，特别是在AR-LSAT任务中。模型的推理能力和解释性仍有待提高，未来的研究可以集中在这些方面。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭。你有一张食谱，告诉你需要哪些原料和步骤。STREET就像这张食谱，它不仅要求你做出美味的菜肴（回答问题），还要求你解释每一步是如何完成的（生成推理图）。就像在厨房里，你需要知道每个步骤的原因和结果，STREET要求模型展示从问题中的前提出发的完整推理过程。
简单解释 像给14岁少年讲一样
想象你在玩一个解谜游戏。你需要找到线索，解决谜题。STREET就像这个游戏，它不仅要求你找到答案，还要求你解释你是如何找到答案的。就像在游戏中，你需要一步步地推理，STREET要求模型展示从问题中的前提出发的完整推理过程。这就像在游戏中展示你的推理过程，让别人也能理解你的思路！
术语表
推理图 (Reasoning Graph)
一种结构化的推理过程，展示如何从前提出发得出结论。
在STREET中用于展示模型的推理步骤。
多任务学习 (Multi-task Learning)
一种机器学习方法，模型同时学习多个相关任务。
STREET评估模型在多个领域的推理能力。
解释性 (Explainability)
模型提供清晰的推理过程，使人类能够理解其决策。
STREET要求模型生成结构化的推理步骤。
GPT-3
一种大型语言模型，能够生成自然语言文本。
用于评估STREET中的推理能力。
T5模型
一种基于转换器的语言模型，擅长生成和理解自然语言。
用于评估STREET中的推理能力。
开放问题 这项研究留下的未解疑问
- 1 如何提高模型在复杂推理任务中的表现，特别是在生成推理图方面。
- 2 现有模型在解释性和推理能力上仍有待提高，未来的研究可以集中在这些方面。
应用场景
近期应用
教育领域
帮助开发更强大的教育工具，能够解释复杂问题的推理过程。
法律领域
用于法律推理和决策支持，提供清晰的推理过程。
远期愿景
通用人工智能
推动通用人工智能的发展，使机器具备更强的推理和解释能力。
原文摘要
We introduce STREET, a unified multi-task and multi-domain natural language reasoning and explanation benchmark. Unlike most existing question-answering (QA) datasets, we expect models to not only answer questions, but also produce step-by-step structured explanations describing how premises in the question are used to produce intermediate conclusions that can prove the correctness of a certain answer. We perform extensive evaluation with popular language models such as few-shot prompting GPT-3 and fine-tuned T5. We find that these models still lag behind human performance when producing such structured reasoning steps. We believe this work will provide a way for the community to better train and test systems on multi-step reasoning and explanations in natural language.