核心发现
方法论
ASDiv数据集包含2,305个英语数学文字题，涵盖小学教育中大多数问题类型。每个题目都标注了问题类型和年级水平。我们还提出了一个词汇使用多样性指标来评估数据集的多样性。
关键结果
- ASDiv数据集在多样性指标上优于现有数据集，显示出更真实的求解器能力评估。
- 在实验中，现有最先进系统在ASDiv上的表现显著低于人类水平，准确率仅约36%。
- 通过对比不同年级水平，发现高年级问题的求解准确率显著降低。
研究意义
ASDiv数据集通过提高问题类型和词汇使用的多样性，解决了现有数据集过于单一的问题。这一进步使得AI系统的评估更加接近真实人类测试情境，推动了AI在教育领域的应用。
技术贡献
ASDiv在数据集多样性上做出了重要贡献，提供了更广泛的问题类型和一致的标注，支持更精确的系统评估。提出的词汇多样性指标为数据集构建提供了新的视角。
新颖性
ASDiv是首个同时注重问题类型和词汇多样性的数学文字题数据集，显著提升了对求解器能力的评估准确性。
局限性
- 由于数据集规模相对较小，可能无法完全覆盖所有潜在的问题类型。
- 某些复杂问题仍需额外的领域知识来求解。
未来方向
未来工作可包括扩展数据集规模，增加更多复杂问题类型，以及开发更智能的求解器以应对多样化问题。
AI 总览摘要
ASDiv数据集通过多样化的词汇使用和问题类型，提升了数学文字题求解器的评估准确性。现有的数据集通常在语言使用模式或问题类型上存在局限，导致AI系统的评估结果过于乐观。ASDiv通过涵盖小学教育中大多数问题类型，并为每个题目标注问题类型和年级水平，解决了这一问题。
实验结果显示，现有最先进的求解系统在ASDiv上的表现显著低于人类水平，准确率仅约36%。这表明，ASDiv能够更真实地反映求解器的能力，推动了AI在教育领域的应用。
尽管ASDiv在数据集多样性上做出了重要贡献，但由于规模相对较小，仍需进一步扩展以覆盖更多潜在问题类型。未来工作将集中于扩展数据集规模和开发更智能的求解器。
深度分析
研究背景
数学文字题是评估AI自然语言理解能力的重要工具。现有数据集通常在语言使用模式或问题类型上存在局限，导致AI系统的评估结果过于乐观。ASDiv数据集通过增加多样性，解决了这一问题。
核心问题
现有数据集在多样性和标注一致性上存在不足，导致AI系统的评估结果不够准确。需要一个更具多样性和一致性的数学文字题数据集。
核心创新
ASDiv数据集的创新在于其多样化的词汇使用和问题类型覆盖。通过提出词汇多样性指标，ASDiv能够更准确地评估求解器的真实能力。
方法详解
- �� 收集2,305个英语数学文字题
- �� 标注问题类型和年级水平
- �� 提出词汇使用多样性指标
- �� 进行实验验证数据集的多样性和求解器的评估准确性
实验设计
实验使用ASDiv数据集评估现有求解器的性能，结果显示其准确率显著低于人类水平。通过对比不同年级水平，发现高年级问题的求解准确率显著降低。
结果分析
ASDiv数据集在多样性指标上优于现有数据集，显示出更真实的求解器能力评估。现有最先进系统在ASDiv上的表现显著低于人类水平，准确率仅约36%。
应用场景
ASDiv数据集可用于评估和开发更智能的数学文字题求解器，特别是在教育领域中，帮助提高学生的数学能力。
局限与展望
尽管ASDiv在多样性上做出了重要贡献，但由于规模相对较小，仍需进一步扩展以覆盖更多潜在问题类型。
通俗解读 非专业人士也能看懂
想象你在一个大超市购物，ASDiv就像这个超市，里面有各种各样的商品（即数学问题）。现有的数据集就像一个小商店，只有少数几种商品。ASDiv通过提供更多样化的商品，让你可以更全面地测试你的购物能力（即求解能力）。
简单解释 像给14岁少年讲一样
想象你在玩一个数学游戏，ASDiv就像一个超级关卡，里面有各种各样的挑战。现有的数据集就像简单的初级关卡，挑战很少。ASDiv让你可以更全面地测试你的数学技能，提升你的游戏水平！
术语表
ASDiv
ASDiv是一个多样化的英语数学文字题数据集，旨在评估和开发求解器。
用于评估AI系统的真实能力。
词汇使用多样性
衡量数据集中词汇和语言模式多样性的一种指标。
用于评估数据集的多样性。
数学文字题
包含数学问题的自然语言描述，需要理解和推理才能解决。
用于测试AI的自然语言理解能力。
小学教育
指小学阶段教授的数学问题类型。
ASDiv数据集涵盖的小学教育问题类型。
求解器
用于解决数学文字题的AI系统。
评估AI系统的能力。
开放问题 这项研究留下的未解疑问
- 1 如何进一步提高数据集的规模和多样性，以覆盖更多潜在问题类型。
- 2 如何开发更智能的求解器，以应对ASDiv数据集中多样化的问题。
应用场景
近期应用
教育评估
ASDiv可用于评估学生的数学能力，帮助教师制定更有效的教学计划。
远期愿景
智能教育系统
开发基于ASDiv的智能教育系统，提供个性化的学习体验。
原文摘要
We present ASDiv (Academia Sinica Diverse MWP Dataset), a diverse (in terms of both language patterns and problem types) English math word problem (MWP) corpus for evaluating the capability of various MWP solvers. Existing MWP corpora for studying AI progress remain limited either in language usage patterns or in problem types. We thus present a new English MWP corpus with 2,305 MWPs that cover more text patterns and most problem types taught in elementary school. Each MWP is annotated with its problem type and grade level (for indicating the level of difficulty). Furthermore, we propose a metric to measure the lexicon usage diversity of a given MWP corpus, and demonstrate that ASDiv is more diverse than existing corpora. Experiments show that our proposed corpus reflects the true capability of MWP solvers more faithfully.