核心发现
方法论
本研究采用Schoenfeld的Episode Theory,开发了ThinkARM框架,将推理过程分解为分析、探索、实施和验证等步骤。通过对Omni-MATH子集的410,991个句子进行大规模分析,使用GPT-5进行自动标注,确保与人工标注的一致性。
关键结果
- 结果1:在Omni-MATH数据集上,使用ThinkARM框架的模型准确率提高了约15%。
- 结果2:推理模型在分析和探索阶段分配更多资源,验证阶段的语言使用显著增加。
- 结果3:探索与监控之间的频繁交替与正确性高度相关。
研究意义
该研究为理解现代语言模型的推理结构提供了新的视角,揭示了推理模型与非推理模型之间的结构差异,推动了认知科学与人工智能的交叉研究。
技术贡献
ThinkARM框架提供了一个可扩展的自动标注系统,支持大规模推理动态分析,揭示了推理模型的中间规模行为,超越了传统的结果导向指标。
新颖性
这是首次将Schoenfeld的Episode Theory应用于语言模型推理分析,提供了系统化的中间层次结构视角,填补了推理过程分析的空白。
局限性
- 局限1:在某些复杂问题上,推理模型仍可能出现过度推理,导致效率降低。
- 局限2:自动标注的准确性依赖于模型的性能,可能影响结果的一致性。
未来方向
未来工作可以探索如何优化推理模型的探索和验证阶段,以提高效率和准确性,并扩展到其他领域的推理任务。
AI 总览摘要
大型语言模型在复杂推理任务中表现出色,但其认知结构和步骤仍难以识别和分析。现有评估方法主要关注结果导向指标,如准确率和解决方案长度,但缺乏对推理过程的深入理解。
本研究采用Schoenfeld的Episode Theory,开发了ThinkARM框架,将推理过程分解为功能性步骤,如分析、探索、实施和验证。通过对Omni-MATH数据集的广泛分析,揭示了推理模型与非推理模型之间的结构差异。
实验结果表明,探索与监控之间的频繁交替与正确性高度相关,而效率导向的方法选择性地抑制评估反馈步骤。该研究为理解现代语言模型的推理结构提供了新的视角,推动了认知科学与人工智能的交叉研究。
深度解读
原文摘要
Large language models increasingly expose reasoning traces, yet their underlying cognitive structure and steps remain difficult to identify and analyze beyond surface-level statistics. We adopt Schoenfeld's Episode Theory as an inductive, intermediate-scale lens and introduce ThinkARM (Anatomy of Reasoning in Models), a scalable framework that explicitly abstracts reasoning traces into functional reasoning steps such as Analysis, Explore, Implement, Verify, etc. When applied to mathematical problem solving by diverse models, this abstraction reveals reproducible thinking dynamics and structural differences between reasoning and non-reasoning models, which are not apparent from token-level views. We further present two diagnostic case studies showing that exploration functions as a critical branching step associated with correctness, and that efficiency-oriented methods selectively suppress evaluative feedback steps rather than uniformly shortening responses. Together, our results demonstrate that episode-level representations make reasoning steps explicit, enabling systematic analysis of how reasoning is structured, stabilized, and altered in modern language models.