核心发现
方法论
CREATOR框架由四个阶段组成：创建、决策、执行和修正。利用大模型的抽象推理能力生成通用工具，结合代码实现，避免API依赖。通过分离抽象工具创造和具体决策，提升推理鲁棒性。采用特定提示和示范引导模型，结合错误追踪实现自动修正。实验证明在MATH和TabMWP基准上，CREATOR显著优于链式思考、程序思考和传统工具使用方法。
关键结果
- 在MATH数据集上，CREATOR达到了59.7%的准确率，优于链式思考（37.9%）和程序思考（46.5%）等基线。TabMWP上表现更优，达94.7%。在新提出的Creation Challenge数据集上，表现同样优越，平均达75.5%。工具创建能力显著增强模型的泛化和适应能力，特别是在复杂和未见问题中表现出更强的鲁棒性。
- 实验还显示，分离的创建与决策阶段能有效促进知识迁移，模型在不同任务间的适应性增强。自动修正机制通过错误追踪提升了整体准确率约10%。此外，提供提示信息能进一步提升工具创造的效率和效果。
- CREATOR的创新在于将工具创造融入推理流程，突破传统线性链式推理的限制，支持非线性、多阶段的推理路径。该方法不仅提升了复杂问题的解决能力，也为未来模型自主工具生成提供了新思路。
研究意义
该研究突破了大模型在工具利用上的局限，提出工具创造的新范式，推动模型自主性和泛化能力的提升。通过分离抽象和具体推理，有效缓解推理不稳定和错误传播问题，为AI在数学、表格推理等领域的应用奠定基础。这一创新有望引领下一代智能系统向更自主、更高效的方向发展，极大丰富AI的解决复杂问题的能力。
技术贡献
技术上，CREATOR引入工具创造机制，结合代码实现，支持模型自主生成可复用工具。通过四阶段设计，优化了推理流程，避免单一线性路径。利用错误追踪实现自动修正，增强模型鲁棒性。与传统链式和程序思考相比，显著提升了复杂任务的准确率和适应性，为模型自主工具生成提供了新框架。
新颖性
本研究首次系统性引入工具创造能力，结合抽象推理与代码实现，突破了现有工具利用的局限。区别于仅调用预定义API的方法，CREATOR支持模型自主生成多样化工具，增强泛化能力。其非线性、多阶段设计和自动修正机制为领域内首创，开辟了模型自主工具生成的新路径。
局限性
- 当前方法依赖大量示范和提示，存在一定的样本依赖性，泛化到极端或未训练场景仍具挑战。
- 自动修正机制在复杂错误或多重错误情况下效果有限，需进一步优化。
- 模型在极端复杂或长链推理任务中仍可能出现性能瓶颈，计算成本较高。
未来方向
未来将探索更高效的工具生成策略，减少示范依赖，提升泛化能力。结合多模态信息，扩展工具类型，支持更复杂场景。加强自动修正机制的鲁棒性，提升模型自主修正能力。此外，推动工具创造在实际应用中的落地，如教育、科研和工业自动化，推动AI自主创新的广泛应用。
AI 总览摘要
CREATOR提出了一种创新的工具创造框架，旨在解决大规模语言模型在复杂推理任务中的局限。传统方法多依赖预定义API或线性推理，难以应对多样化和未见的问题。CREATOR通过分离抽象的工具创造与具体的推理决策，赋予模型自主生成多功能工具的能力，从而显著提升在数学和表格问题上的表现。
该框架由四个阶段组成：工具创建、决策、执行和修正。利用提示和示范引导模型进行工具生成，结合代码实现，支持自动修正错误，增强鲁棒性。实验结果显示，在MATH和TabMWP基准上，CREATOR分别达到了59.7%和94.7%的准确率，超越了链式思考、程序思考和传统工具调用方法。
此外，研究还引入了创建挑战数据集，验证工具创造能力在未见问题中的优势。模型在复杂推理和知识迁移方面表现出更强的适应性，表明该方法具有广泛的应用潜力。CREATOR的核心创新在于将工具创造融入推理流程，突破线性路径限制，为未来自主工具生成提供新思路。这一突破推动AI向更自主、更高效的智能系统迈进，为解决复杂问题开启了新篇章。
深度分析
研究背景
近年来，大规模语言模型（如GPT-3、GPT-4、PaLM）在自然语言理解、代码生成等方面取得突破，但仍存在推理不稳定、知识更新滞后等问题。传统方法多依赖链式推理（CoT）或调用外部API，提升了部分性能，但在复杂任务和新颖问题中表现不足。工具辅助技术如搜索引擎、计算器、代码解释器已被引入，但仍受限于工具的预定义和调用方式。近年来，模型自主生成工具的研究逐渐兴起，旨在突破API依赖，增强模型的自主性和泛化能力。
核心问题
现有工具利用方法多为调用预定义API，缺乏工具的自主创造能力，限制了模型在新问题和复杂场景中的表现。推理过程多为线性，难以应对多阶段、多路径的复杂推理需求。模型在处理长链逻辑或数学推导时易出错，缺乏有效的错误修正机制。这些限制阻碍了AI在更高层次自主推理和知识迁移中的应用，亟需一种支持模型自主生成多样化工具的框架。
核心创新
CREATOR创新点在于引入工具创造机制，支持模型自主生成适应不同任务的工具，突破API调用的限制。它通过四阶段设计（创建、决策、执行、修正）实现抽象推理与具体操作的分离，提升推理鲁棒性。利用代码作为工具实现媒介，支持自动修正错误，增强模型的自主性和适应性。与传统线性推理不同，CREATOR支持非线性、多阶段推理路径，为模型自主工具生成提供了新范式。
方法详解
- �� 创建阶段：利用示范和提示引导模型生成通用工具，结合文档和代码实现，强调工具的可复用性。• 决策阶段：模型根据任务需求，判断何时何地调用生成的工具，采用示范引导的决策策略。• 执行阶段：将工具封装为代码函数，模型调用代码进行推理，捕获输出和错误信息。• 修正阶段：根据错误追踪，模型自动修正工具或决策，提升整体性能。整个流程通过错误追踪和自动修正机制，确保模型在复杂场景中的鲁棒性。• 实验中，CREATOR在数学和表格任务中表现优异，验证了其有效性。
实验设计
采用MATH和TabMWP两个公开基准，以及新提出的Creation Challenge数据集，评估CREATOR的性能。模型基于ChatGPT，比较链式思考、程序思考、工具调用和CREATOR的效果。指标包括准确率和成功执行率。在不同任务中，CREATOR均显著优于基线，尤其在复杂和未见问题上表现出更强的鲁棒性。通过消融实验验证工具创造和自动修正对性能的贡献。结果显示，工具创造能力是提升模型泛化和适应性的关键因素。
结果分析
CREATOR在MATH数据集达59.7%的准确率，明显优于链式思考（37.9%）和程序思考（46.5%）。在TabMWP上达94.7%，超越所有基线。在新数据集Creation Challenge中，平均表现达75.5%，验证了工具创造在未见问题中的优势。自动修正机制提升准确率约10%，提示信息的引入进一步改善工具创造效率。整体结果表明，分离的工具创造和决策阶段显著增强模型的推理能力和适应性。
应用场景
该方法适用于数学、表格推理、科学计算等领域，尤其在需要自主生成和调试工具的场景中表现优异。可应用于教育（自动解题辅导）、科研（复杂数据分析）、工业自动化（自主工具调度）等。模型可根据任务动态生成工具，提升效率和准确性，减少对预定义API的依赖，推动AI自主创新。
局限与展望
当前方法依赖大量示范和提示，泛化到极端场景仍有限。自动修正机制在多错误或复杂错误情况下效果不足，需优化。模型在极端复杂推理中仍存在性能瓶颈，计算成本较高。未来需增强模型的自主性和修正能力，降低依赖，提升实用性。
通俗解读 非专业人士也能看懂
想象一个厨师在厨房里做菜。传统厨师只会按照菜谱操作，不能自己发明新菜。CREATOR就像一个聪明的厨师，他可以自己发明新菜的做法，然后决定什么时候用这些新菜来解决问题。比如遇到一道难题，厨师先想出一种新调料（工具），再决定用它来调味，最后实际操作。这个过程包括发明、决定用不用、实际做菜和改正错误。这样，厨师变得更聪明，能做出更多新菜，也能应对不同的厨房挑战。CREATOR让AI像这个厨师一样，自己创造工具，解决复杂问题，不再只会用现有的工具。
简单解释 像给14岁少年讲一样
想象你在学校里学做饭。平时你只会按照老师教的菜谱做菜，但如果你能自己发明新调料或者新做法，那就更厉害了。CREATOR就像一个聪明的学生，他可以自己想出新方法，然后用这些方法来解决难题。比如遇到一道数学题，他先想出一种新解题工具，然后决定什么时候用它，最后自己动手做。这个过程像是在厨房里试验新菜一样，既要想办法，又要试试，出错了还能自己改正。这样，学生变得更聪明，能应对各种新问题。CREATOR让AI也能自己创造工具，变得更聪明、更灵活，能解决以前难以解决的问题。
原文摘要
Large Language Models (LLMs) have made significant progress in utilizing tools, but their ability is limited by API availability and the instability of implicit reasoning, particularly when both planning and execution are involved. To overcome these limitations, we propose CREATOR, a novel framework that enables LLMs to create their own tools using documentation and code realization. CREATOR disentangles abstract tool creation and concrete decision execution, resulting in improved performance. We evaluate CREATOR on MATH and TabMWP benchmarks, respectively consisting of challenging math competition problems and diverse tabular contents. Remarkably, CREATOR outperforms existing chain-of-thought, program-of-thought, and tool-using baselines. Additionally, we introduce the Creation Challenge dataset, featuring 2K diverse questions, to emphasize the necessity and benefits of LLMs' tool creation ability. Further research demonstrates that leveraging LLMs as tool creators facilitates knowledge transfer, and LLMs exhibit varying levels of tool creation abilities, enabling them to adapt to diverse situations. The tool creation ability revolutionizes the LLM's problem-solving paradigm, driving us closer to the next frontier of artificial intelligence. All the codes and data are released.