NATURAL PLAN: Benchmarking LLMs on Natural Language Planning
NATURAL PLAN基准测试LLMs在自然语言规划中的表现，涵盖三大任务，模型表现低于50%。
核心发现
方法论
本研究提出NATURAL PLAN基准，结合Google Flights、Google Maps、Google Calendar等工具输出作为上下文，评估GPT-4、Gemini 1.5 Pro等模型的规划能力。任务包括旅行、会议、日程安排，利用真实API数据构建，采用5-shot提示和长上下文学习，分析模型在不同复杂度下的表现。通过消融实验验证自我校正、少样本泛化和长上下文的影响，系统性评估模型在自然语言规划中的能力瓶颈。
关键结果
- 在Trip Planning任务中，GPT-4和Gemini 1.5 Pro的成功率仅为31.1%和34.8%，远低于人类水平。随着城市数量增加至10个，模型准确率降至5%以下，显示出极大挑战。
- 在Meeting Planning和Calendar Scheduling任务中，GPT-4表现较好，分别达47%和41.2%，但整体仍低于50%。模型性能随任务复杂度增加显著下降，反映出当前模型在复杂自然语言规划任务中的局限。
- 消融实验表明，自我校正反而降低性能，长上下文学习中Gemini 1.5 Pro表现优异，最大可利用355K tokens，显著优于其他模型，展示长上下文潜力。
研究意义
该研究揭示了现有最先进LLMs在复杂自然语言规划任务中的不足，强调了真实场景中模型理解和推理能力的差距。通过引入结合API数据的基准，推动模型在实际应用中的能力提升，为未来智能助理、自动化规划等领域提供评估工具，促进模型在多任务、多场景中的泛化与鲁棒性发展。
技术贡献
提出结合真实API输出的自然语言规划基准，系统性评估多模型性能。引入长上下文学习和消融分析，验证模型在复杂任务中的表现限制。创新在于将工具信息融入自然语言推理，突破传统静态任务限制，推动多模态与多任务融合的研究方向。
新颖性
首次构建以真实API数据为上下文的自然语言规划基准，涵盖多场景、多任务，强调模型在复杂环境中的推理能力。区别于以往基于模板或静态数据的评测，强调工具融合与长上下文能力的结合，推动模型实际应用潜力。
局限性
- 模型在多城市、多人员、多天数场景中表现极差，反映出推理复杂度超出当前模型能力范围。
- 自我校正机制未能提升性能，反而可能引入偏差，显示模型在自我修正方面仍存在困难。
- 基准主要依赖API调用，实际应用中API不稳定或限制可能影响模型表现，未来需考虑更鲁棒的环境适应性。
未来方向
未来将探索更强的多模态融合技术，增强模型对复杂场景的理解能力。推动多任务学习和强化学习结合，提升模型的推理和规划能力。还需开发更丰富的真实场景数据集，促进模型在实际应用中的泛化能力和鲁棒性。
AI 总览摘要
NATURAL PLAN提出了一套面向自然语言规划的真实场景基准，涵盖Trip Planning、Meeting Planning和Calendar Scheduling三大任务，结合Google API等工具输出作为上下文，模拟实际应用环境。该基准旨在评估大型语言模型（如GPT-4、Gemini 1.5 Pro）在复杂、多步骤、多约束条件下的规划能力。实验结果显示，尽管模型在简单任务中表现尚可，成功率普遍低于50%，在城市数、人员数增加时表现急剧下降，最高仅达34.8%。模型在多任务、多场景中的泛化能力仍待提升，消融实验表明自我校正反而降低性能，而长上下文学习展现出显著潜力，Gemini 1.5 Pro在355K tokens的长上下文中表现优异，成功率提升至40%以上。该研究强调了当前模型在实际复杂规划任务中的不足，推动未来多模态、多任务融合技术的发展，为智能助理、自动化规划等应用提供评估工具和研究方向。未来工作将聚焦于增强模型的推理复杂度、提升鲁棒性和泛化能力，推动自然语言规划迈向更接近人类水平的智能水平。
深度分析
研究背景
近年来，大型语言模型（LLMs）在自然语言理解、推理和生成方面取得突破，但其在复杂规划任务中的表现仍有限。传统规划方法多依赖形式化语言（如PDDL）和专门的算法，难以直接应用于自然语言环境。现有研究多关注模型的推理能力，缺乏面向真实场景的评估工具。随着API和工具的融合，推动模型在实际任务中的应用成为研究热点，但缺乏系统性基准衡量模型在多任务、多约束条件下的能力。
核心问题
当前模型在复杂自然语言规划中表现不足，尤其在多城市、多人员、多天数等多约束场景下成功率极低，难以满足实际应用需求。缺乏真实场景的评测工具限制了模型能力的全面评估，也阻碍了技术的实际落地。如何设计具有代表性、可扩展的基准，成为推动该领域发展的关键。
核心创新
本研究创新在于引入结合API输出的自然语言规划基准，真实模拟实际场景。利用长上下文学习和多任务设计，系统性评估模型在复杂环境中的推理能力。提出消融实验验证模型在自我校正和泛化方面的局限，展示长上下文的潜力。整体框架突破了传统静态评测的局限，为多模态、多任务融合提供新思路。
方法详解
- �� 构建任务：包括Trip Planning、Meeting Planning、Calendar Scheduling，结合Google API数据，设计真实场景问题。• 数据生成：随机采样城市、人员、时间，加入实际约束，确保唯一解。• 提示设计：采用5-shot少样本提示，结合API输出作为上下文。• 模型评估：解析模型输出，与黄金标准比对，计算准确率。• 消融分析：验证自我校正、长上下文、泛化能力的影响。
实验设计
采用GPT-4、Gemini 1.5 Pro等模型，设置少样本提示和长上下文学习，测试不同复杂度场景。通过调节城市、人员、天数，分析模型性能变化。引入消融实验验证自我校正效果，逐步增加上下文长度，评估模型在大规模上下文中的表现。指标为准确率和成功率，统计模型在不同任务中的表现差异。
结果分析
模型在Trip Planning中最高成功率仅为34.8%，远低于人类水平。复杂度增加时，准确率下降至5%以下。长上下文学习显著提升Gemini 1.5 Pro性能，从355K tokens提升至40%以上。消融实验显示自我校正未能改善性能，反而降低了模型的整体表现。这些结果表明，当前模型在多约束、多步骤的自然语言规划中仍存在巨大差距。
应用场景
该基准可用于评估智能助理、自动化调度、旅游规划等场景中的模型能力。通过API结合，模型能更好理解和执行复杂任务，提升实际应用的鲁棒性。未来可扩展到多模态信息融合，推动智能系统在实际环境中的部署。
局限与展望
模型在高复杂度场景中表现极差，长上下文学习依赖大量计算资源，消融实验中自我校正效果有限。API数据的稳定性和可用性也影响模型表现，未来需解决模型泛化和鲁棒性问题。
通俗解读 非专业人士也能看懂
想象你在一个厨房里做饭。每次做饭都需要准备不同的食材、调料，还要按照步骤操作。大模型就像这个厨房的厨师，能根据食谱（任务描述）准备食材（信息）和调料（工具输出），然后按照步骤完成菜肴（规划方案）。但如果食材太多、步骤太复杂，厨师就会变得迷糊，做出来的菜也不一定好吃。这个研究就是在测试这些厨师（模型）在面对复杂菜谱时，能不能按照要求做出满意的菜。通过加入真实的API数据，就像给厨师提供了详细的食材信息，让他们更容易完成任务。结果显示，厨师们在简单菜谱还能应付，但遇到复杂菜谱时，表现就差很多。未来，要让厨师变得更聪明，能应对各种复杂菜谱，就需要不断改进他们的技能和工具。
简单解释 像给14岁少年讲一样
想象你在学校的科学实验室里做实验。老师给你一个任务，要用不同的材料做出一个特定的模型。你可以用手边的工具和资料，比如指南、图纸，甚至老师提供的参考数据。你需要计划好每一步，确保用对材料、按正确顺序操作。现在，假设你用一个超级聪明的机器人助手，它可以帮你查资料、提醒你步骤，还能根据你的指示调整方案。这个机器人就像论文里的大模型，能理解你的任务，结合工具提供的信息，帮你规划出完整的实验步骤。可是，当任务变得很复杂，比如需要用很多材料、考虑很多条件时，机器人可能就会迷失方向，做出不理想的方案。这个研究就是在测试这些智能机器人（模型）在面对复杂任务时，能不能帮你顺利完成。结果发现，机器人在简单任务中表现不错，但遇到复杂情况时，还是需要更聪明的改进。未来，科学家们希望让机器人更聪明，能像人一样灵活应对各种挑战。
原文摘要
We introduce NATURAL PLAN, a realistic planning benchmark in natural language containing 3 key tasks: Trip Planning, Meeting Planning, and Calendar Scheduling. We focus our evaluation on the planning capabilities of LLMs with full information on the task, by providing outputs from tools such as Google Flights, Google Maps, and Google Calendar as contexts to the models. This eliminates the need for a tool-use environment for evaluating LLMs on Planning. We observe that NATURAL PLAN is a challenging benchmark for state of the art models. For example, in Trip Planning, GPT-4 and Gemini 1.5 Pro could only achieve 31.1% and 34.8% solve rate respectively. We find that model performance drops drastically as the complexity of the problem increases: all models perform below 5% when there are 10 cities, highlighting a significant gap in planning in natural language for SoTA LLMs. We also conduct extensive ablation studies on NATURAL PLAN to further shed light on the (in)effectiveness of approaches such as self-correction, few-shot generalization, and in-context planning with long-contexts on improving LLM planning.