核心发现
方法论
采用系统性实证研究，使用GPT-4对随机生成的图着色实例进行求解与验证，比较直接、迭代自我批评和外部验证三种模式。通过设计不同的反馈策略（如仅失败信息、全错边列表等）评估模型表现，结合top-k采样和外部验证器，分析内容对性能的影响。
关键结果
- GPT-4在图着色实例中的求解准确率极低，直接模式仅达16%。迭代自我批评未改善性能，反而因模型难以识别正确解而表现更差。外部验证结合top-k采样能将成功率提升至40%，但内容丰富的反馈与简单“重试”反馈效果差异不大。模型验证能力极弱，正确解被识别概率不足10%。
- 多次采样（如15个答案）与迭代提示效果相当，随机猜测（15/颜色数）也能达到类似成功率，表明提升主要源于偶然命中正确解。
研究意义
该研究质疑了大规模语言模型在复杂推理任务中的自我批评和迭代改进能力，揭示其验证能力不足的问题，强调外部验证的重要性。这对未来依赖自我批评机制的AI系统设计提出警示，推动更可靠的推理模型发展。
技术贡献
提出了基于GPT-4的图着色迭代提示框架，系统分析了不同反馈策略的效果，揭示模型在验证和自我批评中的局限性。引入外部验证器结合top-k采样的方法，有效提升求解成功率，展示了外部验证在复杂推理中的关键作用。
新颖性
首次系统性评估了大型语言模型在NP-完全问题中的自我批评能力，发现其在验证和纠错方面表现极差，挑战了关于模型自我改进的普遍假设。提出结合外部验证的混合策略，为推理任务提供新思路。
局限性
- 实验仅在图着色这一特定NP-完全问题上进行，泛化到其他推理任务仍需验证。模型验证能力极弱，难以识别正确解，限制了自我批评策略的有效性。高质量反馈的内容对性能影响有限，说明模型对信息的利用能力不足。
未来方向
未来可探索增强模型验证能力的方法，结合符号推理或形式验证技术，提升自我批评的准确性。同时，研究更复杂的推理任务和多模态信息融合，推动模型在实际复杂场景中的应用。
AI 总览摘要
本研究针对大规模语言模型（LLMs）在推理任务中的自我批评能力展开系统性分析。以图着色问题为例，评估GPT-4在求解和验证实例中的表现，发现其在直接求解中的成功率极低（16%），在验证环节表现更差，难以识别正确解。通过引入不同的迭代反馈策略，包括模型自我批评和外部验证器，结果显示自我批评反而降低性能，外部验证结合top-k采样能将成功率提升至40%。令人意外的是，反馈内容的丰富程度对性能影响有限，甚至随机猜测多次也能达到类似效果。这表明模型在推理中的验证能力不足，成功的提升主要源于偶然命中正确解。研究结果质疑了LLMs的自我改进能力，强调外部验证的重要性，为未来推理系统设计提供新思路。该工作揭示了当前模型在复杂推理中的局限性，提醒研究者关注模型验证机制的增强，推动更可靠的AI推理能力发展。
深度分析
研究背景
近年来，大规模语言模型（如GPT系列）在自然语言处理领域取得突破，但其推理能力仍存争议。早期研究认为模型规模扩大可能带来“涌现”式的推理能力，但随之出现的多项实证研究显示其在逻辑推理、算术和规划等任务中的表现有限。尤其是在复杂的NP-完全问题上，模型难以超越随机猜测。此背景促使学界关注模型的验证和自我批评能力，试图通过迭代提示提升性能，但效果尚未充分验证。
核心问题
核心问题在于，尽管有人声称LLMs能通过自我批评改善答案，但实际能力尚未被系统验证。特别是在图着色这类NP-完全问题中，模型是否能有效验证和改正错误，成为衡量其推理能力的关键。现有研究多集中在单次生成，缺乏对迭代提示机制的深入分析，导致对模型自我改进能力的信心不足。
核心创新
本研究创新在于：1）系统评估GPT-4在图着色问题中的求解和验证能力；2）引入多种反馈策略（如仅失败信息、全错边、随机错误）测试模型对信息的利用；3）结合外部验证器和top-k采样，显著提升成功率。此方法突破了单一模型生成的局限，强调外部验证在复杂推理中的作用，为模型验证机制提供新思路。
方法详解
- �� 构建随机图实例，采用Erdős–Rényi模型，确保实例多样性和难度适中。• 设计多种提示策略，包括直接求解、模型自我批评、外部验证器反馈。• 利用DIMACS格式描述图，生成自然语言提示，确保信息一致性。• 采用GPT-4作为求解和验证工具，设置温度为0以确保确定性。• 实验中引入top-k采样（如15个答案）和不同反馈内容，比较性能差异。• 结合外部验证器，自动检测错误，提升整体成功率。• 评估模型在不同实例上的表现，分析反馈内容和验证机制的影响。
实验设计
采用100个随机生成的图实例（节点10-17，边数平均24），评估模型在直接求解、迭代自我批评和外部验证中的表现。设置不同反馈策略（无反馈、仅失败、第一错误、全部错误、模型反馈），比较成功率。还引入多次采样和外部验证结合top-k策略，分析其提升效果。验证模型识别错误的能力，统计正确率和误判率，确保实验的严谨性。实验在OpenAI API的GPT-4上进行，确保可复现性。
结果分析
直接模式下，GPT-4成功率仅16%，自我批评策略未改善性能，反而更差。外部验证结合top-k采样提升成功率至40%，反馈内容丰富与否影响不大。模型验证能力极弱，正确解被识别概率不足10%。多次采样（如15个答案）与迭代提示效果相当，随机猜测也能达到类似成功率，表明提升主要源于偶然命中。结果显示模型在验证和自我批评方面表现不足，强调外部验证的重要性。
应用场景
该研究对AI推理系统的设计具有指导意义，特别是在需要高可靠性和验证的场景，如自动规划、资源调度和决策支持。未来可结合符号推理和形式验证技术，提升模型的推理和验证能力，推动智能系统在工业、医疗等领域的应用。
局限与展望
实验仅在图着色问题上验证，泛化到其他复杂推理任务仍需验证。模型验证能力不足，难以识别正确解，限制了自我批评策略的实际效果。反馈内容丰富度对性能影响有限，表明模型信息利用能力有限。未来需加强模型验证机制，结合符号推理等技术，提升整体推理可靠性。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，菜谱就像模型要解决的问题。大厨（模型）试图自己判断菜是否做好，但有时会搞错。为了确保菜好吃，你会请另一位厨师（外部验证器）检查。模型自己批评时，可能会说“还差点”，但其实菜已经很好了，或者反过来。用外部厨师检查，能大大提高成功率。这个过程就像模型在不断试错和被检查，最终做出满意的菜肴。研究发现，模型自己判断的能力很有限，靠外部帮忙才更靠谱。
简单解释 像给14岁少年讲一样
想象你在学校做作业，你自己检查答案，但有时候会看错。你可以请朋友帮你检查，确保答案正确。这个研究就像让AI自己检查它的答案，但发现它自己很难找到错误。反而，找个聪明的朋友帮忙检查，效果会更好。甚至让AI多试几次，最后由朋友挑出正确答案。结果显示，AI自己批评答案的能力很差，只有外部帮忙才能提高成功率。这告诉我们，要让AI变得更聪明，不能只靠它自己，还要有外部的“老师”帮忙。
原文摘要
There has been considerable divergence of opinion on the reasoning abilities of Large Language Models (LLMs). While the initial optimism that reasoning might emerge automatically with scale has been tempered thanks to a slew of counterexamples, a wide spread belief in their iterative self-critique capabilities persists. In this paper, we set out to systematically investigate the effectiveness of iterative prompting of LLMs in the context of Graph Coloring, a canonical NP-complete reasoning problem that is related to propositional satisfiability as well as practical problems like scheduling and allocation. We present a principled empirical study of the performance of GPT4 in solving graph coloring instances or verifying the correctness of candidate colorings. In iterative modes, we experiment with the model critiquing its own answers and an external correct reasoner verifying proposed solutions. In both cases, we analyze whether the content of the criticisms actually affects bottom line performance. The study seems to indicate that (i) LLMs are bad at solving graph coloring instances (ii) they are no better at verifying a solution--and thus are not effective in iterative modes with LLMs critiquing LLM-generated solutions (iii) the correctness and content of the criticisms--whether by LLMs or external solvers--seems largely irrelevant to the performance of iterative prompting. We show that the observed increase in effectiveness is largely due to the correct solution being fortuitously present in the top-k completions of the prompt (and being recognized as such by an external verifier). Our results thus call into question claims about the self-critiquing capabilities of state of the art LLMs.