核心发现
方法论
本文提出一种多层次对比框架，结合预注册的AB测试设计，利用不同控制条件（如长度匹配的安慰剂、标签仅结构、执行oracle）系统评估Popperian程序内容对代码正确率的影响。研究在两个模型层级（前沿模型Claude Sonnet 4.6与小型模型Qwen2.5-Coder-0.5B）上进行，采用自动化的单元测试和专家评分相结合的评估机制，确保结果的可靠性。通过逐步剥离Popperian内容，分析其对模型代码性能的边际贡献，特别关注内容与结构的区分，旨在解决以往研究中判别提示技能实际效果的偏差问题。
关键结果
- 在高能力模型（Claude Sonnet 4.6）中，所有条件的正确率接近天花板（V=95.1%，F=95.7%，L=95.7%，P=96.9%），不同条件间差异不显著（配对McNemar检验均在±2个百分点范围内，p值均大于0.05），未支持预注册的+5点提升假设，原因在于天花板限制了检测空间。
- 在低能力模型（Qwen2.5-Coder-0.5B）中，结构化条件（LD、LDS）提升最佳八次正确率约20-22个百分点（F和L分别提升22.0和19.5点），但全套Popperian程序内容（F）与标签结构（L）在正确率上无显著差异（F@8=56.7%，L@8=56.7%，均显著优于纯标签（34.8%）），且全内容条件相较于长度匹配的安慰剂（P）仅差2.4个百分点（p=0.60），表明内容贡献有限。
- 自我评判模型（0.5B）应用Popperian准则时，未优于随机选择（25.6% vs. 24.9-26.8%），且偏向单一候选项（60%集中在某一索引），显示其判别能力不足，可能受位置偏差影响。
- 整体分析显示，Popperian程序内容在控制结构和评估指标（执行正确率）方面未表现出可分离的正向效果，反而结构本身带来的提升更为显著。研究提供了一个校准的否定性结果和一套可复用的判别协议（安慰剂、标签结构、执行oracle、偏差检测），为未来提示技能的效果验证提供了更为严谨的框架。
- 研究强调，当前关于Popperian技能的正向效果多半由偏差或结构引起，非内容本身的贡献，呼吁在未来研究中加强控制变量设计，避免误判技能价值。
研究意义
本研究在大规模语言模型代码生成领域提供了重要的实证证据，揭示了结构性提示比内容性提示更具实际效果，挑战了部分关于“科学式”提示技能的乐观预期。通过严格的控制实验设计，明确指出Popperian程序内容在当前模型条件下未能带来显著性能提升，为提示工程的科学化提供了新的思路。该研究不仅丰富了模型调控与评估的理论基础，也为工业界提示策略的优化提供了实践指南，有助于推动自动代码生成技术的稳健发展。其方法论框架和判别协议具有较强的推广价值，可应用于其他提示技能的效果验证中，促进模型解释性和可靠性的提升。
技术贡献
本文提出一种多层次、预注册的AB对比框架，结合内容与结构的剥离实验，有效区分提示内容的实际贡献与结构效应。创新在于引入长度匹配的安慰剂控制、标签仅结构控制、以及基于执行单元测试的oracle评估，确保对Popperian程序内容的因果推断。该方法克服了以往研究中判别偏差和模型偏好带来的干扰，为提示技能效果的科学验证提供了可复制的流程。研究还设计了自我判别模型的评估机制，揭示了模型判别能力的局限性，推动了模型自我评估与校准的技术发展。
新颖性
本研究首次系统结合多重控制条件，采用预注册设计，严谨区分提示结构与内容的贡献，特别是在代码生成任务中引入内容剥离和执行oracle的多层次验证，突破了以往只依赖判别模型的局限。其核心创新在于提出内容与结构的分离分析框架，强调结构在提示效果中的主导作用，挑战了“内容决定性能”的传统观点，为提示工程的科学化奠定了基础。
局限性
- 研究在两个模型层级中未能在天花板附近检测出Popperian内容的正向效果，可能受模型能力限制或评估指标敏感度不足影响。
- 实验仅在特定代码生成任务和数据集（HumanEval+）上进行，泛化到其他任务和场景仍需验证。
- 自我判别模型表现不佳，偏向单一候选项，显示模型判别能力不足，未来需改进判别机制或引入更复杂的自我校准策略。
未来方向
未来研究应探索更强模型和多样任务中的内容贡献，结合更丰富的评估指标（如用户体验、实际应用效果），以及引入动态提示优化机制。同时，应加强判别模型的鲁棒性，提升其在复杂场景中的判别能力。此外，推广多控制条件的预注册设计，推动提示技能的科学验证体系建设，为自动化代码生成的可靠性和解释性提供坚实基础。
AI 总览摘要
近年来，大型语言模型（LLMs）在自动代码生成领域取得了突破性进展，从单行代码补全逐步扩展到完整软件的设计、审查与合并。伴随这一变革，提示工程（prompt engineering）逐渐成为提升模型性能的关键技术之一。研究者们开发了多种提示技能（prompt skills），如引导模型规划、边界测试、自动批评等，试图模拟科学家严谨的推理过程。其中，模仿Popper的科学方法——即让模型扮演“反驳者”，用最严苛的测试攻击其假设——被认为能提升代码质量。尽管如此，关于这些技能实际效果的评估一直存在争议。许多研究依赖于模型作为判别者（judge），但判别模型本身存在偏差：它们偏好表面特征、受模型家族影响、对内容敏感，导致效果验证不够可靠。本文通过设计一套严格的对比实验框架，系统检验Popperian程序内容对代码正确率的实际贡献，揭示了结构比内容更为关键的结论。
研究采用多层次对比设计，结合预注册的AB测试、内容剥离、长度匹配的安慰剂、标签结构控制和执行oracle，确保对Popperian内容的因果推断。实验在两个模型层级（前沿模型Claude Sonnet 4.6和小型模型Qwen2.5-Coder-0.5B）上进行，结果显示在高能力模型中，所有条件的正确率接近天花板，差异不显著，无法支持预期的+5点提升。而在低能力模型中，结构化提示（LD、LDS）显著提升正确率（20-22点），但Popperian程序内容（F）与标签结构（L）无显著差异，且全内容条件与安慰剂（P）差距微小（2.4点，p=0.60），表明内容贡献有限。
此外，自我判别模型在应用Popperian准则时表现不佳，偏向单一候选项，显示模型判别能力不足。整体分析表明，结构本身带来的提升远大于Popperian内容的边际贡献。研究还提出一套可复用的判别协议，为未来验证提示技能效果提供了科学工具。这些发现挑战了“内容即性能提升”的传统观点，强调在代码生成中，结构设计比内容更为关键。未来，研究应在更复杂场景中验证这些结论，推动提示工程的科学化发展，提升自动代码生成的可靠性和可解释性。
深度解读
原文摘要
Large language models increasingly write, review, and judge code, and a fast-growing practice equips them with prompt 'skills' that ask the model to reason like a scientist. A prominent example tells the model to act as a Popperian falsificationist, and such skills are reported to improve generated code. But these gains are almost always read off an LLM-as-a-judge, an instrument with documented positional, self-preference, and stylistic biases. We ask: if it appears to help, is the gain from the skill's Popperian content, or from the structure any scaffold imposes? We pre-register a two-tier ablation with three controls: a length-matched placebo, a labels-only scaffold that keeps the Popperian headers but strips the procedure, and an execution oracle (HumanEval+ unit tests), plus a vocabulary-halo sentinel and a same-model self-judge audit. On a frontier model (Claude Sonnet 4.6, N=163) all conditions sit near the benchmark ceiling and do not separate, so the pre-registered +5-point improvement is not supported (a ceiling-limited non-detection). On a small model (Qwen2.5-Coder-0.5B, N=164) structured arms lift best-of-eight correctness by 20-22 points, but the full skill shows no separable benefit over a labels-only scaffold (aggregate F@8=L@8 vs V@8=34.8%), and the placebo trails by only 2.4 points. A 0.5B self-judge applying the Popperian rubric does not beat random selection and concentrates 60% of its picks on one index. In the two settings tested, the skill's Popperian procedural content adds no separable execution-correctness benefit beyond a labels-only scaffold, so the gains track scaffold structure. We contribute a calibrated negative result and a reusable disambiguation protocol; the finding bounds an engineering claim about one prompt-skill family and is not an evaluation of Popperian methodology in general.