核心发现
方法论
采用线性探测技术，通过对比正确与错误程序的隐藏状态差异，构建代码正确性方向。研究中变化了提取位置、提示框架和构建方法，分析其对性能的影响。还利用控制突变和行为保持重构，评估数据变化对信号质量的影响。实验在四个指令调优模型（Mistral-7B-Instruct、Qwen-2.5-Coder、OpenCoder-8B、CodeLlama-7B）以及两个基准（HumanEval和BigCodeBench）上进行，涵盖in-distribution和out-of-distribution设置。
关键结果
- 不同配置下，代码正确性信号的表现差异显著，单一最佳配置不存在。仅构建方法（如平均差法）具有较好泛化能力。调节提示框架、提取位置和模型变化对性能影响较大，且在不同基准和模型间变化明显。利用突变和重构增强的训练数据未显著提升信号质量，说明数据的局限性。最高准确率在41%到63%之间，远低于理想状态，显示信号仍不稳定。
- 在多模型、多数据环境中，方向提取的鲁棒性不足，模型内部表示的稳定性有待提升。不同配置的组合对性能影响复杂，模型在out-of-distribution场景表现更差，提示模型内部表示的泛化能力有限。
研究意义
本研究揭示了利用模型内部隐藏状态提取代码正确性信号的潜力与局限，为未来提升模型理解与评估能力提供了理论基础。其结果对自动代码审查、程序验证和模型解释具有重要意义，推动模型内部表示的研究向更鲁棒、更泛化的方向发展。研究强调多配置、多数据的系统性分析，促进模型内部机制的深层理解，推动AI在软件工程中的实际应用。
技术贡献
提出多种提取方向（如PCA、均值差法）并系统比较其在不同模型和数据上的表现。引入控制突变与行为保持重构，验证数据变异对信号的影响。结合多提示框架和提取位置，揭示模型内部表示的敏感性。提供完整的实验流程和数据生成管线，为未来研究提供复现基础。强调多配置、多数据的系统性分析，推动模型内部机制的深入理解。
新颖性
首次系统比较多种提取方法（PCA与均值差法）在不同模型和数据上的鲁棒性，揭示单一配置不足的局限。引入控制突变和行为保持重构，验证数据变异对信号的影响，强调模型内部表示的复杂性。提出多配置、多数据的系统性分析框架，为模型理解提供新视角。
局限性
- 信号准确率仍较低，最高仅达63%，表明模型内部表示对代码正确性的判别能力有限。不同配置间的性能差异大，说明方法的泛化能力不足。数据变异（突变、重构）未显著改善信号质量，反映数据本身的局限性。模型在out-of-distribution场景表现更差，提示泛化能力不足。未来需探索更鲁棒的内部表示提取机制和更丰富的数据增强策略。
未来方向
未来可结合多模态信息或引入监督信号，提升内部表示的鲁棒性。探索更复杂的模型内部机制，结合多任务学习增强信号稳定性。扩展到其他编程语言和更大规模模型，验证方法的普适性。引入自适应提取策略，动态调整提取位置和方法，以适应不同模型和任务需求。进一步研究模型内部表示的解释性，推动自动代码评估和验证技术的发展。
AI 总览摘要
随着大规模语言模型（LLMs）在代码生成领域的广泛应用，如何有效评估其输出的正确性成为关键问题。传统的模型置信度和测试执行方式存在局限，因其难以准确反映生成代码的真实正确性。近年来，研究者开始关注模型内部隐藏状态的潜在信号，试图通过线性探测等方法提取代表代码正确性的内部向量。本文系统分析了多种提取策略（如PCA和均值差法）在不同模型和数据环境中的表现差异，揭示了配置对性能的影响。研究中变化了提取位置、提示框架和模型类型，发现没有单一配置能在所有场景中表现最佳。通过引入控制突变和行为保持重构，验证了数据变异对信号质量的影响，结果显示信号的鲁棒性有限，最高准确率仅在41%到63%之间。研究强调多配置、多数据的系统性分析框架，为理解模型内部机制提供了新视角。未来，结合多模态信息和更复杂的模型结构，有望提升内部表示的稳定性和泛化能力，推动自动代码评估与验证技术的发展。
深度分析
研究背景
近年来，随着Transformer架构的普及，LLMs在自然语言处理和代码生成中取得突破。早期工作如OpenAI的GPT系列和Google的BERT，推动了模型理解能力的提升。针对代码生成，模型如Codex、CodeLlama等在自动完成和功能实现方面表现出色，但其输出的正确性仍难以保证。传统方法依赖测试执行或置信度，存在误判和成本高的问题。线性探测作为一种模型内部表示分析工具，已在自然语言中的情感、真值等任务中取得成功。将其应用到代码正确性，尝试从隐藏状态中提取代表正确与错误的向量，成为研究热点。此前的研究如 Ribeiro et al.（2022）首次证明此方法在代码任务中的潜力，但未系统分析配置和数据影响，信号的鲁棒性仍待验证。
核心问题
尽管内部表示的潜力被广泛认可，但其鲁棒性不足，影响实际应用。不同配置（提取位置、提示框架、提取方法）对信号效果影响巨大，且在不同模型和数据集间表现差异显著。当前方法在out-of-distribution场景下表现尤为不足，限制了其推广应用。如何设计更稳健的提取策略，减少配置敏感性，成为亟待解决的问题。此外，数据变异（如突变、重构）对信号的影响尚未充分理解，限制了模型理解的深度。
核心创新
本文提出了多配置、多数据的系统性分析框架，首次比较了PCA和均值差法在不同模型和基准上的表现差异。引入控制突变和行为保持重构，验证数据变异对信号的影响，强调模型内部表示的复杂性。研究中还分析了提取位置、提示框架对性能的影响，揭示了模型表示的敏感性。提供完整的实验流程和数据生成管线，为未来研究提供复现基础。强调多配置、多数据的系统性分析，推动模型内部机制的深入理解。
方法详解
- �� 采用线性探测技术，从模型隐藏状态中提取代码正确性信号。• 变化提取位置（最后一词或响应平均）和提示框架（中性、概念、函数）以评估配置影响。• 使用PCA和均值差法构建方向，比较其在不同模型和数据集上的性能。• 利用控制突变和行为保持重构，生成不同的错误示例，验证数据变异对信号的影响。• 在四个模型（Mistral、Qwen、OpenCoder、CodeLlama）和两个基准（HumanEval、BigCodeBench）上进行系统实验。• 通过验证集选择最佳提取层，测试集评估准确率，分析配置与性能关系。
实验设计
- �� 数据集包括HumanEval和BigCodeBench，涵盖不同编程任务和库调用。• 采用十折交叉验证，确保结果稳健。• 比较不同提取方法、提示框架和位置的性能差异。• 利用突变操作（如算术、变量、控制流）生成错误样本，验证信号的敏感性。• 评估指标包括配对准确率和选择准确率，反映模型区分正确与错误程序的能力。
结果分析
- �� 配置差异导致性能波动，最高准确率在41%到63%之间，未找到绝对最优配置。• 构建方法（均值差法）在不同模型和数据上表现较为稳定。• 提取位置和提示框架对性能影响显著，模型在out-of-distribution场景表现更差。• 控制突变和重构未显著提升信号质量，说明数据局限性明显。• 结果表明模型内部表示的鲁棒性不足，需进一步优化提取策略。
应用场景
- �� 自动代码审查：利用内部信号辅助筛查潜在错误代码。• 代码生成优化：结合内部表示提升候选方案排序准确性。• 软件测试与验证：无需运行测试即可快速评估代码正确性。• 教育培训：帮助学习者理解代码正确性判别机制。
局限与展望
- �� 当前信号准确率仍偏低，难以完全替代测试验证。• 配置敏感性强，泛化能力有限。• 数据变异未能显著改善信号质量，反映数据不足。• 模型在out-of-distribution场景表现差，限制实际应用。未来需结合多模态信息和更大模型，提升鲁棒性与泛化能力。
通俗解读 非专业人士也能看懂
想象你在一个工厂里，工人们每天都在生产不同的商品。工厂的管理者希望知道哪些工人做得好，哪些出了差错。于是，他们在工人工作时偷偷观察他们的动作和表情，试图找到一些隐藏的线索。通过分析这些线索，管理者可以判断工人是否在按标准操作。这个过程就像模型内部的隐藏状态，里面藏着很多信息。研究人员用特殊的方法，把这些隐藏的线索提取出来，试图判断代码是否正确。就像管理者用观察找到工人是否出错一样。不同的提取方法和观察角度会影响判断的准确性。这个研究告诉我们，要想让工厂（模型）更聪明，不能只看表面，还要深入内部观察，找到真正的“工人状态”。
简单解释 像给14岁少年讲一样
想象你在学校里，有个老师想知道你的作业是不是做对了，但老师不能每次都检查答案。于是，他偷偷观察你写作业时的动作和表情，试图判断你是否写错了。这个方法很聪明，但也有难点：不同的观察角度和方法会影响判断的准确性。有时候，老师观察到的细节（比如写字的速度或用的笔）可能和作业是否正确没有关系。研究人员用类似的方法，从模型内部的“隐藏状态”中提取线索，试图判断代码是否正确。他们发现，不同的提取方法和观察位置会影响判断的效果。有时候，即使用最好的方法，也只能正确判断一部分代码。这提醒我们，要让模型更聪明，不仅要看表面，还要深入内部，找到真正的“秘密”。
术语表
Hidden States (隐藏状态)
模型在处理输入时内部生成的高维向量，编码输入的语义信息。
用于提取代码正确性信号的基础数据。
线性探测 (Linear Probing)
通过线性分类器从隐藏状态中提取特定概念的方向，用于判断模型是否掌握某一属性。
本文用以构建代码正确性表示。
PCA (主成分分析)
一种降维技术，找到数据中最大方差的方向，用于提取代表性特征。
用以构建代码正确性方向。
均值差法 (Mean-Diff)
计算正负类别的平均向量差，作为概念方向。
另一种提取代码正确性信号的方法。
突变操作 (Mutant Operators)
对程序进行微小修改，生成错误样本，用于验证模型提取的信号。
用于控制数据变异，测试信号鲁棒性。
开放问题 这项研究留下的未解疑问
- 1 如何设计更鲁棒的内部表示提取方法，减少配置敏感性，成为未来研究重点。
- 2 模型在复杂任务中的内部表示是否能更好反映正确性，仍需深入探索。
应用场景
近期应用
代码自动审查
利用模型内部信号辅助识别潜在错误，提高代码质量检测效率。
候选方案排序
结合内部表示对生成候选进行排序，提升正确代码的优先率。
远期愿景
自动验证工具
开发无需运行测试的快速验证工具，提升软件开发效率。
原文摘要
Code generated by modern language models often reads naturally. Yet, it also often fails to implement what was asked. This should be no surprise, as research shows the models' own confidence signals are poorly calibrated with actual correctness. A promising way to assess correctness looks inside the model: by contrasting the hidden states of correct and incorrect programs, recent work captured an internal signal of code correctness that is able to judge candidate solutions better than the model's token-level or stated confidence, with no test execution. However, this signal was captured under one particular way, leaving open an important question: whether it reflects a robust property of the model or an artifact of that choice. We study this question systematically, varying how the signal is extracted from the model internals. Besides this, we also ask if the signal's quality is limited by the data used to extract it, by constructing program pairs that differ only in the fault that makes them incorrect. Our results show that no single configuration is best, and that isolating the fault does not help.