核心发现
方法论
采用两轮预注册的实证审计，固定阈值，分析52,988次请求的重复排名一致性和字节相同重放的协议一致性。通过对请求、响应元数据和模型行为的严格记录，结合特定的算法（如Spearman相关系数和字节级比对），揭示平台和模型内部机制引发的测量偏差。机制拆解包括标签-含义映射偏差、噪声底下的候选差距以及字节相同输入导致的排名变化，验证了指标替代和采样修复的无效性。
关键结果
- 在52,988次请求中，同窗口重复排名的Spearman相关系数仅为0.400，远低于0.90的预设门槛；字节相同的次日重放一致性为0.78，远低于0.99的门槛。所有请求的执行记录均达最高水平，表明工程实现无误。
- 不同平台（四个提供商）在相同端点的中位数一致性为0.74至0.88，未能由元数据字段预测。等待、切换提供商或自建内核未能改善测量稳定性。
- 在构造的错误样本中，指标的分离度与错误类型相关，而非误差大小，显示测量指标的局限性。
研究意义
本研究强调在共享端点环境下，模型名称并非固定不变的测量工具。未经过严格验证的黑箱观察者在模型评估中的不稳定性，可能导致对模型性能的误判，影响行业的公平竞争和科学研究的可信度。通过系统的机制拆解和预注册验证，推动建立更可靠的模型评估标准，促进AI系统的可重复性和透明度。
技术贡献
提出一种全流程的预注册审计框架，结合机制拆解、指标校准和多平台验证，显著提升黑箱观察者的测量可靠性。引入快照-身份阶梯和指标分层体系，为模型端点的稳定性提供科学的验证工具。实现了对平台非确定性和指标偏差的量化，为未来标准制定提供技术基础。
新颖性
首次在模型评估中系统性地进行预注册门控验证，揭示平台共享端点下的测量不稳定性机制。区别于以往仅关注自我一致性或单平台测试的方法，本研究强调端到端的机制拆解和多平台验证，推动行业向科学化、制度化方向发展。
局限性
- 研究仅在特定任务（精确算术）和模型（黑箱LLM）环境下展开，未涵盖更复杂的任务或模型类型。
- 平台差异和硬件环境可能影响结果的普适性，未来需扩展多任务、多模型场景验证。
- 测量指标受限于字节级比对和排名相关性，未考虑模型内部状态变化和语义动态。
未来方向
未来将探索端点端到端的动态监控机制，结合模型内部状态分析，提升测量的稳定性和解释性。推动行业制定标准化的预注册评估流程，结合自动化检测和持续监控技术，确保模型端点的长期可靠性。还将研究更复杂任务和多模态模型的评估策略，以应对实际应用中的多样性。
AI 总览摘要
在人工智能快速发展的背景下，模型评估成为行业和学术界关注的焦点。然而，传统的黑箱观察者在共享端点环境中的测量稳定性问题被严重忽视。本文通过两轮预注册的实证审计，系统性地揭示了模型端点在重复请求和次日重放中的不一致性，验证了其测量工具的基本假设——即相同请求应得到相同响应——在实际环境中难以成立。
研究采用严格的机制拆解，将偏差归因于标签-含义映射、噪声底下的候选差距，以及字节相同输入引发的排名变化。实验结果显示，52,988次请求中，重复排名的Spearman相关系数仅为0.400，远低于预设的0.90门槛；次日重放一致性为0.78，远低于0.99的标准。这些结果在所有工程实现细节（请求、响应、元数据）均达最高水平的前提下仍然成立，表明测量不稳定源自平台和模型机制。
平台差异、请求排队、硬件负载等因素未能改善这一状况，反映出共享端点的固有限制。指标的分离度与错误类型相关，显示测量工具本身的局限性。本文提出了端点测量的机制拆解、多平台验证和预注册门控的科学方法，为未来模型评估提供了新的标准和工具。这一研究不仅揭示了行业潜在的风险，也为建立更可靠的评估体系奠定了基础。
深度分析
研究背景
随着大规模预训练模型（如GPT、LLaMA）在自然语言处理中的广泛应用，模型评估逐渐从人工判断转向自动化指标。早期工作如MT-Bench和Chatbot Arena提出了自动化评估框架，但缺乏对平台不确定性和测量偏差的系统分析。近年来，研究关注模型自我一致性（Haldar & Hockenmaier, 2025）和重现性（Kapoor et al., 2024），但多未考虑共享端点环境下的稳定性问题。平台机制（如批处理、硬件调度）引入了非确定性，影响测量的可信度。行业标准逐步建立，但缺乏严格的预注册和机制验证，导致评估结果的可信度不足。本研究基于此背景，提出端点端到端的机制拆解和预注册验证方案，旨在解决模型端点测量不稳定的核心难题。
核心问题
在实际应用中，模型端点作为评估工具的稳定性受到质疑。共享端点的请求排队、硬件调度、模型版本更新等因素引入了非确定性，导致重复请求的响应不一致。传统评估方法未能充分验证指标的可靠性，存在偏差和噪声底下的候选差距。缺乏科学的机制拆解和预注册门控，使得模型性能的科学评估变得不可靠。这不仅影响模型的公平竞争，也阻碍了模型持续改进的科学基础。解决这一问题需要系统的机制拆解、严格的预注册流程和多平台验证，确保测量工具的可信度。
核心创新
本研究的核心创新在于：1）引入端点端到端的预注册审计框架，确保测量指标在正式评估前经过严格验证；2）机制拆解，将偏差归因于标签-含义映射、噪声底下的候选差距和平台非确定性，提供科学的偏差解释；3）多平台、多请求环境验证，揭示平台差异对测量稳定性的影响；4）提出快照-身份阶梯和指标分层体系，为模型端点的稳定性提供科学验证工具。这些创新超越了现有自我一致性和单平台测试的局限，为模型评估的科学性提供了新思路。
方法详解
- �� 设计两轮预注册的请求协议，固定阈值和请求计划，确保请求和响应的可追溯性。• 采用字节级比对确保请求一致性，结合Spearman相关系数和排名指标，评估重复请求和次日重放的一致性。• 机制拆解：分析标签-含义映射偏差、噪声底下的候选差距、字节相同输入引发的排名变化。• 多平台验证：在不同供应商环境下重复请求，比较平台差异。• 构造错误样本，验证指标对错误类型的敏感性。• 采用快照-身份阶梯和指标分层体系，确保测量的科学性和可重复性。
实验设计
实验采用由生成器产生的四个候选方案，任务为精确算术，唯一标签为正确或错误。请求在不同时间点（同窗口、次日）重复，记录响应、元数据和模型状态。通过多平台（四个供应商）和不同请求协议（单映射、双映射、全排序）验证指标稳定性。设置严格的预注册门控（如Spearman门槛、重放一致性），确保无后期调整。分析指标偏差、平台差异和机制拆解，验证其对模型端点稳定性的影响。
结果分析
重复请求的排名相关性显著低于预期（0.400对0.90），次日重放一致性也远低于预设（0.78对0.99）。平台间中位数一致性为0.74至0.88，未由元数据预测。构造错误样本显示指标偏差与错误类型相关，验证了指标的局限性。所有工程细节（请求、响应、元数据）均达最高标准，排除工程误差，确认问题源于平台机制。
应用场景
该研究为模型端点的科学评估提供了基础工具，适用于模型开发者、平台运营商和评估机构。可用于验证模型在实际部署环境中的稳定性，指导模型版本管理和平台优化。长远来看，推动行业制定标准化的端点评估流程，结合自动化监控和机制验证，确保模型的持续可靠性，促进AI系统的透明度和公平性。
局限与展望
研究仅在特定任务（算术）和模型（黑箱LLM）环境下展开，未覆盖多任务、多模态模型。平台差异和硬件环境可能影响结果的普适性。指标偏差主要源于字节比对和排名，未考虑模型内部状态变化。未来需扩展多场景验证，结合模型内部信息，提升方法的普适性和解释力。
通俗解读 非专业人士也能看懂
想象你在一家工厂里，工人们每天都要检测产品质量。理想情况下，每次检测都应该得出一样的结论，比如一块金属是否合格。但实际上，工厂的机器、环境变化会让检测结果变得不稳定。有时候，同一块金属放在不同时间检测，结果可能不同。这个研究就像是在检查这些检测机器是否可靠。作者用严格的规则和多次测试，发现即使机器看起来一切正常，结果还是会有差异。原因包括机器的微小偏差、环境变化，甚至同一批产品的微小差别。通过分析这些因素，研究提出了更科学的方法来验证检测机器的稳定性，确保工厂的检测结果真实可靠。这样，工厂才能真正保证每个产品都符合标准，消费者也更放心。
简单解释 像给14岁少年讲一样
想象你在学校里参加一个考试，你的老师说每次考试都应该给出一样的成绩，但实际上，有时候你考试的答案会因为考场环境、时间不同而得出不同的分数。这就像是AI模型的评估一样。科学家们发现，模型在不同时间、不同平台上给出的答案会有很大差异，就像考试成绩一样不稳定。为了搞清楚为什么会这样，他们设计了严格的测试规则，反复检查模型的表现，发现一些隐藏的问题，比如模型内部的偏差、平台的不同处理方式，都会影响结果。最后，他们提出了一套新的方法，像是给模型装上了“校准仪”，确保每次测试都能得到一致的结果。这样，未来我们就能更公平、更准确地评估AI的能力，就像老师用更科学的标准来评分一样。
原文摘要
Language-model judges now gate training data, score generations, and drive leaderboards. The judge is then a measurement instrument, resting on one rarely stated assumption: the same request, sent to the same model name, reads the same tomorrow. We audited that assumption in two preregistered campaigns with every threshold fixed in advance; neither got past validating its instrument. Across 52,988 audited request attempts, same-window repeat rankings agreed at Spearman 0.400 against a required 0.90, and byte-identical next-day replays agreed at 0.78 against a required 0.99, each time with the execution record at ceiling. Three mechanisms explain the gap: a label-to-meaning mapping that biased readouts as strongly as the signal; candidate gaps seven orders of magnitude below the instrument's own noise floor; and byte-identical inputs returning different rankings, a noise that exact-permutation readouts compound. Neither metric substitution nor sampling repaired it on the tested grid. Preregistered follow-ups bound the problem: waiting did not help on the days sampled (0.805 versus 0.800, replicated over five further days); switching providers did not help (four providers share the floor, medians 0.74 to 0.88, predicted by none of the metadata fields they expose); self-hosting on batch-invariant kernels helped only while the server was quiet; and on constructed errors with known gaps, the readout's separation tracks error type, not size. We distill the evidence into a three-level snapshot-identity ladder, eight design rules, and a reporting checklist; a pilot at roughly 2% of the study's call volume would have exposed both unreachable gates in advance. All results concern externally measured behaviour on shared serving infrastructure. On a shared endpoint, a model name is not a frozen instrument; a preregistered evaluation must measure its instrument before freezing any gate on it.