核心发现
方法论
CapBencher通过在答案中引入随机性来降低Bayes精度，避免完全公开真实答案。方法包括为每个问题准备多个逻辑正确的答案，并随机选择一个作为基准测试的解决方案。这种方法不仅模糊了真实答案，还为检测数据泄露或作弊提供了测试手段。
关键结果
- 在多种基准测试和模型上，CapBencher成功检测到测试集过拟合，模型精度未能超过Bayes精度。
- 实验表明，即使在不同的训练方法和场景下，CapBencher也能准确识别数据泄露。
- 通过将Bayes精度设定为50%，CapBencher在多个数据集上保持了模型排名的一致性。
研究意义
CapBencher为LLM基准测试提供了一种新的发布方式，既保留了开放评估的能力，又能检测数据泄露和作弊行为。这一方法在学术界和工业界具有重要意义，因为它解决了当前基准测试中普遍存在的过拟合问题。
技术贡献
CapBencher在现有方法上进行了创新，通过引入随机性降低Bayes精度，提供了一种新的理论保证和工程可能性。这种方法与现有的动态基准测试方法不同，适用于任何问题。
新颖性
CapBencher首次通过随机化答案降低Bayes精度来检测测试集过拟合，与现有的基准测试方法相比，这是一个根本性的创新。
局限性
- CapBencher可能在小型数据集上导致排名不稳定，因为随机化增加了方差。
- 在某些情况下，可能需要更大的模型来检测数据泄露。
未来方向
未来的研究可以探索如何在更复杂的场景中应用CapBencher，以及如何进一步降低Bayes精度以提高检测能力。
AI 总览摘要
在大语言模型（LLM）的评估中，测试集过拟合是一个常见问题。现有的解决方案通常要求基准测试保持私密，但这并不能完全避免通过反馈回路进行的过拟合。CapBencher通过在答案中引入随机性来降低Bayes精度，提供了一种新的解决方案。
CapBencher的核心思想是为每个问题准备多个逻辑正确的答案，并随机选择一个作为基准测试的解决方案。这种方法不仅模糊了真实答案，还为检测数据泄露或作弊提供了测试手段。实验表明，CapBencher能够在多种基准测试和模型上成功检测到测试集过拟合。
这一方法在学术界和工业界具有重要意义，因为它解决了当前基准测试中普遍存在的过拟合问题。未来的研究可以探索如何在更复杂的场景中应用CapBencher，以及如何进一步降低Bayes精度以提高检测能力。
深度分析
研究背景
随着大语言模型的能力不断提升，构建现代LLM基准测试变得越来越昂贵。例如，FrontierMath和Humanity’s Last Exam等数据集需要大量专家的参与。然而，公开这些基准测试的真实答案可能导致未来模型的污染和测试集过拟合。
核心问题
当前的基准测试方法通常要求保持私密，但这并不能完全避免通过反馈回路进行的过拟合。如何在不完全公开真实答案的情况下，保持开放评估的能力并检测数据泄露，是一个亟待解决的问题。
核心创新
CapBencher通过在答案中引入随机性来降低Bayes精度，提供了一种新的解决方案。其核心创新在于为每个问题准备多个逻辑正确的答案，并随机选择一个作为基准测试的解决方案。
方法详解
- �� 为每个问题准备多个逻辑正确的答案。
- �� 随机选择一个答案作为基准测试的解决方案。
- �� 通过降低Bayes精度，检测数据泄露或作弊行为。
- �� 保持模型排名的一致性。
实验设计
实验设计包括多种数据集和模型，测试CapBencher在不同场景下的有效性。通过将Bayes精度设定为50%，验证了其在多个数据集上保持模型排名一致性的能力。
结果分析
实验表明，CapBencher能够在多种基准测试和模型上成功检测到测试集过拟合，模型精度未能超过Bayes精度。即使在不同的训练方法和场景下，CapBencher也能准确识别数据泄露。
应用场景
CapBencher可用于任何需要检测数据泄露和作弊的基准测试场景，特别是在需要保持开放评估能力的情况下。
局限与展望
CapBencher可能在小型数据集上导致排名不稳定，因为随机化增加了方差。在某些情况下，可能需要更大的模型来检测数据泄露。
通俗解读 非专业人士也能看懂
想象你在学校考试，老师给了你几道题目，但答案有点小变化，比如加减一分。这样，即使你作弊，也很难得到满分，因为你不知道哪个答案是正确的。这就是CapBencher的原理，通过随机化答案来检测是否有人作弊。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，规则是你要猜一个数字，但这个数字可能会被随机加减一。这让游戏更有挑战性，因为即使你知道答案，你也不能保证得分。这就是CapBencher的工作方式，它通过随机化答案来确保没有人能轻易作弊。
术语表
Bayes精度
在给定问题下，最优决策规则的准确率。
CapBencher通过降低Bayes精度来检测过拟合。
随机化
引入随机性以改变答案的过程。
用于模糊真实答案，降低Bayes精度。
测试集过拟合
模型在测试集上表现优异，但在实际应用中表现不佳的现象。
CapBencher旨在检测这种现象。
数据泄露
训练数据中包含测试集信息的现象。
CapBencher可以检测数据泄露。
基准测试
用于评估模型性能的标准化测试。
CapBencher提供了一种新的基准测试发布方式。
开放问题 这项研究留下的未解疑问
- 1 如何在更复杂的场景中应用CapBencher？
- 2 如何进一步降低Bayes精度以提高检测能力？
应用场景
近期应用
基准测试发布
研究人员可以使用CapBencher发布基准测试，避免数据泄露。
远期愿景
模型评估标准化
CapBencher可能成为模型评估的新标准，确保评估的公正性和准确性。
原文摘要
Publishing a large language model (LLM) benchmark (especially its ground-truth answers) on the Internet risks contaminating future LLMs and enabling evaluation gaming: it may be unintentionally (or intentionally) used to train or select a model, or exploited to overfit and hack leaderboards when labels are accessible. A common mitigation is to keep the benchmark private and let participants submit their models or predictions to the organizers, but this still permits test-set overfitting through feedback loops. To overcome this issue, we propose CapBencher, a way to publish benchmarks without fully disclosing the ground-truth answers, while preserving open evaluation of LLMs. The main idea is to reduce the best possible accuracy, i.e., Bayes accuracy, by injecting randomness to the answers by preparing several logically correct answers, and only include one of them as the solution in the benchmark. Not only does this obscure the ground-truth answers, but it also offers a test for leakage or gaming: since even fully capable models should not surpass the Bayes accuracy, any model that does is a strong signal. We show theoretically and empirically that CapBencher accurately detects test-set overfitting across diverse benchmarks, models, training methodologies, and scenarios.