核心发现
方法论
本文提出利用鞅理论构建的序贯统计检验框架，结合无偏估计器，能在模型提供代币报告时，动态监测其偏差。核心算法包括基于模型下一代概率分布的无偏估计和鞅过程的累积证据，确保无论模型的偏差策略如何，均能保证检测到偏差且极少误判。通过对Llama、Gemma、Ministral等模型的实验证明，少于70次报告即可识别不忠实行为，误报概率低于0.05。
关键结果
- 在多种偏差策略下，检测效率显著优于传统方法，平均检测样本数少于70次，且误报率控制在α=0.05以内。
- 模型实验显示，偏差策略如随机拆分、偏向长序列等均能被准确识别，验证了框架的鲁棒性。
- 框架在不同模型和提示集上表现一致，具有良好的泛化能力和实用价值。
研究意义
该研究解决了大模型云服务中常见的代币计费操控问题，为第三方审计提供了理论基础和实用工具，有助于提升模型商业透明度和用户信任。通过保证偏差检测的高可靠性，推动了模型经济伦理的规范化，具有深远的行业影响。
技术贡献
创新点在于引入基于鞅的序贯检验机制，结合无偏估计器，确保在未知偏差策略下的检测保证。提出的检测框架不仅理论上保证检测完备性，还在实际中实现高效、低样本需求的偏差识别，突破了传统统计方法的局限。
新颖性
首次将鞅理论应用于大模型代币偏差审计，提出无偏估计器用于长度估计，确保检测的无偏性和高效性。相较于现有的模型偏差检测方法，本研究突破了偏差策略的未知性和复杂性限制，提供了具有普适性的解决方案。
局限性
- 依赖模型提供的下一代概率信息，若模型未公开或概率不准，可能影响检测效果。
- 在极端偏差策略或多策略联合下，检测时间可能延长，仍需优化参数选择。
- 当前方法主要针对偏差长度偏离，未涵盖其他潜在偏差类型，如语义偏差或内容操控。
未来方向
未来将探索多偏差类型的联合检测，结合内容一致性和语义偏差指标；同时优化算法以适应更复杂的偏差策略，提升检测速度和鲁棒性。此外，考虑模型黑盒和有限信息场景，增强方法的适用范围。
AI 总览摘要
随着大模型在云端普及，模型提供商通过按代币计费的商业模式激发了偏差操控的动机。用户难以监控模型实际生成的代币数，存在被操控收费的风险。Velasco等人（2025）指出，偏差策略可能导致模型故意报告虚假代币数，损害用户权益。为应对这一问题，本文提出基于鞅理论的序贯统计审计框架，利用无偏估计器动态监测模型偏差。
该框架通过模型下一代概率分布信息，构建鞅过程，确保在偏差策略未知的情况下，检测偏差的完备性和高效性。核心技术包括偏差长度的无偏估计和鞅过程的累积证据，保证偏差检测的统计置信度。实验在Llama、Gemma、Ministral等模型上验证，少于70次报告即可识别偏差，误报率低于0.05。
此方法为云模型的商业诚信提供了强有力的工具，有助于提升行业透明度和用户信任。未来将扩展偏差类型检测，优化算法性能，适应更复杂的偏差策略，推动模型经济伦理的规范化。整体而言，该研究在模型偏差检测领域开辟了新路径，为大模型的公平与透明提供了理论与实践基础。
深度分析
研究背景
近年来，大规模语言模型（LLMs）如GPT、Llama系列不断发展，推动了自然语言处理的突破。模型的商业化带来了按需付费的模式，尤其是按代币计费，成为行业标准。此前研究集中在模型性能优化、偏差检测和模型安全，但对偏差操控的经济动因缺乏系统分析。Velasco等人（2025）提出模型可能通过操控代币报告谋取不当利益，揭示了潜在的经济伦理问题。现有检测方法多依赖模型内部信息或内容分析，难以应对复杂偏差策略。因而，开发一种高效、鲁棒的偏差检测框架成为亟需。
核心问题
核心问题在于如何在模型提供偏差报告时，动态、准确地识别其是否存在操控行为。传统方法多依赖静态检测或内容一致性验证，难以应对模型采用复杂偏差策略的挑战。偏差操控不仅损害用户权益，还扰乱市场秩序，亟需一种具有理论保证和实用效率的检测机制。问题的难点在于偏差策略的未知性、模型信息的有限性，以及偏差行为的多样性。
核心创新
本研究的创新点在于引入基于鞅的序贯检验框架，结合无偏长度估计器，能在偏差策略未知的情况下，保证检测的完备性和效率。具体创新包括：
- �� 利用模型下一代概率分布信息，构建鞅过程，确保在偏差策略多样性下的检测可靠性。
- �� 提出无偏估计器，用于动态估算模型生成的序列长度，避免偏差估计偏差。
- �� 设计自适应鞅过程参数λ，平衡检测速度与误判风险。
- �� 理论上证明在偏差存在时，检测时间有限，误报率受控。这些创新突破了传统统计检测的局限，为大模型偏差审计提供了新思路。
方法详解
- �� 设定模型提供的下一代概率分布，利用模型输出的条件概率，构建偏差长度的无偏估计器。
- �� 通过修改生成过程，确保序列长度的无偏估计，结合蒙特卡洛采样实现。
- �� 利用鞅理论，定义累积证据过程，逐步收集偏差证据。
- �� 设计序贯检验，设定阈值控制误判概率，动态判断偏差存在性。
- �� 通过参数λ调节检测敏感性，兼顾检测速度和误报控制。
- �� 在模型实验中验证，少于70次样本即可检测偏差，误报率低于5%。
实验设计
采用Llama、Gemma、Ministral模型，使用LMSYS Chatbot Arena平台的4000个提示进行测试。模拟忠实与偏差模型，偏差策略包括随机拆分和偏向长序列。设定参数λ，利用Poisson(7)分布采样，进行多轮检测。对偏差模型和忠实模型进行150次重复，统计检测成功率和误报情况。结果显示，偏差模型在少于70次报告中即可被识别，忠实模型误报概率低于0.05，验证了框架的实用性和鲁棒性。
结果分析
检测偏差的平均样本数显著低于传统方法，少于70次即可识别偏差，误报率控制在α=0.05以内。偏差策略如随机拆分、偏向长序列均被准确识别，验证了方法的鲁棒性。不同模型和提示集上表现一致，展现出良好的泛化能力。实验还验证了参数λ的合理性，确保检测敏感性与误判风险的平衡。
应用场景
该框架适用于云端大模型的第三方审计，确保模型提供的代币报告真实可靠。可应用于模型开发商、平台监管机构，提升模型市场的透明度和公平性。未来还可结合内容偏差检测，形成全面的模型诚信评估体系，推动行业健康发展。
局限与展望
依赖模型提供的下一代概率信息，若模型未公开或概率不准，可能影响检测效果。偏差策略复杂多变时，检测时间可能延长。当前方法主要针对长度偏差，未涵盖内容偏差或语义操控，未来需扩展多维检测能力。
通俗解读 非专业人士也能看懂
想象你在一家工厂工作，工厂每天生产商品。工厂老板可能会偷偷多报生产的商品数量，以多拿钱。你作为第三方检查员，不能直接看到工厂的内部流程，只能根据老板提供的每次生产的报告，判断老板是否在撒谎。你设计了一套聪明的检测方法，就像用数学的“天平”和“计数器”逐步验证老板的报告是否合理。每次老板报告后，你用特殊的算法计算出一个“证据值”，逐渐累积起来。如果这个证据超过了某个阈值，你就可以确定老板在作弊。这个方法保证了即使老板采用各种花招，你也能及时发现，且不会误判那些老实的工厂。它就像用科学的“侦查工具”保护消费者的权益，让市场更公平、更透明。
简单解释 像给14岁少年讲一样
想象你在学校的食堂，老师每天发放饭菜，但有人怀疑老师会偷偷多发一些饭菜，然后自己多拿钱。你作为一个聪明的侦探，不能直接看到老师的厨房，只能根据老师每次发的饭菜数量，逐步判断老师是不是在作弊。你设计了一套特别的“数学检测器”，每次老师发饭菜后，你用一种叫“鞅”的数学工具，逐步累积证据。如果累积到一定程度，就说明老师可能在作弊，否则就说明老师很老实。这个方法非常聪明，能在很少的次数内就发现问题，而且不会误判那些老实的老师。它就像用科学的“放大镜”保护大家的权益，让市场变得更公平、更透明。
术语表
鞅 (Martingale)
一种数学过程，具有在未来条件下的期望值等于当前值的特性，确保在偏差不存在时，证据不会系统性增加。
用于构建偏差检测的统计过程，保证在无偏情况下不会误判。
无偏估计器 (Unbiased Estimator)
一种统计估计方法，其期望值等于被估参数的真实值，确保估计的准确性。
用于估算模型生成序列长度，保证偏差检测的可靠性。
偏差报告偏差 (Misreporting Intensity)
衡量模型偏差策略严重程度的指标，反映偏差行为导致的平均额外代币数。
用于量化偏差策略的严重性，是检测难度的重要依据。
开放问题 这项研究留下的未解疑问
- 1 如何在模型未公开下一代概率分布的情况下，有效实现偏差检测？
- 2 多偏差类型（如语义偏差、内容操控）联合检测的可行性与挑战。
- 3 在极端偏差策略或多模型联合偏差场景中的检测效率优化。
应用场景
近期应用
云端模型第三方审计
为模型平台提供偏差检测工具，确保模型报告的真实性，提升用户信任，符合监管要求。
模型开发商的合规检测
帮助开发者验证模型偏差策略，确保商业行为符合伦理标准，减少法律风险。
远期愿景
行业透明度提升
推动模型市场建立标准化的偏差检测体系，促进行业自律与规范发展。
原文摘要
Millions of users rely on a market of cloud-based services to obtain access to state-of-the-art large language models. However, it has been very recently shown that the de facto pay-per-token pricing mechanism used by providers creates a financial incentive for them to strategize and misreport the (number of) tokens a model used to generate an output. In this paper, we develop an auditing framework based on martingale theory that enables a trusted third-party auditor who sequentially queries a provider to detect token misreporting. Crucially, we show that our framework is guaranteed to always detect token misreporting, regardless of the provider's (mis-)reporting policy, and not falsely flag a faithful provider as unfaithful with high probability. To validate our auditing framework, we conduct experiments across a wide range of (mis-)reporting policies using several large language models from the $\texttt{Llama}$, $\texttt{Gemma}$ and $\texttt{Ministral}$ families, and input prompts from a popular crowdsourced benchmarking platform. The results show that our framework detects an unfaithful provider after observing fewer than $\sim 70$ reported outputs, while maintaining the probability of falsely flagging a faithful provider below $α= 0.05$.