核心发现
方法论
本文提出了一种评估合同框架，明确了在将操作数据解释为比较性能证据之前需要满足的假设条件。通过自动驾驶安全评估作为案例研究，强调了测量设计与所做声明之间的明确连接。
关键结果
- 结果1：合规数据如加州脱离报告和NHTSA事故报告不能单独支持系统安全比较。
- 结果2：需要在测量设计和声明之间建立明确的连接以确保评估有效性。
- 结果3：提出的评估合同框架有助于明确操作数据的适用范围。
研究意义
研究强调了在AI系统评估中，合规数据和操作数据不能直接作为比较基准的重要性。这一观点对学术界和工业界都有深远影响，尤其是在高风险应用中。
技术贡献
本文的技术贡献在于提出了评估合同的概念，明确了合规数据在支持AI系统比较评估时需要满足的条件。这为未来AI系统的评估提供了新的理论基础。
新颖性
本研究首次系统性地分析了合规数据在AI系统评估中的局限性，并提出了评估合同这一创新性框架。
局限性
- 局限1：评估合同框架需要在不同应用领域进行验证以确保普适性。
- 局限2：合规数据的获取和使用可能受到法律和隐私限制。
未来方向
未来的研究方向包括在不同应用场景中验证评估合同框架的有效性，以及开发更为精细的数据收集和分析方法。
AI 总览摘要
在AI系统的评估中，合规数据和操作数据常被误用为比较基准，导致评估结果不准确。本文以自动驾驶为例，指出了合规数据在支持系统安全比较时的局限性。研究提出了一种评估合同框架，明确了在将操作数据解释为比较性能证据之前需要满足的假设条件。这一框架强调了测量设计与所做声明之间的明确连接，确保评估的有效性。通过这种方法，研究为AI系统的评估提供了新的理论基础，具有重要的学术和实际意义。未来的研究方向包括在不同应用场景中验证这一框架的有效性。
深度分析
研究背景
随着AI系统在高风险领域的部署，评估其性能的需求日益增加。传统的静态基准测试已不足以捕捉系统在真实世界中的表现，因此，合规数据和操作数据成为评估的重要来源。
核心问题
核心问题在于合规数据常被误用为比较基准，导致评估结果不准确。这是因为这些数据的收集目的与评估需求不一致。
核心创新
本文提出的评估合同框架是一种创新性的方法，明确了在将操作数据解释为比较性能证据之前需要满足的假设条件。这一框架有助于提高评估的准确性和可靠性。
方法详解
- �� 提出评估合同框架
- �� 分析合规数据的局限性
- �� 通过自动驾驶案例研究验证框架的有效性
- �� 强调测量设计与声明之间的连接
实验设计
实验设计包括对加州脱离报告和NHTSA事故报告的分析，验证评估合同框架在自动驾驶安全评估中的适用性。
结果分析
结果表明，合规数据不能单独支持系统安全比较，评估合同框架有助于明确操作数据的适用范围。
应用场景
这一研究对自动驾驶、医疗、教育等领域的AI系统评估具有重要应用价值，有助于提高系统的安全性和可靠性。
局限与展望
评估合同框架需要在不同应用领域进行验证以确保普适性，合规数据的获取和使用可能受到法律和隐私限制。
通俗解读 非专业人士也能看懂
想象一下，你在厨房做饭。合规数据就像是你在做饭时记录的食材用量和烹饪时间。这些记录可以帮助你了解做饭过程，但不能直接告诉你这道菜是否好吃。为了评估菜的味道，你需要考虑食材的新鲜度、烹饪技巧和用餐环境。类似地，AI系统的评估需要考虑数据收集的目的和使用场景，而不仅仅是简单的数据记录。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，游戏里有很多任务。你完成任务得到的分数就像是合规数据，它告诉你完成了多少任务，但不能告诉你在游戏中有多厉害。要知道自己有多厉害，你需要看整个游戏的表现，比如在不同关卡的表现和与其他玩家的比较。AI系统的评估也是这样，需要全面考虑各种因素，而不仅仅是任务分数。
术语表
合规数据
用于满足法律或监管要求的数据，通常用于监控和报告。
在论文中，合规数据被分析为评估AI系统的局限性。
评估合同
一种框架，用于明确在将操作数据解释为比较性能证据之前需要满足的假设条件。
本文提出评估合同以提高AI系统评估的有效性。
自动驾驶
使用AI技术实现车辆自主驾驶的系统。
作为案例研究，自动驾驶被用于验证评估合同框架。
测量有效性
指测量过程是否准确反映了所需评估的能力。
论文强调了测量有效性在AI系统评估中的重要性。
NHTSA
美国国家公路交通安全管理局，负责交通安全法规和标准。
NHTSA的事故报告被用于分析合规数据的局限性。
开放问题 这项研究留下的未解疑问
- 1 如何在不同应用领域验证评估合同框架的普适性？
- 2 合规数据的法律和隐私限制如何影响AI系统评估？
应用场景
近期应用
自动驾驶安全评估
通过评估合同框架，提高自动驾驶系统的安全性和可靠性。
远期愿景
AI系统评估标准化
推动AI系统评估的标准化，确保在不同领域的普适性和可靠性。
原文摘要
We argue that a recurring failure in the evaluation of deployed AI systems occurs when data collected for operational monitoring or regulatory compliance are interpreted as if they were designed for comparative evaluation. Automated driving provides a concrete example of this problem. U.S. disengagement and crash-reporting regimes produce valuable operational evidence, but differences in reporting scope, exposure, deployment domain, event capture, and comparator construction limit the safety claims that can be supported from these measurements alone. We frame this issue as a measurement-validity problem in AI evaluation rather than as a transportation-specific data limitation. We argue that comparative claims about deployed AI systems require alignment between the intended capability, measured outcome, exposure opportunity, deployment domain, data-generation process, and evaluation comparator. Using automated-driving safety evaluation as a case study, we propose an evaluation contract that makes these assumptions explicit before operational data are interpreted as evidence of comparative performance. The broader implication is that data useful for monitoring deployed AI systems are not automatically valid benchmarks for evaluating them.