核心发现
方法论
IBIB协议由三部分组成：金标准盲能力绑定预检、包含可靠性的初步评分规则，以及结构性盲评分仲裁。其核心算法包括能力绑定预检(算法1)、盲仲裁与恢复、失败封闭可比性以及套件分层任务集引导。
关键结果
- 结果1：在11个系统中，两个单一路径运行在相同权重下失败于不同的绑定门限谓词，而第三个通过了绑定门限，表明能力可用性可测量。
- 结果2：服务路径选择使一个系统的精度从77.38%提升到82.54%，区间为[0.11, 10.60]。
- 结果3：四个套件在六系统带宽内饱和，主要差异来自数据库工作和多表连接。
研究意义
该研究解决了传统基准测试仅基于模型标识符的局限性，提出了评估企业AI系统的更全面方法。通过绑定服务路径，IBIB协议能够更准确地反映系统在实际部署中的能力，为企业AI采购和部署提供更可靠的依据。
技术贡献
IBIB首次将服务路径绑定纳入AI系统评估，提出了包含可靠性的评分规则，并定义了任务绑定协议。与现有基准相比，IBIB不仅测量模型能力，还评估服务路径对能力的影响，填补了模型标识符基准的空白。
新颖性
IBIB是首个明确将服务路径绑定作为评估对象的协议，突破了传统基准测试仅关注模型标识符的局限性，提出了可靠性纳入评分的新方法。
局限性
- 局限1：协议依赖于封闭的任务集，无法直接扩展到开放域任务。
- 局限2：未提供人类基线，限制了绝对分数的商业解释。
- 局限3：协议对多用户状态和实时检索场景未覆盖。
未来方向
未来研究可扩展至动态任务集和多用户场景，进一步优化协议的适用性。此外，可探索如何将协议与实时企业AI部署结合，提升其实用性。
AI 总览摘要
IBIB协议旨在解决传统企业AI评估中仅基于模型标识符的局限性。通过绑定服务路径，IBIB能够更准确地反映系统在实际部署中的能力。其核心包括三部分：能力绑定预检、包含可靠性的评分规则以及盲评分仲裁。实验表明，服务路径对系统能力有显著影响，例如在相同权重下，不同路径的精度从77.38%提升至82.54%。此外，IBIB还揭示了数据库工作和多表连接对能力评估的关键作用。
IBIB的技术贡献在于首次将服务路径绑定纳入AI系统评估，提出了可靠性纳入评分的新方法，并定义了任务绑定协议。与传统基准相比，IBIB不仅测量模型能力，还评估服务路径对能力的影响，填补了模型标识符基准的空白。
尽管IBIB在封闭任务集上表现出色，但其局限性包括未覆盖开放域任务和多用户场景。未来研究可探索动态任务集和实时企业AI部署的结合，以进一步提升其实用性。
深度分析
研究背景
传统AI基准测试通常基于模型标识符进行评估，忽略了服务路径对系统能力的影响。然而，企业AI系统的实际能力不仅取决于模型权重，还受到服务路径、精度、输出协议等因素的影响。现有18个基准测试均未能解决这一问题，导致评估结果与实际部署能力存在偏差。
核心问题
核心问题在于传统基准测试无法区分模型能力与服务路径限制的影响。这种测量误差使企业难以准确评估系统的实际能力，特别是在复杂任务场景下，例如多图像请求或长文本生成。
核心创新
IBIB的核心创新包括：
- �� 服务路径绑定：通过能力绑定预检验证路径是否满足评估协议。
- �� 包含可靠性的评分规则：将失败纳入评分，避免不支持的能力被高估。
- �� 盲评分仲裁：确保评分过程不受偏见影响。
- �� 定义了任务绑定协议，明确了系统评估的对象和方法。
方法详解
IBIB协议包括以下步骤：
- �� 能力绑定预检：验证服务路径是否满足评估协议的十个谓词。
- �� 初步评分规则：记录所有失败并纳入评分，同时排除不支持的能力。
- �� 盲评分仲裁：对非正常响应进行盲仲裁，确保评分过程的公平性。
- �� 任务绑定：定义系统评估对象为模型、路径、精度等八元组。
实验设计
实验设计包括128个封闭任务和987个断言，覆盖文档、电子表格、图表、工具和数据库工作。实验对比了11个系统的能力，分析了服务路径对能力评估的影响，并进行了多次路径选择和绑定测试。
结果分析
实验结果表明，服务路径对系统能力有显著影响。例如，两个路径在相同权重下失败于不同的绑定门限，而第三个路径通过了绑定门限。此外，服务路径选择使精度从77.38%提升至82.54%。数据库工作和多表连接是能力评估的关键因素。
应用场景
IBIB适用于企业AI系统的能力评估，特别是在复杂任务场景下。其结果可为企业AI采购和部署提供可靠依据，提升系统选择的透明度和准确性。
局限与展望
IBIB的局限性包括：
- �� 依赖封闭任务集，无法直接扩展到开放域任务。
- �� 未覆盖多用户状态和实时检索场景。
- �� 缺乏人类基线，限制了绝对分数的商业解释。
通俗解读 非专业人士也能看懂
想象你在一家餐厅点餐。传统的AI评估就像只看菜单上的菜名，却不考虑厨师的手艺、食材质量和服务流程。而IBIB协议则是让你先试吃，确保菜品符合标准。通过验证服务路径，IBIB确保了AI系统在实际部署中的表现与评估结果一致。
简单解释 像给14岁少年讲一样
想象你在玩一款游戏，传统评估只看角色的名字，比如“战士”或“法师”，但IBIB会检查角色的装备、技能和操作方式，确保它们真的能打赢怪物！这就像给每个角色做一次全面体检，看看它们是不是名副其实的英雄！
术语表
服务路径 (Serving Route)
AI系统从输入到输出的完整执行路径，包括模型、工具调用和解析器。
用于定义系统评估的对象。
能力绑定预检 (Capability-Binding Preflight)
验证服务路径是否满足评估协议的过程。
用于确保路径能执行评估任务。
盲评分仲裁 (Score-Blind Adjudication)
在不查看正确答案的情况下决定恢复策略。
用于避免评分偏差。
可靠性评分 (Reliability-Inclusive Scoring)
将失败纳入评分的规则，避免高估能力。
用于评估系统的真实能力。
任务绑定 (Task Binding)
将模型、路径、精度等绑定为一个评估对象的过程。
定义了评估的基本单元。
开放问题 这项研究留下的未解疑问
- 1 如何扩展IBIB协议以支持开放域任务评估？
- 2 如何将IBIB与实时企业AI部署结合以提升其实用性？
应用场景
近期应用
企业AI采购
帮助企业更准确地评估AI系统的实际能力，优化采购决策。
复杂任务评估
适用于多图像请求、长文本生成等复杂任务场景的能力测量。
远期愿景
动态任务评估
开发支持动态任务集的协议，适应不断变化的企业需求。
原文摘要
Enterprises deploy systems, not checkpoints. Usable capability depends jointly on weights, serving route, precision, output contract, and harness, yet all 18 audited benchmarks score advertised model identifiers. We treat this as measurement error and give a protocol that makes it reportable. It has three parts. A gold-blind capability-binding preflight verifies that a route can execute the evaluation contract before any task reaches it; a reliability-inclusive first-pass scoring rule keeps failure in the score while keeping unsupported capability out; and adjudication is structurally score-blind. We call the protocol IB2 and release its algorithms, classification tables, request contract, and manifest schemas. Its reference instantiation, 128 locked tasks and 987 assertions over document, spreadsheet, chart, tool and database work, stays sealed: the procedure is the artifact, not the corpus. Across eleven systems, four results. Capability availability is measurable: two complete single-route runs on identical weights later failed distinct predicates of the finalized binding gate, while a third passed that gate before a fresh run. The advertised identifier exposed neither limit. Discrimination is not uniform: four of seven suites saturate under a six-system band, with the spread almost entirely from governed database work and multi-tab joins, so we report interval-backed resolution groups, not ranks; two of the nominal five-label output's four cuts fail multiplicity adjustment. Serving-arm choice moved one declared revision and precision from 77.38 to 82.54, paired interval [0.11,10.60], though the arms differ in access mode, harness generation, and the serving tool-call parser, and harness generation is a property of our evaluator, not any endpoint. Excluding failed responses from denominators changes the point ordering, so reliability inclusion changes a conclusion, not its wording.