核心发现
方法论
EnterpriseVal系统通过正式定义用例和冻结的社会技术配置，结合模型、提示、工具、护栏和人工监督，设定评估强度。它包括六个指标目录，涵盖忠实度、实用性、效率、可靠性、保证和监督，并通过预测驱动的推理扩展盲专家判断，最终通过两级门限算法做出拒绝/条件/扩展决策。
关键结果
- 在信用备忘录起草中，人工评分的引用精度达到88%，幻觉率为1.6%，超过设定的70%和5%的门限。
- 在程序转换中，分析师的精炼工作量从估计的27.4小时降至每份文件2.9小时。
- 在三个工作流的试点中，系统展示了显著的效率提升。
研究意义
该研究通过提供一个系统化的评估框架，解决了企业AI部署中测量问题的关键障碍。它使企业能够在其特定数据和控制下评估AI的适用性、可靠性和扩展价值，从而提高经济效益。
技术贡献
EnterpriseVal提供了一个新的评估框架，与现有的模型基准不同，它专注于企业特定的工作流和真实数据。它引入了新的指标和决策规则，使企业能够在风险委员会的指导下做出可靠的部署决策。
新颖性
EnterpriseVal首次将企业特定的真实数据和决策门限结合起来，提供了一个可操作的算法来评估生成式AI的价值和风险。
局限性
- 系统在不同企业环境中的适应性可能有限，需进一步验证。
- 当前试点规模较小，需更大规模的实验来验证结果。
未来方向
未来工作将包括扩展试点规模，验证不同企业环境下的适用性，并探索更多的应用场景。
AI 总览摘要
生成式AI在企业中的应用潜力巨大，但其部署效果常常难以量化。现有的模型基准无法回答企业所需的关键问题：工作流是否适合、可靠、安全并值得扩展。为解决这一问题，研究者提出了EnterpriseVal评估系统。该系统通过正式定义用例和冻结的社会技术配置，结合模型、提示、工具、护栏和人工监督，设定评估强度。它包括六个指标目录，涵盖忠实度、实用性、效率、可靠性、保证和监督，并通过预测驱动的推理扩展盲专家判断，最终通过两级门限算法做出拒绝/条件/扩展决策。试点结果显示，在信用备忘录起草中，人工评分的引用精度达到88%，幻觉率为1.6%，超过设定的70%和5%的门限；在程序转换中，分析师的精炼工作量从估计的27.4小时降至每份文件2.9小时。该系统为企业AI部署提供了一个系统化的评估框架，解决了测量问题的关键障碍，提高了经济效益。
深度分析
研究背景
生成式AI技术迅速发展，能够生成与人类专家相媲美的专业成果。然而，企业在实际部署这些技术时常常面临困难，主要原因在于缺乏有效的评估机制。现有的模型基准通常关注模型的能力，而不是其在特定企业环境中的适用性和可靠性。
核心问题
企业在部署生成式AI时面临的核心问题是如何评估其在特定工作流中的适用性、可靠性和经济价值。现有的评估方法无法解决这一问题，因为它们通常不考虑企业特定的数据和控制。
核心创新
EnterpriseVal系统通过结合企业特定的真实数据和决策门限，提供了一个新的评估框架。它引入了新的指标和决策规则，使企业能够在风险委员会的指导下做出可靠的部署决策。
方法详解
- �� 正式定义用例和冻结的社会技术配置，包括模型、提示、工具、护栏和人工监督。
- �� 六个指标目录，涵盖忠实度、实用性、效率、可靠性、保证和监督。
- �� 通过预测驱动的推理扩展盲专家判断。
- �� 两级门限算法做出拒绝/条件/扩展决策。
实验设计
试点实验在全球银行的三个工作流中进行，包括信用备忘录起草和程序转换。实验设计包括对比不同模型的性能，评估其在特定任务中的适用性和可靠性。
结果分析
在信用备忘录起草中，人工评分的引用精度达到88%，幻觉率为1.6%，超过设定的70%和5%的门限；在程序转换中，分析师的精炼工作量从估计的27.4小时降至每份文件2.9小时。
应用场景
EnterpriseVal系统可用于评估生成式AI在金融、法律和医疗等领域的应用潜力，帮助企业做出可靠的部署决策。
局限与展望
当前试点规模较小，需更大规模的实验来验证结果。系统在不同企业环境中的适应性可能有限，需进一步验证。
通俗解读 非专业人士也能看懂
想象一个工厂，工人们需要根据不同的订单生产产品。生成式AI就像一个智能助手，它帮助工人们识别订单的细节，并指导他们如何高效地完成任务。EnterpriseVal系统就像工厂的质量控制部门，确保智能助手提供的信息准确无误，并且生产过程符合标准。通过这种方式，工厂能够提高生产效率，减少错误，并确保产品质量。
简单解释 像给14岁少年讲一样
想象一下你在玩一个超级复杂的游戏，你有一个助手帮你解决难题。这个助手就是生成式AI，它能帮你完成一些很难的任务。EnterpriseVal就像一个超级厉害的教练，它会检查助手给你的答案是否正确，并告诉你如何更好地使用助手。这就像你有一个可以信赖的助手和一个聪明的教练，让你在游戏中无往不利！
术语表
生成式AI (Generative AI)
一种能够生成文本、图像等内容的人工智能技术。
用于生成专业成果，帮助企业提高效率。
评估系统 (Evaluation System)
用于评估AI技术在特定环境中的适用性和可靠性。
EnterpriseVal用于评估生成式AI的价值。
幻觉率 (Hallucination Rate)
生成内容中不准确或不真实信息的比例。
用于评估生成式AI的忠实度。
引用精度 (Citation Precision)
生成内容中引用信息的准确性。
用于评估生成式AI在信用备忘录中的表现。
风险委员会 (Risk Committee)
负责评估和管理企业风险的组织。
EnterpriseVal的决策过程涉及风险委员会。
开放问题 这项研究留下的未解疑问
- 1 如何在不同企业环境中验证EnterpriseVal的适用性？
- 2 生成式AI在其他领域的应用潜力如何？
应用场景
近期应用
金融领域应用
帮助银行评估AI在信用分析中的应用潜力，提高效率和准确性。
法律领域应用
评估AI在法律文件起草中的应用，减少人工错误。
远期愿景
医疗领域愿景
探索AI在医疗诊断中的应用潜力，改善患者护理。
原文摘要
Frontier language models now produce professional deliverables that expert graders judge to match human work on a substantial share of economically valuable tasks, yet most enterprise GenAI initiatives fail to show a measurable business effect and a large fraction of agentic projects are expected to be cancelled. We argue that this is substantially a measurement problem: public benchmarks answer "what can the model do?", whereas a deployment decision requires "is this workflow fit, reliable, safe and worth scaling - here, on our data, under our controls?". We present EnterpriseVal, a use-case-level evaluation system that closes this gap. It comprises (i) a formal specification of the use case and of the frozen socio-technical configuration under test, model, prompts, retrieval, tools, guardrails and human oversight, with an autonomy level and consequence tier that jointly set the required evaluation intensity; (ii) a metric catalogue spanning fidelity, utility, efficiency, reliability, assurance and oversight; (iii) a grading protocol that scales blinded expert judgement with calibrated LLM-as-judge scoring through prediction-powered inference; (iv) a two-tier threshold gate, stated as an executable algorithm, that maps metric vectors with confidence bounds to REJECT/CONDITIONAL/SCALE decisions; and (v) a value-and-risk model in which the reviewer catch rate is a measured parameter. We report a pilot across three workflows in a global bank. In credit-memo drafting, human-graded citation precision reached 88% and hallucination rate 1.6% for the best model against gates of 70% and 5%; in procedure transformation, analyst refinement effort fell from an estimated 27.4 to 2.9 hours per document. We separate established results, documented pilot evidence, the proposed system and open hypotheses, and specify the experiments required for full validation