核心发现
方法论
本文基于科学哲学、测量理论与认知科学，提出能力与倾向为因果关系驱动的 dispositional 属性。测量需假设相关因果变量，独立操作并测定其变化对行为概率的影响，强调系统性变化与因果映射。批判现有基准和潜变量模型（如Item Response Theory）忽略因果结构，不能真正反映系统的稳定属性。提出系统性假设、变量操作和反事实映射的测量框架，强调在不同上下文中系统性变化的重要性。
关键结果
- 通过分析语言模型在数学推理任务中的表现，发现传统准确率指标无法反映模型的数学能力，实际能力应通过任务难度变化下的性能变化来衡量，具体表现为模型在不同难度级别的正确率变化（如从80%降至50%）揭示其潜在能力。
- 在安全倾向性测试中，系统在不同激励条件下表现出明显变化，表明倾向性是由环境激励驱动的潜在属性，而非单一表现结果，验证了因果关系模型的有效性。
- 采用系统性变量操作，建立了能力与倾向性测量的因果映射模型，能在未观察到特定行为时，通过调节上下文变量推断潜在属性，为安全评估和能力扩展提供科学依据。
研究意义
该研究突破了传统性能导向的评估范式，为AI能力与倾向的科学测量奠定基础。通过因果关系框架，提升了测量的理论严谨性和可推广性，有助于制定更合理的监管标准和安全评估方法，推动AI系统的透明性与可控性。特别是在安全关键领域，提供了系统性评估工具，解决了现有方法无法超越样本表现的难题，为未来AI的可信性和安全性提供理论支撑。
技术贡献
本文引入因果关系驱动的dispositional属性定义，突破了传统统计相关性测量的局限，提出系统性变量操作和反事实映射的测量框架。与现有潜变量模型（如Item Response Theory）不同，强调因果结构的明确假设，增强了测量的科学性和可解释性。为AI能力与倾向的量化提供了理论基础和操作指南，推动了AI测量科学的发展。
新颖性
首次系统性提出能力与倾向为因果关系驱动的dispositional属性，强调测量应基于反事实关系，区别于传统基准和潜变量模型的相关性分析。创新在于引入因果关系视角，建立系统性变量操作和反事实映射，为AI能力与安全倾向的科学评估提供新路径。
局限性
- 当前理论尚未完全明确哪些上下文变量最关键，缺乏系统性变量识别机制，限制了测量的普适性和准确性。
- 在实际应用中，部分行为难以在安全范围内操作变量，导致潜在属性的间接推断存在不确定性。
- 模型对因果关系的假设依赖较强，未来需结合可解释性和机制性研究，完善因果模型的科学基础。
未来方向
未来将聚焦于系统性变量的识别与验证，结合因果推断和可解释性技术，完善能力与倾向的测量框架。推动跨领域应用，探索在不同AI系统和任务中的适用性，建立标准化的测量工具，提升AI系统的透明度与安全性。
AI 总览摘要
当前AI评估多依赖于性能指标和基准测试，难以反映系统的内在能力与倾向性。本文从科学哲学出发，提出能力与倾向应被定义为因果关系驱动的dispositional属性，强调测量应基于系统性变量操作和反事实映射。传统方法如基准测试和潜变量模型（如Item Response Theory）忽略了因果结构，导致测量结果缺乏科学基础。作者通过分析语言模型在数学推理和安全倾向性测试中的表现，展示了基于因果关系的测量框架如何揭示潜在能力和倾向的变化规律，为AI系统的安全评估和能力扩展提供理论支撑。该方法强调在不同上下文中系统性变化的重要性，为未来AI能力与安全性评估提供了科学、可推广的工具。未来工作将聚焦于变量识别和因果模型完善，推动AI测量科学的发展，提升系统的透明度和可信度。
深度分析
研究背景
随着AI技术的快速发展，能力评估逐渐成为行业与学术界的核心问题。传统的评估方法主要依赖于基准测试和性能指标，如准确率、BLEU分数等，虽然便于比较，但缺乏对系统内在能力和倾向的理解。近年来，潜变量模型（如Item Response Theory）被引入，试图通过统计关系捕捉潜在能力，但仍未解决因果关系缺失的问题。科学界逐渐认识到，能力和倾向应被视为因果关系驱动的dispositional属性，强调系统性变量操作和反事实映射的重要性。本文在此基础上，提出了以因果关系为核心的测量框架，为AI能力的科学评估提供理论基础。
核心问题
现有评估方法无法区分性能表现与系统内在能力，难以在不同上下文中推断潜在属性。基准测试只反映样本表现，忽略因果结构，导致结果缺乏可解释性和可推广性。安全倾向性测试则受限于特定激励条件，难以量化潜在倾向。缺乏系统性变量操作和反事实映射，限制了能力和倾向的科学测量，影响监管和安全评估的有效性。这些问题阻碍了AI系统的透明性和可信度提升。
核心创新
提出以因果关系为基础的dispositional属性定义，强调系统性变量操作和反事实映射，区别于传统相关性模型。引入因果推断思想，建立系统性测量框架，能在未观察到行为时推断潜在能力和倾向。创新点在于将能力与倾向视为因果关系的表现，提供科学、可操作的测量工具，增强了测量的理论严谨性和实用性。
方法详解
- �� 定义能力与倾向为因果关系驱动的dispositional属性。• 假设相关上下文变量（π）影响行为（v），并系统性变化这些变量。• 通过操作π，测量行为概率p(v|π,θ)，建立因果映射模型。• 区分任务需求变量（影响难度）与激励变量（影响动机），分别测量能力和倾向。• 在安全限制下，通过调节π，推断潜在属性，利用反事实关系实现跨情境推断。
实验设计
在数学推理任务中，使用MATH数据集，通过调节题目难度（数字位数、步骤数）观察模型表现变化，验证能力的因果映射。在安全倾向性测试中，设计不同激励条件（如奖励或惩罚），测量模型在不同激励下的行为变化。对比传统准确率指标，发现系统在不同上下文中的表现差异显著，验证了因果关系模型的有效性。采用系统性变量操作，建立了潜在能力与行为的因果关系曲线，为未来能力扩展提供依据。
结果分析
模型在数学推理中的表现随难度变化显著，从80%正确率下降到50%，揭示潜在能力的变化规律。安全倾向性测试中，模型在高激励条件下表现出更高的危险行为概率，验证倾向性由激励驱动。通过系统性变量调节，成功推断出未观察到的潜在能力和倾向，为AI安全评估提供了科学工具。整体结果显示，基于因果关系的测量框架优于传统指标，能更准确反映系统的内在属性。
应用场景
该测量框架可应用于AI系统的能力验证、安全评估、伦理审查等场景，为监管提供科学依据。可推广至自动驾驶、医疗AI、金融风控等领域，提升系统的透明度和可信度。未来，结合自动化变量识别与因果推断技术，将实现更高效、准确的能力与倾向性评估，为AI产业的安全发展提供支撑。
局限与展望
当前模型依赖于假设因果关系的正确性，若因果结构不明确或模型假设偏差，可能导致测量偏差。某些行为难以在安全范围内调节变量，限制了潜在属性的推断。计算成本较高，需大量系统性变量操作，未来需优化算法和变量识别机制，增强模型的实用性和鲁棒性。
通俗解读 非专业人士也能看懂
想象你在厨房做菜，厨师需要知道每个调料放多少才能做出好味道。传统的方法可能只看最后的味道好坏，但这就像用成绩单判断厨师的厨艺。实际上，厨师的厨艺是个潜在的能力，受调料用量、火候等因素影响，但这些都不是直接表现出来的。科学的方法是调整调料的用量，观察味道的变化，找到调料和味道之间的因果关系。这样就能科学地评估厨师的真正厨艺，而不是只看一次菜的味道。类似地，AI的能力和倾向也是如此，要通过系统性地调节环境变量，观察行为变化，才能真正理解它们的内在属性。
简单解释 像给14岁少年讲一样
想象你在玩一款游戏，你的表现不仅仅是你赢了还是输了，而是你背后的技能和偏好。比如，有时候你会因为喜欢赢而努力，有时候则因为怕输而变得小心。科学家们想知道AI是不是也有类似的技能和偏好，但不能只看它赢了几次或输了几次。相反，他们会试着改变游戏规则，比如增加难度或者给它奖励或惩罚，然后观察它的表现变化。这样就像调节游戏的难度或奖励一样，科学家可以更好地理解AI的真正能力和偏好。这就像调节游戏中的难度，看看你在不同条件下会做出什么反应，才能知道你到底有多厉害或者喜欢什么。
原文摘要
Scientists, policy-makers, business leaders, and members of the public care about what modern artificial intelligence systems are disposed to do. Yet terms such as capabilities, propensities, skills, values, and abilities are routinely used interchangeably and conflated with observable performance, with AI evaluation practices rarely specifying what quantity they purport to measure. We argue that capabilities and propensities are dispositional properties - stable features of systems characterised by counterfactual relationships between contextual conditions and behavioural outputs. Measuring a disposition requires (i) hypothesising which contextual properties are causally relevant, (ii) independently operationalising and measuring those properties, and (iii) empirically mapping how variation in those properties affects the probability of the behaviour. Dominant approaches to AI evaluation, from benchmark averages to data-driven latent-variable models such as Item Response Theory, bypass these steps entirely. Building on ideas from philosophy of science, measurement theory, and cognitive science, we develop a principled account of AI capabilities and propensities as dispositions, show why prevailing evaluation practices fail to measure them, and outline what disposition-respecting, scientifically defensible AI evaluation would require.