核心发现
方法论
本文采用de Finetti定理，构建事件的概率预测集合，通过线性规划求解最大Dutch-book利润，衡量模型预测的内在不一致性。数据来自股票收益，模型预测未来收益落在特定区间的概率，利用事件的逻辑关系构建事件空间，评估模型在不同情境下的概率一致性。无需观察到的结果标签，适用于未决事件的评估。
关键结果
- 在100个股票日中，模型的平均套利利润为0.00207，显示出显著的不一致性，超过四舍五入误差。不同模型间套利利润差异达100倍，说明模型预测的内在不一致性普遍存在。逻辑关系丰富的事件组合导致更高的不一致性，加入无关上下文细节可使不一致性增加十倍。
- 模型在复杂逻辑关系和多资产、多天事件中表现出更高的套利利润，验证了逻辑依赖性对预测一致性的影响。模型在不同提示策略下表现差异显著，提供更多信息或复杂事件组合会降低模型的概率一致性。
- 模型的预测不一致性不仅体现在套利利润上，也与传统的Brier分数相关，但套利利润的变化范围更大，反映出模型在概率合理性上的根本问题。
- 通过系统性实验，发现模型在多资产、多天、多事件组合中表现出较高的不一致性，提示未来训练策略应关注逻辑一致性和上下文鲁棒性。
研究意义
本研究通过无监督的套利检测方法，揭示了当前语言模型在概率预测中的根本缺陷，为模型训练和评估提供新的思路。模型的概率不一致性直接影响其在实际决策中的可靠性，尤其在金融、风险管理等领域。该方法无需依赖真实结果标签，适用范围广，有助于推动模型在复杂逻辑关系和未决事件中的应用。研究强调了模型训练中逻辑一致性的重要性，促使未来开发更具概率合理性的模型架构，从而提升其在实际场景中的可信度和实用性。
技术贡献
本文创新性地将de Finetti定理应用于语言模型概率预测的无监督评估，提出线性规划求解最大Dutch-book利润的算法框架，提供了模型概率一致性的量化指标。该方法突破了传统校准指标的局限，适用于未观察到的事件，具有普适性和扩展性。通过系统性实验验证，展示了模型在复杂逻辑关系和多资产、多时间跨度下的预测不一致性，为未来模型训练提供了理论基础和实践工具。
新颖性
首次将de Finetti定理结合线性规划，用于评估语言模型的概率预测一致性，无需真实标签。不同于传统校准和评分规则，本方法关注模型内在逻辑一致性，揭示模型在复杂事件组合中的潜在漏洞。该研究提供了全局性、无监督的概率合理性检测工具，为模型训练和评估带来创新思路。
局限性
- 该方法依赖事件空间的构建，事件定义的合理性影响评估结果，复杂事件空间可能导致计算复杂度增加。
- 模型在特定任务和数据集上的表现可能不代表其在其他场景的概率一致性。
- 当前实验主要集中在股票收益预测，泛化到其他领域仍需验证。
未来方向
未来将探索引导模型学习概率逻辑一致性的训练策略，结合强化学习或对抗训练，提升模型的内在一致性。还将扩展到更复杂的事件结构和多模态数据，推动模型在实际决策中的可靠性。同时，研究如何结合模型校准和逻辑一致性指标，开发更全面的评估体系。
AI 总览摘要
随着人工智能在决策支持中的广泛应用，语言模型的概率预测能力成为核心关注点。传统评估多依赖校准指标，但这些指标无法衡量模型预测的内在逻辑一致性。本文基于de Finetti定理，提出一种无监督的概率一致性评估方法，通过线性规划计算模型预测的最大Dutch-book利润，衡量其潜在的不一致性。实验中，采用股票收益数据，评估15个不同模型在多资产、多时间跨度、多事件组合中的预测表现，发现大部分模型存在显著的套利利润，表明预测不合理性普遍存在。逻辑关系丰富的事件组合和无关上下文细节会加剧不一致性，提示模型在复杂推理任务中的局限。该方法无需观察到的结果标签，适用范围广，为未来模型训练提供新思路。研究强调逻辑一致性在概率预测中的重要性，推动模型在金融、风险管理等领域的应用。未来工作将结合训练策略，提升模型的内在逻辑合理性，增强其实用性和可信度。
深度分析
研究背景
近年来，语言模型在自然语言处理和预测任务中取得突破，尤其在金融、医疗等领域展现出巨大潜力。早期工作如GPT系列、BERT等，主要关注模型的准确率和校准指标，但对其概率预测的逻辑一致性关注不足。传统方法如概率校准（calibration）和评分规则（如Brier score）虽能衡量部分性能，但无法检测模型内部的逻辑矛盾。近年来，研究逐渐意识到模型在复杂事件推理中的不一致性问题，尤其在多事件、多资产环境下表现突出。本文借助de Finetti定理，提出无标签的概率一致性检测方法，为模型在未观察到的事件上的推理提供理论支撑。
核心问题
当前语言模型在概率预测中存在显著的不一致性，表现为套利机会和逻辑矛盾。传统评估指标无法捕捉模型内部的逻辑合理性，特别是在多事件、多资产、多时间跨度的复杂场景中。这限制了模型在实际决策中的可靠性，尤其在金融风险管理、政策制定等关键领域。如何量化模型预测的内在逻辑一致性，成为亟需解决的问题。现有方法多依赖观察到的结果标签，难以应用于未来或未决事件，缺乏普适性和无监督特性。
核心创新
本研究的核心创新在于将de Finetti定理引入概率预测评估，提出线性规划算法计算最大Dutch-book利润，作为模型内在不一致性的量化指标。该方法无需观察到的结果标签，适用于未决事件，具有普适性。通过系统性实验，验证了模型在复杂逻辑关系、多资产、多时间跨度下的预测不一致性，揭示了模型在推理中的潜在漏洞。创新点还在于提出全局性、无监督的概率合理性检测框架，为未来模型训练提供理论基础和实践工具。
方法详解
- �� 构建事件空间：利用股票收益数据，定义未来收益落在特定区间的事件，形成逻辑关系明确的事件集合。• 事件的线性表示：通过事件的交并补关系，建立事件的代数结构，生成事件的原子空间。• 预测概率向量：模型输出每个事件的预测概率，形成概率向量p。• 线性规划：定义最大套利利润问题，目标是最大化套利者在所有事件上的最小净收益，约束为总下注额度。• 计算套利利润：利用对偶理论，将最大套利利润转化为对事件空间的距离度量。• 评估模型：在不同模型、事件组合和提示策略下，计算套利利润，分析模型的概率一致性。
实验设计
采用CRSP股票收益数据和Refinitiv新闻，构建100个股票日样本，评估15个模型在不同事件集上的预测。设计多资产、多天、多事件组合，比较不同提示策略对模型一致性的影响。通过线性规划求解最大套利利润，采用bootstrap方法计算95%置信区间。还进行了逻辑关系丰富度、上下文干扰和多次重复等消融实验，验证方法的稳健性和敏感性。
结果分析
模型的平均套利利润为0.00207，显著高于随机或完美一致的水平，表明普遍存在预测不合理性。不同模型套利利润差异达100倍，说明模型内部逻辑一致性差异巨大。丰富的逻辑关系和无关上下文会显著增加套利利润，提示模型在复杂推理中表现不足。多资产、多天、多事件组合的套利利润更高，验证了逻辑依赖性对预测合理性的影响。模型在不同提示策略下表现差异明显，提示训练中应关注逻辑一致性。
应用场景
该方法可用于金融、保险、风险评估等领域，帮助识别模型潜在的逻辑漏洞，提升模型可信度。未来可结合训练策略，增强模型在复杂推理中的概率合理性，推动模型在决策支持中的应用。无监督检测机制也适合大规模模型评估和模型改进，促进模型的稳健性和可靠性。
局限与展望
方法依赖事件空间的合理定义，事件设计不当可能影响评估效果。计算复杂度随事件空间扩大而增加，限制大规模应用。当前主要在金融场景验证，泛化到其他领域需进一步验证。模型在极端或未见事件上的表现仍需关注，未来需结合训练优化提升模型逻辑一致性。
通俗解读 非专业人士也能看懂
想象你在一家工厂里，工厂的任务是生产各种不同的产品。每个产品都需要按照一定的规则和逻辑来生产，比如某个零件必须先装好，再装配到最终产品中。工厂的管理者希望每个工人都能严格按照规则操作，否则会出现问题。现在，假设我们用一个智能机器人来预测工厂里每个环节的成功概率。这个机器人告诉你，某个零件装配成功的概率是70%，另一个是80%。但如果这个机器人说，两个零件都成功的概率是60%，而它又说第一个成功的概率是70%，第二个是80%，这就不合理了——因为两个事件的概率关系必须符合一定的逻辑。我们用一种特殊的方法，像工厂检查员一样，看看这个机器人给出的概率是否符合逻辑。我们会模拟各种可能的情况，看看机器人是否总会“赚”到钱（即出现漏洞）。如果它总能“赚”到钱，说明它的预测不合理。这个方法不用知道实际结果，只是检查预测的合理性。通过这个过程，我们可以发现很多模型在复杂的逻辑关系中会出现预测不一致的问题，就像工厂里的工人偶尔会违反操作规则一样。这提醒我们，未来的模型需要更好地理解和遵守逻辑关系，才能在实际应用中更可靠。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的游戏，你需要猜测未来会发生什么，比如明天的天气、考试的难度或朋友的心情。现在，有个聪明的机器人也在帮你猜，但有时候它的答案会互相矛盾，就像你说“今天晴天”，但又说“明天会下雨”，这两件事怎么可能都是真的呢？这就像你在猜谜时，答案之间没有逻辑联系，导致你可以用一些小技巧，总是赢得游戏。科学家们用一种叫“de Finetti定理”的数学方法，来检查这些猜测是否合理。具体做法是：他们让机器人猜出一堆事件的概率，然后模拟各种可能的结果，看看机器人是不是总能“赚到钱”——也就是说，它的猜测是否有漏洞。如果能“赚到钱”，说明它的猜测不合理，就像你在游戏中用漏洞赢了别人一样。这个方法不用知道真正的答案，只是看猜测是否符合逻辑。研究发现，很多模型在面对复杂问题时，预测会出现很多不一致的地方，就像游戏里出现的漏洞一样。这告诉我们，未来要让机器人更聪明，不仅要让它猜得准，还要让它的猜测符合逻辑，就像我们在玩游戏时要遵守规则一样。这样，机器人才能在现实生活中帮我们做出更靠谱的决定，比如投资、医疗或天气预报。
术语表
Dutch Book (荷兰书)
一种检测概率预测内在一致性的方法，通过构建套利组合，判断模型预测是否存在系统性漏洞。In this paper, it measures the maximum guaranteed profit an arbitrageur can secure against model probabilities.
用于评估模型预测的逻辑合理性，是否存在系统性套利机会。
de Finetti定理
概率预测的一致性条件，表明若预测没有套利机会，则其概率分布是合理的。It links coherence of probabilities to the absence of Dutch books.
作为评估模型概率预测合理性的理论基础。
线性规划
一种优化算法，用于在约束条件下最大化或最小化目标函数。In this paper, it computes the maximum arbitrage profit given model probabilities.
求解最大Dutch-book利润，衡量模型不一致性。
套利利润
在模型预测中，套利者可以保证的最小利润，反映预测的内在不合理性。It is calculated via duality as the maximum guaranteed profit across all possible bets.
衡量模型预测逻辑矛盾的指标。
概率一致性
预测概率符合逻辑关系，不存在套利机会。It ensures that probabilities sum to one and are internally coherent.
模型预测的基本要求，关系到实际应用中的可靠性。
开放问题 这项研究留下的未解疑问
- 1 如何将该无监督评估方法与模型训练过程结合，系统性提升模型的概率逻辑一致性？
- 2 在更复杂、多模态、多任务场景中，该方法的适用性和效率如何？
- 3 如何设计训练策略，使模型在保持预测准确的同时，增强概率的内在合理性？
应用场景
近期应用
金融风险评估
帮助金融模型识别潜在的概率漏洞，提升风险预测的可靠性，减少系统性错误。
决策支持系统
在政策制定和风险管理中，确保模型预测符合逻辑，避免因不一致性带来的误导。
远期愿景
智能决策机器人
未来将开发具备逻辑一致性检测能力的AI，广泛应用于金融、医疗、法律等领域，提升自动决策的可信度。
原文摘要
People increasingly use language models to support life decisions. Many such decisions involve a probabilistic forecast: How likely is a major life event, a natural disaster, or an economic outcome? Users of language models may implicitly trust that these forecasts fall out of a coherent world model. In this paper, we evaluate the coherence of language model probabilistic forecasts through a procedure that builds on a theorem due to de Finetti. We elicit forecasts from language models across events generated from stock returns data. We then use linear programs to compute the largest Dutch-book profit - the profit an arbitrageur could guarantee by betting against model-generated probabilities - which we use as a measure of incoherence. Our procedure does not require outcome labels, so we can evaluate coherence even in settings where outcomes are not observed or have not yet resolved. We find substantial evidence of incoherence in language model forecasts. Such incoherence increases when there are richer logical relationships between events, and irrelevant contextual details can increase incoherence by an order of magnitude. We conclude by discussing how alternative training strategies may improve probabilistic coherence.