DeepSWIP: Quotient-WMC Counterfactuals for Neural Probabilistic Logic Programs

TL;DR

DeepSWIP利用神经材料化与WMC实现深度概率逻辑程序的单世界反事实推理,提升推理速度2.14倍。

cs.AI 🔴 高级 2026-06-19 31 次浏览
Saimun Habib Vaishak Belle Fengxiang He
神经符号系统 反事实推理 概率逻辑 Weighted Model Counting 因果推断

核心发现

方法论

DeepSWIP通过神经材料化技术,将深度概率逻辑程序中的神经谓词转化为普通的ProbLog选择,结合单世界干预程序(SWIP)实现反事实推理。具体而言,首先在固定参数和输入上下文下评估神经网络,得到神经概率分布,并用条件概率替代神经谓词,从而将神经符号程序转化为传统的ProbLog程序。然后,应用SWIP方法对程序进行干预操作,删除定义被干预原子机制的规则,重定向下游规则到固定的干预值,形成单世界干预程序。最后,利用加权模型计数(WMC)在单个变换后程序上计算反事实概率,表达为WMC商,具有明确的代数形式。该方法在有限接地和唯一支持模型假设下,能精确反映学习到的材料化因果模型(FCM)。此外,论文还分析了概率激活、干预清理、校准敏感性和稀有证据不稳定性,揭示了神经预测误差在反事实推理中的传播机制。

关键结果

  • 在MPI3D数据集上,DeepSWIP与深度Twin方法在12,000个查询中完全一致,验证了其正确性,推理速度提升2.14倍(从7.65毫秒到3.57毫秒每次查询),大幅降低了推理成本。实验还显示,神经预测的校准误差会影响反事实推断的准确性,且在干预操作中,模型能有效剔除机制中的冗余信息,确保推理的精确性。
  • SUMO交通场景中,利用神经校准退化引入偏差,验证了插入式估计(plug-in estimator)在偏差传播中的局限性。通过引入随机策略的AIPW估计器,有效消除了大部分一阶偏差,提升了对总体均值和平均处理效果(ATE)的估计精度。实验还验证了校准误差对反事实推断的敏感性,强调了校准在神经符号系统中的重要作用。
  • 理论分析表明,反事实条件的WMC商可以用多项式形式表达,干预操作对应于删除特定的符号子集,确保了推理的可解释性和可控性。该方法在保证精确性的同时,显著减少了推理时间,验证了其在大规模复杂场景中的实用潜力。

研究意义

该研究突破了神经符号系统中反事实推理的瓶颈,提出了基于神经材料化和WMC的单世界反事实语义框架,为因果推断在深度学习中的应用提供了坚实的理论基础。通过引入代数模型计数(AMC)视角,深度理解了干预、校准和稀有事件对推理结果的影响,解决了传统Twin网络在神经符号场景中的高成本和不便之处。这不仅丰富了神经符号推理的理论体系,也为未来在复杂场景中的因果推断和公平性分析提供了新的工具。其在MPI3D和SUMO交通场景中的验证,展示了方法的高效性和鲁棒性,具有广泛的应用潜力,包括自动驾驶、智能制造和医疗诊断等领域。

技术贡献

论文提出了神经材料化技术,将神经谓词转化为概率选择,结合SWIP实现单世界干预,确保反事实推理的准确性。引入WMC的商表达,揭示了反事实条件的代数结构,提供了干预清理、校准敏感性和稀有证据不稳定性的新理解。理论上,证明了在有限接地和唯一支持模型假设下,DeepSWIP的反事实推理是精确的。方法还扩展了代数模型计数(AMC)框架,将推理过程中的偏导数与梯度计算统一,为神经符号系统的可解释性和鲁棒性提供了数学基础。实验验证了推理速度的提升和偏差传播的机制,为神经符号系统的实际应用提供了强有力的技术支撑。

新颖性

该工作首次将神经符号程序的反事实推理转化为WMC商的代数形式,突破了Twin网络的双重复制限制,提出了单世界反事实语义。通过神经材料化和SWIP结合,解决了神经谓词在干预中的共享和重复问题,极大提升了推理效率。引入AMC的商表达,为理解干预、校准和稀有事件提供了统一的数学框架。这些创新不仅丰富了神经符号推理的理论体系,也为大规模复杂场景中的因果推断提供了可行的解决方案。

局限性

  • 该方法依赖于有限接地和唯一支持模型假设,在极大或复杂的程序中,接地和模型支持可能变得不可行,影响推理的准确性和效率。
  • 神经谓词的校准误差会直接影响反事实推断的正确性,当前的校准方法仍需改进以应对实际应用中的噪声和偏差。
  • 在处理连续变量或路径特定的反事实问题时,现有的离散化和线性化策略可能不足,未来需要扩展到更复杂的因果结构和连续空间。

未来方向

未来将探索在大规模、连续空间中扩展DeepSWIP的能力,结合近似WMC方法以提升效率。还计划引入更鲁棒的神经校准技术,减少偏差传播,增强模型在实际场景中的应用能力。此外,将研究多世界和路径特定的反事实推断,丰富因果推理的表达能力,为公平性和稳健性提供更全面的解决方案。

AI 总览摘要

在人工智能领域,深度符号系统(Neurosymbolic Systems)正逐步成为连接感知与推理的桥梁。DeepProbLog作为代表之一,结合了神经网络的感知能力和符号逻辑的推理能力,但其标准推理仍停留在关联层面,难以实现因果推断中的反事实推理。反事实推理对于解释、鲁棒性和公平性具有重要意义,然而在神经符号程序中,如何实现高效、精确的单世界反事实推断仍是一个挑战。

本文提出了DeepSWIP,一种基于神经材料化和Weighted Model Counting(WMC)的单世界反事实语义框架。该方法首先在固定参数和输入上下文下评估神经网络,获得神经谓词的概率分布,并用条件概率替代神经谓词,从而将神经符号程序转化为传统的ProbLog程序。接着,利用单世界干预程序(SWIP)对程序进行干预操作,删除定义被干预原子机制的规则,重定向下游规则到固定干预值,形成单一的干预程序。最后,通过在单个变换程序上进行WMC,计算反事实条件的概率,表达为WMC商,具有明确的代数形式。

该方法在有限接地和唯一支持模型假设下,能精确反映学习到的材料化因果模型(FCM),同时分析了概率激活、干预清理、校准敏感性和稀有证据不稳定性,揭示了神经预测误差在反事实推理中的传播机制。MPI3D数据集上的实验验证了DeepSWIP的正确性和高效性,推理速度比深度Twin方法快2.14倍(从7.65毫秒降至3.57毫秒每次查询),同时保持100%的推理一致性。SUMO交通场景中,利用神经校准退化引入偏差,验证了插入式估计的局限性,并通过随机策略的AIPW估计器成功消除偏差,展示了其在统计推断中的潜力。

这项工作不仅丰富了神经符号推理的理论体系,也为复杂场景中的因果推断提供了新的工具。其代数模型计数的视角,为理解干预、校准和稀有事件提供了深刻的数学基础。未来,研究将着重于扩展到连续空间、路径特定的反事实推断,以及结合近似WMC方法以提升大规模场景的应用能力。DeepSWIP的提出,为实现更具解释性和鲁棒性的人工智能系统迈出了重要一步。

深度解读

原文摘要

Neurosymbolic systems such as DeepProbLog combine neural perception with probabilistic logic, but standard inference is associational. Counterfactual reasoning additionally requires a causal semantics for interventions and evidence. We introduce DeepSWIP, a single-world counterfactual semantics for DeepProbLog programs. Using neural materialization, we reduce fixed-context neural predicates to ordinary ProbLog choices, apply Single World Intervention Programs (SWIPs), and compute counterfactuals by weighted model counting (WMC) over a single transformed program. Under finite grounding and unique-supported-model assumptions, DeepSWIP is exact relative to the learned materialized FCM. The standard quotient-WMC form of ProbLog conditionals identifies active neural probabilities and explains intervention cleaning, calibration sensitivity, and rare-evidence instability. Experiments on MPI3D confirm the transformation against a DeepTwin construction against 12,000 queries, as predicted and a 2.14$\times$ inference speedup from avoiding the Twin's endogenous duplication. A SUMO HOV experiment shows that neural calibration degradation biases plug-in estimates, while a correctly scoped randomized-policy AIPW estimator removes most first-order bias for population mean and ATE estimands. Code is at https://github.com/saibib/deep_SWIP.

cs.AI