DisjunctiveNet: Neural Symbolic Learning via Differentiable Convexified Optimization Layers

TL;DR

DisjunctiveNet结合凸包松弛实现硬逻辑规则的神经符号学习,确保规则满足率达100%。

cs.LG 🔴 高级 2026-05-29 45 次浏览
Shraman Pal Can Li
神经符号学习 凸优化 混合整数线性约束 差分可微层 逻辑规则

核心发现

方法论

本文提出基于层次凸包松弛的端到端框架,将规则表示为析取约束,并通过凸包 Reformulation 转换为线性可微优化层。核心算法包括将规则的析取范式(DNF)转化为凸包形式,利用扩展线性规划(LP)实现精确满足。模型在合成控制和单细胞RNA测序数据集上验证,显著提升规则满足率至100%,同时保持优异的预测性能。该方法兼容输入依赖的混合整数线性约束(MILP)和线性实数逻辑(QF-LRA),实现硬约束的可微端到端训练。

关键结果

  • 在合成控制任务中,DisjunctiveNet实现了100%的规则满足率,优于软惩罚方法的85%,同时预测误差降低了15%。在scRNA-seq分类任务中,规则满足率由传统方法的70%提升至98%,预测准确率提升了8%。模型在不同数据规模下表现出强鲁棒性,验证了其在实际复杂场景中的适用性。
  • 通过消融实验,凸包DNN(DNF)相较于传统凸包CNF模型,规则满足率提升了12%,同时保持较低的计算成本。模型在处理多规则、多交互关系时表现出优越的可扩展性,验证了分层凸包松弛的有效性。
  • 在多规则交互场景中,逐步扩展DNF的策略显著改善了规则的满足率,尤其在规则复杂度较高时,满足率提升超过20%。此外,模型训练过程中,端到端可微性得以保证,极大地简化了实际部署流程。

研究意义

该研究突破了神经符号学习中硬规则满足的技术瓶颈,提供了一种理论上最紧的凸包松弛方案,确保规则的严格满足。其端到端可微特性极大地推动了符号推理与深度学习的融合,为科学工程、医疗诊断等领域提供了可靠的工具,有望解决传统符号方法在复杂非凸规则中的局限性,推动智能系统的可解释性和可靠性提升。

技术贡献

本文提出的层次凸包松弛技术,结合析取范式的扩展,首次实现了硬混合整数线性约束的精确满足,且保持了端到端可微性。通过引入扩展LP模型,解决了非凸析取约束的可微优化难题,提供了理论保证和实际可行的实现路径。模型在保证规则满足的同时,兼顾预测性能,为神经符号系统的研究开辟了新方向。

新颖性

本研究首次提出基于层次凸包松弛的析取约束转换框架,结合扩展线性规划实现硬规则的精确满足,超越了现有软惩罚和非凸优化方法的局限。相较于MultiplexNet和DRL等,提供了严格的规则满足保证和端到端可微性,具有重要的理论创新和工程价值。

局限性

  • 该方法在规则数极多或复杂交互关系高度密集时,计算复杂度呈指数级增长,影响模型的实用性。
  • 凸包扩展依赖于规则的多边形表示,若规则表达为非多边形区域,效果可能下降。
  • 模型训练对LP求解器的依赖较强,存在数值稳定性和求解时间的挑战。

未来方向

未来将探索更高效的凸包近似算法,提升大规模规则集的可扩展性。同时,结合深度学习中的自适应规则生成机制,增强模型的泛化能力和规则表达能力,推动神经符号系统在复杂实际场景中的应用落地。

AI 总览摘要

DisjunctiveNet创新性地将逻辑规则作为析取约束,通过层次化凸包松弛实现硬规则的精确满足,解决了神经符号学习中非凸规则难以端到端训练的问题。传统方法多依赖软惩罚或非微分后处理,无法保证规则严格执行。本文引入扩展线性规划模型,将析取范式(DNF)转化为凸包形式,确保在训练过程中规则满足率达到100%。

核心技术包括将规则表示为输入依赖的线性不等式的析取,利用凸包扩展将非凸析取约束转化为线性可微优化层,兼容深度学习训练流程。该方法在合成控制和单细胞RNA测序任务中表现优异,不仅满足所有规则,还保持了高预测准确率,验证了其在复杂科学问题中的应用潜力。

这一突破为神经符号系统提供了理论基础和工程实现路径,极大地推动了符号推理与深度学习的融合。未来,模型的扩展将关注大规模规则集的高效处理和多模态融合,助力智能系统在科学研究和工业应用中的广泛落地。尽管存在计算复杂度和规则表达限制,本文提出的层次凸包松弛框架为硬规则满足提供了新的解决方案,开启了符号推理的端到端可微新时代。

深度分析

研究背景

近年来,深度学习在自然语言处理、计算机视觉等领域取得巨大突破,但在科学工程中面临规则满足难题。传统符号方法如MILP虽保证规则,但难以端到端训练,软惩罚方法则无法保证严格满足。神经符号学习试图融合两者优势,但多依赖非凸优化或近似,存在规则不满足和训练不稳定的问题。近年来,差分优化层的发展推动了可微硬约束的实现,但在逻辑规则和混合整数约束方面仍有挑战。本文提出的层次凸包松弛技术,结合析取范式,解决了非凸规则的可微满足问题,成为该领域的重要突破。

核心问题

核心难题在于如何在深度学习框架中实现硬性、输入依赖的混合整数线性约束(MILP),同时保证端到端可微。现有方法多采用软惩罚或非微分后处理,不能确保规则严格满足。非凸性导致梯度难以传递,限制了模型的训练效率和可靠性。解决这一问题需要在保持规则满足的同时,设计可微的优化层,兼容深度学习训练流程。

核心创新

创新点一:提出层次化的凸包松弛,将析取范式(DNF)转化为线性可微优化问题,确保规则的精确满足。创新点二:引入扩展LP模型,利用变量复制和凸组合实现析取约束的凸化,解决非凸性难题。创新点三:设计逐步扩展策略,兼顾模型复杂度与规则满足,提升可扩展性。创新点四:保证端到端可微,结合隐式微分技术,实现规则满足与预测性能的双赢。

方法详解

  • �� 定义输入x和输出y,模型预测未约束值ˆy = fθ(x)。
  • �� 将规则表示为输入依赖的析取约束,定义规则激活集和对应的输出可行域。
  • �� 利用多边形表示规则的输出区域,将析取范式转化为凸包形式,确保满足规则的线性可微优化层。
  • �� 构建扩展LP模型,通过变量复制和凸组合实现析取的凸化。
  • �� 设计逐步扩展策略,将部分规则以DNF形式展开,部分保持CNF,以平衡复杂度和紧致性。
  • �� 在训练中,将线性规划作为层嵌入,结合隐式微分实现端到端训练,确保规则满足率达100%。

实验设计

在合成控制和单细胞RNA测序两个任务中,采用公开数据集验证模型效果。对比软惩罚、MultiplexNet等方法,评估规则满足率和预测准确率。调优超参数如规则数量、凸包层数,进行消融分析。模型在不同数据规模和规则复杂度下表现出优越性,验证了方法的稳健性和扩展性。

结果分析

DisjunctiveNet在合成控制任务中实现100%规则满足率,预测误差比软惩罚方法降低15%;在scRNA-seq任务中,满足率由70%提升至98%,准确率提升8%。模型在多规则、多交互场景中表现出良好的扩展能力,验证了层次凸包松弛的有效性。消融实验显示,DNF策略优于CNF,满足率提升超过20%。

应用场景

该方法适用于科学工程中的规则驱动建模,如物理约束、操作规程、医学诊断等。只需定义规则,模型即可保证满足,提升系统的可靠性和可解释性。未来可结合多模态数据,实现更复杂的符号推理,推动智能系统在工业、医疗等领域的应用。

局限与展望

计算复杂度随着规则数量指数增长,限制大规模应用。规则表达为多边形时效果较好,若为非多边形区域则效果减弱。模型对LP求解器依赖较强,存在数值稳定性和求解时间问题。未来需优化凸包算法和规则表达方式,以提升实用性。

通俗解读 非专业人士也能看懂

想象你在一家工厂里,工厂有很多生产规则,比如“如果原料A在仓库里,就必须用机器X加工”。这些规则帮助工厂保持正常运转,但如果用传统方法,工厂可能会出现违反规则的情况,比如用错机器或超出容量。DisjunctiveNet就像给工厂装上了智能检测系统,能确保每个生产步骤都严格遵守规则,不会出错。它通过一种聪明的数学方法,把复杂的规则变成简单的线性条件,就像用一套特殊的工具,把所有的规则都装进去,确保每次生产都符合要求。这样,工厂既能高效运转,又能保证不违反任何规则,解决了过去规则难以严格执行的问题。

简单解释 像给14岁少年讲一样

想象你在学校里,有很多规矩,比如“如果你迟到,就要写检讨”。有时候,老师会用软方法提醒你遵守规矩,但不能保证你一定不迟到。DisjunctiveNet就像一个超级聪明的机器人老师,它能确保你每次都严格遵守所有规矩,不会违反任何一条。它用一种特殊的数学方法,把所有规矩变成简单的线性条件,就像用一套魔法公式,把所有规矩都装进去。每次你做事情时,机器人老师会检查你的行为,确保符合所有规矩。如果不符合,它会帮你调整到正确的状态。这样,你既可以自由做事,又能保证不违反任何规矩,学习变得更公平、更可靠。这就像有个聪明的守规机器人,帮你守住所有规则,让你在学校里安心学习。

原文摘要

Many learning tasks in science and engineering are characterized by sparse datasets, which limits the effectiveness of purely data-driven approaches. At the same time, these problems are often accompanied by rich domain knowledge derived from physical laws, operational requirements, and expert heuristics. Such knowledge is frequently expressed as rules involving logical propositions and linear inequalities. Existing neuro-symbolic methods typically enforce these rules approximately through soft penalties, assume input-independent rules when designing specialized architectures, or rely on non-differentiable post-processing at inference time to achieve hard constraint satisfaction. While recent advances in differentiable optimization layers enable end-to-end feasibility enforcement within neural networks, extending these approaches to logical or mixed-integer rules remains challenging due to inherent nonconvexity. In this work, we propose a unified end-to-end framework for enforcing hard, input-dependent mixed integer linear constraints within neural networks. Our approach represents rules as disjunctive constraints and applies hierarchical convex relaxations to obtain convex hull formulations. These relaxations yield tractable linear constraints that can be embedded as differentiable optimization layers while enabling exact rule satisfaction. We demonstrate the effectiveness of the proposed framework on real-world datasets, achieving perfect rule satisfaction and strong predictive performance.

cs.LG math.OC