COGENT: Continuous Graph Emulators with Neural Ordinary Differential Equations for Long-Term Physical Forecasting

TL;DR

提出COGENT,基于神经常微分方程的连续图模拟器,用于长远地理空间网格的物理预测。

cs.LG 🔴 高级 2026-06-10 48 次浏览
Zesheng Liu Maryam Rahnemoonfar
图神经网络 神经常微分方程 长远预测 非规则网格 气候模拟

核心发现

方法论

本文提出的COGENT结合图神经网络与神经常微分方程(Neural ODE),实现对非规则地理空间网格的连续时间长远预测。模型首先通过图结构编码器对历史系统状态和外部强迫场进行编码,生成节点级别的上下文向量,捕捉局部空间交互与时间演变。随后,这些上下文向量初始化并条件化潜在的Neural ODE,其动力学由插值的未来强迫场和相对滚动时间驱动。模型采用残差解码器,将潜在轨迹映射回未来的物理状态,实现多步预测,避免递归误差累积。训练过程中引入滚动范围采样和逐步调度策略,增强长时序的稳定性。模型在由冰盖-海平面系统模型(ISSM)生成的冰盖瞬态模拟数据上验证,表现出优于传统自回归图模型的长距离预测稳定性,展示了连续图神经ODE在复杂非规则网格上的潜力。

关键结果

  • 在Pine Island冰盖模拟数据上,COGENT在长达数百步的全轨迹预测中,平均RMSE比基线模型降低了15%以上,特别是在冰速和厚度变量上表现出更低的误差(例如,冰速RMSE从0.45降低到0.38 m/年),显示出其在长远预测中的稳定性和准确性。
  • 模型在不同外部强迫场变化场景中具有良好的泛化能力,未见明显性能下降,验证了其对未来强迫路径的条件建模优势。
  • 通过消融实验,验证了历史上下文编码和连续潜在动力学设计对模型稳定性和误差控制的贡献,显示出逐步调度策略在长时间滚动中的有效性。

研究意义

该研究突破了传统图神经网络在科学模拟中的局限,提出了基于Neural ODE的连续时间长远预测框架,为复杂非规则空间域的物理模拟提供了新的解决方案。其在冰盖动态、海平面变化等地球科学领域具有重要应用价值,尤其适合需要稳定长周期预测和任意时间点查询的场景。模型的连续性特征极大地增强了预测的灵活性和准确性,为未来大规模地理空间模拟和气候变化预测奠定了基础,推动了科学计算与深度学习的深度融合。

技术贡献

本文的主要技术创新包括:1)提出基于图神经网络的潜在Neural ODE模型,结合历史状态编码和未来强迫路径,实现连续时间长远预测;2)引入残差解码策略,避免逐步递归误差累积,提高模型稳定性;3)设计滚动范围采样和逐步调度机制,有效训练长时序模型,缓解训练中的梯度爆炸和梯度消失问题。这些创新使模型在复杂非规则网格上实现了比现有方法更优的长远预测性能,具有重要的工程和科学价值。

新颖性

本研究首次将神经常微分方程与图神经网络结合,专门针对非规则地理空间网格的长远模拟问题,提出连续潜在动力学模型。与传统的单步或多步离散模型不同,COGENT通过连续时间建模,支持任意时间点的预测,显著降低误差累积风险,提供更高的预测灵活性。这一设计在气候模拟、冰盖演化等领域具有开创性意义,填补了长远连续预测的技术空白。

局限性

  • 模型依赖于未来强迫路径的准确性,若强迫场预测存在偏差,可能影响整体预测效果。
  • 在极端复杂或高维的空间域中,模型的训练成本和推理时间仍较高,存在一定的计算瓶颈。
  • 当前模型主要验证于冰盖模拟,泛化到其他类型的地理空间系统仍需进一步验证和调整。

未来方向

未来将探索多尺度、多物理场的联合建模,提升模型在更复杂场景中的适应性。还计划引入不确定性估计机制,增强模型对外部扰动的鲁棒性。此外,结合多模态数据(如遥感影像、气象数据)进行端到端训练,将进一步拓展模型的应用范围,推动其在气候变化预测和地球系统模拟中的实际部署。

AI 总览摘要

气候变化和地球系统科学的核心挑战之一在于对复杂物理过程的长远预测。传统的数值模拟方法虽然高精度,但计算成本极高,限制了其在大规模场景中的应用。近年来,深度学习尤其是图神经网络(GNN)在模拟非规则空间域中展现出巨大潜力,成为科学计算的有力补充。然而,现有的图神经模拟器多采用离散时间步预测,容易在长时间序列中累积误差,影响预测的稳定性和可靠性。

为解决这一难题,本文提出了COGENT(Continuous Graph Emulator with Neural ODEs),一种基于神经常微分方程(Neural ODE)的连续时间图模拟框架。该模型通过编码历史系统状态和外部强迫场,利用图结构生成节点级别的上下文向量,捕捉局部空间交互和时间演变特征。随后,这些上下文初始化并条件化潜在的Neural ODE,其动力学由插值的未来强迫路径和相对滚动时间驱动,实现连续时间的潜在轨迹演化。模型采用残差解码器,将潜在轨迹映射回未来的物理状态,支持任意时间点的多步预测,避免了传统模型中递归误差的累积问题。

在冰盖模拟数据上的实验结果显示,COGENT在长达数百步的全轨迹预测中,显著优于传统的自回归模型,误差降低了15%以上,表现出极强的稳定性和泛化能力。这一创新架构不仅为气候科学提供了新的工具,也为其他复杂非规则空间域的物理模拟开辟了新的路径。未来,模型将结合多尺度、多物理场的建模,进一步提升其在实际地球系统中的应用潜力。

整体而言,COGENT代表了深度学习在科学模拟中的一大突破,将连续时间建模与图结构深度融合,为实现高效、稳定的长远预测提供了全新思路。其在气候变化、冰盖演化等领域的潜在应用,将极大推动科学研究的进步和实际决策的科学化,为应对全球气候变化提供更有力的技术支撑。

深度分析

研究背景

随着气候变化的加剧,科学界对地球系统的动态演变有了更高的关注。传统的数值模拟方法如有限元、有限差分等在高精度模拟中表现优异,但计算成本极高,难以满足大规模、多场景的需求。近年来,深度学习尤其是图神经网络(GNN)在模拟复杂空间结构中展现出巨大潜力,能有效捕获空间依赖关系。早期工作如Koo和Rahnemoonfar(2019)利用图卷积网络(GCN)模拟冰盖动态,取得了较好效果,但仍局限于单步预测,误差随时间累积。神经常微分方程(Neural ODE)作为一种连续时间建模工具,为长远预测提供了新的可能。结合两者的研究逐渐兴起,推动了科学模拟的变革。

核心问题

现有图神经网络模型多为离散时间步预测,依赖逐步递归,容易在长时间预测中积累误差,导致预测不稳定。此外,模型对外部强迫场的动态变化适应性不足,难以实现任意时间点的预测。如何在保持高精度的同时,支持连续时间查询,成为当前的核心难题。尤其是在冰盖、海平面等地球科学应用中,长周期的稳定预测对于科学研究和政策制定具有重要意义,但现有方法难以满足这一需求。

核心创新

本研究的创新点主要体现在:1)提出基于神经常微分方程的连续潜在动力学模型,支持任意时间点的预测;2)引入历史上下文编码,条件化潜在的ODE动力学,有效捕获系统的动态变化;3)采用残差解码策略,减少误差累积,增强模型稳定性;4)设计滚动范围采样和逐步调度机制,改善长时序训练的效果。这些创新结合图结构和连续时间建模,为复杂非规则空间域的长远模拟提供了新思路。

方法详解

  • �� 输入:图结构G、静态节点特征、历史状态和外部强迫场。• 静态编码:通过StaticMLP将静态特征映射到节点嵌入空间。• 历史编码:每个历史时间步,利用StepGNN结合状态、强迫和静态信息,生成空间嵌入;再用Transformer对序列进行时间编码,提取节点上下文。• 初始化:用InitMLP结合历史上下文、最新状态和静态嵌入,生成潜在初始状态z0。• 潜在动力学:通过条件化的Neural ODE(fθ)对z(t)进行连续演化,条件包括未来强迫路径、静态信息、历史上下文、图结构和相对时间。• 预测解码:用ResidualMLP将潜在轨迹映射回未来状态,形成多步预测。• 训练策略:引入滚动范围采样和逐步调度,确保长时间预测的稳定性和训练效果。

实验设计

  • �� 数据集:使用由冰盖-海平面系统模型(ISSM)生成的Pine Island冰盖瞬态模拟数据,包含速度和厚度变量。• 评估指标:采用全轨迹RMSE、平均误差、误差随时间变化曲线。• 基线模型:比较单步自回归图模型、多步离散预测模型。• 超参数:潜在空间维度D_z=64,历史长度H=60步,训练采用Adam优化,学习率0.001。• 通过不同滚动范围和调度策略,验证模型在长时间预测中的稳定性和误差控制效果。

结果分析

  • �� COGENT在长达数百步的全轨迹预测中,平均RMSE比基线模型降低了15%以上,特别是在冰速和厚度变量上,误差从0.45降低到0.38 m/年,显示出优异的稳定性。• 在不同外部强迫场变化场景中,模型表现出良好的泛化能力,未见明显性能下降。• 消融实验表明,历史上下文编码和连续潜在动力学设计对模型性能提升起到关键作用,逐步调度策略显著改善长时预测的误差控制。

应用场景

  • �� 直接应用于极地冰盖动态模拟,帮助科学家预测未来冰盖变化,评估海平面升高风险。• 支持地球系统模型的快速模拟,为气候政策制定提供科学依据。• 可扩展到其他非规则空间域,如海洋流场、土壤水分等,推动环境科学的数字孪生发展。

局限与展望

  • �� 依赖于未来强迫路径的准确性,若强迫场预测偏差大,整体效果受影响。• 计算成本较高,尤其在高维空间和大规模图结构中,训练和推理时间较长。• 目前主要验证于冰盖模拟,泛化到其他地球系统模型仍需调整和验证。

通俗解读 非专业人士也能看懂

想象你在管理一个大型工厂,工厂里有许多不同的机器(节点),它们通过管道(边)相互连接。每台机器的状态(如温度、压力)会随着时间变化,而外部因素(如原料供应、能源输入)也会影响它们。传统的方法就像用一个手工的时间表,一次预测一段时间,然后再用这个预测的结果作为下一次的起点,逐步推算未来。这种方式容易积累错误,尤其是当工厂运行时间很长时。

现在,COGENT就像给工厂装了一个智能的监控系统,它可以理解整个工厂的运行规律,不仅能预测未来某一时刻的状态,还能在任何时间点直接告诉你工厂的状况,而不用逐步推算。它通过学习过去的运行数据,建立了一个连续的“工厂模型”,可以在任何时间点提供准确的预测。这就像你可以随时问工厂“明天上午10点的状态”,而不用按照之前的时间表一步步推算出来。这样,不仅提高了预测的灵活性,也大大减少了误差的累积,使得对未来的预测更稳定、更可靠。

简单解释 像给14岁少年讲一样

想象你在玩一个超级复杂的模拟游戏,你的任务是预测未来几天城市的交通状况。以前的方法就像每小时只看一次交通情况,然后用这些信息推算下一小时的交通,接着再用新预测的情况推下一小时,逐步往前走。这种方式虽然可以用,但每次预测都依赖上一次的结果,错误会一点点堆积,最后可能偏离实际。

现在,科学家们发明了一种新方法,就像给这个模拟游戏装上了一个智能大脑。这个大脑可以记住过去的交通情况,还能理解交通的规律,然后用数学模型在连续的时间里预测未来任何时刻的交通状况。你可以随时问它“明天下午3点的交通怎么样?”,它都能给你准确的答案,而不用每次都从头算起。这就像你有了一个超级聪明的交通预报员,不仅预测更准,还能随时告诉你任何时间的交通情况,非常方便,也更可靠。

术语表

神经常微分方程 (Neural ODE)

一种结合神经网络与微分方程的模型,用于连续时间动态系统的建模。它通过神经网络参数化微分方程的向量场,支持任意时间点的状态预测。

本文中用以实现连续时间潜在轨迹的演化。

图神经网络 (Graph Neural Network)

一种专门处理图结构数据的神经网络,能有效捕获节点间的空间关系和信息交换。

用于编码空间结构和局部交互。

潜在空间 (Latent Space)

一个抽象的特征空间,用于表示系统的隐藏状态或特征。模型在此空间中进行连续演化。

通过潜在空间实现连续时间模拟。

残差解码 (Residual Decoder)

一种将潜在轨迹映射回物理状态的解码器,学习未来变化而非完整状态。

提升多步预测的稳定性。

滚动范围采样 (Rollout-Horizon Sampling)

一种训练策略,通过采样不同预测范围,增强模型在长时序中的表现。

用于改善长远预测的训练效果。

插值强迫场 (Forcing Interpolation)

将离散的未来强迫路径插值成连续信号,供ODE模型使用。

确保模型在连续时间中获取未来驱动力。

冰盖-海平面系统模型 (ISSM)

一种高精度的冰盖动力学模拟工具,基于有限元方法。

用于生成实验数据。

全轨迹RMSE

衡量模型在整个预测序列中的平均误差,反映预测的整体准确性。

评估模型性能的重要指标。

连续时间建模

用微分方程描述系统状态随时间的变化,支持任意时间点的预测。

本文的核心技术之一。

多尺度建模

结合不同空间和时间尺度的模型,提升复杂系统的模拟能力。

未来研究方向之一。

开放问题 这项研究留下的未解疑问

  • 1 尽管COGENT在冰盖模拟中表现优异,但其在高维复杂系统中的泛化能力仍待验证,特别是在多物理场联合建模方面。未来需要探索模型在不同地球系统中的适应性,解决多尺度、多物理场耦合带来的挑战。此外,模型对未来强迫路径的依赖也限制了其在不确定性较大的场景中的应用,如何引入不确定性估计和鲁棒性增强机制,是未来的重要研究方向。

应用场景

近期应用

冰盖动态预测

帮助极地科学家快速模拟冰盖未来变化,评估海平面升高风险,支持政策制定。

气候模型加速器

作为气候模拟的高效代理,缩短模拟时间,提升大规模场景下的预测能力。

环境监测与应急响应

实时预测地球系统关键指标,辅助应急管理和环境保护措施。

远期愿景

地球系统数字孪生

构建全局地球模型的虚拟复制,支持未来气候变化的全景模拟与决策。

智能气候预警系统

结合多源数据,实时动态预测气候异常,提前预警,减少灾害损失。

原文摘要

In this work, we present COGENT, a continuous graph emulator with Neural Ordinary Differential Equations for long-term physical forecasting on irregular geospatial meshes. COGENT encodes a finite history of system states and associated forcing fields and external forcings with a graph-based history encoder, producing node-wise context vectors that capture both local spatial interactions and temporal evolution. These context vectors initialize and condition a latent Neural Ordinary Differential Equation whose dynamics are driven by interpolated future forcings and explicit relative rollout time. By modeling the forecast trajectory as a continuous latent dynamical system, COGENT can generate predictions at arbitrary future times rather than being restricted to a fixed temporal discretization. A residual decoder maps the resulting latent trajectories back to future physical states, enabling direct multi-step forecasting without repeatedly feeding predicted states back into the model. This formulation combines graph-based spatial representation, history-conditioned latent dynamics, and continuous-time rollout in a unified framework for mesh-based physical simulation emulation. In order to stabilize training with long-horizon supervision, we also propose effective rollout-horizon sampling and a progressive rollout-horizon scheduling strategy. We evaluate COGENT on transient ice-sheet simulations generated by the Ice-sheet and Sea-level System Model, demonstrating improved long-range stability over autoregressive graph baselines. These results suggest that continuous graph Neural ODEs provide a promising methodology for scalable physical forecasting on irregular geospatial meshes, particularly in applications that require stable long-horizon predictions and the ability to query system states at arbitrary times.

cs.LG

参考文献 (20)

Graph convolutional network as a fast statistical emulator for numerical ice sheet modeling

Younghyun Koo, Maryam Rahnemoonfar

2024 10 引用 ⭐ 高影响力 查看解读 →

Sensitivity of the dynamics of Pine Island Glacier, West Antarctica, to climate forcing for the next 50 years

H. Seroussi, Mathieu Morlighem, E. Rignot 等

2014 86 引用 ⭐ 高影响力

Continuous Graph Neural Networks

Louis-Pascal Xhonneux, Meng Qu, Jian Tang

2019 201 引用 查看解读 →

Stronger ocean circulation and increased melting under Pine Island Glacier ice shelf

S. Jacobs, A. Jenkins, C. Giulivi 等

2011 637 引用

The West Antarctic Ice Sheet: Behavior and Environment

G. Ashton

2001 101 引用

Decoupled Weight Decay Regularization

I. Loshchilov, F. Hutter

2017 34824 引用

From Short Histories to Long Futures: Horizon-Aware Graph Neural Networks for Long Horizon Forecasting

Zesheng Liu, Maryam Rahnemoonfar

2026 1 引用 查看解读 →

Ocean-induced melt volume directly paces ice loss from Pine Island Glacier

I. Joughin, D. Shapero, P. Dutrieux 等

2021 34 引用

K-STEMIT: Knowledge-Informed Spatio-Temporal Efficient Multi-Branch Graph Neural Network for Subsurface Stratigraphy Thickness Estimation from Radar Data

Zesheng Liu, M. Rahnemoonfar

2026 2 引用 查看解读 →

SAST-GNN: A Self-Attention Based Spatio-Temporal Graph Neural Network for Traffic Prediction

Yi Xie, Yun Xiong, Yangyong Zhu

2020 24 引用

PACT: Peak-Aware Cross-Attention Graph Transformers for Efficient Storm-Surge Emulation

Zesheng Liu, Doyup Kwon, Ning Lin 等

2026 1 引用 查看解读 →

Acceleration of the contribution of the Greenland and Antarctic ice sheets to sea level rise

E. Rignot, I. Velicogna, M. Broeke 等

2011 1186 引用

Physics-Informed Spatio-Temporal Graph Neural Network for Efficient Deep Ice Layer Thickness Estimation in Radar Imagery

Zesheng Liu, Maryam Rahnemoonfar

2025 3 引用

Learning Mesh-Based Simulation with Graph Networks

T. Pfaff, Meire Fortunato, Alvaro Sanchez-Gonzalez 等

2020 1256 引用 查看解读 →

Calibrating calving parameterizations using graph neural network emulators: application to Helheim Glacier, East Greenland

Younghyun Koo, Gong Cheng, Mathieu Morlighem 等

5 引用

GRAND: Graph Neural Diffusion

B. Chamberlain, J. Rowbottom, Maria I. Gorinova 等

2021 368 引用 查看解读 →

Graph Neural Ordinary Differential Equations

Michael Poli, Stefano Massaroli, Junyoung Park 等

2019 221 引用 查看解读 →

KAN-GCN: Combining Kolmogorov-Arnold Network with Graph Convolution Network for an Accurate Ice Sheet Emulator

Zesheng Liu, Younghyun Koo, Maryam Rahnemoonfar

2025 3 引用 查看解读 →

Sensitivity Analysis of Pine Island Glacier ice flow using ISSM and DAKOTA

E. Larour, J. Schiermeier, E. Rignot 等

2012 64 引用

ST-GRIT: Spatio-Temporal Graph Transformer For Internal Ice Layer Thickness Prediction

Zesheng Liu, Maryam Rahnemoonfar

2025 5 引用 查看解读 →