核心发现
方法论
该方法利用L-BFGS优化器存储的曲率信息，动态调节训练中的数值精度。通过计算参数更新的Rayleigh商，反映局部Hessian的曲率变化，构建曲率信号。高曲率阶段切换到FP64以确保数值稳定，低曲率阶段采用FP32以提升效率。采用指数平滑滤波和阈值策略，避免频繁切换。该控制器架构与模型无关，可广泛应用于不同PINN结构中。
关键结果
- 在四个典型PINN失效模式基准测试中，提出方法在保持或略优于全FP64精度的同时，显著缩短训练时间，平均提升约20%的训练效率。具体表现为在Reaction和Allen–Cahn方程中，rRMSE误差分别降低至1.2×10^-3和2.5×10^-3，优于单一FP32和静态FP64方案。对不同网络架构（如PINNsFormer、PINNMamba）均表现出良好的适应性和鲁棒性。
- 通过消融实验验证，曲率阈值τz的调节对模型性能影响显著，合理设置可在保证精度的同时最大化效率。多阶段训练中，动态调节精度有效缓解了L-BFGS在低精度下的数值不稳定问题，减少了训练中断和失败的概率。
- 在实际应用中，例如辐照驱动的植物生长ODE模型，动态精度策略同样实现了高精度预测与计算成本的平衡，验证了其广泛适用性和潜在价值。
研究意义
该研究突破了PINN训练中数值精度的传统限制，提出基于曲率信息的动态调节机制，有效缓解了优化中的数值敏感性问题。通过结合二阶优化器的曲率特性，显著提升了训练的稳定性和效率，为复杂偏微分方程的高效求解提供了新思路。这一方法不仅丰富了混合精度训练的理论体系，也为大规模科学计算和工程应用中的PINN优化提供了实用工具，有望推动PINN在实际工程中的广泛应用。
技术贡献
本研究创新性地将L-BFGS存储的曲率信息引入PINN训练中的动态精度调节机制，提出基于Rayleigh商的曲率信号提取方法。该方法实现了在不同训练阶段自动切换FP32和FP64，兼顾计算效率与数值稳定性。与现有的静态或层级混合精度策略相比，具有更强的适应性和鲁棒性。技术上，结合指数平滑滤波和阈值策略，有效避免频繁切换带来的振荡，提升了控制器的实用性和稳定性。此外，方法架构无关，适用于多种PINN变体，为未来深度学习在科学计算中的应用提供了新范式。
新颖性
本研究首次提出利用L-BFGS优化器存储的曲率信息作为动态调节数值精度的依据，突破了以往静态或层级混合策略的局限。通过引入Rayleigh商作为局部Hessian的近似指标，有效反映训练中的数值敏感性，提供了理论基础和实践路径。这一创新显著提升了PINN训练的鲁棒性和效率，为深度学习中的数值精度调控提供了新的思路和工具。
局限性
- 当前方法依赖于L-BFGS优化器的存储信息，可能在非二阶优化器或不同优化策略下效果有限。
- 曲率阈值参数τz的设置具有一定的调节空间，需根据具体问题进行调优，影响泛化能力。
- 在极端高维或极端复杂的偏微分方程中，曲率信号的稳定性和准确性可能受到影响，需进一步研究鲁棒性和适应性。
未来方向
未来将探索多优化器结合的动态精度调节策略，扩展至非二阶方法。还计划引入多尺度、多区域的曲率分析，以适应更复杂的偏微分方程和高维问题。同时，将结合硬件感知信息，优化算法的实时性和自适应能力，推动PINN在工业级大规模科学计算中的应用。
AI 总览摘要
近年来，物理信息神经网络（PINNs）在偏微分方程（PDE）求解中展现出巨大潜力，因其无需网格、灵活性强。然而，训练过程中对数值精度的敏感性成为制约其广泛应用的关键瓶颈。传统上，PINNs多采用FP32或FP64两种极端方案，前者效率高但易失稳，后者稳定但成本昂贵。本文提出一种基于L-BFGS优化器存储的曲率信息的动态精度调节机制，旨在在保证训练稳定性和预测精度的同时，显著降低计算成本。该方法利用Rayleigh商反映训练阶段的局部Hessian曲率变化，根据训练动态智能切换FP32和FP64，避免频繁切换带来的振荡。实验在四个典型PINN失效模式基准测试中验证了其有效性，结果显示在保持或优于全FP64精度的同时，训练时间平均缩短20%以上。该策略在不同网络架构中表现出良好的适应性和鲁棒性，尤其在复杂高维问题和实际应用如辐照驱动的植物生长ODE中展现出广泛潜力。该研究为PINN的高效稳定训练提供了新思路，推动其在科学计算和工程中的应用迈上新台阶。
深度分析
研究背景
PINNs作为一种结合物理定律与深度学习的偏微分方程求解工具，近年来快速发展。早期工作如Raissi等提出的基础框架，已实现对多类PDE的逼近。随后，研究者引入自动微分、优化算法（如L-BFGS）以提升训练效率。尽管如此，训练中的数值不稳定、优化困难和高计算成本仍是瓶颈。近年来，混合精度训练、区域自适应采样等策略被提出，但在数值敏感性和效率之间仍难以兼顾。本研究基于优化几何的曲率信息，创新性地提出动态调节精度的方法，旨在解决PINN训练中的数值稳定性问题，推动其在复杂工程中的应用。
核心问题
PINN训练中，优化过程易受数值精度影响，尤其在高阶导数和复杂边界条件下，容易出现训练失败或误差放大。现有方案多采用静态FP32或FP64，难以兼顾效率与稳定性。二阶优化器如L-BFGS虽能缓解部分问题，但对数值精度敏感，低精度下易失稳。如何在训练不同阶段动态调节数值精度，确保数值稳定性和计算效率，成为亟待解决的核心问题。这不仅关系到模型的预测精度，也影响到大规模科学计算的可行性。
核心创新
本研究的创新点在于：1）利用L-BFGS存储的曲率信息，提取局部Hessian的近似指标，作为训练中数值精度调节的依据；2）设计基于Rayleigh商的曲率信号，动态判断训练阶段的数值敏感性；3）结合指数平滑和阈值策略，稳定切换FP32和FP64，避免频繁振荡；4）实现架构无关的通用控制器，适应多种PINN变体。此方法突破了静态或层级混合策略的局限，为PINN训练提供了更智能、更鲁棒的数值调节机制。
方法详解
- �� 采用L-BFGS优化器，存储参数和梯度的更新对（s_k, y_k）作为曲率信息源。• 计算Rayleigh商（κ_k）反映局部Hessian的方向曲率。• 通过指数平滑滤波（z_j）和阈值（τz），判断训练阶段的曲率变化。• 在高曲率阶段切换到FP64，确保数值稳定；在低曲率阶段采用FP32，提升效率。• 设计阈值调节策略，避免频繁切换，确保训练平稳。• 结合训练中的参数更新幅度，动态调节精度状态，优化训练路径。
实验设计
- �� 在四个典型PINN失效模式（Convection、Reaction、Wave、Allen–Cahn）和一个植物生长ODE模型上验证。• 使用不同网络架构（如PINNsFormer、PINNMamba）进行泛化测试。• 采用相对RMSE和训练时间作为主要指标，比较静态FP32、FP64和动态调节策略。• 通过调节曲率阈值τz，分析其对模型性能的影响。• 进行消融实验验证曲率信号的有效性和鲁棒性。
结果分析
- �� 动态调节策略在所有测试中均实现了与全FP64相当甚至略优的预测精度，误差最低达到1.2×10^-3。• 训练时间平均缩短20%以上，显著优于静态FP64方案。• 不同网络架构下均表现出良好的适应性，验证了方法的普适性。• 曲率阈值的合理设置可在保证精度的同时最大化效率，验证了调节机制的有效性。• 在复杂高维问题中，动态策略减少了训练失败和中断，增强了模型鲁棒性。
应用场景
- �� 适用于科学计算中的偏微分方程求解，如流体动力学、热传导、材料科学等。• 可结合硬件感知信息，优化大规模模拟的训练效率。• 在工程设计、气候建模、生命科学等领域，提升模拟精度与计算效率，推动实际应用落地。
局限与展望
- �� 依赖L-BFGS存储的曲率信息，可能在非二阶优化器或不同算法中效果有限。• 曲率阈值参数需根据问题调节，泛化性有限。• 在极端高维或复杂系统中，曲率信号的稳定性和准确性仍需验证，未来需加强鲁棒性研究。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，锅里的汤需要不断搅拌，确保火候合适。有时候火太大，汤会溢出来，太小又不熟。厨师会根据汤的状态调整火力，确保最佳效果。类似的，科学家在训练神经网络时，也需要根据“训练的火候”调整计算的精度——有时候用高精度（大火）确保稳定，有时候用低精度（小火）快点完成。这个方法就像厨师根据汤的情况灵活调节火力一样，利用“曲率信息”判断训练阶段的“火候”，智能切换精度，既保证了结果的准确，又节省了时间。
简单解释 像给14岁少年讲一样
想象你在玩一款游戏，有时候你需要用最厉害的装备（高精度）才能打败强敌，但用太厉害的装备会很慢，平时打怪用普通装备（低精度）就可以快一些。游戏中，你会根据敌人的强弱，灵活换装备。科学家做类似的事，他们训练神经网络时，也需要在速度和准确性之间做平衡。这个新方法就像游戏里的换装备技巧，根据训练的“难度”智能切换装备（精度），让训练既快又准。它用一种叫“曲率”的信号，像敌人的强弱指标，告诉系统什么时候需要用“高手装备”保证稳定，什么时候用“普通装备”快点完成。这样一来，训练既高效又可靠，就像打游戏一样轻松愉快！
原文摘要
Physics-informed neural networks (PINNs) have become a promising framework for simulating partial differential equations (PDEs) by embedding physical laws directly into neural network training. However, recent studies show that PINN optimisation is sensitive to numerical precision. Existing implementations commonly use either single precision (FP32), which is computationally efficient but prone to failure modes, or double precision (FP64), which is robust but substantially expensive. This creates a trade-off between computational efficiency and numerical accuracy. To reduce the computational cost of double-precision training while retaining prediction accuracy, we propose a curvature-aware precision controller that adapts numerical precision during training rather than treating it as a fixed implementation choice. The proposed method reuses curvature information derived from the limited-memory BFGS (L-BFGS) optimiser to construct a precision controller, retaining FP32 when lower precision is sufficient and promoting computation to FP64 when the training dynamics indicate numerical sensitivity or precision-limited stagnation. We evaluate the proposed approach on four canonical PINN failure-mode benchmarks and an irradiance-driven ordinary differential equation example. We further test the proposed approach across different neural network architectures. The method consistently matches or even slightly exceeds full FP64 solution accuracy while reducing training time relative to full double-precision training on all benchmark equations. The obtained results indicate that precision sensitivity in PINN optimisation is phase-dependent, and that selectively applying higher precision only during numerically critical stages can lower computational cost without sacrificing predictive accuracy.