核心发现
方法论
论文将子采样自然梯度（SNG）重新解释为正则化随机块Kaczmarz，即草图-投影方法，而非随机预条件估计。在线性最小二次模型中，采用平方体积采样（SVS）：p(S)∝det(J_SJ_S^⊤+λI)，从而保留梯度与预条件器的耦合，并精确分析其期望方向。
关键结果
- 引理4.1证明，在S∼SVS(J,k,λ)时，E[J_S^{+(λ)}r_S]=f_WJ^⊤r，其中f_W=(J^⊤J)^{-1/2}P(J^⊤J)^{-1/2}，P=E[P(S)]。因此无需两个独立批次，也能把单批次SNG写成预条件梯度步。
- 定理4.2给出任意批大小k、λ>0和递减步长下的全局收敛保证；定理5.1进一步将一致LLQ问题的速率联系到α/γ，其中α是期望投影的最小特征值，γ反映草图-投影步的二阶矩。
- 图2在离散Poisson问题上使用m=100、n=7801、k=10，并运行10^3次迭代；SVS-SNG的误差曲线接近真实均匀采样SNG，而双批次代理显著偏离。图4支持SNG更能利用Jacobian谱衰减，图5显示小批量时SPRING优势更明显。
研究意义
该工作解决了SNG理论中的核心错配：实际算法用同一小批次同时产生梯度和Jacobian预条件器，而传统分析用两个独立批次，因而在k远小于参数量n时失真。论文把关注点从梯度方差转向Jacobian的行空间、谱衰减和投影几何，为神经网络波函数、PINN及高精度科学计算提供更贴近实际的理论解释。
技术贡献
主要贡献包括：用SVS获得耦合逆矩阵的可计算期望；证明单批次SNG的全局收敛；在LLQ中建立α/γ速率刻画；并证明SPRING可由加速草图-投影方法自然导出。SNG更新为θ_{t+1}=θ_t−ηJ_S^{+(λ)}r_S，只需反演k×k核矩阵而非n×n Fisher矩阵。
新颖性
新颖性不在于提出一种必须实际部署的SVS采样器，而在于把SVS作为理论代理，首次系统地连接SNG、随机块Kaczmarz和加速草图-投影。相较独立双批次随机预条件分析，该框架保留真实单批次耦合，并解释小样本下的谱效应。
局限性
- SVS主要是理论工具；生成样本通常需访问全部J或大量行，成本可能达到O(m·poly(k))，因此不能直接视为廉价工程算法。
- 核心速率结果集中于一致的线性最小二次模型；非线性、非一致和随机归一化问题只得到扩展或假设性结论，γ的普适良性仍缺乏完整证明。
未来方向
作者建议研究近似SVS、负相关批采样、MCMC及过采样后子选择，并系统刻画γ。未来还应在真实NNW、PINN和非线性Gauss–Newton任务中验证α/γ预测，设计不需访问完整Jacobian的可扩展采样器，并进一步分析SPRING的最优正则化与动量参数。
AI 总览摘要
科学机器学习常要求高精度，而不是普通预测任务中的近似可用。神经网络波函数和PINN因此广泛采用自然梯度。然而，子采样自然梯度（SNG）每步只使用少量样本，梯度与随机预条件器来自同一批数据并彼此耦合；传统理论却用两个独立批次拆开它们。在样本数远小于参数数时，这一代理可能完全不能代表真实算法。
Goldshlager、Hu和Lin提出以草图-投影视角重建SNG理论。其关键代理是平方体积采样（SVS），概率按det(J_SJ_S^⊤+λI)分配。论文把SNG写成正则化随机块Kaczmarz步骤，并证明即使梯度和预条件器耦合，期望方向仍等于f_WJ^⊤r。由此，单一小批次、任意批大小的SNG获得全局收敛保证；在线性最小二次模型中，速率由α/γ控制，α来自期望投影，γ来自步长二阶矩。
实验提供了直接的代理比较：离散Poisson问题取m=100、n=7801、k=10，运行10^3次迭代。SVS-SNG随步长和正则化变化的误差行为都接近真实均匀采样SNG，而双批次模型明显失真。结果暗示SNG相较SGD的优势并非简单来自更低方差，而是更能利用Jacobian的谱衰减；SPRING则在草图投影收敛较慢、尤其小批量时更有价值。局限是SVS成本高、γ仍待理论刻画，未来重点是廉价近似采样与真实科学模型验证。
深度分析
研究背景
自然梯度通过近似函数空间中的梯度下降，已用于神经网络波函数、变分蒙特卡洛和PINN。标准更新为θ_{t+1}=θ_t−η(J^⊤J+λI)^+J^⊤r。SNG以样本矩阵J_S和梯度r_S替代完整对象，只需处理k×k矩阵，适合k=10^3、n=10^6等场景。
核心问题
难点是J_S^{+(λ)}r_S中逆矩阵与梯度共享样本。独立双批次分析虽然易处理，却在k≪n时忽略真实耦合，无法解释小样本收敛速度，也遮蔽了Jacobian谱结构可能带来的优势。
核心创新
第一，将SNG识别为正则化随机块Kaczmarz和草图-投影算法。第二，用SVS替代独立批次代理，使耦合期望可精确计算。第三，以α/γ描述LLQ速率，其中α刻画期望投影，γ刻画二阶矩。第四，从加速草图-投影推导SPRING。
方法详解
- �� 对模型v_θ=Jθ和二次损失L(v)=1/2v^⊤Hv−v^⊤b建立LLQ问题。
- �� 抽取样本行形成J_S、r_S，并更新θ_{t+1}=θ_t−ηJ_S^{+(λ)}r_S。
- �� 令P(S)=J_S^{+(λ)}J_S、P=E[P(S)]，α=λ_min^+(P)。
- �� 采用p(S)=det(J_SJ_S^⊤+λI)/Σ_{|S'|=k}det(J_{S'}J_{S'}^⊤+λI)。
- �� 用引理4.1把期望方向化为f_WJ^⊤r，再结合随机优化和草图-投影理论证明收敛。
实验设计
图2使用离散Poisson问题、小型神经网络、m=100、n=7801、k=10，比较真实均匀采样SNG、SVS代理和独立双批次代理；固定步长改变λ，或固定λ改变η，均运行10^3次迭代、重复5次。图3考察γ，图4比较谱衰减下SNG与SGD，图5考察SPRING；附录还测试LLQ实例。
结果分析
SVS曲线在图2中贴近真实SNG，而双批次曲线出现显著不同的误差行为。理论上，任意k都可获得全局收敛条件；LLQ速率呈α/γ形式，说明投影几何而非单纯估计方差主导表现。图4支持谱衰减解释，图5支持小批量下加速SPRING更有优势。
应用场景
直接应用包括NNW中的随机重构、量子基态变分蒙特卡洛、PINN训练，以及非线性最小二乘中的子采样Gauss–Newton。前提是能高效计算样本梯度和Jacobian行，并控制正则化λ；工程上可借鉴SVS的负相关思想，而不必直接实施完整SVS。
局限与展望
SVS需要全局或大量Jacobian访问，实际采样成本高。论文主要依赖一致LLQ局部模型；一般非线性问题的全局行为、随机归一化误差和近似SVS偏差尚未解决。γ只有初步命题和数值证据，SPRING的参数选择及真实大规模基准仍需系统研究。
通俗解读 非专业人士也能看懂
把训练想成一座工厂：模型参数是调节机器的旋钮，函数输出是产品，梯度告诉你产品哪里不合格。普通梯度法只看“整体该往哪调”；自然梯度还会考虑不同旋钮对产品的影响是否重复，因此能更聪明地分配调整量。
SNG为了省时间，每次只检查少量产品。问题在于，同一批产品既用来判断错误，也用来判断哪些旋钮最值得调整。过去的理论把这两件事交给两批互不相干的产品，像用一张订单安排生产、再用另一张完全不同的订单检查效果，因此小批量时会失真。
论文改用“平方体积采样”：更倾向选择信息互补、不会重复的样本。这样，作者证明平均来看，SNG仍像一个经过聪明校准的调整步骤。实验中，m=100、n=7801、k=10时，SVS代理比双批次代理更像真实算法。核心启示是：SNG的优势可能来自它更会利用模型中重要方向逐渐变少的结构，而不只是噪声更小。
简单解释 像给14岁少年讲一样
想象你在玩一个超复杂的赛车游戏，有7801个按钮可以调，但每次只能观察10个赛道点。普通方法看到哪里偏了就乱调相关按钮；自然梯度会先判断哪些按钮其实控制着相同的东西，再尽量少走弯路。
麻烦是，这10个点既告诉你“车偏到哪里”，也告诉你“哪个按钮有用”。以前的数学分析假装这两个任务使用两组不同的点，就像考试时用一张卷子找错题、却用另一张卷子决定复习什么。样本很少时，这个假设当然可能不靠谱！
论文用一种叫SVS的抽样方式挑选彼此互补的观察点，并把算法看成“每次把答案投影回正确道路”的方法。结果表明，平均方向仍然很稳定，而且即使只用一个小批次也能保证逐渐变好。
在离散Poisson实验中，参数有7801个、每次只取10个样本，跑1000轮；SVS行为接近真实算法，旧的双批次代理却差很多。SPRING像给这个过程加了加速器，小批次时帮助更明显。酷的是，优势不只是“看得更准”，还在于它能抓住模型里重要模式逐渐减少的规律！
术语表
Subsampled Natural Gradient (子采样自然梯度)
利用少量样本估计函数梯度和Jacobian预条件器的自然梯度方法。它把n×n求逆转化为k×k核矩阵求解。
论文的核心算法，更新为θ_{t+1}=θ_t−ηJ_S^{+(λ)}r_S。
Sketch-and-Project (草图-投影)
先用低维草图压缩线性系统，再把当前解投影到压缩系统的解空间。它提供任意草图大小下的收敛分析。
论文用它重新解释SNG和SPRING。
Squared Volume Sampling (平方体积采样)
按det(J_SJ_S^⊤+λI)选择样本，偏好信息互补的行集合。它属于确定性点过程的一类。
作为保留梯度—预条件器耦合的理论代理。
Randomized Block Kaczmarz (随机块Kaczmarz)
随机选择若干方程，并将当前参数投影到这些方程满足的解空间。正则化版本可处理不稳定或不一致系统。
SNG可由其应用于自然梯度子问题得到。
SPRING
一种结构化动量SNG算法，即subsampled projected-increment natural gradient。它对应加速草图-投影迭代。
论文用定理6.1解释其来源及小批量优势。
开放问题 这项研究留下的未解疑问
- 1 γ是步长二阶矩相关量，论文给出初步命题和数值证据，但尚无适用于一般Jacobian谱的完整界。
- 2 SVS需要昂贵的全局信息；如何只访问少量Jacobian行而近似其负相关结构，仍是重要工程问题。
- 3 LLQ结论对真实非线性NNW、PINN和随机归一化误差的预测能力还需更大规模实验验证。
应用场景
近期应用
PINN高精度训练
PINN研究者可用SNG处理残差Jacobian，利用k×k核矩阵降低迭代成本；应监控λ和样本覆盖，并可尝试设计互补而非独立的采样批次。
神经网络波函数优化
NNW和变分蒙特卡洛任务可采用SNG或SPRING提升精度。论文提示，样本较少时应优先观察Jacobian谱衰减和投影几何，而不能只比较梯度方差。
远期愿景
廉价近似SVS优化器
可将MCMC、过采样后子选择或负相关采样转化为近似SVS机制，在不访问完整Jacobian的条件下保留其理论启示。
原文摘要
Subsampled natural gradient descent (SNG) has been used to enable high-precision scientific machine learning, but standard analyses based on stochastic preconditioning fail to provide insight into realistic small-sample settings. We overcome this limitation by instead analyzing SNG as a sketch-and-project method. Motivated by this lens, we discard the usual theoretical proxy which decouples gradients and preconditioners using two independent mini-batches, and we replace it with a new proxy based on squared volume sampling. Under this new proxy we show that the expectation of the SNG direction becomes equal to a preconditioned gradient descent step even in the presence of coupling, leading to (i) global convergence guarantees when using a single mini-batch of any size, and (ii) an explicit characterization of the convergence rate in terms of quantities related to the sketch-and-project structure. These findings in turn yield new insights into small-sample settings, for example by suggesting that the advantage of SNG over SGD is that it can more effectively exploit spectral decay in the model Jacobian. We also extend these ideas to explain a popular structured momentum scheme for SNG, known as SPRING, by showing that it arises naturally from accelerated sketch-and-project methods.