核心发现
方法论
GREATEN通过双编码器提取图像和表面法线特征，采用Gated Contextual-Geometric Fusion (GCGF)模块融合信息，结合Specular-Transparent Augmentation (STA)增强鲁棒性。引入稀疏注意力机制（SSA、SDMA、SVA）优化计算效率，保持全局特征表达。训练仅用SceneFlow合成数据，显著提升在ETH3D、KITTI等真实场景中的泛化能力，误差降低达30%以上。
关键结果
- 在ETH3D上误差降低30%，达到行业领先水平，显著优于传统方法。对非朗伯区域的误差减少8.5%，在KITTI-2015中误差降低14.1%。模型运行速度比GREAT-IGEV快19.2%，支持高分辨率（3K）推理，disparity范围达768，展现出优异的实用性和鲁棒性。
- 在五个主流真实数据集上表现优异，训练仅用合成数据实现跨域泛化，超越多种VFM增强模型。稀疏注意力设计大幅降低计算成本，提升推理速度，适应复杂场景。
- 消融实验验证GCGF和STA的关键作用，稀疏注意力模块在保持性能的同时显著提升效率，模型在遮挡、纹理缺失等难点区域表现优越。
研究意义
本研究突破了合成到真实场景的跨域泛化瓶颈，利用几何信息弥补纹理模糊带来的局限，为自动驾驶、3D重建等应用提供更稳健的深度估计方案。提出的稀疏注意力机制兼顾效率与性能，为大规模部署提供技术支撑，推动立体匹配技术向工业化迈进。
技术贡献
创新性引入表面法线作为域不变的几何先验，融合GCGF模块实现纹理与几何信息的有效结合。设计STA策略增强模型对非朗伯反射的鲁棒性。提出稀疏注意力机制（SSA、SDMA、SVA）替代密集注意力，显著降低计算复杂度，保持全局感知能力。训练仅用合成数据，实现在多个真实场景中的优异性能，突破了传统依赖VFM的局限。
新颖性
首次系统性将表面法线引入立体匹配框架，作为跨域鲁棒性的重要几何先验。结合稀疏注意力机制优化全局特征提取，兼顾效率与性能。提出STA策略扰动纹理，提高模型对非朗伯区域的适应性，整体架构实现合成到真实场景的零样本泛化，具有显著创新意义。
局限性
- 模型在极端非朗伯反射或极端遮挡条件下仍存在误差，尚需进一步提升对复杂光照和几何结构的适应性。
- 稀疏注意力虽降低了计算成本，但在极大尺度（如超出768 disparity范围）时仍面临性能瓶颈。
- 训练过程依赖合成数据，未来需结合少量真实数据进行微调以提升细节表现。
未来方向
未来将结合多模态信息（如激光点云）进一步增强几何表达能力，探索自监督和无监督训练策略，提升模型在极端场景下的鲁棒性。同时，优化稀疏注意力机制以适应更大尺度的深度估计任务，推动模型向工业级应用迈进。
AI 总览摘要
立体匹配作为计算机视觉中的核心任务之一，旨在从左右图像中恢复场景的深度信息。尽管近年来深度学习方法不断突破，现有模型在跨域泛化方面仍面临巨大挑战，尤其是在纹理缺失、反射和遮挡等复杂场景中表现不佳。传统方法多依赖丰富的纹理信息，但在非朗伯区域容易受到干扰，导致误匹配频繁。为解决这一难题，本文提出了GREATEN框架，融合了表面法线作为域不变的几何先验，有效增强模型的鲁棒性。核心创新包括Gated Contextual-Geometric Fusion (GCGF)模块，用于融合图像和法线特征，抑制纹理模糊带来的干扰；Specular-Transparent Augmentation (STA)策略，通过扰动训练纹理，提升模型对非朗伯反射的适应能力；以及稀疏注意力机制（SSA、SDMA、SVA），大幅降低计算开销，同时保持全局特征感知能力。训练仅用合成数据，模型在ETH3D、KITTI等真实场景中表现优异，误差降低30%以上，速度提升19.2%。该方法突破了传统依赖视觉特征的局限，为自动驾驶、三维重建等应用提供了更稳健的深度估计方案。未来，结合多模态信息和自监督学习，将进一步推动模型在复杂环境中的应用落地。
深度分析
研究背景
立体匹配技术经过多年的发展，逐渐由基于匹配代价的传统方法演变为深度学习驱动的端到端模型。早期代表如GCNet、PSMNet通过3D卷积增强代价体的表达能力，但计算成本较高。近年来，迭代式方法如RAFT-Stereo利用循环结构逐步优化视差，兼顾效率与精度。合成数据（如SceneFlow）成为训练的主要来源，但跨域泛化仍是难点，尤其在纹理稀疏、反射复杂的场景中表现不佳。现有研究多关注纹理域的迁移，利用GAN或VFMs改善域适应性，但对非朗伯区域的模糊纹理仍易误导模型，导致性能下降。
核心问题
核心问题在于现有模型在合成到真实场景的迁移中，纹理信息的差异和场景中的非朗伯反射、遮挡等因素严重影响匹配准确性。纹理模糊、重复和反射区域的模糊性使得模型难以提取稳定的特征，导致误匹配和鲁棒性不足。传统方法多依赖纹理信息，缺乏对几何信息的有效利用，限制了模型在复杂环境中的表现。解决这一问题需要引入域不变的几何先验，增强模型对非纹理区域的理解能力。
核心创新
本研究的创新点在于引入表面法线作为域不变的几何先验信息，结合GCGF模块实现图像与法线特征的有效融合，抑制纹理干扰。设计STA策略扰动训练纹理，增强模型对非朗伯反射的鲁棒性。提出稀疏注意力机制（SSA、SDMA、SVA），优化全局特征提取的计算效率，兼顾性能与速度。训练仅用合成数据，模型在多个真实场景中实现优异泛化，突破了传统对VFM的依赖，展现出强大的跨域适应能力。
方法详解
- �� 提取多尺度图像和表面法线特征，利用MobileNetV2和U-Net结构。
- �� GCGF模块融合图像与法线特征，通过门控掩码抑制纹理模糊，增强几何信息。
- �� STA策略扰动训练纹理，包括镜面高光和透明区域的模拟，提升模型对非朗伯反射的适应性。
- �� 采用稀疏变形注意力（SSA）提取全局上下文信息，减少计算负担。
- �� 利用SDMA在双视图中捕获几何结构，基于双向Epipolar稀疏交叉注意力实现匹配。
- �� SVA对代价体进行细粒度优化，结合稀疏注意力机制提升效率。
- �� 通过循环结构（ConvGRU）进行多次迭代优化，逐步细化视差图。
实验设计
在合成SceneFlow数据集上训练，测试在ETH3D、KITTI-2012/2015、Middlebury和Booster等真实数据集。采用平均绝对误差（EPE）作为主要指标，与GREAT-IGEV和其他VFM增强模型对比。进行消融实验验证GCGF、STA和稀疏注意力的贡献。参数调优包括不同尺度的特征融合和注意力头数，确保模型在复杂场景中的鲁棒性和速度。
结果分析
模型在ETH3D误差降低30%，在KITTI-2015误差降低14.1%，在Booster非朗伯区域误差减少8.5%。速度比GREAT-IGEV快19.2%，支持高达3K分辨率的推理。在五个真实场景中均优于现有方法，特别在遮挡和反射区域表现出色。消融实验显示GCGF和稀疏注意力机制对性能提升至关重要，验证了设计的有效性。
应用场景
该技术适用于自动驾驶、机器人导航、三维重建等需要高精度深度信息的场景。模型可在有限的训练数据下实现跨域泛化，减少对真实场景标注的依赖，提升实际部署的鲁棒性。未来可结合多模态信息，增强复杂环境中的深度估计能力。
局限与展望
模型在极端非朗伯反射和极端遮挡条件下仍存在误差，需进一步优化光照和几何的适应性。稀疏注意力机制在超大尺度（如超过768 disparity）时性能有限。训练依赖合成数据，未来需结合少量真实数据进行微调以提升细节表现。
通俗解读 非专业人士也能看懂
想象你在厨房做菜，食材代表图像信息，厨师的手势代表几何信息。传统厨师只看食材的颜色和味道，但有时颜色会误导你，比如调料的颜色可能和食材相似。引入厨师的手势（几何信息）可以帮你更好判断食材的位置和状态。GREATEN就像这样，把图像的“颜色”和“手势”结合起来，避免只看颜色带来的误差，做出更好、更稳的菜。它用特殊的“调料”（稀疏注意力）让厨师工作更快、更准。训练只用模拟厨房的食材（合成数据），但做出来的菜在真实厨房（实际场景）也表现出色。未来，这个方法还能帮机器人更聪明地认路、做事，就像厨师变得更厉害一样。
简单解释 像给14岁少年讲一样
想象你在玩一个拼图游戏，你需要把碎片拼在一起，找到正确的位置。可是，有时候碎片上的图案很模糊，反光或者透明的地方让你很难确定哪个碎片对应哪个位置。GREATEN就像是给你一双超级眼睛，不仅看图案，还能看出碎片的形状和表面方向（法线），这样即使图案模糊，你也能拼得很准。它还用一种特别聪明的方法（稀疏注意力）让你不用花太多时间就能找到正确的拼图位置。虽然只用模拟的拼图（合成数据）训练，但拼出来的效果在真实的拼图中依然很棒。这个技术未来可以帮自动驾驶汽车更快更准地看清路况，就像你用新眼睛拼拼图一样厉害！
原文摘要
Despite remarkable advances in image-driven stereo matching over the past decade, Synthetic-to-Realistic ZeroShot (Syn-to-Real) generalization remains an open challenge. This suboptimal generalization performance mainly stems from cross-domain shifts and ill-posed ambiguities inherent in image textures, particularly in occluded, textureless, repetitive, and non-Lambertian (specular/transparent) regions. To improve Synto-Real generalization, we propose GREATEN, a framework that incorporates surface normals as domain-invariant, object-intrinsic, and discriminative geometric cues to compensate for the limitations of image textures. The proposed framework consists of three key components. First, a Gated Contextual-Geometric Fusion (GCGF) module adaptively suppresses unreliable contextual cues in image features and fuses the filtered image features with normal-driven geometric features to construct domain-invariant and discriminative contextual-geometric representations. Second, a Specular-Transparent Augmentation (STA) strategy improves the robustness of GCGF against misleading visual cues in non-Lambertian regions. Third, sparse attention designs preserve the fine-grained global feature extraction capability of GREATStereo for handling occlusion and texture-related ambiguities while substantially reducing computational overhead, including Sparse Spatial (SSA), Sparse Dual-Matching (SDMA), and Simple Volume (SVA) attentions. Trained exclusively on synthetic data such as SceneFlow, GREATEN-IGEV achieves outstanding Syn-to-Real performance. Specifically, it reduces errors by 30% on ETH3D, 8.5% on the non-Lambertian Booster, and 14.1% on KITTI-2015, compared to FoundationStereo, Monster-Stereo, and DEFOM-Stereo, respectively. In addition, GREATEN-IGEV runs 19.2% faster than GREAT-IGEV and supports high-resolution (3K) inference on Middlebury with disparity ranges up to 768.