核心发现
方法论
FF-ProCams利用混合Mamba2-Transformer编码器，从稀疏多视角观察中融合几何与光度信息，预测场景的可重光高斯表示。引入投影器感知的可微渲染器，模拟任意投影和相机姿态下的观察。通过构建大规模合成数据集，实现端到端前馈训练，避免繁琐的场景优化。模型在仅用8视角输入时，超越依赖297视角的优化方法，重建速度提升三到五个数量级。
关键结果
- FF-ProCams在投影感知渲染中达到了极高的保真度，支持未见投影模式和新颖投影-相机姿态，且重建时间仅0.13秒，显著优于传统优化方法的几分钟到小时级别。
- 在多个合成和真实场景中，模型在多视角、多材质、多投影模式下表现出优异的泛化能力，PSNR提升超过5dB，误差显著降低。
- 通过消融实验验证了Mamba2-Transformer的长距离依赖建模优势，以及高斯表示对光照变化的适应性。
研究意义
该方法突破了投影-相机系统高保真重建的实时瓶颈，为空间增强现实、投影映射等应用提供了强有力的技术支撑。解决传统方法耗时长、难以动态交互的痛点，推动投影系统在工业、娱乐等领域的普及与创新。
技术贡献
提出结合Mamba2与Transformer的混合编码器，有效融合多视角几何与光度信息。引入投影器感知的可微渲染器，实现无场景优化的快速重建。构建大规模合成数据集，支持端到端训练，显著提升模型泛化能力与效率。
新颖性
首次提出基于前馈高斯表示的投影-相机系统场景重建框架，突破了以往依赖场景优化的限制。融合长距离依赖建模与物理渲染，支持复杂投影模式和动态场景，具有开创性。
局限性
- 对极端复杂材质或极强反射的场景仍存在重建误差，模型在极端光照条件下表现有限。
- 合成数据虽丰富，但在真实场景中的迁移能力仍需验证，存在一定的域适应问题。
- 模型对投影器参数的预先校准依赖较强，实际应用中需考虑校准误差影响。
未来方向
未来将探索更强的材质与光照建模能力，提升在极端环境下的鲁棒性。结合自监督学习，减少对合成数据的依赖，增强模型在真实场景中的适应性。扩展到动态场景和非刚性对象的重建，推动投影系统的智能化与普适化。
AI 总览摘要
投影-相机系统（ProCams）在空间增强现实、投影映射等领域扮演着重要角色，能主动投射结构化光照并捕获场景反应。然而，传统的逆渲染方法虽高保真，但耗时长，难以实现实时交互。主流的前馈3D重建模型则缺乏对投影光照变化的适应性，导致表现受限。为解决这一矛盾，本文提出FF-ProCams，一种结合Mamba2-Transformer编码器的前馈高斯反演框架。该方法通过稀疏多视角观察，融合几何与光度信息，预测场景的可重光高斯表示，支持任意投影和相机姿态下的实时渲染。引入投影器感知的可微渲染器，模拟复杂投影模式下的观察，极大提升渲染保真度。为了训练模型，作者构建了大规模合成数据集，涵盖丰富的几何、材质和投影变化。实验结果显示，FF-ProCams在仅用8视角时，超越依赖297视角的优化方法，重建速度提升三到五个数量级，达到了0.13秒的实时性能。该技术不仅在合成场景中表现优异，也在真实场景中展现出强大的泛化能力，为空间增强现实和投影映射的未来发展提供了新思路。尽管如此，模型在极端材质和复杂光照条件下仍有改进空间，未来将关注材质建模、域适应和动态场景的扩展。整体而言，FF-ProCams实现了高效、精准的投影场景重建，为相关应用开启了新的可能性。
深度分析
研究背景
投影-相机系统（ProCams）近年来在空间增强现实、投影映射等领域得到广泛关注。早期研究主要集中在几何校准和光度校正，代表性工作包括利用光传输矩阵（LTM）进行几何匹配，以及深度学习方法如Neural Reflectance Fields（NeRF）实现高质量场景重建。然而，这些方法多依赖繁琐的场景优化，难以满足实时需求。随着神经渲染和3D表示技术的发展，出现了基于高斯剖分（Gaussian Splatting）和Transformer的端到端模型，显著提升了效率和泛化能力。尽管如此，现有模型多局限于静态场景或固定光照条件，难以应对投影光照变化带来的复杂反射和光照变化问题。
核心问题
传统ProCams方法依赖场景优化，耗时长（分钟至小时），限制了其在动态交互中的应用。同时，现有前馈模型多只支持被动观察，无法有效模拟投影光照引起的空间变化，导致重建的场景反映光照条件的能力不足。如何在保证高效率的同时，准确建模投影光照变化，成为当前的核心难题。
核心创新
1）提出结合Mamba2-Transformer的混合编码器，有效融合多视角几何与光度信息，提升特征表达能力。2）引入投影器感知的可微渲染器，支持任意投影和相机姿态下的高保真渲染。3）构建大规模合成数据集，提供丰富监督信号，支持端到端训练。4）实现仅用8视角输入，快速重建场景，突破传统优化耗时瓶颈。
方法详解
- �� 输入多视角投影和相机图像，包括黑白场、白色场和投影图像，结合已知相机参数。• 利用混合Mamba2-Transformer编码器，将多视角信息融合成丰富的特征表示。• 通过两个轻量级线性预测头，分别预测几何属性（深度、尺度、旋转、透明度）和材质属性（反照率、粗糙度、环境色）。• 采用光线反投影，将高斯中心沿相机光线回归，确保几何一致性。• 生成高斯原语后，进行投影和光照模拟，利用投影器感知的可微渲染器，模拟复杂投影光照下的观察。• 最终实现端到端训练，优化高斯参数，支持实时推理。
实验设计
- �� 使用合成数据集，涵盖多种几何形状、材质和投影模式，进行训练和验证。• 采用PSNR、MSE等指标评估重建质量，与优化方法（如NeMap）对比。• 进行消融实验验证编码器、渲染器和数据集对性能的贡献。• 在真实场景中测试模型的泛化能力，展示支持未见投影和新姿态的能力。
结果分析
- �� 仅用8视角，模型在投影感知渲染中达到PSNR提升5dB以上，重建时间缩短至0.13秒，远优于传统方法的几分钟。• 在多场景、多材质条件下，模型表现出优异的泛化能力，误差显著降低。• ablation显示Mamba2-Transformer增强了长距离依赖建模，提升了几何和光照的准确性。
应用场景
- �� 适用于空间增强现实、投影映射、场景重建等实时交互场景。• 只需少量视角数据，即可实现快速高质量的场景重建。• 支持复杂投影模式和动态场景，为工业、娱乐等行业提供技术支撑。
局限与展望
- �� 在极端反射材质或强光条件下，重建误差仍存在。• 依赖预校准参数，实际应用中需考虑校准误差影响。• 目前模型主要在静态场景中验证，动态非刚性场景仍需优化。
通俗解读 非专业人士也能看懂
想象你在一个工厂里，工人们用不同的灯光照亮不同的机器。每次灯光变换，工人都要花很长时间调整机器的设置，才能确保每个机器都亮得刚刚好。现在，科学家们发明了一种新工具，就像一个聪明的机器人助手，它可以在你只告诉它几次机器的样子后，立刻知道每台机器的详细位置和状态，还能预测不同灯光下的效果。这个工具用一种叫“高斯表示”的特殊方法，把每台机器的形状和反光特性都画出来，然后用一种叫“Transformer”的智能大脑，把所有信息结合起来，快速给出答案。这样一来，工厂里的机器就能在几秒钟内被完全了解，灯光一变，它还能马上告诉你效果，就像魔法一样。这个发明让工厂变得更快、更智能，也让未来的工厂更灵活、更高效。
简单解释 像给14岁少年讲一样
想象你在玩一个超级酷的游戏，你的角色可以用不同的灯光照亮房间里的东西。以前，要让游戏里的灯光变化看起来很真实，开发者需要花很多时间调整每个场景，等好久才能看到效果。而现在，有个聪明的机器人助手，它可以用很少的图片和信息，立刻告诉你房间里每个物品的详细位置和材质，还能预测不同灯光下的样子。它用一种叫“高斯”的魔法，把每个物品的形状和反光都画出来，然后用“Transformer”这个大脑，把所有信息结合在一起，快速做出反应。这样一来，你就可以在几秒钟内看到不同灯光效果，游戏变得更流畅、更真实。这就像拥有了一个超级助手，让一切变得更快、更酷！
术语表
Gaussian Primitive (高斯原语)
一种用中心位置、尺度、旋转和形状参数描述的3D点云表示，能高效模拟场景几何和反射特性。
在论文中用于表示场景的基本几何单元，通过高斯函数描述空间分布。
Mamba2-Transformer
一种结合Mamba2长序列建模和Transformer全局注意力机制的编码器，用于多视角信息融合。
用于提取多视角几何和光度特征，增强模型对长距离依赖的捕获能力。
投影器感知的可微渲染器
一种考虑投影光照和几何关系的差分渲染模块，支持任意投影和相机姿态的高保真模拟。
实现场景在不同投影条件下的逼真渲染，是模型的核心创新之一。
3D Gaussian Splatting (3D高斯剖分)
用高斯函数表示点云场景的几何和光照信息，支持高效的点云渲染。
作为场景的基础表示，用于快速渲染和场景重建。
神经反射场 (Neural Reflectance Field)
利用神经网络建模场景的反射和光照特性，实现逼真渲染。
在相关工作中用于模拟投影光照效果，但多依赖场景优化。
开放问题 这项研究留下的未解疑问
- 1 如何在极端复杂材质和动态非刚性场景中保持高精度重建仍是未解难题，尤其是在真实环境中模型的迁移和鲁棒性不足。
- 2 当前模型对校准误差敏感，实际应用中需要研究更鲁棒的校准和自适应机制，以应对设备误差和环境变化。
应用场景
近期应用
空间增强现实
支持实时投影内容的场景重建与交互，提升虚实融合体验，适用于博物馆、展览和教育场景。
投影映射与互动装置
实现动态投影内容的快速生成与调整，增强娱乐和广告效果，降低系统部署成本。
远期愿景
智能投影系统
未来可实现自主感知环境、动态调整投影内容，推动智能空间和人机交互的发展。
原文摘要
Projector-camera (ProCams) systems achieve active scene perception and controllable appearance manipulation via structured illumination, serving as a core infrastructure for spatial augmented reality, projection mapping, and surface reflectance acquisition. Existing inverse-rendering methods for ProCams deliver high-fidelity results but rely on time-consuming per-scene optimization, while mainstream feed-forward 3D reconstruction models produce baked appearance that cannot adapt to spatially varying projector illumination. To resolve this accuracy-efficiency trade-off, we propose FF-ProCams, a Feed-Forward 3D Gaussian inverse-rendering framework for ProCams. A hybrid Mamba2-Transformer encoder aggregates cross-view geometric and photometric cues from sparse multi-view observations, and lightweight heads predict a relightable Gaussian representation in a single forward pass. We further design a projector-aware differentiable renderer to synthesize camera observations under arbitrary active illumination and ProCams poses. To enable feed-forward training, we construct a large-scale synthetic ProCams dataset covering diverse object geometries and surface materials. Experiments show FF-ProCams achieves high-fidelity projector-aware rendering, generalizes to unseen patterns, and supports novel projector-camera poses. Using only 8 input views, it outperforms optimization-based baselines with 297 views while reducing test-time reconstruction to 0.13 seconds (a three-to-five-order-of-magnitude speedup). The code and data are available at https://github.com/CPREgroup/FF-ProCams/.