核心发现
方法论
HDR-NSFF基于4D神经辐射场和高斯喷溅（4D Gaussian Splatting, 4DGS）模型，融合场景的空间、时间连续函数，显式建模HDR辐射、场景流、几何和色调映射。引入DINO特征实现曝光不变的语义光流，结合生成先验作为正则化，提升单目视频中的信息恢复能力。端到端优化包括学习色调映射模块，利用光流和深度约束确保时空一致性。模型兼容多种动态表示，解决传统2D融合的对齐和伪影问题。
关键结果
- 在新建的HDR-GoPro数据集上，HDR-NSFF在空间和时间的视图合成中，PSNR提升至32.63（无G P）比传统方法高出约10%，在复杂动态场景中表现优异。对比基线如NeRF-WT和HDR-HexPlane，显著改善了色彩一致性和细节恢复能力。在合成新视点和时间点时，模型在PSNR和SSIM指标上均优于对比方法，验证了其在真实场景中的鲁棒性。
- 引入DINO特征实现曝光不变的运动估计，显著降低伪影和色彩漂移，提升时空一致性。利用生成先验增强欠观测区域的细节重建，尤其在饱和区域表现出优越的恢复能力。多模态融合策略确保模型在极端曝光变化下依然保持高质量的辐射场重建。
- 在合成和真实数据集上，HDR-NSFF在空间、时间和色调映射方面均优于现有最先进技术，达到了状态-of-the-art性能。模型的泛化能力强，适应不同场景和动态复杂度，展示了其在未来高动态范围视频和虚拟现实中的潜力。
研究意义
该研究突破了传统2D像素融合的局限，将HDR场景重建提升到4D时空连续建模层面，显著改善动态场景中的色彩一致性和几何准确性。解决了多曝光视频中因对齐困难引起的伪影和不稳定问题，为虚拟现实、影视特效和增强现实提供了强有力的技术支撑。通过引入语义不变的运动估计和生成先验，增强了模型在有限观察和饱和区域的鲁棒性，推动了场景理解与重建的深度融合。该方法为未来高动态范围场景的实时交互和高保真渲染奠定了基础，具有广泛的应用前景。
技术贡献
提出结合神经辐射场与4D高斯喷溅的统一框架，显式建模HDR辐射、场景流和几何信息。引入DINO特征实现曝光不变的运动估计，突破了传统光流对色彩变化敏感的限制。设计端到端可训练的色调映射模块，确保HDR辐射的物理合理性。利用生成先验作为正则化，有效缓解单目观察信息不足和饱和损失问题。模型兼容多种动态表示，提升了场景的时空一致性和细节还原能力。
新颖性
首次将4D神经场景流与HDR辐射场结合，提出面向动态HDR场景的端到端重建框架。引入DINO特征实现曝光不变的运动估计，结合生成先验增强欠观察区域的细节恢复，显著优于现有静态或LDR场景的相关方法。这一创新突破了HDR场景动态重建的瓶颈，提供了全新的技术路径。
局限性
- 模型对极端曝光变化和快速运动的处理仍存在一定局限，尤其在极端饱和区域的细节恢复方面仍有提升空间。
- 高复杂度的模型训练和推理对计算资源要求较高，实时应用仍需优化。
- 目前主要在单目视频和有限场景中验证，泛化到更大规模、多场景的能力有待进一步验证。
未来方向
未来将探索多模态数据融合，如深度传感器和多视角摄像，提升场景理解能力。优化模型结构以实现实时处理，推动在虚拟现实和增强现实中的应用。同时，结合自监督学习，增强模型在未标注数据上的泛化能力，拓展到更复杂的动态场景和多光照条件。
AI 总览摘要
高动态范围（HDR）场景的重建一直是计算机视觉中的难题，传统方法多依赖于2D像素对齐，容易在动态场景中出现伪影和不一致。本文提出HDR-NSFF，通过引入4D时空建模，将场景作为连续的空间-时间函数进行表达，显著提升动态HDR场景的重建质量。核心技术包括结合神经辐射场（NeRF）与4D高斯喷溅（4DGS），显式建模HDR辐射、场景流和几何信息，利用DINO特征实现曝光不变的运动估计，并引入生成先验作为正则化，有效缓解单目观察的有限信息和饱和损失问题。实验在新建的HDR-GoPro数据集上，结果显示该方法在空间和时间的视图合成中，PSNR达32.63，优于多项基线，表现出极强的鲁棒性和细节恢复能力。该技术不仅在学术上推动了动态HDR场景重建的边界，也为虚拟现实、影视制作等行业提供了强有力的工具。未来，模型将朝着实时性和多模态融合方向发展，期待在更复杂场景中实现广泛应用。
深度分析
研究背景
HDR视频重建在计算摄影和计算机视觉中具有重要意义。早期工作如Debevec的多曝光融合、Mitsunaga的低秩约束方法，解决了静态场景的HDR合成问题。随着深度学习的发展，Kalantari等提出了基于CNN的多帧对齐方法，但在动态场景中仍存在伪影和不一致问题。NeRF等场景重建技术推动了自由视点合成，但多为静态场景。近年来，4D场景表示和高斯喷溅技术极大提升了动态场景的重建能力，但多未考虑HDR内容的复杂性。本研究结合这两者，填补动态HDR场景重建的空白，推动行业应用。
核心问题
现有HDR视频重建多依赖2D像素对齐，难以应对动态场景中的大运动和光照变化，导致伪影和色彩漂移。单目视频的有限视角和饱和区域信息缺失，严重制约细节恢复和几何一致性。传统方法在极端曝光条件下表现不佳，难以实现高质量的空间-时间一致性重建。这些限制阻碍了HDR视频在虚拟现实、影视特效等行业的广泛应用。
核心创新
提出4D神经场景流与HDR辐射场的联合建模，显式描述场景的空间、时间连续函数。引入DINO特征实现曝光不变的运动估计，突破色彩变化带来的伪影问题。设计端到端可训练的色调映射模块，确保HDR辐射的物理合理性。结合生成先验，增强欠观察和饱和区域的细节恢复能力。模型兼容多种动态表示技术，提升时空一致性和细节还原，显著优于现有静态和LDR方法。
方法详解
- �� 输入：多曝光单目视频序列。
- �� 构建4D神经辐射场，显式建模HDR辐射、场景流和几何。
- �� 利用DINO特征提取曝光不变的语义信息，训练语义光流。
- �� 设计可学习的色调映射模块，将HDR辐射映射到LDR，确保色彩一致。
- �� 引入生成先验，通过合成增强欠观察区域的细节，缓解饱和损失。
- �� 端到端优化：结合光流、深度、色调映射和生成正则化，最小化重建误差。
- �� 训练：在HDR-GoPro和合成数据集上进行，评估空间、时间和色调一致性。
实验设计
采用HDR-GoPro和合成数据集，比较PSNR、SSIM、LPIPS指标，验证空间-时间合成能力。与NeRF-WT、HDR-HexPlane等基线对比，进行消融实验，分析DINO特征和生成先验的贡献。调优超参数，确保模型在极端曝光和复杂动态场景下的鲁棒性。评估模型在新视点和时间插值中的表现，验证其泛化能力。
结果分析
在HDR-GoPro数据集上，PSNR达32.63，优于对比方法约10%；在复杂动态场景中，细节恢复更丰富，色彩更自然。引入DINO特征显著降低伪影，提升时空一致性。生成先验增强欠观察区域，改善饱和区域细节。在新视点和时间插值任务中，模型表现优异，指标提升20%以上，验证了其强大的场景理解和重建能力。
应用场景
可应用于虚拟现实、影视后期、增强现实等领域，实现高质量动态HDR场景的实时渲染和交互。对硬件要求较高，但未来优化有望实现实时性能。模型可用于场景理解、虚拟旅游、影视特效制作等，极大提升视觉体验。
局限与展望
模型对极端快速运动和极端光照变化仍存在挑战，尤其在饱和区域细节恢复方面。训练成本高，实时性不足。目前主要在单目视频和有限场景验证，泛化能力有待提升。未来需优化模型结构，降低计算成本，扩大应用范围。
通俗解读 非专业人士也能看懂
想象你在一个工厂里，工人们每天都在生产不同的产品。工厂里有很多机器，每台机器都在不断变化，有时会出现故障或调整。以前，我们只能用一台相机拍摄工厂的照片，但照片只能显示某一瞬间的情况，不能看到整个生产过程。现在，科学家们发明了一种新方法，就像给工厂装上了“全景摄像头”，可以同时看到工厂里每台机器的变化、工人的动作和生产线的流动。这种“全景摄像头”还能根据不同的光线和角度，重建出工厂的完整画面，甚至在某些区域因为光太亮或太暗看不清时，也能补充缺失的细节。这就像用一台超级智能的摄像机，能理解工厂的每个角落在不断变化，帮我们更好地了解整个生产流程。这项技术可以用在电影制作、虚拟现实等领域，让我们看到更真实、更细腻的场景。
简单解释 像给14岁少年讲一样
想象你在玩一个超级真实的游戏，但游戏里的场景会变亮或变暗，有时候还会有快跑的角色。以前的游戏只能用普通的相机拍摄场景，画面可能会模糊或不连贯，特别是在快速移动或光线变化大的时候。现在，科学家们发明了一种新方法，就像给游戏场景装上了“魔法眼镜”，可以同时看到场景的每个角落在不断变化。它不仅能捕捉到场景的细节，还能在光线太亮或太暗的时候，自动补充缺失的部分，让画面变得更清晰、更真实。这就像用一台超级聪明的相机，能理解场景的每个动作和变化，帮我们在虚拟世界里看到更逼真的画面。这项技术未来可以让游戏、电影和虚拟现实变得更酷、更真实，让我们像在真实世界一样体验各种场景。
术语表
Neural Radiance Field (NeRF, 神经辐射场)
一种用神经网络表示3D场景的方法，可以合成不同视角的图像。用于场景的连续辐射建模。
本文中用来表达场景的空间-时间连续函数。
Scene Flow (场景流)
描述场景中每个点在时间上的运动变化的向量场。帮助实现动态场景的时空一致性。
模型显式建模场景流以实现场景的动态重建。
DINO (Self-supervised Visual Representation, 自监督视觉特征)
一种基于Transformer的图像特征提取模型，具有曝光不变的语义表示能力。
用于实现曝光不变的运动估计。
Gaussian Splatting (高斯喷溅)
一种高效的点云表示方法，通过高斯核实现场景的快速渲染。
模型中的动态表示技术之一。
Tone Mapping (色调映射)
将HDR辐射映射到LDR图像的过程，保持视觉感知的自然。
模型中用来实现HDR到LDR的转换。
开放问题 这项研究留下的未解疑问
- 1 如何进一步提升模型在极端光照和高速运动场景中的细节恢复能力，仍需探索更强的正则化和多模态融合技术。
- 2 模型在大规模、多场景、多光照变化环境下的泛化能力尚未充分验证，未来需扩展数据集和优化训练策略。
原文摘要
Radiance of real-world scenes typically spans a much wider dynamic range than what standard cameras can capture. While conventional HDR methods merge alternating-exposure frames, these approaches are inherently constrained to 2D pixel-level alignment, often leading to ghosting artifacts and temporal inconsistency in dynamic scenes. To address these limitations, we present HDR-NSFF, a paradigm shift from 2D-based merging to 4D spatio-temporal modeling. Our framework reconstructs dynamic HDR radiance fields from alternating-exposure monocular videos by representing the scene as a continuous function of space and time, and is compatible with both neural radiance field and 4D Gaussian Splatting (4DGS) based dynamic representations. This unified end-to-end pipeline explicitly models HDR radiance, 3D scene flow, geometry, and tone-mapping, ensuring physical plausibility and global coherence. We further enhance robustness by (i) extending semantic-based optical flow with DINO features to achieve exposure-invariant motion estimation, and (ii) incorporating a generative prior as a regularizer to compensate for limited observation in monocular captures and saturation-induced information loss. To evaluate HDR space-time view synthesis, we present the first real-world HDR-GoPro dataset specifically designed for dynamic HDR scenes. Experiments demonstrate that HDR-NSFF recovers fine radiance details and coherent dynamics even under challenging exposure variations, thereby achieving state-of-the-art performance in novel space-time view synthesis. Project page: https://shin-dong-yeon.github.io/HDR-NSFF/