FourLLIE: Boosting Low-Light Image Enhancement by Fourier Frequency Information

TL;DR

FourLLIE通过傅里叶频率信息提升低光图像增强性能,在四个数据集上超越SOTA,仅用0.31%参数。

cs.CV 🟡 进阶级 2023-08-06 21 次浏览
Chenxi Wang Hongjun Wu Zhi Jin
低光图像增强 傅里叶变换 信噪比图 深度学习 计算机视觉

核心发现

方法论

FourLLIE采用两阶段设计:频率阶段通过傅里叶空间的幅度变换图提升亮度,空间阶段结合信噪比图整合全局频率信息和局部空间信息,恢复图像细节。

关键结果

  • 在LOL-Real数据集上,FourLLIE的PSNR达到27.31,比SNR-Aware提升1.2dB,同时参数量减少至0.31%。
  • 在LSRW-Huawei数据集上,FourLLIE的SSIM为0.5910,显著优于基于Transformer的方法。
  • 消融实验表明,幅度变换图和信噪比图显著提升了亮度增强和细节恢复能力。

研究意义

该研究通过傅里叶频率信息的创新应用,解决了低光图像增强中的亮度与细节恢复难题,为学术界提供了新思路,并显著降低了模型复杂度,适合实际部署。

技术贡献

提出了基于傅里叶空间幅度变换图的亮度增强方法,结合信噪比图实现空间-频率信息交互,显著减少了参数量并提升了性能。

新颖性

首次将傅里叶频率信息与信噪比图结合,用于低光图像增强,提出了幅度与亮度正相关的新理论。

局限性

  • 在极端低光条件下,频率信息可能不足以完全恢复细节。
  • 对信噪比图的计算依赖于预处理步骤,可能增加推理时间。
  • 模型在高分辨率图像上的性能尚未充分验证。

未来方向

未来可探索更高效的信噪比图计算方法,并结合多模态数据(如深度信息)进一步提升增强效果。

AI 总览摘要

低光图像增强(LLIE)是计算机视觉中的重要任务,传统方法在亮度提升和细节恢复之间难以平衡。FourLLIE通过傅里叶频率信息和信噪比图的创新结合,提出了一种两阶段增强框架。第一阶段在傅里叶空间中通过幅度变换图提升亮度,第二阶段利用信噪比图整合全局频率信息和局部空间信息,进一步恢复细节。

实验表明,FourLLIE在LOL-Real等四个数据集上均超越现有SOTA方法,PSNR提升1.2dB,参数量仅为SNR-Aware的0.31%。消融实验验证了幅度变换图和信噪比图的关键作用。此外,FourLLIE显著降低了模型复杂度,适合实际部署。

尽管如此,FourLLIE在极端低光和高分辨率图像上的性能仍有改进空间。未来研究可探索更高效的信噪比图计算方法,并结合多模态数据进一步提升性能。

深度分析

研究背景

低光图像增强旨在提升低光条件下图像的可见性和质量,是计算机视觉中的重要研究方向。传统方法包括基于直方图均衡和Retinex理论的方法,但在处理噪声和颜色失真方面表现有限。近年来,深度学习方法如SNR-Aware和FECNet取得了显著进展,但模型复杂度较高,难以实际部署。

核心问题

现有方法在亮度提升和细节恢复之间难以平衡,同时模型复杂度高,限制了实际应用。如何利用更高效的全局信息提取方法提升低光图像增强性能,是亟待解决的问题。

核心创新

FourLLIE的核心创新包括:

  • �� 提出基于傅里叶空间幅度变换图的亮度增强方法,利用幅度与亮度的正相关性。
  • �� 引入信噪比图,结合全局频率信息和局部空间信息,实现更精细的细节恢复。
  • �� 显著减少模型参数量,仅为SNR-Aware的0.31%。

方法详解

FourLLIE采用两阶段设计:

  • �� 频率阶段:通过傅里叶变换提取幅度和相位信息,利用六个FP模块估计幅度变换图,提升亮度。
  • �� 空间阶段:计算信噪比图,利用SP模块提取局部特征,结合FP模块的全局特征,基于信噪比图加权融合,恢复图像细节。

实验设计

实验在LOL-Real、LOL-Synthetic、LSRW-Huawei和LSRW-Nikon四个数据集上进行,基线包括SNR-Aware和FECNet。评估指标为PSNR和SSIM,消融实验验证了幅度变换图和信噪比图的有效性。

结果分析

FourLLIE在LOL-Real数据集上的PSNR达到27.31,SSIM为0.871,比SNR-Aware提升1.2dB。消融实验表明,去除幅度变换图后PSNR下降2.1dB,证明其关键作用。

应用场景

FourLLIE适用于低光摄影、视频监控和自动驾驶等场景,特别是在资源受限的设备上具有优势。

局限与展望

FourLLIE在极端低光条件下的性能有限,信噪比图的计算增加了预处理时间,高分辨率图像的适用性尚需验证。

通俗解读 非专业人士也能看懂

想象你在一个昏暗的房间里拍照,照片很暗,看不清细节。FourLLIE就像一个“智能灯光师”,它先用傅里叶变换分析照片的整体光线分布,找到需要“补光”的地方,然后用信噪比图判断哪些区域需要精细处理。最终,它不仅让照片变亮,还恢复了细节,就像专业摄影师后期处理一样。

简单解释 像给14岁少年讲一样

想象你在一个很暗的房间里拍了一张照片,结果照片又黑又模糊。FourLLIE就像一个超级滤镜,它先用一种叫傅里叶变换的“魔法”分析照片的光线,然后用一个叫信噪比图的工具判断哪里需要修复。最后,它让照片变得又亮又清晰,就像开了“夜视模式”一样酷!

术语表

Fourier Transform (傅里叶变换)

将图像从空间域转换到频率域的数学工具,用于分析全局信息。

用于提取图像的幅度和相位信息。

Amplitude (幅度)

傅里叶变换中表示光强的部分,与图像亮度相关。

用于调整低光图像的亮度。

Signal-to-Noise Ratio (信噪比)

信号与噪声的比值,用于衡量图像质量。

指导全局与局部特征的融合。

FP Block (傅里叶处理模块)

在傅里叶空间中提取全局特征的模块。

用于估计幅度变换图。

SP Block (空间处理模块)

在空间域中提取局部特征的模块。

用于细节恢复。

开放问题 这项研究留下的未解疑问

  • 1 如何在极端低光条件下进一步提升细节恢复能力?
  • 2 能否通过更高效的信噪比图计算方法降低预处理时间?

应用场景

近期应用

低光摄影

提升手机和相机在夜间拍摄的图像质量,减少噪声和模糊。

视频监控

增强夜间监控视频的清晰度,提升安全性。

远期愿景

自动驾驶

在低光环境下提升传感器图像的可见性,增强自动驾驶系统的可靠性。

原文摘要

Recently, Fourier frequency information has attracted much attention in Low-Light Image Enhancement (LLIE). Some researchers noticed that, in the Fourier space, the lightness degradation mainly exists in the amplitude component and the rest exists in the phase component. By incorporating both the Fourier frequency and the spatial information, these researchers proposed remarkable solutions for LLIE. In this work, we further explore the positive correlation between the magnitude of amplitude and the magnitude of lightness, which can be effectively leveraged to improve the lightness of low-light images in the Fourier space. Moreover, we find that the Fourier transform can extract the global information of the image, and does not introduce massive neural network parameters like Multi-Layer Perceptrons (MLPs) or Transformer. To this end, a two-stage Fourier-based LLIE network (FourLLIE) is proposed. In the first stage, we improve the lightness of low-light images by estimating the amplitude transform map in the Fourier space. In the second stage, we introduce the Signal-to-Noise-Ratio (SNR) map to provide the prior for integrating the global Fourier frequency and the local spatial information, which recovers image details in the spatial space. With this ingenious design, FourLLIE outperforms the existing state-of-the-art (SOTA) LLIE methods on four representative datasets while maintaining good model efficiency.

cs.CV eess.IV