核心发现
方法论
本文结合光学分析和数据合成，建立了UDC的光学模型，测量PSF，设计了基于Wiener滤波的去卷积流程和UNet深度学习模型。通过MCIS系统采集真实配对数据，并利用模型模拟合成复杂退化图像。两者结合实现实时高质量恢复，验证在4K T-OLED和P-OLED显示屏上的有效性。
关键结果
- 在测试集上，UNet模型的PSNR提升至28.5dB，SSIM达0.89，明显优于传统Wiener滤波（PSNR约24.2dB）和未训练模型。实验显示，结合光学测量和深度学习能有效解决低光、模糊和色偏问题，恢复速度达20fps，满足实时需求。
研究意义
该研究首次系统分析了UDC的光学退化机制，提出了结合物理模型与深度学习的图像恢复方案，为未来全屏无边框摄像头的应用提供技术基础。解决了在实际环境中图像质量下降的核心难题，推动智能手机、笔记本等设备的视觉性能提升，具有广泛的工业和科研价值。
技术贡献
创新点在于提出基于傅里叶光学的PSF建模与合成流程，结合Wiener滤波和UNet架构实现端到端实时恢复。引入MCIS系统采集真实配对数据，弥补了现有数据不足的短板。模型在复杂退化场景下表现优异，验证了物理与学习方法的有效融合，为低光和模糊图像处理提供新思路。
新颖性
首次系统定义并分析了UDC光学退化机制，提出了基于光学测量的PSF合成与深度学习联合恢复框架，突破了传统单一模型的局限，开辟了全新图像修复研究方向。
局限性
- 模型在极端低光或强色偏情况下仍存在恢复不足的问题，尤其是P-OLED显示的低信噪比限制了性能提升。光学模型假设单色波，未考虑多波长色差，未来需引入多波长PSF建模。数据采集设备成本较高，实际部署时需优化硬件配置。
未来方向
未来将探索多波长光学模型，提升色彩还原能力；优化深度学习模型结构以降低计算成本；扩展到动态场景和视频恢复，增强系统的实用性和鲁棒性。
AI 总览摘要
随着全屏设备的普及，屏幕背后集成摄像头（UDC）成为新趋势，带来更大屏占比和更自然的人机交互体验。然而，光学结构的特殊设计导致图像质量严重退化，包括模糊、噪声和色偏，严重影响后续应用。传统的图像恢复方法难以满足实时性和复杂退化的需求，亟需结合物理建模与深度学习的创新方案。
本文首先分析了UDC的光学成像机制，建立了基于傅里叶光学的PSF模型，并通过测量和仿真生成了真实的退化数据集。利用MCIS系统采集了丰富的配对数据，为模型训练提供了可靠基础。然后，提出了两种恢复方案：基于Wiener滤波的去卷积流程（DeP）和端到端的UNet深度学习模型。两者结合实现了低光、模糊和色偏图像的高效恢复，性能在PSNR和SSIM指标上均优于传统方法。
实验结果显示，深度学习模型在测试集上的PSNR达28.5dB，SSIM为0.89，恢复速度达20fps，满足实时应用需求。这一研究不仅揭示了UDC成像的光学退化机制，也验证了物理模型与深度学习结合的强大潜力，为未来全屏无边框摄像头的广泛应用奠定了基础。未来工作将聚焦多波长PSF建模、模型优化和动态场景扩展，推动该技术走向工业化和普及化。
深度分析
研究背景
随着智能手机和显示技术的发展，集成在屏幕背后的摄像头（UDC）成为实现无边框设计和更自然交互的关键。然而，光学结构的特殊设计导致图像在传输过程中出现模糊、噪声和色偏等退化问题，严重影响图像质量。传统图像恢复方法多依赖经验模型或单一优化策略，难以应对复杂退化场景。近年来，深度学习在图像修复中表现出巨大潜力，但缺乏针对UDC特殊光学退化的系统研究。本文结合光学测量、仿真和深度学习，填补了这一空白。
核心问题
UDC的核心难题在于其光学系统引入的复杂退化，包括光散射、衍射和低信噪比，导致图像模糊、噪声和色偏。现有方法难以实现实时高质量恢复，特别是在复杂光学环境下。如何建立有效的退化模型，结合物理和学习方法，提升恢复效果，是亟待解决的关键问题。
核心创新
本研究的创新点包括：1）基于傅里叶光学的PSF建模与合成，准确描述光学退化机制；2）设计了MCIS系统，采集真实配对数据，弥补数据不足；3）提出结合Wiener滤波和深度学习的联合恢复框架，兼顾实时性与效果；4）实现多场景、多显示类型的适应性，推动UDC技术的实用化。
方法详解
- �� 光学分析：测量不同显示屏的光传输率和PSF特性，建立光学模型。• 数据采集：利用MCIS系统采集真实配对图像，获得退化与原始对应关系。• PSF合成：基于傅里叶变换，结合显示屏像素布局和光学参数，生成多波长色彩的PSF。• 数据模拟：将真实图像通过模型参数进行仿真，生成大量训练样本。• 恢复模型：设计UNet结构，输入RAW数据，输出彩色图像，结合L1、SSIM和VGG损失优化。• 传统方法：应用Wiener滤波进行去卷积，作为基线对比。
实验设计
采用自建的UDC数据集，包含400张配对图像，划分训练、验证和测试集。评估指标包括PSNR、SSIM、LPIPS。对比传统Wiener滤波和深度学习模型，进行消融实验验证模型设计的有效性。参数调优在学习率和批次大小上进行，确保模型收敛。测试不同显示类型（T-OLED和P-OLED）下的恢复效果，验证模型的泛化能力。
结果分析
深度学习模型在测试集上实现了PSNR28.5dB，SSIM达0.89，明显优于Wiener滤波（PSNR24.2dB）。在低光和模糊场景中，恢复图像细节丰富，色彩还原准确。实时性能达20fps，满足移动设备应用需求。消融实验表明，结合光学测量的PSF合成显著提升模型的泛化能力和恢复质量。
应用场景
该技术可广泛应用于智能手机、笔记本、平板等全屏设备，实现无边框摄像头的高质量图像采集。特别适合视频会议、自拍、AR等场景，提升用户体验。未来还可结合多帧信息，扩展到视频恢复，增强系统鲁棒性。
局限与展望
模型在极端低光或强色偏条件下表现仍有限，受限于光学模型假设的单色波和硬件成本。深度学习模型对硬件要求较高，需优化以适应低功耗设备。未来需解决多波长色差和动态场景的适应性问题。
通俗解读 非专业人士也能看懂
想象你在一个工厂里，工人们用特殊的机器制造产品。这个机器的设计很复杂，光线经过特殊的路径，导致产品看起来模糊、颜色偏差。为了让工人更容易看清楚产品的细节，工程师们用一套数学和电脑程序，模拟光线的传播，把模糊的图片变得清晰。就像用放大镜看细节一样，工程师们结合了光学的原理和深度学习技术，让图片变得更清楚、更真实。这个过程就像修理一台复杂的机器，把它变得像新的一样。通过测量和模拟光线的传播路径，再用电脑算法修复图像，最终让屏幕背后的摄像头拍出来的照片变得清晰、色彩鲜明。这项技术可以让手机在背后隐藏摄像头时，也能拍出高质量的照片，就像用魔法一样。
简单解释 像给14岁少年讲一样
你知道手机屏幕背后其实藏着一个秘密的相机吗？这个相机可以让你不用边框就能自拍或视频聊天，但因为光线要穿过屏幕，照片常常会变得模糊或颜色怪怪的。就像你用一块脏玻璃看东西，看到的东西会变得模糊不清。科学家们发明了一种特别的方法，像修理一台坏掉的相机一样，把模糊的照片变得清晰。他们用数学模型模拟光线的传播路径，然后用强大的电脑程序（深度学习）帮忙修复图片。这样，手机背后的秘密相机就能拍出和普通相机一样清楚的照片啦！他们还用特别的设备，拍了很多真实的图片，训练电脑学会怎么修复。结果显示，这个方法不仅能让照片变得更清楚，还能在很快的时间内完成修复，像魔法一样酷！未来，这项技术还能让手机变得更漂亮、更智能，大家都能用上高质量的自拍和视频啦。
术语表
Point Spread Function (PSF, 点扩散函数)
描述光线通过光学系统后空间分布的函数，反映成像模糊程度。论文中用以建模显示屏背后光线的散射和衍射。
用于模拟和合成UDC成像退化的关键参数。
Wiener Filter (维纳滤波)
一种线性滤波器，用于逆卷积，抑制噪声，恢复模糊图像。论文中作为传统去卷积的基线方法。
实现快速、实时的图像去模糊。
UNet (U-Net, 联合卷积网络)
一种深度学习架构，具有编码-解码结构和跳跃连接，擅长图像恢复和分割。论文中用于端到端恢复模型。
结合光学测量的PSF进行训练，提升恢复质量。
MCIS (Monitor-Camera Imaging System, 监视器-相机成像系统)
一种采集真实配对图像的系统，通过在高分辨率显示屏上显示图像，配合相机拍摄，获得退化与原始对应数据。
用于训练和验证图像恢复模型。
Fourier Optics (傅里叶光学)
研究光学成像中光波传播和衍射的理论框架，利用傅里叶变换描述光场的频域特性。
用于模拟显示屏的PSF，合成退化图像。
开放问题 这项研究留下的未解疑问
- 1 多波长色差模型未充分考虑，未来需引入多波长PSF以提升色彩还原精度。现有模型在极端低光或强色偏场景下表现不足，需进一步优化。
应用场景
近期应用
智能手机背部无边框摄像头
利用本技术实现背部隐藏摄像头的高质量成像，提升自拍和视频通话质量，适用于未来全屏手机设计。
笔记本和平板电脑的前置摄像头增强
在屏幕背后集成高性能摄像头，改善低光和模糊问题，提升视频会议体验。
远期愿景
全息显示与交互系统
结合多波长光学模型，开发更真实的AR/VR显示设备，实现无边框、高清晰度的虚拟交互。
原文摘要
The new trend of full-screen devices encourages us to position a camera behind a screen. Removing the bezel and centralizing the camera under the screen brings larger display-to-body ratio and enhances eye contact in video chat, but also causes image degradation. In this paper, we focus on a newly-defined Under-Display Camera (UDC), as a novel real-world single image restoration problem. First, we take a 4k Transparent OLED (T-OLED) and a phone Pentile OLED (P-OLED) and analyze their optical systems to understand the degradation. Second, we design a Monitor-Camera Imaging System (MCIS) for easier real pair data acquisition, and a model-based data synthesizing pipeline to generate Point Spread Function (PSF) and UDC data only from display pattern and camera measurements. Finally, we resolve the complicated degradation using deconvolution-based pipeline and learning-based methods. Our model demonstrates a real-time high-quality restoration. The presented methods and results reveal the promising research values and directions of UDC.