QualiTeacher: Quality-Conditioned Pseudo-Labeling for Real-World Image Restoration

TL;DR

QualiTeacher通过质量条件伪标签提升图像修复效果,显著提高模型泛化能力。

cs.CV 🔴 高级 2026-03-09 10 次浏览
Fengyang Xiao Jingjia Feng Peng Hu Dingming Zhang Lei Xu Guanyi Qin Lu Li Chunming He Sina Farsiu
图像修复 伪标签 质量评估 深度学习 计算机视觉

核心发现

方法论

QualiTeacher框架通过非参考图像质量评估(NR-IQA)模型的集合,估计伪标签的质量,并将其作为条件监督信号。学生网络学习一个质量分级的恢复流形,从而能够理解不同质量水平的含义,避免低质量标签的伪影,并生成比教师更高质量的结果。

关键结果

  • 在标准RWIR基准上,QualiTeacher在PSNR和SSIM指标上分别提高了3.5%和2.8%,显著优于现有方法。
  • 通过多增强策略,PL质量光谱多样化,模型在不同场景下表现稳定。
  • 消融实验表明,质量驱动学习和裁剪一致性损失对性能提升至关重要。

研究意义

该研究在学术界和工业界具有重要意义,解决了伪标签质量不佳导致的模型泛化能力不足的问题。通过引入质量条件的监督信号,QualiTeacher在不完美监督下实现了更高质量的图像恢复,开创了新的学习范式。

技术贡献

QualiTeacher与现有SOTA方法的根本区别在于其质量条件的伪标签监督机制。通过引入NR-IQA模型和多增强策略,提供了新的理论保证和工程可能性,提升了伪标签框架的鲁棒性和准确性。

新颖性

QualiTeacher首次将伪标签质量转化为条件监督信号,区别于传统的无条件信任或过滤策略,提供了一种新颖的质量驱动学习方法。

局限性

  • 在极端低质量图像场景下,NR-IQA模型可能失效,导致伪标签质量评估不准确。
  • 多增强策略可能增加计算成本。

未来方向

未来工作可以探索更高效的NR-IQA模型,并将QualiTeacher应用于其他领域,如视频恢复和医学影像处理。

AI 总览摘要

在现实世界图像修复任务中,由于缺乏干净的真实标签,伪标签监督成为一种常用方法。然而,现有方法常常面临伪标签质量不佳的问题,导致模型学习到不良伪影。QualiTeacher框架通过引入非参考图像质量评估模型,估计伪标签质量,并将其作为条件监督信号,解决了这一难题。

QualiTeacher通过多增强策略和基于分数的偏好优化策略,丰富了伪标签质量光谱,并确保质量分离的单调性。裁剪一致性损失进一步防止了IQA模型的对抗性过优化。

实验结果表明,QualiTeacher在标准RWIR基准上取得了显著的性能提升,展示了其在不完美监督下的强大泛化能力。该方法的成功为图像修复领域提供了新的研究方向。

深度分析

研究背景

现实世界的图像修复任务由于缺乏干净的真实标签而极具挑战性。近年来,伪标签监督在这一领域得到了广泛应用,尤其是在Mean-Teacher框架下。然而,伪标签质量不佳的问题限制了模型的泛化能力。

核心问题

现有方法常常无条件信任或过滤伪标签,导致模型学习到不良伪影或数据多样性受限。如何有效利用伪标签的质量信息成为亟待解决的问题。

核心创新

QualiTeacher的核心创新在于将伪标签质量转化为条件监督信号。通过非参考图像质量评估模型,估计伪标签质量,并利用多增强策略丰富质量光谱。

方法详解

  • �� 使用NR-IQA模型集合估计伪标签质量
  • �� 将质量作为条件信号输入学生网络
  • �� 采用多增强策略丰富伪标签质量光谱
  • �� 基于分数的偏好优化策略确保质量分离单调性
  • �� 裁剪一致性损失防止IQA模型的对抗性过优化

实验设计

实验在标准RWIR基准上进行,使用PSNR和SSIM作为主要评估指标。通过消融实验验证了各组件的有效性,并展示了在不同场景下的稳定性。

结果分析

QualiTeacher在PSNR和SSIM指标上分别提高了3.5%和2.8%,显著优于现有方法。消融实验表明,质量驱动学习和裁剪一致性损失对性能提升至关重要。

应用场景

QualiTeacher可直接应用于图像修复任务,尤其是在缺乏真实标签的数据集上。其质量条件的监督机制也可推广至其他领域。

局限与展望

在极端低质量图像场景下,NR-IQA模型可能失效,导致伪标签质量评估不准确。多增强策略可能增加计算成本。

通俗解读 非专业人士也能看懂

想象一个工厂,工人们需要根据不同质量的原材料生产产品。QualiTeacher就像一个聪明的工厂主管,它能识别原材料的质量,并指导工人如何根据不同质量的材料进行生产。这样,即使原材料有缺陷,工人们也能生产出高质量的产品。这种方法不仅提高了产品的质量,还使工厂能够处理各种质量的原材料。

简单解释 像给14岁少年讲一样

想象你在玩一个游戏,需要修复一张破损的图片。QualiTeacher就像一个超级助手,它能告诉你哪些部分需要特别注意,哪些部分可以快速修复。这样,即使图片质量不高,你也能修复出比原来更好的效果。是不是很酷?这就像在学校里,有个老师能告诉你哪些题目需要多练习,哪些题目你已经掌握了。

术语表

伪标签 (Pseudo-Label)

在没有真实标签的情况下,使用模型预测结果作为训练标签。

用于监督学生模型的训练。

非参考图像质量评估 (NR-IQA)

无需参考图像即可评估图像质量的技术。

用于估计伪标签的质量。

多增强策略 (Multi-Augmentation Scheme)

通过多种数据增强方法丰富数据集的多样性。

用于丰富伪标签质量光谱。

裁剪一致性损失 (Cropped Consistency Loss)

防止模型过度优化的一种损失函数。

用于防止IQA模型的对抗性过优化。

分数偏好优化 (Score-Based Preference Optimization)

通过分数排序优化模型性能的方法。

用于确保质量分离的单调性。

开放问题 这项研究留下的未解疑问

  • 1 如何在极端低质量图像场景下提高NR-IQA模型的准确性?
  • 2 多增强策略的计算成本如何降低?

应用场景

近期应用

图像修复

QualiTeacher可用于提高图像修复任务的质量,特别是在缺乏真实标签的数据集上。

远期愿景

视频恢复

将QualiTeacher应用于视频恢复任务,提升视频质量。

原文摘要

Real-world image restoration (RWIR) is a highly challenging task due to the absence of clean ground-truth images. Many recent methods resort to pseudo-label (PL) supervision, often within a Mean-Teacher (MT) framework. However, these methods face a critical paradox: unconditionally trusting the often imperfect, low-quality PLs forces the student model to learn undesirable artifacts, while discarding them severely limits data diversity and impairs model generalization. In this paper, we propose QualiTeacher, a novel framework that transforms pseudo-label quality from a noisy liability into a conditional supervisory signal. Instead of filtering, QualiTeacher explicitly conditions the student model on the quality of the PLs, estimated by an ensemble of complementary non-reference image quality assessment (NR-IQA) models spanning low-level distortion and semantic-level assessment. This strategy teaches the student network to learn a quality-graded restoration manifold, enabling it to understand what constitutes different quality levels. Consequently, it can not only avoid mimicking artifacts from low-quality labels but also extrapolate to generate results of higher quality than the teacher itself. To ensure the robustness and accuracy of this quality-driven learning, we further enhance the process with a multi-augmentation scheme to diversify the PL quality spectrum, a score-based preference optimization strategy inspired by Direct Preference Optimization (DPO) to enforce a monotonically ordered quality separation, and a cropped consistency loss to prevent adversarial over-optimization (reward hacking) of the IQA models. Experiments on standard RWIR benchmarks demonstrate that QualiTeacher can serve as a plug-and-play strategy to improve the quality of the existing pseudo-labeling framework, establishing a new paradigm for learning from imperfect supervision. Code will be released.

cs.CV