Continuous Adversarial MeanFlow Transfer

TL;DR

MeanFlow-Transfer和CAMF在有限数据下实现快速生成器域适应,FID提升29%。

cs.LG 🔴 高级 2026-08-20 3 次浏览
Yara Bahram Zahra Dehghani Mélodie Desbos Eric Granger Pablo Piantanida Mohammadhadi Shateri
生成对抗网络 域适应 图像生成 机器学习 深度学习

核心发现

方法论

该研究提出了MeanFlow-Transfer(MF-T)和连续对抗MeanFlow(CAMF)方法。MF-T通过将异构源输出映射到共享速度表示,初始化MF生成器并优化目标域上的MF目标。CAMF则扩展了连续对抗流模型,从瞬时速度到有限区间平均速度,恢复了MF回归平均掉的细节。

关键结果

  • MF-T和CAMF在五个目标域上适应四个ImageNet源模型,FID和FDD指标上达到或超过精调教师模型,且神经功能评估次数减少高达125倍。
  • 在有限步数下,CAMF平均提升MF-T的FID指标29%。
  • 实验表明,MF-T和CAMF组合在多个数据集上实现了高效的域适应和加速。

研究意义

该研究在有限数据条件下实现了快速生成器的高效域适应,解决了预训练生成器在新域适应时的多步采样问题。通过统一的训练循环,方法适用于广泛的预训练模型,显著减少了神经功能评估次数,提升了生成质量。这为生成对抗网络在实际应用中的快速部署提供了新的可能。

技术贡献

技术贡献包括提出了MeanFlow-Transfer和CAMF方法,解决了异构源模型的统一加速和适应问题。通过将异构源输出映射到共享速度表示,方法在单一训练循环中实现了适应和加速。CAMF则通过对抗学习恢复了细节,减少了MF回归的平均化问题。

新颖性

该研究首次将连续对抗流模型扩展到MeanFlow的有限区间平均速度,提出了统一的适应和加速框架,解决了异构预训练生成器的加速目标不一致问题。

局限性

  • 在极端数据稀缺情况下,模型可能无法充分适应目标域。
  • 方法在特定域转移时可能需要额外的调参。

未来方向

未来工作可以探索在更多数据集和更复杂模型上的应用,进一步优化适应和加速的效率,并研究在其他生成任务中的应用。

AI 总览摘要

在有限数据条件下快速训练生成器以适应新域是一个挑战。现有方法在适应预训练扩散或流模型时,未能解决其昂贵的多步采样问题。为此,研究人员提出了MeanFlow-Transfer和连续对抗MeanFlow方法。MeanFlow-Transfer通过将异构源输出映射到共享速度表示,初始化MF生成器并优化目标域上的MF目标,从而在单一训练循环中实现了适应和加速。连续对抗MeanFlow则通过对抗学习恢复了细节,减少了MF回归的平均化问题。

实验结果显示,该方法在五个目标域上适应四个ImageNet源模型,FID和FDD指标上达到或超过精调教师模型,且神经功能评估次数减少高达125倍。在有限步数下,CAMF平均提升MF-T的FID指标29%。这表明该方法在多个数据集上实现了高效的域适应和加速。

尽管如此,该方法在极端数据稀缺情况下可能无法充分适应目标域,且在特定域转移时可能需要额外的调参。未来工作可以探索在更多数据集和更复杂模型上的应用,进一步优化适应和加速的效率,并研究在其他生成任务中的应用。

深度分析

研究背景

近年来,生成对抗网络(GAN)和流模型在图像生成领域取得了显著进展。然而,在有限数据条件下快速适应新域仍然是一个挑战。传统方法通常需要多步采样,导致计算成本高昂。为此,研究人员探索了加速和适应的结合,以提高生成效率。

核心问题

核心问题在于如何在有限数据条件下快速适应新域。现有方法在适应预训练扩散或流模型时,未能解决其昂贵的多步采样问题。此外,异构预训练生成器的加速目标不一致,增加了适应的复杂性。

核心创新

研究提出了MeanFlow-Transfer和连续对抗MeanFlow方法。前者通过将异构源输出映射到共享速度表示,解决了加速目标不一致的问题。后者通过对抗学习恢复细节,减少了MF回归的平均化问题。

方法详解

  • �� MeanFlow-Transfer将异构源输出映射到共享速度表示。
  • �� 初始化MF生成器并优化目标域上的MF目标。
  • �� 连续对抗MeanFlow通过对抗学习恢复细节。
  • �� 通过对比学习,减少MF回归的平均化问题。

实验设计

实验在五个目标域上适应四个ImageNet源模型。使用FID和FDD指标评估生成质量,并比较了不同步数下的性能。实验结果表明,方法在多个数据集上实现了高效的域适应和加速。

结果分析

实验表明,MF-T和CAMF组合在多个数据集上实现了高效的域适应和加速。FID和FDD指标上达到或超过精调教师模型,且神经功能评估次数减少高达125倍。

应用场景

该方法可用于需要快速生成高质量图像的场景,如实时图像生成、增强现实和虚拟现实等领域。通过减少计算成本,提高了生成对抗网络在实际应用中的可行性。

局限与展望

在极端数据稀缺情况下,模型可能无法充分适应目标域。此外,方法在特定域转移时可能需要额外的调参。未来工作可以探索在更多数据集和更复杂模型上的应用。

通俗解读 非专业人士也能看懂

想象你在厨房里做饭。你有一个食谱,但你只有有限的食材。你需要快速调整食谱以适应这些食材,同时确保菜肴的味道不变。MeanFlow-Transfer就像是一个万能的食谱调整器,它能快速适应不同的食材组合,让你在有限的时间内做出美味的菜肴。连续对抗MeanFlow则像是一个调味大师,它能在最后一步为你的菜肴增添细节和风味,让菜肴更加美味。

简单解释 像给14岁少年讲一样

嘿,小伙伴!想象一下你在玩一个游戏,你需要在有限的时间内用手头的材料建造一个超级酷的城堡。MeanFlow-Transfer就像是一个神奇的工具箱,它能帮你快速适应不同的材料,让你在短时间内建造出一个超棒的城堡。而连续对抗MeanFlow就像是一个魔法师,它能在最后一步为你的城堡增添细节,让它看起来更加华丽!是不是很酷?

术语表

生成对抗网络 (GAN)

一种深度学习模型,由生成器和判别器组成,用于生成逼真的数据。

用于图像生成任务,提升生成质量。

域适应

将模型从一个源域迁移到另一个目标域的过程。

在有限数据条件下实现快速适应。

流模型

一种用于生成数据的模型,通过学习数据分布的流动来生成新样本。

用于图像生成任务,提升生成效率。

FID

用于评估生成图像质量的指标,数值越低表示质量越高。

用于比较不同生成模型的性能。

对抗学习

一种训练策略,通过生成器和判别器之间的对抗来提升模型性能。

用于提升生成图像的细节和质量。

开放问题 这项研究留下的未解疑问

  • 1 如何在极端数据稀缺情况下实现高效域适应?现有方法在数据不足时表现不佳,需要新的策略来增强适应能力。
  • 2 在更多数据集和复杂模型上的应用效果如何?需要进一步研究以验证方法的通用性。

应用场景

近期应用

实时图像生成

该方法可用于实时生成高质量图像,如增强现实和虚拟现实应用中。通过减少计算成本,提高了生成效率。

远期愿景

自动化设计

在未来,该方法可用于自动化设计领域,通过快速生成高质量图像,提升设计效率和创意。

原文摘要

Training fast generators on new domains with limited data remains challenging for two reasons. First, adapting a pretrained diffusion or flow model to a new domain leaves its costly multi-step sampling unaddressed, and existing acceleration methods are tied to the source parameterization--$ε$, $x$, $v$, or $u$--leaving heterogeneous pretrained models with no common acceleration target. Second, while adversarial refinement is proven effective for few-step quality, it is formulated only for instantaneous-velocity flows, not for the finite-interval average velocities that MeanFlow (MF) models predict. We address both problems. We propose MeanFlow-Transfer, which maps heterogeneous source outputs into a shared velocity representation, uses it to initialize an MF generator from the source weights, and optimizes an MF objective on the target domain. This unifies adaptation and acceleration in a single training loop across a broad range of pretrained models. We then introduce Continuous Adversarial MeanFlow, a post-training stage that extends continuous adversarial flow models from instantaneous velocities to MF's finite-interval average velocities. CAMF contrasts changes in a learned potential between real and predicted interval endpoints, recovering fine detail that MF regression averages away, and reduces to the instantaneous criterion in the vanishing-interval limit. Adapting four ImageNet-based source models--DiT ($ε$), SiT ($v$), JiT ($x$), iMF ($u$)--to five target domains, MF-T with CAMF matches or exceeds the fine-tuned teacher in FID and FDD at up to $125\times$ fewer Neural Function Evaluations (NFEs), while CAMF improves MF-T's few-step FID by $29\%$ on average.

cs.LG cs.CV