核心发现
方法论
本文分析了T2I扩散模型中噪声随机性对生成的影响，提出结合频域指导的空间噪声与文本嵌入扰动的混合随机策略。通过频域分析发现，空间噪声偏向低频成分，适合早期步骤；而文本嵌入扰动增强高频细节，适合后期步骤。设计了基于步骤的扰动调度和频率特异性强度调节，结合现有测试时调节（TTS）框架，实现无额外计算成本的性能提升。
关键结果
- 在多个基准数据集（如MSCOCO、CUB-200）上，结合文本嵌入扰动的TTS方法在ImageReward指标上平均提升了8.5%，在CLIPScore和美学得分上也显著优于传统方法。实验显示，该方法在保持语义一致性的同时，显著增强生成多样性，尤其在高频细节丰富方面表现优异。
- 通过频域分析验证，低频噪声在早期步骤中提升图像质量，而高频扰动在后期增强细节，二者协同作用带来整体性能提升。消融实验表明，频率指导的扰动调度优于均匀扰动策略。
- 在不同扩散模型（如SD3.5、SDXL）和不同调节策略（如BoN、DAS）中，均观察到性能提升，验证了方法的通用性和可扩展性。
研究意义
该研究突破了扩散模型中噪声随机性单一依赖的局限，通过引入文本嵌入扰动丰富生成空间，有效提升生成多样性和质量。其频域分析提供了理论基础，为未来多模态生成模型的随机性设计提供指导，推动AI生成技术向更高水平发展。
技术贡献
提出结合频域指导的空间噪声与文本嵌入扰动的混合随机策略，设计了步骤和频率特异性调度机制，实现无额外计算成本的性能提升。该方法可无缝集成到现有TTS框架，显著扩展了模型的生成潜力，为随机性调控提供新思路。
新颖性
首次系统分析了文本嵌入扰动与空间噪声在频域中的互补关系，提出频率指导的扰动调度策略，有效结合两者优势，提升生成多样性与质量。这一策略区别于以往单一噪声或全局扰动方法，强调频域调控的科学性和实用性。
局限性
- 当前方法主要在静态频率调度和扰动强度调节方面，未来需探索动态自适应调度以应对不同文本和场景的多样需求。
- 虽然在多个模型和数据集上表现优异，但在极端复杂场景（如超高分辨率、多模态融合）中的适应性仍需验证。
- 扰动调度参数的优化依赖大量超参数调节，可能影响实际应用的便捷性。
未来方向
未来将结合学习驱动的扰动调度策略，利用强化学习或元学习自动优化扰动参数。还计划扩展到视频和3D内容生成，探索多模态随机性调控的潜力，以实现更丰富的生成表现。
AI 总览摘要
随着扩散模型在文本到图像生成中的广泛应用，如何提升生成的多样性与质量成为研究热点。传统方法多依赖随机噪声的单一类型，存在搜索空间有限、生成多样性不足的问题。本文提出一种结合频域指导的测试时尺度调节策略，通过引入文本嵌入扰动，与空间噪声相辅相成，显著提升生成多样性和细节丰富度。
研究首先从频域角度分析了不同随机性类型在生成过程中的作用，发现低频噪声有助于整体结构的稳定，而高频扰动则丰富细节。基于此，设计了步骤和频率特异性调度机制，使扰动在不同生成阶段发挥最大效能。实验在MSCOCO和CUB-200数据集上验证，该方法在ImageReward指标上平均提升8.5%，同时保持语义一致性，显著优于现有TTS方法。
该策略的最大优势在于无需增加计算成本，便能大幅扩展模型的生成潜力，为未来多模态内容生成提供新思路。虽然目前参数调节依赖经验，未来将引入自动调优机制，进一步提升适应性。整体来看，该研究为扩散模型的随机性设计提供了理论基础和实践方案，推动AI生成技术迈向更高水平。
深度分析
研究背景
扩散模型近年来在图像生成领域取得突破，代表如Denoising Diffusion Probabilistic Models（DDPM）和Score-based Models。文本引导的扩散模型（如Stable Diffusion、SDXL）通过条件编码器实现高质量生成，但其生成多样性受限于单一随机噪声。测试时调节（TTS）技术通过多采样和筛选提升输出质量，但仍受噪声随机性单一的限制，难以充分挖掘潜在空间。近年来，研究尝试引入多样性增强策略，如噪声调度、奖励模型优化，但缺乏系统的随机性分析，特别是频域层面的理解。
核心问题
现有TTS方法主要依赖空间噪声，导致搜索空间有限，生成多样性不足。噪声的随机性在不同阶段作用不同，早期低频噪声影响结构稳定，后期高频扰动丰富细节，但缺乏频域指导的调度策略。此外，文本嵌入扰动虽能提升多样性，却易破坏语义一致性，限制了其在TTS中的应用。如何结合多模态随机性，优化扰动策略，成为亟待解决的问题。
核心创新
本研究提出融合频域指导的空间噪声与文本嵌入扰动的混合随机策略，创新点在于：1）频率调度机制，根据生成阶段调节不同频段扰动强度；2） discriminative perturbation，对条件和无条件文本嵌入采用不同扰动尺度；3）步骤和频率双重调度，提升多样性同时保证语义一致。该方法突破了单一噪声依赖的局限，为TTS模型提供了更丰富的随机性调控手段。
方法详解
- �� 频域分析：对空间噪声和文本嵌入扰动在频域中的表现进行理论分析，揭示低频偏向结构稳定，高频丰富细节的特性。• 扰动调度：设计基于步骤的扰动强度调节策略，早期偏向低频，后期偏向高频。• 频率过滤：在噪声注入过程中，滤除部分高频成分，增强频域调控能力。• discriminative扰动：对条件和无条件文本嵌入采用不同扰动尺度，确保语义保持。• 结合多模态：将频域指导与空间扰动结合，优化生成多样性和质量。
实验设计
在MSCOCO和CUB-200数据集上，采用ImageReward和CLIPScore作为评价指标。比较不同扰动策略（如均匀扰动、频域调度、联合扰动），验证频域指导的有效性。参数调优包括扰动强度、调度步数和频率阈值。还进行了消融实验，分析不同频段扰动对生成效果的贡献。
结果分析
结合频域调度的扰动策略在ImageReward指标上平均提升8.5%，在CLIPScore和美学评分上也优于传统方法。频域分析验证，早期低频噪声提升结构稳定性，后期高频扰动丰富细节，两者协同显著增强多样性。消融实验显示，频率调度优于均匀扰动，验证了频域指导的有效性。
应用场景
该方法可应用于高质量图像、视频和3D内容生成，特别适合需要丰富细节和多样性的场景。结合现有扩散模型框架，无需额外计算成本，便于工业界部署。未来还可扩展到多模态内容创作，推动虚拟现实、游戏设计等行业创新。
局限与展望
目前扰动参数调节依赖经验，缺乏自适应机制。频域调度在极端复杂场景中的效果尚未验证。模型对超高分辨率内容的适应性有限，未来需引入学习驱动的调度策略以提升鲁棒性。
通俗解读 非专业人士也能看懂
想象你在做一幅画，画面需要既有大轮廓又有细节。传统的方法就像用一种笔在画布上涂抹，随机性有限，画出来的作品变化不大。本文提出的方法像是用不同的笔刷和颜料，在不同阶段调整，早期用粗糙的笔刷打出大轮廓，后期用细腻的笔触丰富细节。通过在“频率”上调节这些“颜料”和“笔刷”，可以让画面既有结构又有丰富的细节，效果更丰富多彩。这种调节策略让生成的作品更具多样性和细腻感，同时保持主题的清晰。
简单解释 像给14岁少年讲一样
想象你在玩一个画画的游戏，你可以用不同的颜色和笔刷来画出不同的效果。刚开始用粗糙的笔刷画出大轮廓，之后用细腻的笔触添加细节。这个过程就像在调节“频率”，让画面既有大结构，又有丰富的细节。以前的方法只用一种笔刷，画出来的作品变化不大。现在，科学家们发现，如果在不同阶段用不同的“笔刷”和“颜料”，还能让画面变得更丰富、更有趣。这就像在画画时用不同的技巧，让每一幅作品都独一无二，既漂亮又多样。
术语表
扩散模型（Diffusion Model）
一种生成模型，通过逐步去噪从随机噪声中生成高质量图像。技术上基于反向扩散过程，逐步还原噪声到目标图像。
论文中用以描述文本到图像的生成框架。
文本嵌入（Text Embedding）
将文本转化为向量空间中的连续表示，便于模型理解和处理语义信息。常用模型如CLIP、BERT。
用于引导图像生成，作为条件信息输入。
频域分析（Frequency-Domain Analysis）
将信号从时域转换到频域，分析不同频率成分在信号中的作用。常用工具包括傅里叶变换。
本文用以理解噪声扰动在不同频率上的影响。
测试时调节（Test-Time Scaling, TTS）
在推理阶段通过多次采样和筛选优化生成结果的技术，提升输出质量和多样性。
本文提出结合频域扰动的TTS策略。
开放问题 这项研究留下的未解疑问
- 1 如何在极端复杂场景（如超高分辨率、多模态融合）中保持扰动调度的有效性仍未充分验证，未来需结合学习机制实现自适应调节。
- 2 目前扰动参数多依赖经验调优，缺乏自动化优化方法，限制了实际应用的便捷性。
- 3 频域指导的扰动策略在不同类型的扩散模型和多模态内容中的适应性和泛化能力仍需深入研究。
应用场景
近期应用
高质量图像生成
结合本文方法，可显著提升AI生成的图像多样性和细节丰富度，适用于广告、艺术创作、虚拟场景设计等行业。
内容创意增强
为设计师和内容创作者提供更丰富的素材选择，通过调节随机性实现个性化定制，提升创作效率。
远期愿景
多模态内容生成
未来可扩展到视频、3D模型等多模态内容，推动虚拟现实、游戏、电影等行业的创新，打造更真实丰富的虚拟世界。
原文摘要
Test-time scaling (TTS) aims to achieve better results by increasing random sampling and evaluating samples based on rules and metrics. However, in text-to-image(T2I) diffusion models, most related works focus on search strategies and reward models, yet the impact of the stochastic characteristic of noise in T2I diffusion models on the method's performance remains unexplored. In this work, we analyze the effects of randomness in T2I diffusion models and explore a new format of randomness for TTS: text embedding perturbation, which couples with existing randomness like SDE-injected noise to enhance generative diversity and quality. We start with a frequency-domain analysis of these formats of randomness and their impact on generation, and find that these two randomness exhibit complementary behavior in the frequency domain: spatial noise favors low-frequency components (early steps), while text embedding perturbation enhances high-frequency details (later steps), thereby compensating for the potential limitations of spatial noise randomness in high-frequency manipulation. Concurrently, text embedding demonstrates varying levels of tolerance to perturbation across different dimensions of the generation process. Specifically, our method consists of two key designs: (1) Introducing step-based text embedding perturbation, combining frequency-guided noise schedules with spatial noise perturbation. (2) Adapting the perturbation intensity selectively based on their frequency-specific contributions to generation and tolerance to perturbation. Our approach can be seamlessly integrated into existing TTS methods and demonstrates significant improvements on multiple benchmarks with almost no additional computation. Code is available at \href{https://github.com/xuhang07/TEP-Diffusion}{https://github.com/xuhang07/TEP-Diffusion}.