核心发现
方法论
论文提出频谱强制（Spectral Forcing, SF），在像素空间扩散中引入无参数、时间条件的二维DCT低通滤波器，动态调节截止频率以匹配扩散时间。基于自然图像的幂律频谱分析，定义每频段信噪比（DNR）及其对应的频谱边界，利用该边界指导输入频谱过滤。通过合成与真实图像实验验证，发现该方法在粗粒度像素化和高频噪声占优的数据中效果显著，提升模型的生成质量和效率。
关键结果
- 在ImageNet-256上，使用JiT-700M/32架构，应用SF后FID指标从24.19降低至20.68（提升14.5%），Inception Score从83.28提升至93.96（提升13%），在不同训练阶段均表现出稳定提升。
- 在不同像素化粒度下，SF在粗粒度模型中表现优越，细粒度模型中效果持平，验证了频谱边界的有效性。将SF集成到SenseNova-U1模型中，改善了文本到图像生成的多项指标，表明频谱先验具有迁移能力。
- 通过控制合成实验，确认模型在频谱边界之外趋于静态预测，浪费容量，频谱强制有效引导模型集中学习信号丰富区域，减少无用计算。
研究意义
该研究揭示像素空间扩散模型中的频谱结构，提出频谱强制作为输入频谱调控工具，有助于提升模型容量利用率和生成质量。这为未来高效像素空间扩散提供了理论基础和实践路径，突破了传统依赖潜在空间的局限，推动端到端像素级生成的技术发展。尤其在粗粒度模型和低频信号场景中，频谱强制展现出巨大潜力，有望引领下一代高质量图像生成技术的创新。
技术贡献
论文首次系统分析了自然图像幂律频谱下扩散模型的频谱信号与噪声分布，提出无参数、时间条件的二维DCT低通滤波器，有效控制输入频谱边界。结合频谱分析，设计了适应扩散时间变化的截止频率调度策略，显著改善模型的容量分配。实验证明，该方法在多个尺度和任务中均优于传统空间滤波和频域方法，为像素空间扩散模型的容量优化提供了新思路。
新颖性
创新点在于引入基于自然图像幂律频谱的频谱边界分析，提出无参数、时间条件的二维DCT低通滤波器，作为输入频谱调控工具。不同于以往的频域扩散或后端频谱重加权方法，本文在输入端直接调节频谱信息，简洁高效，且具有良好的迁移性。首次将频谱边界分析与扩散模型结合，系统验证其在实际图像生成中的有效性，开启了像素空间频谱调控的新范式。
局限性
- 该方法在高频信号为必要信息的场景（如细节纹理丰富的图像）中可能抹除关键频段，导致生成质量下降。
- 频谱强制依赖自然图像幂律频谱假设，可能在非自然场景或特殊数据集上效果有限。
- 引入的二维DCT低通滤波器增加了计算成本，尽管较小，但在极端资源受限环境中仍需优化。
未来方向
未来可探索自适应频谱调节策略，结合模型内部频谱估计动态调整截止频率，提升泛化能力。同时，结合多尺度频谱分析，优化在不同细节层级的信号捕获。此外，将频谱强制应用于其他生成任务（如视频、3D模型）以及结合潜在空间方法，推动多模态和多任务扩展，进一步提升生成效率与质量。
AI 总览摘要
像素空间扩散模型在高质量图像生成中展现出巨大潜力，但其频谱结构一直未被充分利用。传统模型在训练时面对频谱的隐性层级，难以高效分配容量，导致在高频噪声和低频信号之间的平衡难以把握。本文提出频谱强制（Spectral Forcing, SF），通过在输入端引入无参数、时间条件的二维DCT低通滤波器，有效明确频谱边界，减少模型在无用频段的计算浪费。基于自然图像幂律频谱分析，设计了动态调节截止频率的调度策略，使模型在不同扩散时间点专注于信号丰富区域。实验证明，在ImageNet-256上，应用SF显著提升了生成质量，FID指标降低14.5%，Inception Score提升13%，验证了其在不同尺度和训练阶段的稳定性。将该方法集成到端到端文本到图像模型SenseNova-U1中，也带来了多项性能提升，显示出频谱先验的迁移潜力。该研究不仅揭示了像素空间扩散的频谱结构，还提供了一条容量高效的优化路径，为未来高质量、计算高效的图像生成技术奠定了基础。未来工作将聚焦于自适应频谱调节、多尺度分析以及跨模态扩展，推动像素空间生成模型的持续创新。
深度分析
研究背景
近年来，扩散模型在图像生成领域取得突破，代表性工作包括DDPM、Score-based Models和Transformer架构的结合。早期研究多依赖潜在空间，减少像素级噪声干扰，但潜在模型存在信息损失和表达限制。像素空间扩散模型逐渐崭露头角，借助大规模Transformer和粗粒度像素化策略，提升生成质量。尽管如此，频谱结构在训练中的隐性层级未被充分利用，导致模型在不同频段的容量分配不均，影响生成效率和细节还原。近年来，频域方法如频谱分析、Wavelet变换等被引入，但多为后处理或前端频谱重加权，缺乏系统性理论指导。本文基于自然图像幂律频谱特性，提出频谱边界分析，为像素空间扩散提供新的理解框架。
核心问题
像素空间扩散模型在训练时面临频谱隐性层级的问题。自然图像的幂律频谱导致不同频段信噪比差异显著，模型需要在不同扩散时间点动态识别信号丰富区域，但现有架构缺乏明确的频谱边界指导，导致模型在频谱边界之外浪费大量容量，影响训练效率和生成质量。此外，传统低通滤波器无法动态匹配扩散过程，限制模型在不同阶段的表现。如何明确频谱边界，合理分配模型容量，成为提升像素空间扩散性能的关键难题。
核心创新
提出频谱强制（Spectral Forcing, SF），在输入端引入无参数、时间条件的二维DCT低通滤波器，动态调节截止频率以匹配扩散时间。该方法基于自然图像幂律频谱分析，定义每频段信噪比（DNR）及其对应的频谱边界，指导输入频谱过滤。通过调度策略，使截止频率随扩散时间单调增长，确保模型在不同阶段专注于信号丰富区域。与传统空间滤波或后端频谱重加权不同，SF在输入端直接调节频谱信息，简洁高效，具有良好的迁移性。实验证明在ImageNet-256上显著提升生成指标，验证了其在容量优化和频谱理解方面的创新。
方法详解
- �� 以自然图像幂律频谱分析为基础，定义每频段信噪比（DNR）及其对应的频谱边界k*(t)。
- �� 设计无参数、时间条件的二维DCT低通滤波器，通过调节截止频率c(t)，在输入端过滤频谱。
- �� c(t)随扩散时间单调增长，采用线性或解析调度策略，确保在不同时间点模型只看到信噪比高的频段。
- �� 将滤波器应用于扩散输入z_t，保持模型架构、训练目标和采样过程不变。
- �� 通过合成和真实图像实验验证，分析频谱边界对模型容量利用和生成质量的影响。
- �� 在ImageNet-256上进行大规模训练，比较不同调度策略和粒度，验证方法的有效性和泛化能力。
实验设计
使用ImageNet-256数据集，采用JiT架构（如700M参数模型），在不同训练轮次（15、60、120等）评估模型性能。对比基线模型与应用SF的模型，指标包括FID和Inception Score。通过调节patch token大小（64与256）验证频谱强制在粗粒度和细粒度模型中的表现。还将方法集成到SenseNova-U1模型中，评估文本到图像生成的指标变化。设计合成toy实验，验证频谱边界的模型容量分配和频谱分析的理论依据。分析不同调度策略（线性、解析）对性能的影响，确保方法的稳健性和适用性。
结果分析
在ImageNet-256上，应用SF后，FID从24.19降低至20.68（提升14.5%），Inception Score从83.28提升至93.96（提升13%），在不同训练阶段均表现出稳定提升。粗粒度模型（64 tokens）中，性能提升明显，细粒度模型（256 tokens）中效果持平。将SF集成到SenseNova-U1中，改善了多项指标，验证迁移能力。合成实验确认模型在频谱边界之外趋于静态预测，浪费容量，频谱强制引导模型集中学习信号区域。整体结果表明，频谱边界分析和调节策略有效提升像素空间扩散性能。
应用场景
该方法适用于高分辨率图像生成、文本到图像任务等场景，特别在粗粒度像素化和低频信号场景中效果显著。可结合端到端像素空间扩散模型，提升生成质量和训练效率。未来可扩展到视频、3D模型等多模态生成任务，推动生成模型在工业、娱乐、设计等领域的应用。
局限与展望
在高频细节丰富的图像中，频谱强制可能抹除关键细节，影响生成质量。依赖自然图像幂律频谱假设，非自然场景效果有限。引入的二维DCT滤波增加计算成本，需优化算法以适应资源受限环境。未来需研究自适应频谱调节策略，提升模型泛化能力。
通俗解读 非专业人士也能看懂
想象你在一个工厂里生产各种商品。工厂的机器可以处理不同大小的零件，有些零件很重要，必须细心加工；有些则可以粗略处理。现在，工厂的工人（模型）需要在不同时间段专注于不同大小的零件，但工厂的机器（模型架构）没有明确告诉他们哪些频率的零件更重要。论文提出一种方法，就像给工厂装上一个智能筛网（频谱强制），根据生产的时间自动调整筛网的孔径，让工人只处理重要的零件，忽略那些噪声或无用的部分。这样，工厂的效率大大提高，生产的商品质量也更好。这个筛网是无参数、自动调节的，能在不同生产阶段动态调整，帮助工厂更聪明地工作，减少浪费。最终，工厂能用更少的时间和资源，生产出更漂亮、更真实的商品。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的拼图游戏。有时候，拼图的某些部分很模糊，看不清楚细节，但你知道大致的轮廓。这个论文就像给你一个神奇的放大镜（频谱强制），能帮你在拼图的不同阶段只专注于清楚的部分，把模糊的部分暂时放一边。这个放大镜会随着你拼图的进展自动调整，让你在开始时只看大轮廓，后来逐渐看到细节。这样，你就不用浪费时间在模糊的碎片上，而是集中精力拼出最重要的部分。用这种方法，拼图变得更快、更漂亮，也更容易完成。这个神奇的放大镜就是论文中的频谱调节技术，帮助生成更真实、更细腻的图像，就像你用放大镜拼出完美的拼图一样。
术语表
Spectral Forcing（频谱强制）
一种在输入端应用的无参数、时间条件的二维DCT低通滤波器，用于调节像素空间扩散模型的频谱边界，帮助模型专注于信号丰富区域。
本文提出的核心技术，用于改善像素空间扩散模型的容量利用和生成质量。
Data-to-Noise Ratio（数据与噪声比）
衡量频段信噪比的指标，基于自然图像幂律频谱，定义每频段信号强度与噪声干扰的比值，用于指导频谱过滤。
分析频谱边界和模型容量分配的理论基础。
DCT（离散余弦变换）
一种将空间域信号转换为频域的变换技术，广泛用于图像压缩和频谱分析。
在本文中用于实现输入端的频谱滤波操作。
FID（Frechet Inception Distance）
衡量生成图像与真实图像差异的指标，数值越低代表生成质量越高。
用于评估模型在ImageNet上的生成效果。
Inception Score（Inception得分）
评估生成图像多样性和质量的指标，数值越高越好。
作为模型性能的补充评价指标。
开放问题 这项研究留下的未解疑问
- 1 如何在极端高频细节场景中保持频谱强制的有效性，仍需深入研究频谱调节的自适应机制和多尺度策略，以应对不同数据分布的复杂性。
应用场景
近期应用
高效图像生成
利用频谱强制优化像素空间扩散模型，提升生成质量和训练效率，适用于图像编辑、内容创作等行业。
文本到图像合成
结合频谱先验，改善文本引导的图像生成，增强细节还原和多样性，适用于AI艺术和广告设计。
远期愿景
多模态生成系统
将频谱调控技术扩展到视频、3D模型等多模态生成，推动跨领域内容创造的智能化。
原文摘要
Pixel-space diffusion models are trained on full-bandwidth noisy images, yet the useful signal available to the denoiser is strongly frequency dependent. Under rectified-flow diffusion and natural-image power-law spectra, the per-band data-to-noise contour $k^{*}(t) = (1-t)^{-2/α}$ separates a signal-bearing low-frequency region from a noise-dominated high-frequency region at each time $t$. We show that this implicit coarse-to-fine structure is not merely descriptive: it induces a capacity-allocation problem. A standard pixel-space denoiser must discover the moving bandwidth boundary internally and can spend computation on frequency-time regions where the optimal prediction collapses to deterministic baselines rather than data-distribution modeling. To make this boundary explicit, we introduce Spectral Forcing, a parameter-free, time-conditional 2D-DCT low-pass operator applied to the noisy input before the patch embedder. Its cutoff expands monotonically with the diffusion time and becomes the identity at the data endpoint. Through controlled synthetic experiments, we identify the regime in which the operator is beneficial: coarse patch tokenization and data whose high-frequency content is predominantly noise rather than essential signal. On ImageNet-256 with JiT-700M/32, Spectral Forcing consistently improves both FID and Inception Score across different training epochs, demonstrating robust gains throughout training; at finer tokenization, the spectral forcing is still competitive. We further insert the unchanged operator into SenseNova-U1, a unified text-to-image model, where it improves DPG-Bench and GenEval, showing that the input-side spectral prior transfers beyond class-conditional generation. These results suggest a route to capacity-efficient pixel-space diffusion by showing the signal and hiding the noise.