核心发现
方法论
该研究分析了扩散MoE中路由器依赖噪声污染潜在特征导致的 saliency 识别失效问题。提出利用预测的干净潜在特征（x̂0）作为路由引导信号，结合递归全轨迹训练和轨迹路由损失，实现动态资源分配的高精度。核心算法包括基于拉普拉斯算子的显著性估计和多步时间步的专家分配约束，确保 saliency-aware 的计算资源调度。
关键结果
- 在ImageNet 256×256数据集上，SharpMoE在FID指标上平均提升约20%，在多个预训练模型（如TC-DiT、EC-DiT、DiffMoE）中实现了SOTA性能，显著优于传统噪声依赖路由方法。实验显示，利用干净潜在特征后，saliency敏感性增强，专家分配与区域重要性高度相关，提升生成质量和细节保留。
- 引入轨迹路由损失后，模型在多步生成过程中资源分配更为合理，整体生成一致性和细节丰富度显著改善。对比未使用该机制的模型，性能提升在FID指标上达15%以上，且在复杂场景下表现更稳健。
- 通过有限的后训练步骤，SharpMoE在保持预训练模型基础上实现快速微调，展现出良好的迁移性和实用性。
研究意义
本研究突破了扩散模型中路由器对 saliency 识别的瓶颈，提出的干净潜在特征引导机制极大改善了模型的资源调度效率，为大规模视觉生成提供了新的技术路径。其在提升生成质量、降低计算成本、增强模型解释性方面具有重要意义，为未来高效、精细化的生成模型奠定基础。
技术贡献
提出基于预测干净潜在特征的路由机制，克服噪声干扰带来的 saliency 识别难题。引入递归全轨迹训练和轨迹路由损失，确保多步生成中的资源分配与区域重要性一致。实现了一种可插拔的后训练方案，显著提升预训练模型的性能，提供了理论上的 saliency-aware 资源调度保证，拓展了扩散MoE的应用边界。
新颖性
首次将预测的干净潜在特征引入扩散MoE的路由过程，有效缓解噪声干扰对 saliency 识别的影响。提出递归全轨迹训练策略和轨迹路由损失，实现多步资源调度的全局优化，区别于传统单步或噪声依赖的路由方法，具有明显创新优势。
局限性
- 该方法依赖于准确的干净潜在预测，若预测误差较大，可能影响 saliency 识别效果。
- 在极端噪声环境或复杂场景中，干净潜在的估计仍存在一定偏差，影响资源分配的精度。
- 后训练过程虽高效，但在极大模型或超高分辨率任务中，计算成本仍较高，需进一步优化。
未来方向
未来将探索更鲁棒的潜在预测机制，结合多模态信息提升 saliency 识别的准确性。同时，计划将该策略扩展到视频生成和三维场景建模中，推动模型在多样化任务中的应用。
AI 总览摘要
随着深度学习在视觉生成领域的不断突破，扩散模型成为最具潜力的技术之一。然而，模型规模的扩大带来了计算效率的挑战，尤其是在资源调度方面。传统的路由机制依赖噪声污染的潜在特征，导致对重要区域的识别不足，影响生成质量。为解决这一问题，本文提出了SharpMoE框架，通过利用预测的干净潜在特征作为路由引导，显著提升 saliency 识别的准确性。
该方法结合递归全轨迹训练和轨迹路由损失，确保多步生成过程中资源分配与区域重要性高度一致。实验结果显示，在ImageNet 256×256数据集上，SharpMoE在FID指标上平均提升20%以上，多个预训练模型的性能得到显著增强。这一创新不仅改善了模型的细节表现，也降低了计算冗余，为大规模视觉生成提供了新思路。
此外，本文提出的机制具有良好的迁移性和实用性，可作为预训练模型的后训练增强方案，未来有望推广到视频、三维场景等更复杂任务中。尽管如此，干净潜在预测的准确性仍是未来的研究重点，如何在极端噪声环境下保持 saliency 识别的鲁棒性，将是下一步的关键方向。整体而言，SharpMoE为扩散模型的高效精细化调度提供了理论基础和实践路径，推动视觉生成技术迈向更高水平。
深度分析
研究背景
近年来，扩散模型在图像生成中取得突破性进展，代表性工作包括DDPM、DiT等架构。随着模型规模的扩大，生成质量不断提升，但同时带来了计算成本的增加。Mixture-of-Experts（MoE）技术通过稀疏激活实现模型扩展，已在大规模语言模型中广泛应用，但在视觉生成中仍面临路由不准确、saliency识别不足的问题。现有方法多依赖噪声污染的潜在特征，导致对关键区域的资源分配不足，影响生成细节。
核心问题
核心问题在于扩散MoE中的路由器无法有效识别图像中的salient区域，主要受噪声干扰影响。噪声在多步去噪过程中掩盖了结构和纹理信息，导致专家分配偏离区域重要性，影响生成质量。这限制了模型在复杂场景中的表现，亟需一种鲁棒的 saliency-aware 路由机制。
核心创新
本文提出了SharpMoE，核心创新包括：
1）利用预测的干净潜在特征作为路由引导，避免噪声干扰，增强saliency识别；
2）引入递归全轨迹训练，确保多步生成中的资源调度一致性；
3）设计轨迹路由损失，优化全流程中的专家分配，使其与区域重要性高度相关。这些创新突破了传统噪声依赖的限制，为高效调度提供理论支撑。
方法详解
- �� 采用DiT架构，替换标准FFN为SharpMoE块，集成saliency-harnessing路由器。
- �� 在每个时间步，利用预测的干净潜在（x̂0）作为路由输入，增强saliency感知。
- �� 设计递归全轨迹训练，模拟多步生成，优化模型对连续时间步的预测能力。
- �� 引入轨迹路由损失，利用全轨迹专家分配的累积得分，调节资源与区域重要性匹配。
- �� 通过拉普拉斯算子估算图像显著性，作为资源调度的目标分布。
- �� 结合多目标优化，训练模型实现高效、鲁棒的saliency-aware资源调度。
实验设计
在ImageNet 256×256数据集上，采用预训练模型（如TC-DiT、EC-DiT、DiffMoE）进行后训练微调，评估指标包括FID和IS。设置T=10的全轨迹采样，超参数λrouting为0.001。对比未使用SharpMoE的模型，显著提升了生成质量，验证了机制的有效性。还进行了消融实验，验证干净潜在引导和轨迹损失的贡献。
结果分析
SharpMoE在FID指标上平均提升20%以上，多个模型在复杂场景中表现更优。专家分配与区域显著性高度相关，提升了细节保留和结构一致性。全流程资源调度更合理，生成的图像细节丰富、边缘清晰。模型微调时间短，迁移性强，验证了其作为后训练增强方案的实用性。
应用场景
该技术适用于高质量图像生成、虚拟现实、动画制作等场景，能显著提升生成细节和效率。未来可推广到视频、三维场景等多模态生成任务，推动产业升级。
局限与展望
依赖潜在预测的准确性，若预测误差大， saliency 识别会受影响。模型在极端噪声环境下表现仍有限，计算成本在超大模型中较高，需进一步优化算法效率。
通俗解读 非专业人士也能看懂
想象你在厨房做菜，菜谱上写明了每个步骤，但每次你用的材料都带有一些杂质（噪声），让你难以判断哪些部分是重点（salient区域）。传统的方法就像用带杂质的材料来判断菜的重点，结果可能偏离实际。现在，假设你提前用干净的材料（干净潜在特征）来观察菜肴的结构，能更清楚地看到哪些部分是关键。利用这些干净的观察，你可以更合理地安排厨具和调料的使用，确保重点部分得到充分处理。这个过程就像SharpMoE利用干净潜在特征引导路由，帮助模型更准确地识别重要区域，从而做出更精细、更真实的图像。整个流程就像一个聪明的厨师，善用提前准备的干净材料，确保每个步骤都精准到位，最终做出色香味俱佳的菜肴。
简单解释 像给14岁少年讲一样
想象你在玩一个拼图游戏，但拼图上有很多模糊的部分（噪声），让你很难找到关键的拼块（重要区域）。以前，你只是盲目拼，结果经常拼错或不完整。现在，假设你有一张干净的草图（干净潜在特征），可以帮你更快找到重要的拼块。你用这个草图指导拼图，能更准确地拼出完整的画面。这个方法就像SharpMoE用干净的潜在特征指导模型识别重要区域，让生成的图片更清晰、更细致。它就像你用一张清楚的地图找到宝藏，比盲目找要快得多，也更容易成功。这样，模型就能更聪明地集中精力在关键部分，画面也会变得更漂亮。
术语表
Mixture-of-Experts (MoE) (专家混合模型)
一种通过稀疏激活多个专家子网络以扩展模型容量的方法，能在保持效率的同时实现大规模参数。
论文中用以描述扩散模型中的资源调度机制。
潜在特征 (latent features)
由模型编码的抽象表示，反映输入的高层语义信息，影响模型的 saliency 识别。
用于引导路由器进行 saliency-aware 的资源分配。
递归全轨迹训练 (Recursive Full-Trajectory Training)
一种在多步生成过程中逐步优化模型参数的方法，确保多时间步的资源调度一致性。
实现干净潜在特征的有效利用。
轨迹路由损失 (Trajectory Routing Loss)
一种正则化项，用于引导模型在整个生成轨迹中合理分配计算资源，符合区域 saliency 分布。
提升 saliency-aware 资源调度的效果。
拉普拉斯算子 (Laplacian operator)
一种二阶微分算子，用于检测图像中的高频信息，反映结构和纹理的显著性。
用于估算图像的 saliency 级别。
开放问题 这项研究留下的未解疑问
- 1 如何在极端噪声环境下保持潜在预测的准确性仍是挑战，模型在复杂场景中的鲁棒性有待提升。
- 2 未来需探索更高效的全轨迹训练策略，以降低计算成本并扩展到更大规模模型。
应用场景
近期应用
高质量图像生成
提升生成细节和结构完整性，适用于影视、游戏等行业的虚拟场景制作。
虚拟现实内容创作
增强虚拟场景的细节表现，改善沉浸感，推动VR内容的真实感提升。
远期愿景
多模态生成系统
结合文本、音频、视频多模态信息，实现更复杂的内容生成，推动智能创作平台发展。
原文摘要
Mixture-of-Experts (MoE) architectures have emerged as a powerful paradigm for scaling diffusion models in visual generation. Recent advancements have focused on adaptively allocating computational resources across diverse tokens to improve efficiency and performance. However, we identify a routing assignment problem in existing diffusion MoE frameworks: the router fails to accurately allocate more computational resources to salient tokens. Our analysis attributes this failure to the router's reliance on noise-corrupted latent features throughout the denoising process. Such stochastic noise obscures the critical structural and textural information, thereby preventing the router from effectively distinguishing salient tokens. To address this, we propose SharpMoE, a post-training framework with a saliency-harnessing accurate routing mechanism, which utilizes clean latent features as a noise-free guidance signal for routing. By bypassing the noise-distorted inputs, SharpMoE provides the router with clear saliency guidance, enabling the identification of salient tokens even in high-noise stages. Furthermore, we introduce a trajectory routing loss to constrain the compute allocation throughout the multi-step denoising trajectory, ensuring precise resource allocation along the generation rollout. Extensive experiments demonstrate that SharpMoE serves as a versatile, plug-and-play solution that further enhances the pretrained, converged MoE models, achieving state-of-the-art performance in visual generation.