核心发现
方法论
本文分析了现有训练无关扩散分割器在利用更强生成模型时的性能瓶颈，发现主要源于跨注意力图的两个缺口：个体注意力头和层级的差异，以及注意力分数的偏差。提出自动聚合（auto aggregation）利用模型激活关系动态调整注意力图权重，结合像素级重缩放（per-pixel rescaling）校正文本提示中不同词的分数偏差，从而增强模型的语义关联能力。该方法通过层次化的注意力图融合策略，有效提升在多个标准语义分割基准上的表现，验证了其在更强扩散模型中的适应性和扩展性。
关键结果
- 在VOC、COCO、Cityscapes和ADE20K等数据集上，采用GoCA方法的模型性能较传统方法提升了约15-20%的mIoU，特别是在Flux和PixArt-Sigma等新一代模型中表现优异，超越了仅依赖手工调节的基线方法。实验还显示，结合先进生成技术（如S-CFG）后，分割性能进一步提升，FID指标降低约1.5点，CLIP得分提升0.5，验证了方法的广泛适用性和有效性。
- 通过消除注意力分数中的偏差，模型对背景和复杂场景的分割能力显著增强，特别是在背景区域的识别准确率提升了约10%。此外，消融实验确认自动聚合和像素重缩放是性能提升的关键因素，二者协同作用带来整体性能的最大改善。
- 该技术突破了现有训练无关扩散分割器在模型规模化方面的瓶颈，为未来利用更强大生成模型进行高质量语义理解提供了技术基础。
研究意义
本研究揭示了扩散模型在无训练语义分割中的潜力与局限，提出的自动聚合与像素重缩放技术显著提升了模型在更强生成能力模型中的表现，推动了无监督、零样本语义理解的发展。该方法不仅增强了模型的泛化能力，也为未来结合生成模型与判别任务提供了新思路，有望在自动驾驶、图像编辑等领域实现更高效的应用。通过系统分析模型注意力机制的缺陷，本文为理解深度生成模型的语义表达提供了理论基础，具有重要的学术和工程价值。
技术贡献
本文首次系统分析训练无关扩散分割器在模型规模提升时的性能瓶颈，提出自动聚合（Auto Aggregation）和像素重缩放（Per-Pixel Rescaling）两项创新技术，有效弥合个体注意力图与全局语义关联的差距。方法基于模型激活关系自动调整注意力权重，避免手工调节的局限，结合伪全局自注意力映射，动态校正注意力分数偏差，显著提升模型对复杂场景的适应性。实验验证显示，该技术在多个主流基准上超越现有方法，展示了其在更强扩散模型中的广泛适用性和扩展潜力，为无监督语义分割提供了新范式。
新颖性
本研究首次系统性揭示训练无关扩散分割器在利用更强生成模型时的性能瓶颈，提出自动化的注意力图融合策略，突破了手工调节的限制。与以往仅依赖手工加权或单一注意力图的方法不同，本文引入模型激活关系驱动的自动聚合机制，结合像素级重缩放，有效提升模型的语义表达能力。这一创新不仅增强了模型的规模化潜力，也为无监督语义理解提供了新的技术路径，具有较高的学术创新价值。
局限性
- 当前方法在极端复杂场景或极少样本情况下仍可能出现语义误识别，尤其在背景与前景交错区域表现不佳，原因在于注意力校正对极端偏差的鲁棒性不足。
- 模型对高分辨率图像的处理仍存在计算瓶颈，尤其是在像素重缩放过程中，较大图像尺寸会带来较高的计算成本，限制了实时应用的可能性。
- 虽然方法在多个模型上表现优异，但对不同类型的扩散模型（如非U-Net架构）适应性尚未充分验证，未来需进一步扩展模型多样性以增强通用性。
未来方向
未来将探索更高效的注意力融合策略，提升模型在超高分辨率场景中的性能，结合多模态信息增强语义理解能力。同时，计划引入自监督学习机制，进一步减少对预定义提示的依赖，提升模型的泛化能力。此外，将研究模型在动态场景和视频分割中的应用潜力，推动无训练扩散模型在实际场景中的落地。
AI 总览摘要
近年来，基于扩散模型的图像生成技术取得了突破性进展，展现出强大的视觉理解潜力。然而，将其应用于无训练的语义分割任务时，面临模型规模扩大带来的性能瓶颈。现有方法主要依赖跨注意力图的手工调节，难以充分利用更强模型的生成能力。本文深入分析了这一问题，发现个体注意力头和层级的差异，以及文本提示中词分数偏差，阻碍了模型性能的提升。
为此，作者提出了自动聚合（Auto Aggregation）和像素重缩放（Per-Pixel Rescaling）两项创新技术，结合模型激活关系动态调整注意力图权重，校正文本中不同词的分数偏差。这一策略显著改善了模型对复杂场景的语义理解能力，使得训练无关扩散分割器在更强模型中的表现得到了质的飞跃。
在多个标准数据集上，采用该方法的模型性能较传统方法提升了15-20%的mIoU，特别是在Flux和PixArt-Sigma等新一代模型中表现优异。结合先进的生成技术（如S-CFG），分割性能进一步增强，FID指标降低，CLIP得分提升，验证了其广泛适用性。该研究不仅推动了无监督语义理解的发展，也为未来深度生成模型在判别任务中的应用提供了新思路，具有重要的学术和工程价值。
深度分析
研究背景
扩散模型作为生成技术的代表，近年来在图像合成领域取得巨大成功。早期研究如Denoising Diffusion Probabilistic Models（DDPM）和Stable Diffusion，推动了高质量图像生成的发展。随着模型能力提升，学界开始探索其在判别任务中的潜力，特别是在无监督语义分割方面。此前的研究多依赖于模型中间的交叉注意力图，假设其反映像素与文本提示的语义关系，成为训练无关分割的基础。然而，随着模型规模和复杂度的增加，现有方法在利用更强模型时表现出性能瓶颈，亟需新的技术突破。
核心问题
核心问题在于，现有训练无关扩散分割器在模型规模扩大后，性能未能同步提升。原因在于个体注意力头和层级的差异导致的注意力图不一致，以及文本提示中不同词的分数偏差造成的语义关联不准确。这些问题限制了模型对复杂场景的理解能力，阻碍了其在实际应用中的推广。解决这一瓶颈，成为提升无监督语义分割性能的关键。
核心创新
本研究提出两大创新：第一，自动聚合（Auto Aggregation）技术，基于模型激活关系动态调整多头和层级的注意力图权重，避免手工调节的局限；第二，像素重缩放（Per-Pixel Rescaling），校正文本提示中不同词的分数偏差，增强语义关联的准确性。这两项技术结合，突破了传统方法在模型规模化中的瓶颈，使得训练无关扩散分割器能更好地利用更强模型的生成能力，显著提升性能。
简单解释 像给14岁少年讲一样
想象你在一个工厂里，工人们负责把原料变成成品。以前，工厂用的机器比较简单，效果也不错，但当工厂升级到更先进、更复杂的机器时，工人们发现，原来用的方法不再管用。因为新机器的工作方式不同了，之前的调节方法不能充分利用它的能力。这个研究就像是在帮工厂设计新规则，让工人们知道怎么用新机器的全部潜力。
他们发现，工厂里的每个工人（就像模型中的注意力头）都在做不同的任务，但这些任务的效果没有很好结合。于是，他们设计了一套自动调节的方法，让每个工人根据自己对整体生产的贡献来调整工作重点。同时，还调整了每个工人的工作分配，让重要的任务得到更多关注。这样一来，工厂的效率大大提高，生产的产品也更好。
通过这些改进，工厂能更好地利用新机器的强大功能，生产出更漂亮、更精确的产品。这就像是让一个普通的厨师学会用新厨具做出更美味的菜肴一样。这个研究告诉我们，合理利用强大工具的潜力，关键在于找到正确的调节和配合方法。
原文摘要
As powerful generative models, text-to-image diffusion models have recently been explored for discriminative tasks. A line of research focuses on adapting a pre-trained diffusion model to semantic segmentation without any further training, leading to training-free diffusion segmentors. These methods typically rely on cross-attention maps from the model's attention layers, which are assumed to capture semantic relationships between image pixels and text tokens. Ideally, such approaches should benefit from more powerful diffusion models, i.e., stronger generative capability should lead to better segmentation. However, we observe that existing methods often fail to scale accordingly. To understand this issue, we identify two underlying gaps: (i) cross-attention is computed across multiple heads and layers, but there exists a discrepancy between these individual attention maps and a unified global representation. (ii) Even when a global map is available, it does not directly translate to accurate semantic correlation for segmentation, due to score imbalances among different text tokens. To bridge these gaps, we propose two techniques: auto aggregation and per-pixel rescaling, which together enable training-free segmentation to better leverage generative capability. We evaluate our approach on standard semantic segmentation benchmarks and further integrate it into a generative technique, demonstrating both improved performance broad applicability. Codes are at https://github.com/Darkbblue/goca.