核心发现
方法论
本文提出了一种基于最小描述长度理论的正交滤波模块，旨在通过自适应聚类减少视觉token的冗余。该模块由分配器和多个槽组成，分配器将图像token分配到唯一的槽中，每个槽融合分配的token形成基向量。通过正交性损失训练分配器，确保槽之间的语义独立性。
关键结果
- 在ImageNet数据集上，ViT-Huge模型仅需61个基向量即可达到性能上限，显著减少了计算成本。
- 实验表明，较大的模型在减少token数量的情况下仍能保持较高的泛化能力，验证了模型容量与token预算之间的互补关系。
- 通过构建视觉长上下文数据集，进一步验证了视觉模型在长上下文理解中的潜力。
研究意义
该研究通过减少视觉token的冗余，显著降低了大规模视觉模型的训练和推理成本，为视觉Transformer的扩展性提供了新的理论基础。通过引入正交滤波模块，模型在保持语义完整性的同时，提高了计算效率，推动了视觉智能的可扩展性研究。
技术贡献
本文在视觉表示学习中引入正交滤波模块，与现有的SOTA方法相比，提供了一种新的理论保证和工程可能性。通过最小描述长度理论，系统地分析了模型容量与可见token比例之间的关系，揭示了视觉token维持完整语义的边界。
新颖性
这是首次将最小描述长度理论应用于视觉token的压缩，提出了正交滤波模块以减少冗余。与现有方法相比，该方法在减少token数量的同时保持了模型的性能和泛化能力。
局限性
- 正交滤波模块在某些复杂场景下可能无法有效减少token冗余，影响模型性能。
- 该方法对不同模型架构的适应性需要进一步验证。
未来方向
未来研究可以探索正交滤波模块在其他视觉任务中的应用，以及如何进一步优化模块以适应不同的模型架构。
AI 总览摘要
视觉Transformer在处理大规模图像数据时面临着冗余token的问题，这限制了模型的扩展性和效率。现有方法通常依赖于启发式的重要性度量，未能充分考虑视觉数据的内在语义结构。
本文提出了一种基于最小描述长度理论的正交滤波模块，通过自适应聚类减少视觉token的冗余。该模块由分配器和多个槽组成，分配器将图像token分配到唯一的槽中，每个槽融合分配的token形成基向量。通过正交性损失训练分配器，确保槽之间的语义独立性。
实验结果表明，较大的模型在减少token数量的情况下仍能保持较高的泛化能力，验证了模型容量与token预算之间的互补关系。此外，本文还构建了一个视觉长上下文数据集，进一步验证了视觉模型在长上下文理解中的潜力。
深度分析
研究背景
视觉Transformer在图像处理领域取得了显著进展，但其扩展性受到视觉token冗余的限制。传统方法通常通过剪枝或聚类来减少冗余，但这些方法依赖于特定模型的特征空间，未能充分考虑视觉数据的内在语义结构。最小描述长度理论为量化视觉token的语义冗余提供了新的视角。
核心问题
视觉模型在处理大规模图像数据时，面临着冗余token的问题，这限制了模型的扩展性和效率。现有方法通常依赖于启发式的重要性度量，未能充分考虑视觉数据的内在语义结构。
核心创新
本文提出了一种基于最小描述长度理论的正交滤波模块，通过自适应聚类减少视觉token的冗余。该模块由分配器和多个槽组成，分配器将图像token分配到唯一的槽中，每个槽融合分配的token形成基向量。通过正交性损失训练分配器，确保槽之间的语义独立性。
方法详解
- �� 提出正交滤波模块，通过自适应聚类减少视觉token的冗余。
- �� 模块由分配器和多个槽组成，分配器将图像token分配到唯一的槽中。
- �� 每个槽融合分配的token形成基向量，通过正交性损失训练分配器，确保槽之间的语义独立性。
实验设计
在ImageNet数据集上进行实验，验证正交滤波模块在减少token数量的情况下对模型性能的影响。实验结果表明，较大的模型在减少token数量的情况下仍能保持较高的泛化能力，验证了模型容量与token预算之间的互补关系。
结果分析
实验结果表明，ViT-Huge模型仅需61个基向量即可达到性能上限，显著减少了计算成本。此外，较大的模型在减少token数量的情况下仍能保持较高的泛化能力，验证了模型容量与token预算之间的互补关系。
应用场景
正交滤波模块可用于减少视觉模型的计算成本，提高模型的扩展性。在大规模图像处理、自动驾驶和智能监控等领域具有广泛的应用前景。
局限与展望
正交滤波模块在某些复杂场景下可能无法有效减少token冗余，影响模型性能。此外，该方法对不同模型架构的适应性需要进一步验证。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭，厨房里有很多食材，但你只需要其中的一部分来做出美味的菜肴。正交滤波模块就像一个聪明的厨师，它能快速挑选出最重要的食材，而不是浪费时间处理所有的食材。这样一来，你就能更快地做出美味的菜肴，同时节省了时间和精力。
简单解释 像给14岁少年讲一样
想象一下你在玩一个游戏，你需要收集一些重要的道具来打败敌人。但游戏中有太多道具，你不可能全部收集。正交滤波模块就像一个聪明的助手，它能帮你挑选出最重要的道具，让你更快地打败敌人。这样你就能更快地通关，节省了时间和精力。
术语表
最小描述长度 (Minimum Description Length)
一种信息理论，用于量化数据的复杂性。
用于量化视觉token的语义冗余。
正交滤波 (Orthogonal Filtering)
一种模块，通过自适应聚类减少视觉token的冗余。
用于减少视觉token的冗余。
视觉Transformer (Vision Transformer)
一种基于Transformer的视觉模型架构。
用于处理大规模图像数据。
视觉语义空间 (Visual Semantic Space)
图像token在语义上的表示空间。
用于表示图像的内在语义结构。
分配器 (Allocator)
正交滤波模块中的一个组件，用于将图像token分配到唯一的槽中。
用于正交滤波模块中。
开放问题 这项研究留下的未解疑问
- 1 如何在不同的视觉任务中应用正交滤波模块？
- 2 正交滤波模块在不同模型架构中的适应性如何？
应用场景
近期应用
图像处理
通过减少token冗余，提高图像处理的效率和扩展性。
远期愿景
智能监控
在智能监控中，通过减少计算成本，提高监控系统的实时性和准确性。
原文摘要
This paper investigates the fundamental relationship between model capacity and the minimal number of visual tokens required to preserve image semantics. Inspired by the Minimum Description Length principle, we reinterpret image tokens as vectors in a visual semantic space and define the intrinsic semantic complexity of an image as the smallest set of basis vectors needed to span this space. Building on this perspective, we propose Orthogonal Filtering, a lightweight module that adaptively clusters redundant tokens into a compact set of orthogonal bases. Through extensive experiments across a range of ViT models, we reveal a consistent token, model scaling law: larger models require significantly fewer tokens to span visual semantic space. Besides, we also contribute a visual long-context dataset.