Scaling Vision Transformers to 22 Billion Parameters
提出ViT-22B，采用平行层、QK归一化和无偏置，训练稳定性提升，参数达22B，显著优于现有视觉模型。
核心发现
方法论
本文提出基于平行层设计、QK归一化和无偏置的架构改进，结合JAX/FLAX框架，利用模型和数据并行实现高效训练。采用多层次优化策略，解决大规模模型训练中的梯度爆炸和收敛不稳定问题。模型在4B图像数据集上预训练，结合多任务评估，验证其在图像分类、检测、分割等任务中的优越性能。
关键结果
- ViT-22B在ImageNet零样本分类中达到89.5%的准确率，超越以往最大密集模型。在ObjectNet等偏离训练分布的数据集上表现优异，提升了模型的泛化能力。模型在多任务迁移学习中表现出逐步提升的性能，验证了规模扩展带来的性能递增趋势。
- 在图像分类线性探测任务中，ViT-22B在ImageNet-1K达89.5%，比之前最大模型ViT-e/14提升约4%。在iNaturalist 2017细粒度分类中，显著优于其他ViT变体，说明大规模参数有助于提取细节信息。多任务评估显示模型在语义分割和深度估计任务中也表现出强大的泛化能力。
- 通过架构创新和训练技巧，模型实现了54.9%的MFU（硬件利用率），训练效率提升15%，显著降低大模型训练难度。模型在视频分类任务中也表现出优越的特征表达能力，验证其多模态迁移潜力。
研究意义
该研究突破了视觉Transformer模型参数规模的瓶颈，展示了大规模模型在视觉任务中的潜力。通过技术创新实现训练稳定性和效率的提升，为未来超大规模视觉模型奠定基础。模型性能的提升不仅推动学术研究，也为工业界提供了更强的视觉基础能力，有助于实现更智能、更鲁棒的视觉系统。
技术贡献
提出平行层架构、QK归一化和无偏置设计，有效缓解大模型训练中的梯度爆炸和不稳定问题。结合模型和数据并行技术，实现高效分布式训练。创新的训练策略和架构设计，使模型参数规模从4B跃升至22B，显著提升模型表达能力和泛化能力，为大规模视觉模型的训练提供新范式。
新颖性
首次在视觉Transformer中实现22B参数规模，采用平行层和QK归一化技术，解决大模型训练中的不稳定性。与以往最大模型（4B）相比，突破了参数规模限制，验证了大规模模型在视觉任务中的潜力。这些技术创新为未来超大模型的训练提供了可行路径。
局限性
- 训练成本极高，依赖大规模硬件资源，限制了普及性。模型在某些偏离训练分布的数据上仍存在鲁棒性不足的问题。架构复杂度增加，调优难度较大，未来需优化训练流程和模型结构以降低成本和提升稳定性。
未来方向
未来将探索模型压缩与剪枝技术以降低计算成本，提升模型部署效率。同时，结合多模态数据，扩展模型在视频、文本等多模态任务中的应用。还需研究更高效的训练算法和自适应架构，以实现更大规模模型的稳定训练与应用推广。
AI 总览摘要
随着深度学习的发展，Transformer架构在自然语言处理领域取得了巨大突破，模型规模不断扩大，参数已突破百亿级别，展现出惊人的泛化和零样本能力。然而，视觉Transformer（ViT）在模型规模扩展方面仍受限，最大密集模型仅有4B参数，难以达到语言模型的规模与性能。本文提出了ViT-22B，一种基于平行层、QK归一化和无偏置的创新架构，有效解决了大规模训练中的不稳定性问题。通过在JFT-4B图像数据集上的大规模预训练，模型在多个视觉任务中表现优异，准确率显著提升，验证了规模扩展的潜力。技术创新方面，采用多层次模型并行、异步通信和参数切片技术，显著提高训练效率和硬件利用率，MFU达54.9%，比以往模型提升15%。在图像分类、分割、深度估计和视频任务中，ViT-22B均展现出优越性能，尤其在零样本和偏离分布数据上表现出更强的鲁棒性。该研究不仅推动了视觉Transformer的规模极限，也为未来超大规模模型的训练提供了新思路。尽管如此，模型训练成本高昂，架构复杂，未来需在模型压缩、优化算法和多模态融合方面持续探索，以实现更广泛的应用和普及。
深度分析
研究背景
近年来，Transformer架构在自然语言处理中的成功激发了视觉模型的研究热潮。最早的ViT模型（Dosovitskiy et al., 2021）开启了视觉Transformer的时代，但其最大参数规模仅为4B，难以匹敌语言模型的百亿级参数。随着硬件能力提升，学界尝试扩展模型规模，但训练不稳定性和效率瓶颈成为主要障碍。此前工作如ViT-G（Zhai et al., 2022a）和ViT-e（Chen et al., 2022）在参数规模上取得一定突破，但仍未突破百亿大关。大规模模型的潜力在于其更强的表达能力和迁移能力，但同时带来了训练难题，包括梯度爆炸、收敛不稳定和硬件资源消耗巨大。解决这些问题，成为推动视觉Transformer发展的关键。
核心问题
现有视觉Transformer模型在参数规模扩展中遇到训练不稳定和效率瓶颈，限制了模型性能的进一步提升。大规模模型容易出现梯度爆炸、收敛缓慢等问题，尤其在参数超过8B时表现尤为明显。此外，硬件资源的限制也制约了模型的训练和应用。如何在保证训练稳定的前提下，实现参数规模的突破，是当前研究的核心难题。解决这一问题，将极大推动视觉模型的性能极限，为复杂视觉任务提供更强的基础。
核心创新
本文提出三项核心创新：第一，采用平行层架构，将Attention和MLP块并行处理，提升并行效率，减少训练时间；第二，引入QK归一化（LayerNorm应用于查询和键），有效控制attention logits的数值范围，避免梯度爆炸；第三，取消偏置参数，简化模型结构，提升硬件利用率。这些设计共同解决了大模型训练中的不稳定问题，显著提升了训练效率和模型性能。结合异步通信和参数切片技术，实现了22B参数模型的高效训练，为视觉Transformer的规模极限提供了技术支撑。
方法详解
- �� 架构设计：采用平行层结构，将Attention和MLP块在同一层中并行计算。• QK归一化：在计算attention前，对查询和键进行LayerNorm，控制logits范围。• 无偏置：移除偏置参数，简化模型结构。• 分布式训练：利用JAX/FLAX框架，结合模型和数据并行，采用异步通信和参数切片技术。• 训练策略：在JFT-4B数据集上预训练，使用余弦学习率调度，逐步缩放模型参数。• 评估方法：在多任务、多数据集上测试，包括分类、检测、分割和视频任务，验证模型泛化能力。
实验设计
采用JFT-4B图像数据集，训练177k步，批量65k，模型参数达22B。评估指标包括ImageNet准确率、零样本分类、偏离分布数据表现等。对比不同架构变体，验证QK归一化和无偏置的效果。进行多任务迁移学习，验证模型在语义分割和深度估计中的表现。还测试了视频分类和多模态任务，确保模型的广泛适用性。
结果分析
模型在ImageNet零样本分类中达89.5%准确率，超越以往最大模型。在ObjectNet等偏离分布数据集上表现优异，提升鲁棒性。线性探测任务中，ViT-22B在ImageNet达89.5%，比前一最大模型提升约4%。在细粒度分类和深度估计中也优于较小模型，验证了大规模参数带来的性能提升。硬件利用率达54.9%，训练效率提升15%，验证了架构设计的有效性。
应用场景
该模型可作为基础视觉特征提取器，支持高精度分类、检测、分割等任务，适用于自动驾驶、安防监控、医疗影像等行业。模型的迁移能力强，可用于多模态融合和视频理解，推动智能视觉系统的发展。未来，结合模型压缩和优化算法，有望实现边缘设备上的部署。
局限与展望
训练成本高昂，依赖大规模硬件资源，限制普及。架构复杂，调优难度大，影响推广。模型在某些偏离训练分布的数据上仍存在鲁棒性不足的问题。未来需优化训练流程，降低成本，提升模型的实用性和鲁棒性。
通俗解读 非专业人士也能看懂
想象你在一家大型工厂里，生产各种商品。每个工人都负责不同的任务，比如组装、包装、检验。以前，工人们都按顺序工作，一个接一个，效率不高。现在，工厂引入了一种新方法，把一些任务同时进行，工人们可以同时合作，效率大大提高。这个工厂还用了一种新工具，可以让工人们更好地理解彼此的工作流程，避免误会和错误。这样一来，生产速度快了，商品质量也更稳定。类似的，研究中的大模型也是这样，通过优化架构和训练方法，让计算机“同时”学习更多信息，变得更聪明、更可靠。
简单解释 像给14岁少年讲一样
想象你在学校里，有很多不同的老师教你不同的科目。以前，老师们都按顺序讲课，你得等前面的人讲完才能开始。现在，有一种新方法，老师们可以同时讲不同的内容，这样你学到东西就快多了。科学家们也是这样，让计算机学习很多很多信息，但要确保它们不会出错。为了做到这一点，他们设计了特别的“工具”和“规则”，让大模型可以同时处理大量信息，还能保持稳定。结果，这个大模型变得比以前更聪明，能更好地理解图片、视频，甚至能在新场景中表现得更棒。虽然需要很多计算资源，但未来它会帮助我们解决很多复杂的问题，比如自动驾驶、医疗诊断等。
原文摘要
The scaling of Transformers has driven breakthrough capabilities for language models. At present, the largest large language models (LLMs) contain upwards of 100B parameters. Vision Transformers (ViT) have introduced the same architecture to image and video modelling, but these have not yet been successfully scaled to nearly the same degree; the largest dense ViT contains 4B parameters (Chen et al., 2022). We present a recipe for highly efficient and stable training of a 22B-parameter ViT (ViT-22B) and perform a wide variety of experiments on the resulting model. When evaluated on downstream tasks (often with a lightweight linear model on frozen features), ViT-22B demonstrates increasing performance with scale. We further observe other interesting benefits of scale, including an improved tradeoff between fairness and performance, state-of-the-art alignment to human visual perception in terms of shape/texture bias, and improved robustness. ViT-22B demonstrates the potential for "LLM-like" scaling in vision, and provides key steps towards getting there.