核心发现
方法论
本文提出一种逐步收缩算法，结合多维剪枝（深度、宽度、卷积核大小、输入分辨率）支持超过10^19种子网络。训练阶段采用共享权重的全局优化，确保子网络在不同架构下保持高精度。通过引入预测器指导架构搜索，快速匹配硬件平台和延迟需求，极大降低训练成本。该方法实现了模型训练与搜索的解耦，显著减少GPU小时数和碳排放，同时保证在ImageNet上的准确率。核心算法包括逐步收缩（Progressive Shrinking）和多维弹性设计，确保子网络在不同硬件上高效运行。
关键结果
- 在ImageNet上，OFA在移动设备场景下达到80.0%的Top-1准确率，模型复杂度低于600M MACs，超越MobileNetV3 4.0%的性能提升。相比传统NAS方法，GPU训练时间减少数十倍，碳排放降低数量级。
- 在多平台（GPU、FPGA、手机）上测试，OFA支持多种架构配置，延迟优化效果显著，速度提升1.5-2.6倍，准确率与独立训练模型持平或更优。
- 逐步收缩策略在保持模型性能的同时，支持多维度弹性架构，验证了其在不同硬件约束下的适应性和优越性。
研究意义
该研究突破了传统NAS和模型压缩的局限，实现了单一训练模型支持多场景部署，极大降低了模型开发和维护成本。对边缘设备和大规模工业应用具有深远影响，推动深度学习模型的普适性与可扩展性。通过解耦训练与搜索，解决了硬件多样性带来的瓶颈问题，为未来智能系统的高效部署提供了新思路。
技术贡献
提出一种多维逐步收缩算法，支持深度、宽度、卷积核和输入分辨率的弹性调节，极大扩展了架构空间。引入预测器辅助架构搜索，实现快速匹配硬件约束。模型训练采用共享权重和知识蒸馏技术，确保子网络性能。实现了模型训练与搜索的解耦，显著降低了计算成本，推动了硬件感知神经网络的实用化。
新颖性
首次将多维弹性架构设计与逐步收缩结合，支持超百万级子网络，突破了传统剪枝和NAS的单一维度限制。创新性地实现了训练阶段的多场景适应性，为模型迁移和硬件优化提供了全新解决方案。
局限性
- 当前方法依赖大量预训练数据和预测器，可能在极端硬件环境或新型硬件平台上表现不佳。
- 模型压缩和架构搜索仍存在一定的性能折中，部分子网络在特定场景下可能略低于专门优化模型。
- 训练过程复杂，需大量GPU资源，未来需优化算法以降低训练成本。
未来方向
未来将探索更高效的多维弹性空间搜索策略，结合自动化元学习技术提升子网络性能。还将扩展到多任务、多模态场景，支持动态调整架构以适应实时变化的硬件环境。进一步优化预测器和搜索算法，减少训练成本，推动模型在更广泛设备上的应用。
AI 总览摘要
随着深度神经网络在各类应用中的普及，模型的规模和计算需求不断攀升，给部署带来了巨大挑战。传统方法依赖于手工设计或逐个训练专属模型，既耗时又耗能，难以满足边缘设备多样化的需求。本文提出一种名为一次性训练网络（OFA）的创新框架，通过多维逐步收缩算法，支持深度、宽度、卷积核大小和输入分辨率的弹性调节，实现超百万级子网络的统一训练。该方法在ImageNet上取得了突破性成果，移动场景下达到了80.0%的Top-1准确率，模型复杂度低于600M MACs，显著优于MobileNetV3和EfficientNet等SOTA模型。训练阶段采用共享权重和知识蒸馏技术，确保子网络性能一致，极大降低了训练成本和碳排放。通过引入预测器指导架构搜索，快速匹配硬件平台和延迟约束，实现模型的快速定制。多平台实验证明，OFA在GPU、FPGA、手机等多种硬件上均表现优越，速度提升1.5-2.6倍，准确率保持或超越独立训练模型。该框架的最大创新在于训练与搜索的解耦，极大提高了模型部署的灵活性和效率，推动深度学习模型在实际应用中的普及。未来，作者计划扩展多任务、多模态支持，优化搜索策略，降低训练成本，助力智能系统的普适部署。
深度分析
研究背景
深度学习模型在图像识别、自然语言处理等领域取得巨大成功，但模型规模不断扩大，带来计算和能耗瓶颈。传统模型压缩技术如剪枝、量化和蒸馏已部分缓解问题，但难以满足多样化硬件平台的需求。神经架构搜索（NAS）技术通过自动设计网络结构提升效率，但训练成本高昂，难以在大规模场景中推广。近年来，面向硬件感知的NAS方法尝试结合硬件反馈优化架构，但仍需为每个硬件平台重新搜索和训练，成本巨大。动态网络和多宽度支持模型如Slimmable Nets虽能在运行时调整结构，但受限于预定义架构，缺乏多维弹性。为解决这些问题，本文提出支持多维架构变化的统一训练框架，旨在实现模型的多场景适应性和高效部署。
核心问题
现有方法在模型多样性和训练效率上存在明显瓶颈。手工设计和传统NAS需针对每个硬件平台重复训练，成本高昂且难以扩展。模型压缩虽能减小模型体积，但在多场景适配性方面不足。多宽度模型虽具弹性，但受限于预定义结构，难以满足复杂硬件需求。如何在保证模型性能的同时，实现一次训练支持多架构、多硬件环境的目标，成为关键难题。特别是在边缘设备、移动端等资源受限场景，需求更为迫切。解决方案需突破单一维度限制，支持深度、宽度、卷积核和输入分辨率的多维弹性，同时降低训练成本，提升部署效率。
核心创新
本研究的核心创新在于提出多维逐步收缩算法，支持深度、宽度、卷积核大小和输入分辨率的弹性调节，形成超百万级子网络空间。通过引入逐步收缩策略，避免不同子网络间的干扰，确保性能一致。采用预测器辅助架构搜索，实现快速匹配硬件平台和延迟约束，显著降低搜索成本。训练阶段采用共享权重和知识蒸馏技术，保证子网络性能。该方法实现了模型训练与搜索的解耦，极大降低了成本，为多场景部署提供了强大支撑。与传统单一架构或有限宽度模型相比，创新性地扩展了架构空间，支持多任务、多硬件环境的高效适配。
方法详解
- �� 构建支持多维弹性架构的全局模型，定义深度、宽度、卷积核大小和输入分辨率的弹性空间。
- �� 采用逐步收缩策略：先训练最大规模模型，然后逐步支持更小子网络，避免干扰。
- �� 在训练中引入知识蒸馏，确保子网络性能。
- �� 使用预测器指导架构搜索，根据硬件延迟和准确率快速筛选子网络。
- �� 支持多平台多硬件环境的快速定制，解耦训练与搜索流程。
- �� 通过多次实验验证不同配置的性能，优化模型参数和搜索策略。
实验设计
在ImageNet上，使用MobileNetV3架构空间，训练180 epochs，采用SGD优化。训练过程中应用逐步收缩算法，支持多维弹性架构。在多平台（GPU、FPGA、手机）上测试，测量延迟和准确率。比较不同子网络性能，验证方法的有效性。采用预测器和搜索算法，快速匹配硬件约束。实验还包括不同模型复杂度和架构配置的消融分析，验证训练效率和性能稳定性。
结果分析
OFA在ImageNet移动场景下达80.0%的Top-1准确率，模型复杂度仅595M MACs，优于MobileNetV3 4.0%的性能提升。训练成本显著降低，GPU小时数减少数十倍，碳排放降低数量级。多平台测试显示，支持多架构配置，延迟优化效果明显，速度提升1.5-2.6倍，准确率保持或超越独立训练模型。逐步收缩策略确保子网络在不同硬件环境下的优异表现，验证了其广泛适应性。
应用场景
该方法适用于移动端、边缘设备、云端多场景部署。可快速定制满足不同延迟、能耗、存储需求的模型，极大降低开发成本。未来可推广到多任务、多模态场景，实现动态架构调整，推动智能应用的普及。
局限与展望
当前方法仍依赖大量预训练和预测器，训练成本较高。模型压缩与架构搜索存在性能折中，部分子网络在极端场景下表现不足。未来需优化算法，降低训练资源消耗，增强泛化能力。
通俗解读 非专业人士也能看懂
想象你在准备一份多功能的厨房工具箱。传统上，你需要为不同的菜肴准备不同的厨具，比如炒菜用炒锅，煮汤用汤锅，每次都要换工具，既麻烦又浪费时间。现在，有了这个新方法，就像设计了一个万能厨具箱，里面的工具可以根据需要变成炒锅、汤锅甚至切菜板。只需一次准备，就能应对各种菜肴，无需每次都换工具。这个“万能厨具箱”就是论文中的一次性训练网络（OFA），它支持多种“架构配置”，可以根据不同硬件和需求“变形”。这样，无论是在家用手机、边缘设备还是云端服务器，只要选择合适的“工具”，就能快速得到高效的模型，既省时又省力。整个过程就像用一把变形魔法刀，随时变出你需要的工具，极大提高了效率和灵活性。
简单解释 像给14岁少年讲一样
想象你有一个超级神奇的拼装玩具箱，里面的零件可以变成很多不同的玩具，比如汽车、飞机或者机器人。每次玩不同的游戏，你都不用买新玩具，只要用这些零件拼装就行了。以前，要做不同的玩具要花很多时间拆拆装装，还要重新设计每个玩具，特别麻烦。现在，这个神奇的玩具箱可以一次性装好很多不同的玩具，只要你告诉它你想玩什么，它就能变出对应的玩具来。这个神奇的“玩具箱”就像论文里的OFA网络，它可以根据不同的硬件设备和需求，快速变成最合适的模型。这样，无论是在手机上玩游戏，还是在电脑上做工作，都能用到最棒的工具，不用每次都重新做一遍。是不是很酷？这就像有个万能的变形玩具，随时变出你想要的东西，既方便又聪明！
原文摘要
We address the challenging problem of efficient inference across many devices and resource constraints, especially on edge devices. Conventional approaches either manually design or use neural architecture search (NAS) to find a specialized neural network and train it from scratch for each case, which is computationally prohibitive (causing $CO_2$ emission as much as 5 cars' lifetime) thus unscalable. In this work, we propose to train a once-for-all (OFA) network that supports diverse architectural settings by decoupling training and search, to reduce the cost. We can quickly get a specialized sub-network by selecting from the OFA network without additional training. To efficiently train OFA networks, we also propose a novel progressive shrinking algorithm, a generalized pruning method that reduces the model size across many more dimensions than pruning (depth, width, kernel size, and resolution). It can obtain a surprisingly large number of sub-networks ($> 10^{19}$) that can fit different hardware platforms and latency constraints while maintaining the same level of accuracy as training independently. On diverse edge devices, OFA consistently outperforms state-of-the-art (SOTA) NAS methods (up to 4.0% ImageNet top1 accuracy improvement over MobileNetV3, or same accuracy but 1.5x faster than MobileNetV3, 2.6x faster than EfficientNet w.r.t measured latency) while reducing many orders of magnitude GPU hours and $CO_2$ emission. In particular, OFA achieves a new SOTA 80.0% ImageNet top-1 accuracy under the mobile setting ($<$600M MACs). OFA is the winning solution for the 3rd Low Power Computer Vision Challenge (LPCVC), DSP classification track and the 4th LPCVC, both classification track and detection track. Code and 50 pre-trained models (for many devices & many latency constraints) are released at https://github.com/mit-han-lab/once-for-all.