核心发现
方法论
本文提出了一种名为RandOpt的方法，该方法通过在预训练权重附近进行随机参数扰动，并选取表现最佳的K个扰动进行集成投票，从而提升模型性能。该方法完全并行化，不依赖于梯度更新，适用于大规模模型的后训练优化。核心机制包括随机采样、性能评估和集成投票。
关键结果
- 在Countdown任务中，使用Olmo-3-7B-Instruct模型，RandOpt方法通过5000次随机权重猜测，并集成表现最佳的扰动，达到了与GRPO和ES方法相当的准确率。
- RandOpt在GQA数据集上将Qwen2.5-VL-3B-Instruct模型的准确率提高了12.4%。
- 实验表明，RandOpt在多种任务和模型规模上，性能与现有方法相当甚至更优，尤其是在没有顺序优化步骤的情况下。
研究意义
该研究展示了在大规模预训练模型中，任务专家在预训练权重附近的高密度分布特性。通过简单的随机扰动和集成方法，RandOpt提供了一种有效的后训练优化策略，挑战了传统的梯度优化方法。这一发现对大规模模型的优化和应用具有重要意义，尤其是在计算资源有限的情况下。
技术贡献
RandOpt方法的技术贡献在于其完全并行化的设计，不依赖于梯度更新，且在大规模模型中表现优异。该方法通过随机扰动探索预训练权重附近的高密度解空间，并通过集成投票提升模型性能。这种方法为大规模模型的后训练优化提供了新的思路和可能性。
新颖性
RandOpt的创新之处在于其利用预训练权重附近的高密度专家解，通过随机扰动和集成投票实现性能提升。这一方法不同于传统的梯度优化方法，提供了一种全新的后训练优化策略，尤其适用于大规模模型。
局限性
- RandOpt在测试时需要进行K次前向传递，这增加了计算成本。
- 该方法在小规模模型上效果不明显，因为其专家解的密度较低。
- 在某些任务中，RandOpt的性能提升可能部分归因于格式修正而非真正的推理改进。
未来方向
未来的研究方向包括探索如何在不增加计算成本的情况下提升RandOpt的性能，例如通过蒸馏技术将多个模型的优势整合到单一模型中。此外，还可以研究如何在更广泛的任务和模型上应用RandOpt，以及如何进一步优化其随机扰动策略。
AI 总览摘要
在当今的人工智能研究中，预训练模型已成为一种标准方法，通过在大规模数据集上进行预训练，模型可以获得通用的表示能力。然而，如何在这些预训练模型的基础上进行有效的后训练优化，仍然是一个具有挑战性的问题。传统的方法通常依赖于梯度下降等迭代优化技术，但这些方法在大规模模型上可能效率不高。
本文提出了一种名为RandOpt的新方法，通过在预训练权重附近进行随机参数扰动，并选取表现最佳的K个扰动进行集成投票，从而提升模型性能。该方法的核心在于利用预训练权重附近的高密度专家解，通过简单的随机扰动和集成方法，实现了与传统方法相当甚至更优的性能。
RandOpt的技术原理包括三个关键步骤：首先，在预训练权重附近进行N次随机参数扰动；其次，评估每个扰动的性能；最后，选取表现最佳的K个扰动进行集成投票。通过这种方式，RandOpt能够在不依赖于梯度更新的情况下，快速找到高性能的任务专家。
实验结果表明，RandOpt在多种任务和模型规模上表现优异。例如，在Countdown任务中，使用Olmo-3-7B-Instruct模型，RandOpt通过5000次随机权重猜测，并集成表现最佳的扰动，达到了与GRPO和ES方法相当的准确率。此外，在GQA数据集上，RandOpt将Qwen2.5-VL-3B-Instruct模型的准确率提高了12.4%。
这种方法的广泛应用可能会对大规模模型的优化和应用产生深远影响，尤其是在计算资源有限的情况下。RandOpt提供了一种全新的后训练优化策略，挑战了传统的梯度优化方法，展示了在大规模预训练模型中，任务专家在预训练权重附近的高密度分布特性。
然而，RandOpt也存在一些局限性，例如在测试时需要进行K次前向传递，增加了计算成本。此外，该方法在小规模模型上效果不明显，因为其专家解的密度较低。未来的研究方向包括探索如何在不增加计算成本的情况下提升RandOpt的性能，以及如何在更广泛的任务和模型上应用RandOpt。
深度分析
研究背景
近年来，预训练模型在自然语言处理和计算机视觉等领域取得了显著进展。通过在大规模数据集上进行预训练，模型可以获得通用的表示能力，为下游任务提供了良好的起点。然而，如何在这些预训练模型的基础上进行有效的后训练优化，仍然是一个具有挑战性的问题。传统的方法通常依赖于梯度下降等迭代优化技术，这些方法在大规模模型上可能效率不高，且需要大量的计算资源。此外，随着模型规模的增加，任务专家在预训练权重附近的分布特性也发生了变化，这为新的优化方法提供了可能性。
核心问题
本文关注的核心问题是如何在大规模预训练模型的基础上进行有效的后训练优化。传统的梯度优化方法在大规模模型上可能效率不高，且需要大量的计算资源。此外，随着模型规模的增加，任务专家在预训练权重附近的分布特性也发生了变化，这为新的优化方法提供了可能性。因此，如何利用这些分布特性，设计一种高效的后训练优化方法，是本文研究的重点。
核心创新
RandOpt方法的核心创新在于其利用预训练权重附近的高密度专家解，通过随机扰动和集成投票实现性能提升。这一方法不同于传统的梯度优化方法，提供了一种全新的后训练优化策略，尤其适用于大规模模型。具体来说，RandOpt通过在预训练权重附近进行随机参数扰动，并选取表现最佳的K个扰动进行集成投票，从而提升模型性能。这种方法完全并行化，不依赖于梯度更新，适用于大规模模型的后训练优化。
方法详解
RandOpt方法的具体步骤如下：
- �� 随机扰动：在预训练权重附近进行N次随机参数扰动，生成多个候选模型。
- �� 性能评估：对每个候选模型进行性能评估，计算其在特定任务上的表现。
- �� 集成投票：选取表现最佳的K个候选模型，通过集成投票的方式，生成最终的预测结果。
通过这种方式，RandOpt能够在不依赖于梯度更新的情况下，快速找到高性能的任务专家。
实验设计
实验设计包括在多个任务和模型规模上测试RandOpt方法的性能。使用的数据集包括Countdown、GSM8K、MATH-500、OlympiadBench等，模型包括Qwen、Llama、OLMo3等，覆盖从0.5B到8B的参数规模。基线方法包括PPO、GRPO、ES等，评估指标包括准确率、推理能力等。实验还进行了消融研究，以验证RandOpt的关键组件对性能的贡献。
结果分析
实验结果表明，RandOpt在多种任务和模型规模上表现优异。例如，在Countdown任务中，使用Olmo-3-7B-Instruct模型，RandOpt通过5000次随机权重猜测，并集成表现最佳的扰动，达到了与GRPO和ES方法相当的准确率。此外，在GQA数据集上，RandOpt将Qwen2.5-VL-3B-Instruct模型的准确率提高了12.4%。这些结果表明，RandOpt能够在不依赖于梯度更新的情况下，快速找到高性能的任务专家。
应用场景
RandOpt方法的应用场景包括大规模模型的后训练优化，尤其是在计算资源有限的情况下。通过利用预训练权重附近的高密度专家解，RandOpt能够在不增加计算成本的情况下，提升模型性能。此外，该方法还可以应用于多任务学习、模型集成等领域，为大规模模型的优化和应用提供新的思路。
局限与展望
尽管RandOpt方法在大规模模型上表现优异，但其在小规模模型上的效果不明显，因为其专家解的密度较低。此外，RandOpt在测试时需要进行K次前向传递，增加了计算成本。未来的研究方向包括探索如何在不增加计算成本的情况下提升RandOpt的性能，以及如何在更广泛的任务和模型上应用RandOpt。
通俗解读 非专业人士也能看懂
想象一下你在一个巨大的图书馆里寻找一本特定的书。这个图书馆代表了一个预训练的大规模模型，而你要找的书就是一个特定的任务专家。在传统的方法中，你可能需要一个复杂的搜索算法，比如梯度下降，来帮助你找到这本书。但在RandOpt方法中，我们采用了一种更简单的方法：随机抽取一些书，然后选出最接近你想要的那本。
这个过程就像是在图书馆里随机挑选一些书，然后通过快速浏览来判断哪本书最接近你要找的那本。最后，你把这些书的内容结合起来，形成一个完整的答案。这种方法的好处在于，它不需要复杂的搜索算法，只需简单的随机抽取和快速判断。
通过这种方式，RandOpt能够在大规模模型中快速找到高性能的任务专家，而不需要依赖于传统的梯度优化方法。这就像是在一个巨大的图书馆里，通过随机抽取和快速判断，找到你想要的书一样简单有效。
简单解释 像给14岁少年讲一样
嘿，小伙伴们！想象一下你在玩一个超级复杂的游戏，这个游戏有一个巨大的地图，而你需要找到隐藏在地图上的宝藏。传统的方法就像是用一个超级复杂的指南针，帮助你一步步接近宝藏。但今天我们要聊的RandOpt方法就像是直接在地图上随机放置一些标记，然后看看哪个标记最接近宝藏。
这个方法就像是在游戏中随机放置一些标记，然后通过快速查看来判断哪个标记最接近宝藏。最后，你把这些标记的信息结合起来，形成一个完整的路线。这种方法的好处在于，它不需要复杂的指南针，只需简单的随机放置和快速判断。
通过这种方式，RandOpt能够在游戏中快速找到宝藏，而不需要依赖于传统的指南针。这就像是在一个巨大的游戏地图上，通过随机放置和快速判断，找到你想要的宝藏一样简单有效。是不是很酷？
术语表
预训练 (Pretraining)
在大规模数据集上训练模型以获得通用表示能力的过程。
在本文中，预训练是RandOpt方法的基础，提供了初始的权重分布。
随机扰动 (Random Perturbation)
对模型参数进行随机变化以探索不同解的过程。
RandOpt通过随机扰动在预训练权重附近寻找高性能解。
集成投票 (Ensemble Voting)
通过结合多个模型的预测结果来提高最终预测准确率的方法。
RandOpt通过集成投票选取表现最佳的扰动。
任务专家 (Task Expert)
在特定任务上表现优异的模型或模型参数。
RandOpt利用预训练权重附近的任务专家提升性能。
梯度下降 (Gradient Descent)
一种通过迭代更新参数以最小化损失函数的优化算法。
传统方法中常用的优化技术，而RandOpt不依赖于此。
大规模模型 (Large-scale Model)
具有大量参数的深度学习模型，通常在大数据集上进行训练。
RandOpt特别适用于大规模模型的后训练优化。
后训练优化 (Post-training Optimization)
在预训练模型基础上进行的进一步优化，以提高特定任务性能。
RandOpt是一种后训练优化方法。
消融研究 (Ablation Study)
通过移除或改变模型的某些部分来评估其对整体性能的影响。
实验中用于验证RandOpt关键组件的贡献。
推理能力 (Reasoning Ability)
模型在理解和解决复杂问题时的表现能力。
RandOpt在多个任务中提升了模型的推理能力。
计算成本 (Computational Cost)
执行算法或模型训练所需的计算资源和时间。
RandOpt在测试时的计算成本较高。
开放问题 这项研究留下的未解疑问
- 1 如何在不增加计算成本的情况下提升RandOpt的性能？目前的方法在测试时需要进行多次前向传递，增加了计算成本。
- 2 RandOpt在小规模模型上的效果不明显，如何在这些模型上提升其性能？
- 3 在更广泛的任务和模型上应用RandOpt的潜力如何？目前的研究主要集中在特定任务和模型规模上。
- 4 如何进一步优化RandOpt的随机扰动策略，以提高其在不同任务上的表现？
- 5 RandOpt的性能提升是否部分归因于格式修正而非真正的推理改进？如何区分这两者的贡献？
- 6 在多任务学习中，RandOpt如何与其他集成学习方法结合使用，以提高整体性能？
- 7 如何利用RandOpt的方法论来优化其他类型的模型，如生成模型或强化学习模型？
应用场景
近期应用
大规模模型优化
RandOpt可用于优化大规模预训练模型，尤其在计算资源有限的情况下，通过随机扰动和集成投票提升性能。
多任务学习
在多任务学习中，RandOpt可用于快速找到特定任务的专家解，从而提高整体性能。
模型集成
RandOpt提供了一种新的模型集成方法，通过随机扰动和集成投票，提升模型的鲁棒性和准确性。
远期愿景
通用人工智能
通过优化大规模模型，RandOpt有潜力推动通用人工智能的发展，尤其在多任务和多领域应用中。
自动化优化
RandOpt的方法论可用于开发自动化的模型优化工具，减少人工干预，提高效率。
原文摘要
Pretraining produces a learned parameter vector that is typically treated as a starting point for further iterative adaptation. In this work, we instead view the outcome of pretraining as a distribution over parameter vectors, whose support already contains task-specific experts. We show that in small models such expert solutions occupy a negligible fraction of the volume of this distribution, making their discovery reliant on structured optimization methods such as gradient descent. In contrast, in large, well-pretrained models the density of task-experts increases dramatically, so that diverse, task-improving specialists populate a substantial fraction of the neighborhood around the pretrained weights. Motivated by this perspective, we explore a simple, fully parallel post-training method that samples $N$ parameter perturbations at random, selects the top $K$, and ensembles predictions via majority vote. Despite its simplicity, this approach is competitive with standard post-training methods such as PPO, GRPO, and ES for contemporary large-scale models.
参考文献 (20)
GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering
Drew A. Hudson, Christopher D. Manning
Evolution Strategies at Scale: LLM Fine-Tuning Beyond Reinforcement Learning
Xin Qiu, Yulu Gan, Conor F. Hayes 等
Training Verifiers to Solve Math Word Problems
K. Cobbe, Vineet Kosaraju, Mo Bavarian 等
Proximal Policy Optimization Algorithms
John Schulman, Filip Wolski, Prafulla Dhariwal 等
Evaluating Benchmark Problems by Random Guessing
J. Kolen, S. C. Kremer
How Learning Can Guide Evolution
Geoffrey E. Hinton, S. Nowlan
Training language models to follow instructions with human feedback
Long Ouyang, Jeff Wu, Xu Jiang 等
The Linear Representation Hypothesis and the Geometry of Large Language Models
Kiho Park, Yo Joong Choe, Victor Veitch
Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning
Y. Gal, Zoubin Ghahramani
HybridFlow: A Flexible and Efficient RLHF Framework
Guangming Sheng, Chi Zhang, Zilingfeng Ye 等
Spurious Rewards: Rethinking Training Signals in RLVR
Rulin Shao, Shuyue Stella Li, R. Xin 等
Learning to Reason in 13 Parameters
John X. Morris, Niloofar Mireshghallah, Mark Ibrahim 等
Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
Chelsea Finn, P. Abbeel, S. Levine
PEP: Parameter Ensembling by Perturbation
Alireza Mehrtash, P. Abolmaesumi, P. Golland 等
Analyzing Reinforcement Learning Benchmarks with Random Weight Guessing
Declan Oller, T. Glasmachers, Giuseppe Cuccu
Interpreting the Weight Space of Customized Diffusion Models
Amil Dravid, Yossi Gandelsman, Kuan-Chieh Jackson Wang 等
OlympiadBench: A Challenging Benchmark for Promoting AGI with Olympiad-Level Bilingual Multimodal Scientific Problems
Chaoqun He, Renjie Luo, Yuzhuo Bai 等
Inference Scaling Laws: An Empirical Analysis of Compute-Optimal Inference for LLM Problem-Solving
Yangzhen Wu, Zhiqing Sun, Shanda Li 等
MATH-Beyond: A Benchmark for RL to Expand Beyond the Base Model
Prasanna Mayilvahanan, Ricardo Dominguez-Olmedo, Thaddaus Wiedemer 等
Snapshot Ensembles: Train 1, get M for free
Gao Huang, Yixuan Li, Geoff Pleiss 等