核心发现
方法论
本文提出了一种新的代理贝叶斯优化框架，其中大型语言模型（LLM）作为优化循环的核心决策者。该框架结合了贝叶斯后端以提供不确定性感知的优化基础。代理能够配置问题、查询后端、选择并提交评估，并在运行过程中通过收紧边界、切换采集函数、提出针对性评估或根据新指令或观察到的证据重新构建问题来修改优化策略。
关键结果
- Sara在合成和真实世界基准测试中保持了最先进贝叶斯优化的可靠性，无需先验知识，超越了基于LLM的基线，并使用自然语言先验超越标准BO。
- 在动态设置中，Sara能够根据需求变化实时重新配置整个优化问题，这一能力在标准BO中以前是不可用的。
- 与Centaur相比，Sara在实验中表现出显著更好的性能。
研究意义
该研究通过引入代理贝叶斯优化，显著提高了优化过程的灵活性和适应性。它不仅保留了贝叶斯优化的样本效率，还利用自然语言处理能力增强了优化策略的动态调整能力。这一创新为解决复杂的动态优化问题提供了新的视角，并可能在学术界和工业界引发广泛应用。
技术贡献
本文的技术贡献在于将大型语言模型与贝叶斯优化后端结合，形成一个能够动态调整优化策略的系统。与现有方法相比，Sara不仅能够在运行时修改优化策略，还能利用自然语言先验知识进行更有效的搜索。这种方法为复杂问题的优化提供了新的理论保证和工程可能性。
新颖性
这是首次将大型语言模型作为贝叶斯优化的核心决策者，并结合贝叶斯后端以提供不确定性感知的优化基础。与现有的LLM优化方法相比，Sara能够在运行时动态调整优化策略，而不是预先固定。
局限性
- Sara在处理极端复杂或不确定性极高的问题时可能表现不佳，因为代理模型对这些问题的适应性仍需进一步验证。
- 当前系统对计算资源的需求较高，可能限制其在资源有限的环境中的应用。
- 在某些情况下，代理可能无法充分利用所有可用的自然语言先验。
未来方向
未来的研究可以探索如何进一步优化代理的决策过程，提高其在复杂动态环境中的适应性。此外，可以研究如何降低系统的计算资源需求，以便在更多应用场景中推广使用。
AI 总览摘要
贝叶斯优化已成为样本效率优化的标准工具，然而其固定策略限制了动态调整的能力。本文提出了一种新的代理贝叶斯优化框架，其中大型语言模型（LLM）作为优化循环的核心决策者。该框架结合了贝叶斯后端以提供不确定性感知的优化基础。代理能够配置问题、查询后端、选择并提交评估，并在运行过程中通过收紧边界、切换采集函数、提出针对性评估或根据新指令或观察到的证据重新构建问题来修改优化策略。实验结果表明，Sara在合成和真实世界基准测试中保持了最先进贝叶斯优化的可靠性，无需先验知识，超越了基于LLM的基线，并使用自然语言先验超越标准BO。我们进一步展示了代理贝叶斯优化在动态设置中的实际价值，其中Sara能够根据需求变化实时重新配置整个优化问题，这一能力在标准BO中以前是不可用的。尽管Sara展示了显著的性能提升，但其计算资源需求较高，可能限制其在资源有限的环境中的应用。未来的研究可以探索如何进一步优化代理的决策过程，提高其在复杂动态环境中的适应性。
深度分析
研究背景
贝叶斯优化是一种用于样本效率优化的标准工具，广泛应用于超参数调优、机器人技术和实验设计等领域。其成功主要归功于不确定性感知的顺序决策过程，通常通过高斯过程跟踪目标的已知信息，并使用后验选择下一个点，权衡探索和开发。然而，标准贝叶斯优化的配置在开始时完全指定，并在整个过程中保持不变，这限制了其动态调整的能力。
核心问题
标准贝叶斯优化的固定策略限制了其在动态环境中的适应性。虽然现有方法允许在运行时提供结构化用户先验，但它们固定了反馈形式及其影响候选选择的机制。经典贝叶斯优化无法轻易吸收领域专家的先验知识，而大型语言模型改变了这一局面。
核心创新
本文提出了一种新的代理贝叶斯优化框架，其中大型语言模型（LLM）作为优化循环的核心决策者。该框架结合了贝叶斯后端以提供不确定性感知的优化基础。代理能够配置问题、查询后端、选择并提交评估，并在运行过程中通过收紧边界、切换采集函数、提出针对性评估或根据新指令或观察到的证据重新构建问题来修改优化策略。
方法详解
- �� 代理配置问题并查询贝叶斯后端。 • 选择并提交评估。 • 在运行过程中收紧边界、切换采集函数。 • 提出针对性评估或根据新指令或观察到的证据重新构建问题。
实验设计
实验设计包括合成和真实世界基准测试，使用Sara和lenz进行比较。基准测试涵盖不同的动态设置，以评估Sara在需求变化时重新配置优化问题的能力。结果表明，Sara在合成和真实世界基准测试中保持了最先进贝叶斯优化的可靠性，无需先验知识，超越了基于LLM的基线。
结果分析
实验结果表明，Sara在合成和真实世界基准测试中保持了最先进贝叶斯优化的可靠性，无需先验知识，超越了基于LLM的基线，并使用自然语言先验超越标准BO。我们进一步展示了代理贝叶斯优化在动态设置中的实际价值，其中Sara能够根据需求变化实时重新配置整个优化问题。
应用场景
代理贝叶斯优化可用于动态环境中的复杂优化问题，如实时系统配置和动态资源分配。其灵活性和适应性使其在学术研究和工业应用中具有广泛的潜力。
局限与展望
尽管Sara展示了显著的性能提升，但其计算资源需求较高，可能限制其在资源有限的环境中的应用。此外，代理在处理极端复杂或不确定性极高的问题时可能表现不佳，因为代理模型对这些问题的适应性仍需进一步验证。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭。贝叶斯优化就像一个聪明的厨师，他知道如何根据现有的食材做出最好的菜肴。传统的厨师可能会提前计划好整个菜单，不会根据食材的变化做出调整。而代理贝叶斯优化就像一个灵活的厨师，他不仅能根据食材的变化调整菜单，还能根据客人的反馈实时改变做法。这样，他能做出更符合客人口味的菜肴，同时也能更好地利用厨房里的资源。
简单解释 像给14岁少年讲一样
嘿，小朋友！想象一下你在玩一个超级酷的游戏。传统的游戏角色可能会按照预设的路线走，不会根据游戏中的变化做出调整。而代理贝叶斯优化就像一个聪明的游戏角色，他不仅能根据游戏中的变化调整路线，还能根据你的指令实时改变策略。这样，他能更快地完成任务，同时也能更好地利用游戏中的资源。是不是很酷？
术语表
贝叶斯优化 (Bayesian Optimization)
一种用于样本效率优化的标准工具，通常通过高斯过程进行不确定性感知的顺序决策。
在本文中用于优化复杂的动态问题。
代理模型 (Agent Model)
一种能够根据环境变化动态调整策略的模型。
在本文中作为贝叶斯优化的核心决策者。
大型语言模型 (Large Language Model)
一种能够处理自然语言并进行复杂推理的模型。
在本文中用于提供自然语言先验。
采集函数 (Acquisition Function)
用于选择下一个评估点的函数，权衡探索与开发。
在本文中用于代理模型的决策过程。
高斯过程 (Gaussian Process)
一种用于跟踪目标已知信息的概率模型。
在本文中作为贝叶斯优化的后端。
开放问题 这项研究留下的未解疑问
- 1 如何进一步优化代理的决策过程，提高其在复杂动态环境中的适应性。
- 2 如何降低系统的计算资源需求，以便在更多应用场景中推广使用。
应用场景
近期应用
动态系统配置
代理贝叶斯优化可用于实时系统配置，提供灵活的优化策略。
远期愿景
智能资源分配
在未来，代理贝叶斯优化可用于智能资源分配，提高系统效率。
原文摘要
Bayesian optimization (BO) has become the standard tool for sample-efficient optimization and owes its efficiency to uncertainty-aware search driven by generic statistical priors. Richer domain priors can improve BO in principle, but encoding them through tailored kernels or problem structure is difficult and rarely done in practice. LLMs can help sidestep this difficulty by making informal priors from natural language, code, and documentation directly available to the optimizer. However, existing LLM-based BO methods either insert the LLM into a fixed role (surrogate, acquisition proxy, or configuration interface) or hand it broad control, sacrificing the systematic exploration that makes BO reliable. We introduce agentic Bayesian optimization: a paradigm in which an LLM agent is the central decision maker in the BO loop while a Bayesian backend provides the uncertainty-aware optimization substrate. The agent configures the problem, queries the backend, selects and commits evaluations, and can revise the optimization strategy during the run by tightening bounds, switching acquisition functions, proposing targeted evaluations, or even reframing the problem following new instructions or observed evidence. We instantiate this idea in Sara, a surrogate-augmented autoresearch agent, and lenz, a modular BoTorch-based backend that the agent can inspect and modify through a structured interface. Across synthetic and real-world benchmarks, Sara preserves the reliability of state-of-the-art BO without prior knowledge, outperforms LLM-based baselines, and uses natural-language priors to improve beyond standard BO. We further demonstrate the practical value of agentic BO in dynamic settings, where Sara reconfigures the full optimization problem on the fly as requirements change, a capability not previously available in standard BO.