核心发现
方法论
本文提出基于任务特定的算法设计空间，将人类设计的方法结构化，利用LLM代理生成代码，并映射到设计空间中。通过模块级别的差异度量，比较人类与代理方法的算法差异。采用多模态、开放式AI任务，结合人类参考方法构建空间，评估代理在性能和创新性上的表现。实验中，代理偶尔达到或超越人类SOTA，但多集中在已知设计空间内，重用现有算法选择。该方法结合专家审查，确保空间构建的合理性和映射的准确性。
关键结果
- 代理在72个配置中，有10个达到或超越人类SOTA，表现有限且不稳定，主要集中在GoEmotions任务。绝大多数代理方法（96.8%）落在由人类设计空间定义的范围内，显示出算法选择的重用与重组特征。约一半方法与现有人类算法完全一致，表明创新有限。
- 算法距离分析显示，73.7%的方法与人类方法在模块层面差异不超过1，说明代理偏向于已知设计。最常用的算法坐标占据大部分方法，探索范围有限，反映出代理偏好局部优化和有限的探索空间。
- 在高性能方法中，绝大多数（88%）采用人类已观察到的算法选择，ensemble预测是常用策略。提供预设参考资料对性能提升作用有限，表明代理更依赖于已有知识的重用。
研究意义
本研究揭示了当前LLM代理在复杂AI任务中的算法设计特征，强调其创新能力受限于人类设计空间的重用，反映出AI自主创新的瓶颈。通过结构化空间分析，为未来算法探索提供可追溯、可审计的框架，有助于推动AI自主创新和算法多样性发展。这一方法也为评估AI自动设计的潜力提供了量化工具，促进AI系统的透明性和可解释性。
技术贡献
本文提出基于模块的算法设计空间构建方法，结合专家审查，系统映射人类与代理算法，利用距离指标量化差异。引入多模态、开放式任务集，建立多维性能与创新性评估体系。通过模块级别的差异分析，揭示代理偏好已知设计，限制了创新潜力，为未来自主创新提供理论基础。
新颖性
首次系统将人类设计方法结构化为可比的算法空间，结合专家审查确保空间合理性，利用距离指标量化代理与人类设计的差异。强调代理在现有设计空间内的重用，揭示其创新局限，为自动算法设计提供新的评估框架。
局限性
- 分析依赖于预定义的设计空间，可能遗漏潜在创新路径，限制了对新颖算法的探索能力。
- 实验主要集中在特定任务和模型，泛化到其他任务或模型仍需验证。
- 代理在探索范围有限，未充分利用外部知识或长远规划，限制创新潜力。
未来方向
未来将探索扩展设计空间的多样性，结合强化学习和自主探索机制，提升代理的创新能力。引入动态空间调整和多目标优化，促进算法多样性。同时，结合更广泛的任务集和多模态数据，推动AI自主创新的理论与实践发展。
AI 总览摘要
近年来，随着大规模语言模型（LLMs）在多任务环境中的应用不断深化，研究者开始关注其在自动算法设计中的潜力。传统上，AI算法由人类专家手工设计，经过反复试验优化，过程繁琐且创新有限。近期，LLM代理展现出在复杂AI任务中自主生成算法方案的能力，引发学界对其创新性和性能的关注。
本文系统分析了多模态、开放式AI任务中，LLM代理设计方法的表现。通过构建任务特定的算法设计空间，将人类设计的算法结构化为可比的模块化空间，利用距离指标评估代理方法与人类设计的相似度。实验结果显示，代理在72个配置中仅有10个达到或超越人类SOTA，表现虽有突破，但整体仍偏向已知设计，创新空间有限。绝大多数代理方法（96.8%）都在由人类设计空间内，且近一半与现有算法完全一致，反映出重用与重组的偏好。
分析还发现，代理偏好局限于少数几种算法坐标，探索范围有限，创新潜力不足。高性能方法多采用集成预测，依赖已观察到的算法选择，缺乏长远规划或外部知识的利用。尽管如此，结构化空间提供了清晰的算法差异度量，为未来自主创新提供了理论基础。未来，扩展设计空间的多样性、引入自主探索机制，将是提升AI自主创新能力的关键路径。这项研究为理解AI自动设计的潜力与局限提供了重要视角，推动AI系统的透明性和可解释性发展。
深度解读
原文摘要
Recent advances in LLM agents have made them increasingly capable of designing methods for complex AI tasks. This raises two central questions about agent-designed methods relative to human-designed methods: how well they perform, and how different their algorithmic designs are. To study these questions, this paper introduces an analysis that derives task-specific algorithmic design spaces from human-designed methods, maps both human- and agent-designed methods into these spaces, and quantifies their algorithmic differences at the module level. Widely used LLM agents are evaluated on a suite of representative, open-ended AI tasks spanning multiple modalities, and the methods they design are analyzed in terms of both task performance and algorithmic differences from human-designed methods. Experimental results show that current agents can occasionally match or surpass human state-of-the-art (SOTA) performance (10/72 configurations), but such success does not generalize reliably across tasks or agents. Moreover, 96.8% of agent-designed methods fall within human-derived algorithmic design spaces, largely recombining algorithmic choices found in human-designed methods, while nearly half exactly match an existing human algorithmic design. Taken together, these findings suggest that although current agents can occasionally match or surpass human SOTA performance, their algorithmic designs remain within human-derived algorithmic design spaces, reflecting the reuse and recombination of algorithmic choices.