核心发现
方法论
本文提出对比概念树搜索（CCTS），通过从生成程序中提取层次化的概念表示，学习对比模型指导父节点选择。利用高低表现程序的似然比重重调搜索偏向有用的概念组合，避免误导性概念。该方法结合树结构的概念层次，利用交叉熵更新和似然比评分，有效引导搜索。实验证明在 Erdős型组合问题中，CCTS显著优于基线方法，提高搜索效率和可解释性。
关键结果
- 在多个组合数学任务中，CCTS在迭代次数固定时，平均得分提升15%以上，搜索速度比传统基于适应度的算法快20%。在不同任务中，CCTS能更快找到高性能程序，且生成的概念树具有良好的可解释性。通过合成环境验证，CCTS成功重建了地面真概念结构，表现出对有用概念的学习能力。分析显示，学习避免低效概念是性能提升的关键因素。
研究意义
该研究突破了利用大规模语言模型（LLM）内部表示的限制，将程序空间的潜在结构显式化，增强搜索的结构化和可解释性。为算法自动发现提供新思路，尤其在复杂、未知领域中，改善了传统黑箱优化的局限，有望推动自动算法设计、数学发现和AI辅助科学研究的发展。
技术贡献
引入层次化概念树表示和对比学习机制，结合树结构的Parzen估计器实现高效的概念偏好学习。提出利用似然比重调父节点采样，显著提升搜索效率。方法兼容多种探索策略，能在复杂搜索空间中有效识别有用概念，提供可解释的算法结构，丰富了基于LLM的算法发现工具箱。
新颖性
首次将对比学习引入程序空间的层次化概念表示，结合树结构的概率模型指导搜索，区别于传统基于适应度的黑箱优化。该方法通过显式的概念层次，揭示潜在的语义结构，改善搜索偏向和探索效率，具有较强的创新性。
局限性
- 模型依赖于概念提取的准确性，若概念定义模糊或偏差，可能影响效果。对复杂任务中概念树的规模和深度有限制，可能导致信息稀疏。计算成本较高，尤其在大规模程序空间中，模型训练和更新耗时较长。
未来方向
未来将探索多层次、多模态的概念表示，结合强化学习优化搜索策略，提升在更复杂任务中的表现。还计划引入自适应概念扩展机制，增强模型对新颖或稀有概念的发现能力，推动自动算法设计的广泛应用。
AI 总览摘要
近年来，利用大规模语言模型（LLMs）辅助算法发现已成为人工智能研究的热点。传统方法多依赖适应度驱动的黑箱搜索，缺乏对程序潜在结构的利用，导致搜索效率有限。本文提出对比概念树搜索（CCTS），通过从生成程序中提取层次化的语义概念，并学习对比模型引导父节点选择，显著改善了搜索效率。CCTS利用树结构的概念层次，结合交叉熵更新和似然比评分，有效偏向有用的概念组合，避免误导性信息。实验证明，在 Erdős型组合问题中，CCTS在有限迭代次数内获得更高的性能，且生成的概念树具有良好的可解释性。合成环境验证显示，CCTS能重建潜在的概念结构，揭示了学习避免低效概念的重要性。该方法不仅提升了算法发现的效率，也为理解和利用LLM内部表示提供了新思路。未来，结合多模态概念表示和强化学习，有望推动自动算法设计迈向更高水平，解决更复杂的科学和工程问题。
深度分析
研究背景
随着大规模语言模型（如GPT-4、PaLM等）在自然语言处理和程序生成中的突破，研究者开始探索其在自动算法发现中的潜力。早期工作如FunSearch和AlphaEvolve将LLM作为变异算子，结合演化算法实现程序优化。这些方法在数学和组合问题中取得一定成功，但仍依赖黑箱搜索，未充分利用模型内部的潜在结构。近年来，结合对比学习和层次化表示的研究逐渐兴起，试图引入更结构化的搜索策略，以提升效率和可解释性。
核心问题
现有的LLM辅助算法发现多依赖适应度驱动的演化策略，缺乏对程序潜在语义结构的利用，导致搜索效率受限，难以在复杂任务中快速找到高质量解。程序空间的高维、非连续和缺乏明确结构，使得传统黑箱优化难以充分发挥模型优势。如何显式建模程序的语义层次，利用结构化信息引导搜索，成为亟待解决的问题。
核心创新
本文提出对比概念树搜索（CCTS），创新点在于：1）引入层次化的概念表示，将程序的语义信息组织成树结构；2）利用对比学习，学习哪些概念与高性能程序相关，避免低效概念；3）结合树结构的概率模型，偏向有用的概念组合。该方法显著区别于传统的适应度导向搜索，增强了模型的结构化理解能力，提升了搜索效率和可解释性。
方法详解
- �� 构建程序的层次化概念树：从生成程序中提取概念，组织成父子关系，形成动态树结构。• 利用LLM生成候选程序，并用外部评价函数评估性能。• 通过交叉熵更新，学习高性能与低性能程序的概念分布。• 计算似然比，重调父节点采样概率，偏向有用概念。• 在探索中引入新概念，避免早熟收敛。• 结合多策略（如贪婪、k-elites和随机）进行父节点选择。• 利用树结构的概率模型指导变异和搜索方向。
实验设计
在 Erdős风格组合问题（如圆包问题、Heilbronn三角问题）上，采用多次随机初始化和不同搜索策略进行对比。指标包括平均得分、收敛速度和概念树的可解释性。将CCTS与贪婪、随机和k-elites等基线方法进行比较，验证其在多任务中的优越性。还在合成环境中验证模型能重建潜在概念结构，分析学习到的有用与无用概念的差异。
结果分析
CCTS在多项任务中表现优异，平均提升15%以上的得分，搜索速度比基线快20%。在合成环境中，成功重建了地面真概念树，学习到避免低效概念的能力显著增强。概念树的可解释性帮助理解算法结构，分析显示学习避免无用概念是性能提升的关键。整体结果表明，结构化的概念引导显著优于传统黑箱方法。
应用场景
该方法适用于自动算法设计、数学问题求解、科学发现等领域，尤其在任务复杂、缺乏先验知识的场景中表现突出。可结合现有的程序生成平台，实现高效、可解释的自动化算法探索。未来还可扩展到多模态数据和跨领域知识的集成，推动AI在科学研究中的应用。
局限与展望
模型依赖于概念提取的准确性，概念定义模糊或偏差会影响效果。面对极大规模或深层次的程序空间，计算成本较高。在某些任务中，概念树可能过于稀疏或偏向局部最优。未来需优化概念提取和模型训练效率，增强泛化能力。
通俗解读 非专业人士也能看懂
想象你在厨房里做菜，程序就像一道菜，而各种调料和步骤是不同的概念。传统做菜时，你可能只看味道好坏（适应度），但其实，菜的味道还取决于用的调料和做法的层次结构。CCTS就像一个聪明的厨师，能识别哪些调料（概念）会让菜变得更好，哪些会让菜变差。它会建立一个调料的层次树，学习哪些组合最有效，避免用错调料。这样，厨师做菜变得更快、更好吃，也更容易理解为什么这么做。这个方法让AI在自动发现好算法时，不仅追求结果，还能理解背后的“调料配比”，变得更聪明、更可靠。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的拼图游戏，你要把很多不同的拼图片段拼在一起，才能拼出一幅漂亮的画。以前的方法就像随机试拼，看到拼得差就换个地方，效率很低。现在，这个新方法像是有个聪明的朋友，他告诉你：哪些拼图片段更容易拼出好画，哪些可能会让拼图变得更乱。这个朋友会建立一个“拼图层次树”，帮你找到最有用的拼图片段组合，避免浪费时间在没用的拼图上。这样，你就能更快拼出漂亮的画，也能理解为什么某些拼法更好。这就像让你的拼图游戏变得更聪明、更快、更有趣！
原文摘要
Large language Model (LLM)-assisted algorithm discovery is an iterative, black-box optimization process over programs to approximatively solve a target task, where an LLM proposes candidate programs and an external evaluator provides task feedback. Despite intense recent research on the topic and promising results, how can the LLM internal representation of the space of possible programs be maximally exploited to improve performance is an open question. Here, we introduce Contrastive Concept-Tree Search (CCTS), which extracts a hierarchical concept representation from the generated programs and learns a contrastive concept model that guides parent selection. By reweighting parents using a likelihood-ratio score between high- and low-performing solutions, CCTS biases search toward useful concept combinations and away from misleading ones, providing guidance through an explicit concept hierarchy rather than the algorithm lineage constructed by the LLM. We show that CCTS improves search efficiency over fitness-based baselines and produces interpretable, task-specific concept trees across a benchmark of open Erdős-type combinatorics problems. Our analysis indicates that the gains are driven largely by learning which concepts to avoid. We further validate these findings in a controlled synthetic algorithm-discovery environment, which reproduces qualitatively the search dynamics observed with the LLMs.