核心发现
方法论
该研究利用神经网络存储库中的已评估模型，结合大规模语言模型（LLM）生成候选模型。核心算法为TuneNNGen，扩展自NNGPT，加入源模型引导路径，通过在相同预算下比较目标模型单独生成与引入源模型的效果，验证迁移效果。采用CIFAR-10和SVHN两个数据集，设定一 epoch搜索协议，评估生成候选的准确率、可靠性与一致性。通过固定源模型选择规则（最高准确率与结构相似性）比较，分析模型迁移的影响机制。
关键结果
- 在CIFAR-10上，目标模型准确率由23.98%提升至50.49%，SVHN由22.54%提升至78.80%，显著优于目标单独生成。多轮五epoch训练验证显示，迁移模型带来40.94、18.83和7.27点的持续提升。源模型的存储准确率并不能直接预测迁移效果，模型结构相似性更具指导意义。
- 不同LLM（DeepSeek-Coder-6.7B、Qwen-2.5B、OlympicCoder-7B）在迁移中的表现差异明显，结构相似的源模型在所有LLM中均表现出更优的迁移效果。引入源模型显著提高生成候选的成功率和最优准确率，验证了迁移策略的有效性。
- 通过直接复制与负控分析，确认模型性能提升依赖于源目标的兼容性与LLM的适应能力。研究还在多个数据集和架构族上验证了方法的普适性，显示迁移模型在不同任务中均能带来显著改进。
研究意义
本研究在模型迁移与自动化模型优化领域具有重要意义。通过利用已评估的模型存储库，结合LLM的生成能力，有效突破传统超参数搜索的瓶颈，显著提升低性能模型的表现。这不仅推动了AutoML的自动化水平，也为大规模模型调优提供了新的思路。研究强调结构相似性在迁移中的关键作用，为未来模型选择提供理论依据，具有广泛的应用潜力，包括自动化神经网络设计、模型压缩与迁移学习等。
技术贡献
提出基于同族模型存储库的模型迁移策略，结合LLM生成候选，创新性地引入结构相似性作为迁移指标。扩展NNGPT框架，加入源模型引导路径，显著提升生成候选的准确率和可靠性。设计多源选择规则，验证不同策略的迁移效果，提供了系统的评估框架。实验中，验证了在有限预算下，迁移模型能带来数十个百分点的性能提升，展示了该方法在AutoML中的潜力。
新颖性
首次系统性将存储库中的已评估模型作为LLM生成的引导源，结合结构相似性进行迁移选择。区别于传统超参数优化或架构搜索，强调模型结构的迁移能力。提出多源选择策略，验证迁移效果的影响机制，为模型迁移和AutoML结合提供新思路。这在模型优化自动化方面具有创新意义，填补了模型迁移指标研究的空白。
局限性
- 当前方法依赖于存储库中已评估模型的质量，若源模型本身性能不足，迁移效果受限。模型结构相似性指标虽有效，但在复杂架构或新颖设计中可能不适用。实验主要集中在图像分类任务，泛化到其他任务仍需验证。迁移过程中的计算成本较高，尤其在大模型环境下，实际应用仍面临效率挑战。
- 模型迁移效果受源模型与目标模型的兼容性影响较大，如何自动评估和筛选最优源模型仍是未解决的问题。未来需结合元学习或强化学习策略优化源模型选择。
未来方向
未来将探索多源融合策略，结合元学习优化源模型筛选机制，提升迁移效果。扩展到其他任务（如目标检测、自然语言处理）以及更复杂的架构族，验证方法的普适性。考虑模型压缩与加速技术，降低迁移成本，推动实际应用落地。同时，结合强化学习自动调整迁移策略，实现更智能的模型优化流程。
AI 总览摘要
在深度学习模型的自动化优化中，如何高效利用已有模型存储库成为关键问题。传统方法多依赖随机搜索或超参数调优，效率有限。本文提出一种基于同族模型迁移的策略，结合大规模语言模型（LLM）生成候选模型，显著提升低性能模型的表现。核心创新在于引入结构相似性作为迁移指标，优先选择结构相近的源模型，从而增强迁移效果。研究在CIFAR-10和SVHN两个数据集上进行，结果显示准确率从23.98%提升到50.49%，在SVHN上从22.54%跃升至78.80%，验证了方法的有效性。多轮五epoch训练验证进一步确认，迁移模型带来持续性能提升，分别达40.94、18.83和7.27点。实验还揭示，存储的源模型准确率并不能完全预测迁移效果，结构相似性更具指导意义。不同LLM的表现差异明显，结构相似的源模型在所有场景中表现优越。通过直接复制和负控分析，验证了迁移效果依赖于模型兼容性和LLM适应能力。该方法为自动化模型优化提供了新思路，推动AutoML向更智能、更高效方向发展。未来，将结合多源融合、跨任务迁移及模型压缩技术，拓展应用场景，提升实际落地能力。
深度分析
研究背景
深度学习模型的设计与优化经历了从手工调参到自动化搜索的演变。神经架构搜索（NAS）如强化学习、演化算法和微分搜索等已取得显著进展，但计算成本高昂。超参数优化方法（如Hyperband、贝叶斯优化）在训练策略调整中发挥作用。近年来，结合大规模语言模型（LLM）进行架构生成和调优成为新趋势，借助提示工程和反馈机制提升生成质量。存储库中的已评估模型为模型迁移和AutoML提供丰富资源，但如何有效利用这些资源仍未充分解决。传统迁移依赖性能指标，忽视结构相似性，导致迁移效果不稳定。本研究试图突破这一瓶颈，结合模型结构信息优化迁移策略，推动模型自动化设计。
核心问题
现有模型迁移多依赖性能指标，忽视结构相似性，导致迁移效果不稳定。低性能模型难以通过简单超参数调优改善，尤其在有限预算下效果有限。如何选择最合适的源模型以最大化迁移收益，成为关键难题。模型结构差异、任务复杂度和模型兼容性影响迁移效果，但缺乏系统评估机制。本文旨在提出一种结构相似性导向的迁移策略，结合LLM生成候选，提升迁移效率和效果，为模型自动化优化提供新思路。
核心创新
创新点包括：1）引入模型结构相似性作为迁移指标，优先选择结构相近的源模型，提升迁移成功率；2）结合大规模语言模型（LLM）生成候选，自动调整模型架构和训练策略；3）设计多源选择规则，系统评估迁移效果，验证结构相似性优于性能指标的指导作用。这一策略突破了传统性能优先的迁移思路，强调模型结构的匹配性，显著提升迁移效果，为AutoML提供了新的技术路径。
方法详解
- �� 构建神经网络存储库，存储已评估模型的架构、训练参数和性能指标。• 选择目标模型（性能较低）和源模型（性能较高、结构相似），基于结构相似性或最高准确率规则。• 利用LLM（如DeepSeek-Coder、Qwen）在相同预算下生成候选模型，输入包括目标和源模型信息。• 设计多条件生成策略，包括仅目标、目标+源、结构编辑和训练策略调整。• 进行兼容性检查，确保候选模型可训练和评估。• 训练候选模型，评估准确率，记录最优结果。• 比较引导前后模型性能差异，分析迁移效果影响因素。
实验设计
采用CIFAR-10和SVHN两个图像分类数据集，目标模型为低性能网络（如AlexNet），源模型为性能较优且结构相似的模型。设置一 epoch搜索协议，生成多达64个候选，比较目标单独生成与引入源模型的效果。指标包括成功评估数、最高准确率、平均准确率、性能提升和迁移优势。多轮五epoch验证确保效果持续性。不同LLM（DeepSeek、Qwen、OlympicCoder）在迁移中的表现被系统评估，验证结构相似性优于性能指标的迁移策略。还进行了直接复制和负控分析，确保结果的可靠性。
结果分析
迁移模型在CIFAR-10上准确率由23.98%提升至50.49%，在SVHN上由22.54%跃升至78.80%，表现优于目标模型单独生成。多轮验证显示，五epoch训练后，性能持续提升，分别达40.94、18.83和7.27点。结构相似的源模型在所有LLM中表现出更优迁移效果，验证了结构匹配的重要性。引入源模型显著提高候选生成成功率和最优准确率，说明迁移策略的有效性。负控分析确认性能提升依赖模型兼容性和LLM适应能力。
应用场景
该方法适用于自动化神经网络设计、模型压缩、迁移学习等场景。特别在资源有限或需要快速部署的情况下，利用存储库中的模型资源，通过LLM自动生成优化方案，显著提升模型性能。可应用于工业界的模型调优、边缘设备的模型部署，以及科研中的快速原型设计。未来结合多源融合和跨任务迁移，将进一步拓展其应用范围。
局限与展望
当前方法依赖存储库中模型的质量，若源模型性能不足或结构不匹配，迁移效果有限。结构相似性指标在复杂或新颖架构中可能失效。实验主要集中在图像分类，泛化到其他任务（如自然语言处理）仍需验证。迁移过程计算成本较高，尤其在大模型环境下，实际应用受限。未来需优化源模型筛选机制和迁移效率，增强方法的实用性。
通俗解读 非专业人士也能看懂
想象你在一家工厂里工作，工厂里有许多不同的机器（模型），每台机器都经过测试，表现不同。有些机器表现不好，但它们的设计和其他表现好的机器很相似。工厂的工程师（研究者）想让这些差机器变得更好，于是他们找出那些设计相似、表现较好的机器，把它们的设计方案（模型结构和参数）告诉一台新机器（目标模型），让它学习借鉴。工程师用一种智能助手（LLM）帮忙，把这些设计方案变成新机器的操作指南。结果发现，借鉴结构相似的机器能让新机器的表现大大提升，就像模仿邻居的成功方法一样。这种方法节省了时间和资源，让工厂的机器都能变得更快更强。
简单解释 像给14岁少年讲一样
假设你在学校里，有一堆不同的学习笔记（模型），一些笔记写得不好，但它们和一些好笔记的内容很相似。你想让自己的笔记变得更好，于是你找出那些内容相似、写得好的笔记，把它们的重点告诉你自己（模型迁移）。你用一个聪明的助手（LLM）帮忙，把这些好笔记的内容整理成适合自己的学习计划。结果发现，借鉴内容相似的笔记能让你的学习成绩快速提高，就像模仿邻居的学习方法一样。这种方法节省时间，让你更快掌握知识，也能帮老师设计更好的学习方案。
术语表
神经网络 (Neural Network)
一种模仿人脑神经元连接的计算模型，用于识别和预测数据中的复杂模式。
论文中指用于图像分类的深度模型架构。
大规模语言模型 (Large Language Model)
基于深度学习的预训练模型，能理解和生成自然语言，支持提示工程和内容生成。
用于指导神经网络生成和优化。
迁移学习 (Transfer Learning)
利用已有模型或知识迁移到新任务中，以提升新任务的学习效率和效果。
论文中指从结构相似模型迁移参数和架构。
AutoML (自动机器学习)
自动化设计和优化机器学习模型的技术，包括架构搜索、超参数调优等。
研究旨在推动AutoML的自动化水平。
结构相似性 (Structural Similarity)
衡量两个神经网络架构在层次和连接方式上的相似程度。
作为迁移模型选择的重要指标。
开放问题 这项研究留下的未解疑问
- 1 如何自动评估源模型的结构相似性以优化迁移策略仍未完全解决。未来需结合元学习或强化学习自动筛选最优源模型，提升迁移效果和效率。
应用场景
近期应用
模型自动优化平台
结合存储库和LLM，快速为低性能模型生成改进方案，适用于科研和工业界的模型调优。
边缘设备模型部署
利用迁移策略优化轻量模型，提升边缘设备上的性能表现，降低计算成本。
远期愿景
全自动化神经网络设计
实现从模型存储、迁移选择到候选生成的全流程自动化，推动AutoML向智能化发展。
原文摘要
Neural-network repositories contain executable models, recipes, input transformations, and measured accuracies. We study whether one same-family experiment can be curated as prompt guidance for LLM-based improvement of a low-performing target under equal generation and evaluation budgets. TuneNNGen extends NNGPT with a source-guided route and compares it with target-only generation on one CIFAR-10 target, two fixed source-selection rules, three code LLMs, and an additional SVHN target. Under the historical one-epoch search protocol, best-of-budget accuracy on the available evaluation split rises from 23.98% to 50.49% on CIFAR-10 and from 22.54% to 78.80% on SVHN. Selected five-epoch, three-seed means on train-derived validation splits retain gains of 40.94 points on CIFAR-10, 18.83 on Imagenette, and 7.27 on CIFAR-100. Direct-copy and negative-control analyses show that gains depend on source-target compatibility and LLM adaptation; stored source accuracy alone does not predict transferability.