核心发现
方法论
本文将变换器的计算图表示为组件节点和路径边的有向无环图（DAG），利用图神经网络（GNN）学习路径的相关性。提出GCL框架，通过多模型-任务对的监督训练，学习边的电路掩码。采用DirGNN和GraphConv等多种GNN架构，结合特征对齐和池化机制，实现跨模型泛化。还借鉴PGExplainer，利用固定特征训练边解释器。数据方面，扩展InterpBench，加入30个TRACRBench派生的模型-任务对，设计交叉验证评估迁移能力。
关键结果
- 在16个InterpBench测试案例中，14个GCL配置最高中位边AUROC达0.902（四分位区间[0.861, 0.942]），接近单案例基准0.910，低于ACDC的0.959。去除所有消息传递边后，AUROC降至0.825。利用PGExplainer，边AUROC为0.858，表现优于部分单模型方法。
- 多模型训练显著提升跨案例泛化能力，验证了图学习在电路定位中的潜力。消息传递边对性能影响明显，说明路径交互关系复杂，单边评分不足。
- 实验结果表明，图结构能有效捕获路径间的交互，提供比传统方法更自然的电路识别视角。GCL在合成数据上的表现优异，未来需验证真实模型。
研究意义
该研究突破了传统模型-任务单独定位的限制，提出跨模型、迁移学习的电路识别新思路。利用图神经网络自动捕获路径间复杂关系，提升了可解释性和泛化能力，为变换器模型的机制理解提供新工具。这不仅推动了神经网络可解释性研究，也为模型压缩、故障诊断等应用提供理论基础。未来，结合真实场景数据，有望实现更高效、更普适的电路定位方法，促进AI模型的透明化和可信度提升。
技术贡献
本文首次将电路定位问题转化为图机器学习任务，提出GCL框架，结合多模型训练和特征对齐机制，有效捕获路径间交互。引入DirGNN和GraphConv等多种GNN架构，增强模型表达能力。借鉴PGExplainer，提出边解释器，提升模型可解释性。通过扩展InterpBench，构建跨模型任务数据集，验证方法的迁移能力。整体架构实现端到端训练，显著优于单案例方法，推动了图神经网络在机制解释中的应用边界。
新颖性
本研究首次系统性将电路定位问题形式化为跨模型图学习任务，提出GCL框架，结合多模型训练和特征对齐，显著提升迁移性能。与传统单模型方法不同，采用多案例监督学习，增强泛化能力。引入DirGNN和PGExplainer的结合，创新性地实现路径交互建模与解释，开辟了机制理解的新路径。这些创新为神经网络可解释性提供了全新视角，具有重要理论和实践价值。
局限性
- 目前主要在合成数据和变换器模型上验证，真实复杂模型中的表现仍待验证，可能受限于数据规模和多样性。
- 模型训练依赖大量标注的电路掩码，实际应用中难以获得高质量标注，限制了推广。
- 计算成本较高，尤其是在大规模模型和复杂路径交互建模时，未来需优化效率。
未来方向
未来将扩展到真实世界大规模模型，结合无监督或弱监督方法减少标注依赖。探索更高效的图结构和学习架构，提升模型的可扩展性。结合动态路径分析，研究模型在不同任务和输入变化下的机制演变。推动跨模型、跨任务的机制迁移研究，增强电路定位的实用性和鲁棒性。
AI 总览摘要
变换器模型的内部机制复杂，理解其工作原理一直是AI研究的核心难题。传统方法多为单一模型、任务的电路定位，难以实现跨模型泛化。本文提出Graph Circuit Learning（GCL）框架，利用图神经网络（GNN）跨模型学习路径交互关系，显著提升电路定位的迁移能力。通过扩展InterpBench，加入大量合成数据，验证GCL在多个未见模型上的优越表现，最高边AUROC达0.902，接近单模型基准。实验还表明，消息传递边对性能影响巨大，说明路径间交互关系复杂，单边评分不足。借助PGExplainer，模型解释性得到增强，边AUROC达0.858。这些结果表明，图学习为机制解释提供了新视角，突破了传统单模型限制。未来，结合真实模型和无监督技术，有望实现更高效、更普适的电路定位，推动模型透明化发展。
深度分析
研究背景
神经网络机制解释是AI研究的重要方向，早期多依赖特征重要性和逐层分析。近年来，变换器的广泛应用带来更复杂的内部路径，传统电路定位多为逐模型手工分析或局部方法，难以实现泛化。InterpBench和TRACRBench提供半合成数据集，推动机制研究，但仍受限于单模型、单任务场景。图神经网络（GNN）在结构化数据建模中表现优异，为路径交互建模提供新工具。此前研究多关注路径重要性排序，缺乏跨模型迁移能力。本文借助图学习，试图突破这一瓶颈，推动机制理解的系统化和自动化。
核心问题
核心问题在于如何在不同模型和任务间泛化电路定位。传统方法多为逐模型训练，缺乏迁移能力，难以应对模型复杂性和路径交互的多样性。路径间的交互关系复杂，单一路径评分不足以捕获全部机制信息。现有数据不足以支持大规模泛化，缺乏跨模型的系统性方法。这限制了机制解释的普适性和实用性。解决这一问题，需设计具有迁移能力的模型架构，充分利用路径间的结构关系，实现跨模型的机制识别。
核心创新
创新点包括：1）将电路定位转化为图机器学习任务，利用路径交互关系建模；2）提出GCL框架，通过多模型-任务监督训练GNN，增强泛化能力；3）引入DirGNN和GraphConv架构，结合特征对齐和池化机制，提升模型表达；4）借鉴PGExplainer，设计边解释器，增强模型可解释性。这些创新使得电路定位不再局限于单模型，能实现跨模型迁移，显著提高了机制识别的效率和准确性。
方法详解
- �� 构建变换器的组件级有向无环图（GM），节点代表注意头或MLP块，边代表路径。
- �� 利用模型在干净和受损提示上的激活，提取边特征。
- �� 设计多模型训练策略：用ground-truth掩码监督GNN预测路径掩码。
- �� 采用DirGNN或GraphConv架构，结合特征对齐（TabPFN风格的特征注意）和池化（跨路径、跨输入）机制。
- �� 训练端到端，优化二元交叉熵损失，提升跨案例泛化。
- �� 引入PGExplainer，利用固定特征训练边解释器，增强可解释性。
实验设计
- �� 数据集扩展：在InterpBench基础上加入30个TRACRBench派生的模型-任务对，设计交叉验证。
- �� 评估指标：边AUROC，比较不同GNN架构和基线（如无消息传递、单模型方法）。
- �� 超参数调优：采用分组5折交叉验证，平均5个随机种子结果。
- �� 重点分析消息传递边对性能的贡献，验证路径交互建模效果。
结果分析
- �� GCL最高配置在16个测试案例中，边AUROC中位数达0.902，优于去除消息边的0.825和PGExplainer的0.858。
- �� 迁移性能显著提升，验证多模型训练的有效性。
- �� 实验显示路径交互关系复杂，单路径评分不足以捕获全部机制信息，图结构提供更自然的建模方式。
应用场景
- �� 适用于模型机制分析、故障诊断、模型压缩等场景，帮助理解变换器内部路径作用。
- �� 结合合成和真实模型数据，推动模型透明化和可信度提升。未来可用于自动化机制发现和模型调试。
局限与展望
- �� 目前主要在合成数据上验证，真实模型中的表现仍需验证，可能受限于数据规模和路径复杂性。
- �� 训练依赖大量标注掩码，实际应用中标注困难。
- �� 计算成本较高，需优化模型架构和训练效率。
通俗解读 非专业人士也能看懂
想象一个工厂里有很多不同的机器和传送带，每个机器都在完成特定任务。我们想知道哪些传送带和机器组合在一起，才是完成某个特定任务的关键路径。传统方法就像是逐个机器分析，找出重要的传送带，但这样很费时间，也难以在不同工厂之间迁移。本文用一种类似于交通网络的图模型，把所有路径和交互关系画出来，然后用智能算法学习这些路径之间的关系。这样一来，不管工厂长得多复杂，只要学会了这个图模型，就能快速找到完成任务的关键路径。这个方法就像是让工厂的交通变得更智能、更高效，未来还能帮忙诊断故障或优化流程。
简单解释 像给14岁少年讲一样
你知道在学校里，有很多不同的老师和课程，每个老师都用不同的方式教书。现在，有个问题是：如何找到哪些老师和课程组合，才是让学生学得最好的关键？以前的方法就像是每个老师自己分析，找出重要的课程，但这样很麻烦，也不能在不同学校之间用。这个研究就像是用一张大地图，把所有老师、课程和学生的学习路径都画出来，然后用聪明的电脑程序学习这些路径之间的关系。这样一来，不管是哪所学校，只要学会了这张地图，就能快速找到最重要的学习路径，帮助老师和学生更好地理解学习过程。这就像是给学校装上了智能导航，让学习变得更简单、更高效！
原文摘要
Circuit localization is a mechanistic interpretability task whose goal is to identify a sparse subgraph of a transformer's computation graph sufficient to reproduce a particular behavior. Most established methods localize circuits independently for each model--task pair. We instead frame circuit localization as a graph machine learning problem in which the edges of a computation graph represent computational pathways, and graph neural networks (GNNs) model interactions among these pathways. We introduce Graph Circuit Learning (GCL), a supervised, amortized framework that trains a GNN across multiple model--task pairs and applies it to unseen cases. To provide sufficient data, we augment the InterpBench benchmark with additional cases derived from the TracrBench programs. Of the 14 evaluated GCL configurations, the highest scored a median edge AUROC of $0.902$ (interquartile interval $[0.861, 0.942]$) on the 16 original held-out InterpBench cases. This is close to the published InterpBench median of $0.910$ for EAP-IG while remaining below ACDC's $0.959$. Removing all message-passing edges reduces the median to $0.825$. We also adapt PGExplainer, a GNN explainability method, to circuit localization, obtaining a median edge AUROC of $0.858$ on the same cases. These preliminary results suggest that graph machine learning offers a natural and potentially powerful perspective on circuit localization, and we hope this perspective encourages closer exchange between the two communities.