核心发现
方法论
本文提出ParaFormer，将PageRank思想融入Transformer的注意力机制，设计了GPR增强注意力模块，模拟深层Transformer行为。通过理论分析证明其作为自适应滤波器缓解过平滑，同时提出线性复杂度的近似算法。实验在11个节点分类和2个图分类数据集上验证其优越性能，涵盖异质和同质图，表现优于现有SOTA模型。
关键结果
- 在Cora、PubMed等节点分类数据集上，ParaFormer提升准确率达2-3个百分点，尤其在深层模型中表现出更强的抗过平滑能力。多项指标显示其在百万级节点图中保持高效和稳定，显著优于传统GNN和Transformer模型。
- 在大规模异质图如Recommendation系统中，模型展现出优异的长距离依赖建模能力，提升节点区分度和分类性能。
- 消融实验验证GPR注意力机制在缓解过平滑中的关键作用，线性近似算法在保持性能的同时大幅降低计算复杂度。
研究意义
该研究突破了图Transformer深层架构的瓶颈，提供了一种兼顾全局信息捕获与过平滑抑制的创新方案，为大规模图表示学习提供了理论基础和工程实现路径。其在社交网络、推荐系统等实际场景中具有广泛应用潜力，有助于推动图神经网络向深层次、可扩展方向发展。
技术贡献
提出基于PageRank的注意力机制，理论证明其作为自适应滤波器缓解过平滑，设计线性复杂度的近似算法实现大规模应用。模型融合局部GNN信息，兼顾全局与局部特征，突破Transformer在图中的深层限制。提供严格的频域分析和过平滑理论，为未来图Transformer设计提供指导。
新颖性
首次将PageRank思想引入Transformer注意力，提出GPR增强注意力机制，有效缓解深层Transformer的过平滑问题。提出线性复杂度的近似算法，显著提升大规模图的可扩展性。理论分析揭示模型作为自适应滤波器的频域特性，区别于传统低通滤波的Transformer。
局限性
- 模型依赖PageRank参数调优，可能在某些图结构中表现不佳。
- 在极端异质或动态图中，性能和稳定性仍需验证。
- 高深度模型的训练成本较高，未来需优化训练效率。
未来方向
未来将探索多尺度PageRank参数自适应调节机制，结合动态图和异质图的特性，提升模型泛化能力。还将研究更高效的线性近似算法，推动模型在超大规模图中的应用。同时，结合预训练和迁移学习，拓展其在实际场景中的应用范围。
AI 总览摘要
图神经网络（GNN）在复杂关系建模中取得巨大成功，但深层GNN面临过平滑问题，导致节点表示趋同，影响模型表达能力。Transformer作为全连接注意力机制，虽能捕获全局信息，却因其低通滤波特性，深层时更易过平滑，限制了其在图中的应用。本文提出ParaFormer，将PageRank思想融入Transformer注意力，设计GPR增强注意力机制，有效缓解过平滑。理论分析表明，ParaFormer作为自适应滤波器，兼具低通和高通特性，能在保持长距离依赖的同时，避免节点表示的同质化。通过线性近似算法，模型实现了大规模图的高效训练。在多个公开数据集上的实验显示，ParaFormer在节点和图分类任务中均优于现有最优模型，验证了其优越性。该方法不仅丰富了图Transformer的理论基础，也为大规模图表示学习提供了新思路。未来，模型将结合动态图和异质图场景，进一步提升泛化能力和实用性，推动图神经网络向深层次和大规模方向发展。
深度分析
研究背景
随着图神经网络的发展，局部邻域聚合机制在节点分类中表现优异，但在捕获全局依赖方面存在局限。Transformer的引入弥补了这一缺陷，但其低通滤波特性导致深层模型易过平滑，节点表示趋同，影响模型的区分能力。现有方法如DropEdge、Residual连接虽能缓解，但效果有限。学界开始关注Transformer在图中的过平滑问题，相关研究多集中在频域分析和正则化技术，但缺乏系统的理论支撑。本文基于PageRank思想，提出新的注意力机制，旨在兼顾全局信息捕获与过平滑抑制，推动图Transformer的深层应用。
核心问题
深层图Transformer面临的核心挑战是过平滑问题，即节点表示逐渐趋同，影响模型的判别能力。传统GNN通过邻域聚合难以捕获长距离依赖，而Transformer的全连接注意力机制虽能捕获全局信息，但其低通滤波特性加剧了过平滑。如何在保持全局建模能力的同时，有效抑制过平滑，成为亟待解决的难题。现有正则化方法效果有限，缺乏理论指导，限制了深层模型的推广。
核心创新
本文提出PageRank增强的注意力机制（GPR Attention），引入PageRank思想，动态调节节点间信息传递，作为自适应滤波器缓解过平滑。模型融合局部GNN信息，兼顾局部结构和全局关系。提出线性复杂度近似算法，提升大规模图的训练效率。理论分析证明模型作为频域滤波器，能同时处理低频和高频信息，突破Transformer低通限制。这些创新使模型在保持深层结构的同时，有效避免节点同质化。
方法详解
- �� 构建基础Transformer架构，输入节点特征和邻接矩阵。• 引入PageRank思想，定义GPR分数，通过迭代公式（eq. 7-8）计算节点的全局相关性。• 设计GPR增强注意力（GPA），将多阶PageRank信息融入注意力机制（eq. 9），实现自适应多阶信息传播。• 结合局部GNN（如GCN）信息，采用加权融合（eq. 10），增强模型的局部结构感知。• 提出线性近似算法，通过核方法（eq. 13-15）降低复杂度，实现大规模图训练。• 设计多任务训练目标，包括节点分类（eq. 11）和图分类（eq. 12），优化模型性能。
实验设计
在Cora、PubMed、OGBN-ArXiv等11个节点分类和2个图分类数据集上评估，涵盖异质和同质图，规模从数千到百万节点。对比GAT、GraphSAGE、Graph Transformer等SOTA模型，采用准确率、F1、AUC等指标。设置不同深度（1-5层）验证过平滑效果。进行消融实验，验证GPR注意力和线性近似的贡献。参数调优包括PageRank参数α、γk等，确保公平性和最优性能。
结果分析
实验结果显示，ParaFormer在Cora、PubMed等数据集上，深层模型准确率提升2-3个百分点，特别在深层结构中表现出更强的抗过平滑能力。百万节点图中，模型保持高节点区分度，显著优于GAT和传统Transformer。消融分析证实GPR机制在缓解过平滑中的关键作用，线性近似算法在性能和效率上达到了良好平衡。整体而言，模型在多场景、多任务中展现出优异的泛化能力和稳定性。
应用场景
该模型适用于大规模社交网络、推荐系统、知识图谱等场景，能够捕获长距离依赖关系，提升节点分类和图级任务的性能。其高效的线性近似算法使其在实际工业应用中具有可行性，能处理海量数据，支持实时推理和动态更新。未来还可结合预训练技术，拓展到多模态和多任务场景，推动行业智能化升级。
局限与展望
模型在参数调优和超参数选择上较为敏感，可能在某些异质或动态图中表现不佳。高深度模型训练成本较高，需优化训练策略。对极端稀疏或噪声较多的图结构，鲁棒性仍需验证。未来需进一步提升模型的泛化能力和训练效率，解决实际应用中的复杂场景挑战。
通俗解读 非专业人士也能看懂
想象你在一家工厂里工作，工厂里有很多不同的机器（节点），它们通过管道（边）连接，彼此传递信息。传统的工厂只让邻近的机器交流（局部GNN），但如果想让每台机器都知道整个工厂的情况，就需要更复杂的通信方式（Transformer）。不过，直接让每台机器都和所有机器交流（全连接注意力）会让信息变得模糊，像所有机器都变成了复制品（过平滑）。这就像工厂里的信息逐渐变得一模一样，失去了差异。本文提出一种新方法，把PageRank的思想加入到通信中，让每台机器既能了解全局，又能保持差异，就像给每台机器赋予不同的“重要性”。这样，工厂里的信息既全面又有区别，效率高，效果好。
原文摘要
Graph Transformers (GTs) have emerged as a promising graph learning tool, leveraging their all-pair connected property to effectively capture global information. To address the over-smoothing problem in deep GNNs, global attention was initially introduced, eliminating the necessity for using deep GNNs. However, through empirical and theoretical analysis, we verify that the introduced global attention exhibits severe over-smoothing, causing node representations to become indistinguishable due to its inherent low-pass filtering. This effect is even stronger than that observed in GNNs. To mitigate this, we propose PageRank Transformer (ParaFormer), which features a PageRank-enhanced attention module designed to mimic the behavior of deep Transformers. We theoretically and empirically demonstrate that ParaFormer mitigates over-smoothing by functioning as an adaptive-pass filter. Experiments show that ParaFormer achieves consistent performance improvements across both node classification and graph classification tasks on 11 datasets ranging from thousands to millions of nodes, validating its efficacy. The supplementary material, including code and appendix, can be found in https://github.com/chaohaoyuan/ParaFormer.