核心发现
方法论
bioMoR框架结合生物学知识与递归混合架构，首次在基因和路径学习中应用。通过图形信息共享优化标记嵌入，结构偏差引导自注意力，图感知路由器决定递归深度。
关键结果
- bioMoR在八个基准数据集上平均宏F1提高8.2个百分点，平衡准确率提高7.1个百分点，使用参数减少75%，FLOPs减少58%。
- 生物学相关路径被选择用于更深的计算，验证了模型的生物学解释性。
- 消融研究表明嵌入注入对性能提升贡献最大。
研究意义
bioMoR显著提升了基因组学习的效率和准确性，解决了传统模型在处理高维数据时的计算资源浪费问题。其生物学解释性有助于理解基因与路径的作用。
技术贡献
bioMoR通过生物学知识指导递归深度选择，与现有的递归模型相比，提供了新的理论保证和工程可能性，尤其在生物学相关性方面。
新颖性
bioMoR是首个将生物学知识与递归混合架构结合的框架，突破了传统模型无法有效利用生物学信息的瓶颈。
局限性
- 在某些数据集上，生物学知识的注入可能导致过拟合。
- 模型在处理极端不平衡数据时表现有限。
- 需要进一步验证在其他领域的适用性。
未来方向
未来可以探索bioMoR在其他生物学数据集上的应用，并优化生物学知识注入的机制以提高模型的鲁棒性。
AI 总览摘要
在基因组学领域，现有的变压器模型在处理高维数据时常常面临计算资源浪费的问题。bioMoR框架通过结合生物学知识与递归混合架构，首次在基因和路径学习中应用，显著提升了模型的效率和准确性。
bioMoR利用图形信息共享优化标记嵌入，结构偏差引导自注意力，图感知路由器决定递归深度。实验结果显示，bioMoR在八个基准数据集上平均宏F1提高8.2个百分点，平衡准确率提高7.1个百分点，使用参数减少75%，FLOPs减少58%。
尽管bioMoR在生物学解释性和计算效率方面表现出色，但在某些数据集上，生物学知识的注入可能导致过拟合。未来的研究可以探索bioMoR在其他生物学数据集上的应用，并优化生物学知识注入的机制以提高模型的鲁棒性。
深度分析
研究背景
基因组学领域近年来取得了显著进展，尤其是在单细胞测序和多组学数据分析方面。传统的变压器模型如scBERT和Geneformer在基因表示学习中表现出色，但在处理高维数据时常常面临计算资源浪费的问题。
核心问题
现有的变压器模型在处理高维基因组数据时，无法有效选择需要深入计算的标记基因或路径，导致计算资源浪费。如何在保证准确性的同时提高计算效率是一个亟待解决的问题。
核心创新
bioMoR框架通过结合生物学知识与递归混合架构，实现了标记基因和路径的选择与递归深度的动态调整。其创新在于利用生物学知识指导模型的计算过程，而不仅仅是作为静态先验。
方法详解
- �� 利用图形信息共享优化标记嵌入。
- �� 结构偏差引导自注意力，促进生物学相关标记之间的信息交换。
- �� 图感知路由器根据生物学邻域信息决定递归深度。
实验设计
实验设计包括八个基准数据集，涵盖单细胞和多组学数据。使用五折交叉验证评估模型性能，比较bioMoR与传统变压器模型及递归模型的表现。
结果分析
bioMoR在八个基准数据集上平均宏F1提高8.2个百分点，平衡准确率提高7.1个百分点，使用参数减少75%，FLOPs减少58%。生物学相关路径被选择用于更深的计算，验证了模型的生物学解释性。
应用场景
bioMoR可直接应用于基因组数据分析，尤其是在需要高效处理高维数据的场景中。其生物学解释性有助于理解基因与路径的作用。
局限与展望
尽管bioMoR在生物学解释性和计算效率方面表现出色，但在某些数据集上，生物学知识的注入可能导致过拟合。未来的研究可以探索bioMoR在其他生物学数据集上的应用，并优化生物学知识注入的机制以提高模型的鲁棒性。
通俗解读 非专业人士也能看懂
想象一个工厂，工人们需要处理大量的原材料，但只有一部分是高质量的。bioMoR就像一个聪明的经理，能够识别出哪些原材料需要更多的加工时间，而不是浪费资源在低质量的材料上。通过这种方式，工厂可以更高效地生产出优质产品。
简单解释 像给14岁少年讲一样
嘿，小伙伴们！想象一下你在玩一个游戏，有很多关卡，但只有几个是特别难的。bioMoR就像一个超级助手，帮你找到那些难关，并告诉你怎么用最少的时间和精力过关。这样你就可以更快地赢得比赛啦！
术语表
Transformer (变压器)
一种用于处理序列数据的深度学习模型，擅长捕捉长距离依赖关系。
在本文中用于基因组数据的表示学习。
Mixture-of-Recursions (递归混合)
一种通过动态选择标记的递归深度来提高计算效率的方法。
bioMoR框架的核心机制。
Graph-based Information Sharing (图形信息共享)
一种通过图结构优化标记嵌入的方法。
用于优化bioMoR中的标记嵌入。
Self-attention (自注意力)
一种通过计算输入序列中元素之间关系来优化表示的方法。
在bioMoR中用于促进生物学相关标记之间的信息交换。
FLOPs (浮点运算次数)
衡量模型计算复杂度的指标，表示执行的浮点运算次数。
用于评估bioMoR的计算效率。
开放问题 这项研究留下的未解疑问
- 1 如何在极端不平衡数据上优化bioMoR的表现？
- 2 生物学知识的注入如何影响模型的泛化能力？
应用场景
近期应用
基因组数据分析
bioMoR可用于提高基因组数据分析的效率和准确性，适用于科研人员和生物信息学家。
远期愿景
精准医疗
通过优化基因组数据分析，bioMoR有望推动精准医疗的发展，改善患者治疗效果。
原文摘要
Transformer models for high-dimensional omics analysis process thousands of genes or pathways, although only a subset requires deep computation. Mixture-of-Recursions (MoR) improves efficiency through adaptive token-choice or expert-choice routing. We propose bioMoR, which, to the best of our knowledge, is the first framework to apply MoR to gene-level and pathway-level learning. Our contributions include identifying three locations for integrating structured biological knowledge within an MoR backbone: graph-based information sharing refines token embeddings, a structural bias guides self-attention toward biologically related tokens, and a graph-aware router uses neighborhood information to determine each token's recursion depth. These techniques are centered on our insight that additional knowledge of token interaction can effectively help models construct embeddings and select which tokens should be learned more deeply. Across eight benchmarks spanning diverse omics data types and evaluated under a unified five-fold cross-validation protocol, bioMoR improves average macro-F1 by 8.2 percentage points and balanced accuracy by 7.1 percentage points over the strongest biology-agnostic MoR baseline while using 75 percent fewer parameters and up to 58 percent fewer FLOPs than a non-recursive Transformer. The selected marker genes or pathways provide biological interpretability, while their token-specific recursion depths reveal how computation is allocated.