AGATHA: Automatic Graph-mining And Transformer based Hypothesis generation Approach

TL;DR

AGATHA系统通过图挖掘和Transformer模型在医学研究中生成假设,提升推荐准确性至0.901。

cs.LG 🔴 高级 2020-02-14 3 次浏览
Justin Sybrandt Ilya Tyagin Michael Shtutman Ilya Safro
医学研究 图挖掘 Transformer 假设生成 深度学习

核心发现

方法论

AGATHA系统利用深度学习技术,通过构建语义图并使用Transformer编码器进行假设生成。该系统将MEDLINE数据库中的生物医学文献转化为多层语义图,使用SciBERT和ScispaCy进行文本处理,并通过PyTorch-BigGraph进行图嵌入。

关键结果

  • AGATHA在2015年后的数据预测中取得ROC AUC为0.901的成绩,显著优于之前的0.718。
  • 在“基因-细胞功能”关系中,系统的前十平均精度为0.83,平均倒数排名为0.61。
  • 系统在二十种最流行的关系类型中展示了高推荐分数。

研究意义

AGATHA系统在医学研究中提供了早期的数据驱动洞察,减少了实验成本和时间。它通过自动化假设生成,帮助研究人员更快地识别潜在的研究方向,推动药物发现和生物医学研究的发展。

技术贡献

AGATHA引入了大规模语义图构建和Transformer模型的结合,显著提高了假设生成的效率和准确性。与现有的基于启发式的方法相比,AGATHA提供了更高的预测性能和广泛的跨领域发现能力。

新颖性

AGATHA是首个将Transformer应用于大规模语义图的假设生成系统,突破了传统“ABC”模型的局限性,提供了更高效的多对多推荐查询。

局限性

  • 系统依赖于UMLS术语,限制了未编码实体的发现能力。
  • 训练数据中的噪声可能影响预测准确性。
  • 需要高计算资源进行图嵌入和模型训练。

未来方向

未来工作包括扩展系统以支持更多术语类型,优化模型以减少计算资源需求,以及探索更多生物医学子领域的应用。

AI 总览摘要

AGATHA系统通过自动化图挖掘和Transformer模型在医学研究中生成假设,帮助研究人员更快地识别潜在的研究方向。现有的医学研究面临着数据量庞大且信息难以挖掘的问题,AGATHA通过构建语义图并进行深度学习处理,显著提升了假设生成的效率和准确性。

该系统利用MEDLINE数据库中的生物医学文献,构建了一个多层语义图,并使用SciBERT和ScispaCy进行文本处理。通过PyTorch-BigGraph进行图嵌入,AGATHA能够在大规模数据中进行高效的多对多推荐查询,展示了在二十种最流行的关系类型中的高预测能力。

AGATHA的应用不仅限于药物发现,还可以扩展到更多生物医学子领域。尽管系统依赖于UMLS术语,限制了未编码实体的发现能力,但其在假设生成中的创新性和高效性为未来的医学研究提供了新的可能性。

深度解读

原文摘要

Medical research is risky and expensive. Drug discovery, as an example, requires that researchers efficiently winnow thousands of potential targets to a small candidate set for more thorough evaluation. However, research groups spend significant time and money to perform the experiments necessary to determine this candidate set long before seeing intermediate results. Hypothesis generation systems address this challenge by mining the wealth of publicly available scientific information to predict plausible research directions. We present AGATHA, a deep-learning hypothesis generation system that can introduce data-driven insights earlier in the discovery process. Through a learned ranking criteria, this system quickly prioritizes plausible term-pairs among entity sets, allowing us to recommend new research directions. We massively validate our system with a temporal holdout wherein we predict connections first introduced after 2015 using data published beforehand. We additionally explore biomedical sub-domains, and demonstrate AGATHA's predictive capacity across the twenty most popular relationship types. This system achieves best-in-class performance on an established benchmark, and demonstrates high recommendation scores across subdomains. Reproducibility: All code, experimental data, and pre-trained models are available online: sybrandt.com/2020/agatha

cs.LG stat.ML