核心发现
方法论
本文提出的ScreenShot模型基于层次Transformer架构,预训练于涵盖3700种药物和6000个生物样本的40个药物筛选数据集。模型通过三层嵌套结构:药物-剂量组合编码(Level 1)、反应编码(Level 2)和样本编码(Level 3),实现对药物反应的多层次建模。预训练采用在药物-剂量-存活率数据上进行的自监督学习,利用交叉注意力机制在不同层级进行信息融合。推理阶段,模型通过在上下文中引入少量观察数据,进行在图像学习(in-context learning),无需微调或分子特征,直接对新样本进行药物组合反应预测。此外,模型还结合基于嵌入空间的主动学习策略,通过k-means++采样,有效缩减实验预算,提升筛选效率。
关键结果
- 在四个未见过的药物筛选数据集上,ScreenShot在预测相关性(Pearson相关系数)和筛选效果(Top-10%命中率)方面均优于XGBoost、TabPFN和微调的MLP,尤其在少样本(如50-100个样本)条件下表现出色,相关系数提升至0.8以上,命中率超过90%。
- 在主动学习实验中,利用ScreenShot的嵌入空间进行样本选择,达到了与全量筛查相当的命中率,但实验预算降低至三分之一,验证了其高效的样本利用能力。
- 模型的内部表示不仅支持预测,还能指导实验设计,通过加权k-means++策略,有效平衡探索与利用,显著提高筛查效率,减少无效实验,推动个性化药物组合的快速筛选。
研究意义
该研究突破了传统药物筛查对分子特征的依赖,提出无需分子信息即可实现高效少样本药物反应预测的模型,为精准医疗提供了新的技术路径。其在临床样本有限、实验成本高昂的背景下,展现出极大的应用潜力,不仅提升筛查效率,还能优化实验设计,降低成本,推动个性化药物开发的实际落地。模型的通用性和扩展性也为未来多模态数据融合和多任务学习提供了基础,有望引领药物筛查和精准治疗的深度变革。
技术贡献
本文贡献在于提出一种基于层次Transformer的预训练模型,结合多层嵌套结构,充分利用药物-剂量-反应的自然层次关系,实现无需分子特征的少样本预测。模型通过在大规模药物筛选数据集上的预训练,学习到丰富的药物和样本表征,支持在新样本上进行即插即用的少样本预测。引入的主动学习策略结合嵌入空间的聚类采样,有效提升筛查效率,减少实验成本。模型还通过内在表示的可解释性,为实验设计提供指导,推动药物筛选的自动化和智能化。
新颖性
本研究首次将层次Transformer架构应用于药物筛选任务,突破了传统依赖分子特征的限制,实现了纯功能测量的少样本预测。其在预训练策略、嵌入空间利用和主动学习设计方面均具有创新,特别是在无需微调即可实现高精度预测的能力,显著优于现有的药物反应预测模型。该方法不仅在药物筛查中展现出优异性能,也为其他生物医学多模态任务提供了新思路。
局限性
- 模型在极端少样本(如少于50个观察值)情况下的预测性能仍有待提升,尤其在药物-剂量空间极为稀疏的场景中可能表现不佳。
- 预训练数据虽然丰富,但主要来自癌症相关样本,泛化到其他疾病或非肿瘤组织的能力尚未验证,存在一定局限性。
- 模型的解释性仍有限,尽管内部表示对实验设计有帮助,但对药物作用机制的理解仍需结合其他生物学信息。
未来方向
未来将探索多模态数据融合,如结合基因表达、突变信息,提升模型的泛化能力和解释性。同时,考虑引入因果推断和强化学习机制,优化主动学习策略,进一步降低实验成本。还计划扩展模型应用到临床试验设计和药物组合优化中,推动个性化治疗的实际落地。最后,将关注模型的可解释性和临床可用性,确保其在实际医疗场景中的可靠性和可操作性。
AI 总览摘要
药物组合治疗在抗药性和疗效提升方面具有巨大潜力,但传统筛查方法面临高成本、时间长和技术复杂的挑战。现有的药物筛选多依赖于大规模实验,难以满足临床个性化需求。为解决这一难题,本文提出了ScreenShot,一种基于层次Transformer的预训练模型,专为少样本药物反应预测设计。
ScreenShot利用在40个药物筛选数据集上的大规模预训练,学习到药物-剂量-反应的多层次表征。其架构模仿筛查数据的嵌套结构,包括药物-剂量组合编码、反应编码和样本编码三层。模型通过自监督学习,结合交叉注意力机制,有效融合不同层级信息,支持在没有分子特征的情况下进行预测。
在推理阶段,模型通过少量观察数据实现在图像学习(in-context learning),无需微调,便能对新样本进行高精度预测。这一机制类似于大规模语言模型的prompt调优,极大简化了模型应用流程。更重要的是,模型结合了基于嵌入空间的主动学习策略,利用k-means++采样,有效缩减实验预算,同时保持筛查效果。
在四个未见过的药物筛查数据集上,ScreenShot在预测相关性和筛选命中率方面均优于传统模型和微调方法,尤其在少样本条件下表现出色。主动学习实验显示,该方法能在三分之一的预算内达到全量筛查的效果,验证了其高效性和实用性。
该研究不仅推动了药物筛查的自动化和智能化,也为个性化治疗提供了新的技术路径。未来,结合多模态数据和因果推断,模型有望在临床药物组合优化中发挥更大作用,助力精准医疗的实现。尽管如此,模型在极端少样本和跨疾病泛化方面仍需改进,未来工作将聚焦于增强模型的解释性和临床适用性。
深度解读
原文摘要
Treating patients with combinations of drugs reduces the risk of resistance to any individual drug. Finding effective combinations is difficult because the large search space makes combinatorial screens prohibitively expensive, time consuming, and often technically infeasible. Predictive models can fill this gap, yet existing methods typically require molecular profiling of each sample and per-cohort training, limiting their applicability when time and tissue are scarce. To address this challenge, we introduce ScreenShot, a hierarchical transformer pretrained on 40 drug screening datasets covering 3,700 drugs and 6,000 biological samples, whose architecture mirrors the nested structure of screening data. Given a few-shot context of observations from a new patient, ScreenShot predicts the response of the sample to combination therapies through in-context learning, operating directly on functional measurements with no fine-tuning and no molecular profiling. On four held-out datasets, ScreenShot outperforms all baselines in both prediction accuracy and identification of selectively effective treatments. ScreenShot's internal representations are directly useful for experimental design: we use them to drive a weighted k-means++ active learning strategy that selects which experiments to run, achieving the same hit detection as uniform screening with a third of the budget. Source code and interactive dashboard: https://github.com/tansey-lab/screenshot.
参考文献 (20)
Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning
Y. Gal, Zoubin Ghahramani
Accurate predictions on small data with a tabular foundation model
N. Hollmann, Samuel G. Müller, Lennart Purucker 等
A Pan-Cancer Ex Vivo Drug Screen Atlas for Functional Precision Oncology
K. Pichotta, Jessica White, Jeffrey Quinn 等
Clonal somatic copy number altered driver events inform drug sensitivity in high-grade serous ovarian cancer
F. C. Martins, Dominique-Laurent Couturier, Ines de Santiago 等
Drug responses are conserved across patient-derived xenograft models of melanoma leading to identification of novel drug combination therapies
R. Ice, Michelle Chen, M. Sidorov 等
An Unbiased Oncology Compound Screen to Identify Novel Combination Strategies
J. O'neil, Yair Benita, I. Feldman 等
Precision medicine treatment in acute myeloid leukemia using prospective genomic profiling: feasibility and preliminary efficacy of the Beat AML Master Trial
A. Burd, R. Levine, A. Ruppert 等
Organoid screening reveals epigenetic vulnerabilities in human colorectal cancer
Kohta Toshimitsu, Ai Takano, Masayuki Fujii 等
Predicting Drug Response and Synergy Using a Deep Learning Model of Human Cancer Cells
B. Kuenzi, Jisoo Park, Samson H. Fong 等
Tumor evolution and drug response in patient-derived organoid models of bladder cancer
Suk Hyung Lee, Wenhuo Hu, J. Matulay 等
Language Models are Few-Shot Learners
Tom B. Brown, Benjamin Mann, Nick Ryder 等
The National Cancer Institute ALMANAC: A Comprehensive Screening Resource for the Detection of Anticancer Drug Pairs with Enhanced Therapeutic Activity
S. Holbeck, R. Camalier, J. Crowell 等
Identification of Novel Therapeutic Targets for Fibrolamellar Carcinoma Using Patient Derived Xenografts and Direct from Patient Screening
G. Lalazar, David Requena, Lavoisier S. Ramos-Espiritu 等
High-Throughput Drug Screening of Primary Tumor Cells Identifies Therapeutic Strategies for Treating Children with High-Risk Cancer
C. Mayoh, Jie Mao, Jinhan Xie 等
The landscape of drug sensitivity and resistance in sarcoma
Ahmad Al Shihabi, Peyton J. Tebon, H. Nguyen 等
k-means++: the advantages of careful seeding
David Arthur, Sergei Vassilvitskii
Integrative Analysis of Drug Response and Clinical Outcome in Acute Myeloid Leukemia
D. Bottomly, Nicola Long, Anna Reister Schultz 等
Scikit-learn: Machine Learning in Python
Fabian Pedregosa, G. Varoquaux, Alexandre Gramfort 等
Effective drug combinations in breast, colon and pancreatic cancer cells
P. Jaaks, E. Coker, D. Vis 等
Small Cell Lung Cancer Screen of Oncology Drugs, Investigational Agents, and Gene and microRNA Expression.
E. Polley, M. Kunkel, David Evans 等