PerturbCellRL: Verifier-Guided Reinforcement Learning for Single-Cell Perturbation Prediction
PerturbCellRL用四类生物学验证器强化scDFM，在1600步训练中提升单细胞一致性且保持群体预测竞争力。
核心发现
方法论
PerturbCellRL以预训练流匹配生成器scDFM为策略，采用DiffusionNFT进行在线强化学习。模型对同一控制细胞与扰动条件生成多条候选轨迹，由Pearson top-k、RMSE top-k、DE Spearman和Pathway activity四类验证器评分，再通过正负样本对比速度场更新，并以KL项约束新策略接近scDFM。
关键结果
- 在Norman additive与holdout设置中，PerturbCellRL在1600个训练步骤内提升四项被优化的单细胞奖励，并同步提高未参与训练的单细胞Discrimination Score（DS）；论文正文未给出图5的精确数值，因此不能据此虚构百分比。
- 在Norman holdout single、holdout double、additive及ComboSciPlex上，方法保持或改善scDFM的群体级表现；Pearson Δ、DS、MMD和Energy Distance均未作为训练奖励，因而可检验是否出现奖励投机。
- 推理阶段使用PROGENy Pathway activity进行best-of-N选择：从N个候选中选最高分样本。图6显示单细胞和群体层面的通路奖励均提升，但提供文本未报告具体N值或增益数值。
研究意义
论文将“生成看起来像真实细胞”推进为“每个预测细胞都通过可解释生物学检查”。这回应了单细胞扰动数据无配对、噪声高和群体指标掩盖个体错误的长期难题。对药物筛选、靶点发现和组合扰动设计而言，可靠的单细胞级验证可减少湿实验候选数量，同时保留群体分布质量。
技术贡献
技术上，研究把不可微、外部计算的生物学评价器转化为强化学习奖励，并将DiffusionNFT适配到条件高斯到表达空间的流匹配模型。目标是最大化奖励，同时满足KL约束D_KL(πθ′||πθ)≤ε。其统一训练、评估和推理：训练用四类奖励，测试时用无需真实靶细胞的通路奖励进行候选筛选。
新颖性
核心新意不是重新设计生成器，而是提出验证器引导的生成对齐范式。相较主要优化群体分布的scDFM、CPA、GEARS、STATE和CellFlow，PerturbCellRL显式优化单细胞方向性、局部邻近性、DE排序及通路方向，并把同一验证器用于RL后训练与test-time scaling。
局限性
- 通路奖励依赖单基因注释表和约680K参数的PROGENy预测MLP；组合扰动的通路方向难以标注，因此当前Pathway activity不适用于该场景。
- 论文摘要与所给正文未提供表1、图5和图6的完整数值，无法严谨报告百分比、绝对分数或不同N下的收益。
- 验证器并不完备，奖励可能被模型利用；KL正则有助于保留scDFM表达流形，但不能保证生物学因果正确。
未来方向
未来可扩展组合扰动通路注释，加入细胞类型分类器、管家基因稳定性检查和更多参考无关验证器；还应研究更可靠的奖励校准、跨数据集迁移、因果机制验证及计算高效的best-of-N策略，并以真实湿实验验证预测改进。
AI 总览摘要
单细胞扰动模型希望在实验前预测基因编辑或药物处理后的转录变化。现有方法如scDFM、CPA、GEARS和CellFlow擅长匹配细胞群体分布，却可能生成单个“看似真实、但扰动方向错误”的细胞。由于控制细胞和处理细胞通常不配对，模型无法直接学习同一细胞的前后变化，因此个体可信度尤其重要。
PerturbCellRL把这一问题转化为验证器引导的生成对齐。它以scDFM流匹配模型为基础，用Pearson top-k、RMSE top-k、DE Spearman和PROGENy Pathway activity四种检查评价候选细胞，再通过DiffusionNFT强化学习提高高分样本概率，并用KL正则避免偏离原有表达流形。推理时还可生成N个候选，用通路奖励选出最合理者。
在Norman和ComboSciPlex基准上，方法经过1600步训练后提升了四项奖励，并提高未用于优化的DS；在Norman additive、holdout single、holdout double及ComboSciPlex的群体指标上仍与scDFM及其他先进方法竞争。论文未在所给文本中报告完整绝对数值。其意义在于把单细胞预测从“分布正确”推进到“个体经过生物学核验”，但组合扰动注释、奖励投机和湿实验验证仍是关键开放问题。
深度分析
研究背景
单细胞RNA测序推动了虚拟细胞和扰动预测。scVI提供概率表示学习，CPA、GEARS、STATE和CellFlow分别探索条件自编码器、图网络、Transformer与生成模型；scDFM代表流匹配路线。Norman、ComboSciPlex和Virtual Cell Challenge提供遗传及化学扰动基准，但多数方法仍以群体均值、分布距离或伪批量统计为主。
核心问题
给定归一化控制表达u_i和扰动c，模型需生成y_i∼πθ(·|u_i,c)。现实数据通常只包含不配对的控制群体和处理群体，因此无法验证同一细胞的真实响应。群体分布匹配并不保证每个样本具有正确的DE排序、局部细胞状态或通路方向，且这些生物学检查常不可微。
核心创新
第一，建立四类单细胞验证器，分别检查相关方向、目标流形邻近性、显著DE基因排序和通路活动。第二，使用DiffusionNFT在流匹配前向过程中进行在线RL，而非计算难处理的精确似然。第三，以KL约束抑制奖励投机。第四，利用无需真实处理细胞的Pathway activity执行best-of-N测试时扩展。
方法详解
- �� scDFM学习速度场vθ，将x0∼N(0,I)映射到扰动表达；流匹配目标为||vθ(x_t,t,u,c)−(y_obs−x0)||²，x_t=(1−t)x0+ty_obs。
- �� Pearson top-k平均候选与最相似真实细胞的相关系数；RMSE top-k将近邻RMSE按条件归一化；DE Spearman比较显著DE基因的折叠变化秩。
- �� PROGENy含14条通路；MLP计算Δs=fϕ(y)−fϕ(u)，再按注释方向和置信权重给出σ(wdΔs/τ)。
- �� 每组生成32条轨迹，奖励归一化为r∈[0,1]，用正负速度对比损失和βKL更新；默认四项奖励等权，学习率2×10^-6。
实验设计
数据集包括Norman和ComboSciPlex。Norman采用additive与holdout协议，并使用4个随机折；基线包括Control、Additive、GEARS、CPA、STATE、CellFlow和scDFM。指标涵盖MAE、Pearson Δ、Pearson Δ̂、DE-Spearman LFC Sig、DS、MMD和Energy Distance，以及四项单细胞奖励。每次使用64个样本批次、32条rollout，Norman与ComboSciPlex的KL权重分别为2.0和1.2，单张H100训练1600步。
结果分析
PerturbCellRL在Norman additive和holdout中同时提高四项训练奖励及留出的DS，说明效果不完全是奖励过拟合。群体层面仍与scDFM等先进模型竞争，且Pearson Δ、DS、MMD和Energy Distance未参与训练。best-of-N通路筛选进一步提高单细胞和群体通路奖励；但所给正文缺少图表绝对值，不能补写具体百分比。
应用场景
药物筛选可先预测化合物诱导的细胞状态，优先安排少量实验；靶点发现可检查候选基因是否产生预期通路方向；组合扰动设计可利用生成样本探索潜在响应空间。实际使用需有可靠的控制细胞、扰动标签、基因归一化流程和适用的通路注释。
局限与展望
方法依赖验证器质量，PROGENy注释存在覆盖不足和方向不确定性；Pathway activity目前主要适用于单基因扰动。best-of-N增加推理计算，RL还可能追逐不完整奖励，因此需要KL正则和独立指标监控。未来应扩展组合通路知识、跨平台验证，并通过真实实验检验预测的因果有效性。
通俗解读 非专业人士也能看懂
把细胞预测想成一家给厨师培训的中央厨房。scDFM像一位已经很会做菜的主厨：他能做出一大桌菜，整体味道和真实餐厅很像，但偶尔会端出一道外观正常、却把关键调料放反的菜。传统检查只看整桌菜的平均味道，可能发现不了这道问题。
PerturbCellRL请来四位检查员。第一位看这道菜的主要味道方向是否像目标餐厅；第二位看它是否靠近真实菜单上的相似菜；第三位检查主要食材的排序是否正确；第四位根据已知食谱判断某种调料应该让哪类味道增强或减弱。每道菜得到一个综合分数。
训练时，主厨一次做很多版本，检查员给分，系统鼓励他以后更常做高分版本，同时要求不要离原来的烹饪本领太远。上菜前还可以多做N份，只挑通路检查分最高的一份。这样做不是把所有菜都做成同一个标准答案，而是在保留多样性的同时减少明显不合理的个体。
实验显示，在Norman和ComboSciPlex数据上，方法提高了单个细胞的生物学一致性，同时没有明显牺牲整桌菜的整体分布。不过，检查员本身也可能有盲点，尤其难判断多种调料同时加入时会发生什么，所以仍需真实实验复核。
简单解释 像给14岁少年讲一样
想象你在玩一个“细胞模拟器”。输入一个普通细胞和一个操作，比如关闭某个基因，游戏要预测这个细胞会怎样变化。问题是，真实数据通常只告诉我们一群普通细胞和另一群被操作后的细胞，却没有记录同一个细胞前后发生了什么，所以预测很容易出现“看起来像细胞，但反应方向错了”的情况。
PerturbCellRL像给游戏加了四个裁判。一个裁判比较整体变化方向，一个看预测是否靠近真实目标细胞，一个检查变化最大的基因排名，还有一个检查已知生物通路应该变强还是变弱。模型先生成很多答案，裁判打分，然后模型学着多生成高分答案，但不能完全忘掉原来的能力。
它还可以像考试前多做几套选择题：生成N个版本，再挑通路方向最合理的那个。研究者在Norman遗传扰动数据和ComboSciPlex化学扰动数据上测试了它。训练1600步后，四类主要评分提高，连没有直接用来训练的DS也提高了。
不过这不是魔法。一个裁判如果知识不完整，模型可能学会“讨好裁判”而不是真正正确；多基因同时改变时，通路答案也更难确定。最终仍要靠实验室验证，才能知道预测是否真的有效。
术语表
Flow matching（流匹配）
一种学习连续生成轨迹的方法，把简单噪声逐步变成目标表达状态。技术上通过拟合速度场vθ来实现条件生成。
scDFM作为PerturbCellRL的预训练基础生成器。
Verifier（验证器）
对生成结果执行特定一致性检查的评分函数。它可以是数据驱动的，也可以编码已知生物学知识。
四类验证器被同时用于评估和RL奖励。
DiffusionNFT
面向扩散或流模型的在线强化学习算法。它通过前向过程构造正负速度更新，避免直接计算难处理的样本似然。
PerturbCellRL采用它优化scDFM速度场。
PROGENy
由加权基因签名构成的通路活性框架，论文使用14条信号通路。它将表达变化映射为可解释的通路分数。
Pathway activity奖励和best-of-N筛选的知识基础。
Discrimination Score（DS）
衡量预测扰动效果相对其他测试扰动排序能力的指标，依据与真实效果的L1距离排序。它不是RL直接优化的奖励。
作为留出单细胞评价，帮助检测奖励投机。
开放问题 这项研究留下的未解疑问
- 1 组合扰动缺少稳定的通路方向注释，当前方法难以判断多基因共同作用。需要结合因果网络、实验文献与大规模组合筛选建立可校准知识库。
- 2 验证器提高分数是否必然提高真实实验成功率仍未知；未来必须进行跨平台、跨细胞类型和湿实验前瞻性验证。
应用场景
近期应用
药物候选优先级排序
药物研发团队可输入控制细胞与化学处理条件，生成多个候选响应，并用PROGENy通路奖励筛选方向合理的细胞状态，从而减少先验筛选规模。前提是有匹配的训练数据和可靠通路注释。
基因扰动实验设计
研究者可在Norman式遗传扰动任务中比较候选靶点的预测表达变化、DE排序和通路方向，优先安排更可能产生目标表型的基因或组合。预测结果仍需独立实验确认。
远期愿景
可验证的虚拟细胞系统
长期可将多种参考无关验证器、细胞类型检查和因果通路模型整合进生成系统，使虚拟细胞不仅复现分布，还能对个体响应给出可解释、可审计的生物学依据。
原文摘要
Single-cell perturbation models can reduce costly wet-lab screening by predicting how cells respond transcriptionally to interventions. While recent generative models improve population-level prediction, individual generated cells are not explicitly checked for biological consistency. We introduce PerturbCellRL, a reinforcement learning (RL) framework that post-trains a pretrained single-cell transcriptomic generator using a suite of cell-level verifiers as rewards. These verifiers define four rewards: Pearson top-k similarity, RMSE top-k proximity, DE Spearman, and Pathway activity. The Pathway activity verifier rewards cells whose pathway responses match known perturbation biology. We evaluate PerturbCellRL on multiple genetic and chemical perturbation benchmarks. Across these benchmarks, PerturbCellRL improves over the pretrained flow-matching generator on reward-aligned evaluation metrics and a held-out evaluation metric. Moreover, PerturbCellRL remains competitive with state-of-the-art methods on population-level metrics. Together, these results frame trustworthy single-cell prediction as verifier-guided generative alignment, moving beyond matching expression distributions toward predictions whose single-cell perturbation effects are explicitly checked for biological consistency.