Résumé IA · arXiv: 2611.10658v1 · cs.AI
The Delta Gap: Cellular World Models for Perturbation Response Prediction Are Far Harder Than Global Correlation Implies
L’essentiel
L’étude montre que la corrélation globale surestime la prédiction des réponses aux perturbations et que l’évaluation et l’entraînement en espace delta améliorent leur mesure et leur prédiction.
Question
Les corrélations globales utilisées pour évaluer les modèles de réponse aux perturbations reflètent-elles leur capacité à prédire les changements induits, ou sont-elles surtout portées par les gènes peu modifiés ? Les auteurs examinent aussi si des évaluations et objectifs centrés sur ces changements peuvent réduire cet écart.
Méthode
Les auteurs évaluent GEARS sur 509 perturbations inédites et 5 000 gènes dans le jeu Replogle K562, ainsi que sur 107 conditions Norman A549, avec 30 cellules par condition pour les expériences principales. Ils comparent la corrélation globale à la corrélation des deltas observés et prédits, et évaluent des corrections par marche aléatoire sur un graphe de co-expression et par k plus proches voisins, ainsi qu’un entraînement aligné sur le delta. Les expériences GEARS utilisent trois graines; l’entraînement aligné dure 20 époques et teste notamment λ = 1,0 et 3,0.
Résultats
-
Résultat
Sur Replogle, GEARS atteint une corrélation globale de 0,977, mais sa corrélation delta n’est que de 0,076; le modèle trivial prédisant le delta moyen d’entraînement atteint 0,267.
Voir le passage dans l’article
On Replogle K562 essential data [1], GEARS achieves global Pearson 0.977 on unseen single perturbations, but when evaluated on the perturbation-induced delta (predicted minus control vs observed minus control), Pearson drops to 0.076.
-
Résultat
La correction par k plus proches voisins améliore la corrélation delta de GEARS, mais reste en dessous du modèle trivial de delta moyen.
Voir le passage dans l’article
kNN matching with k=50 and alpha=0 (pure kNN) achieves 0.211 delta Pearson, a 3.1x improvement over GEARS one-step (0.069) and 2.1x over RWR (0.103).
-
Résultat
L’entraînement aligné sur le delta avec λ = 3,0 porte la corrélation delta à 0,179 et améliore aussi la précision directionnelle et la récupération de gènes par rapport au modèle trivial.
Voir le passage dans l’article
with lambda = 3.0 it reaches 0.179, a 2.35x improvement over the vanilla model, while top-20 delta Pearson increases from 0.148 to 0.269 (1.8x).
-
Résultat
Dans le transfert sans adaptation de K562 à A549, le modèle entraîné avec l’objectif aligné atteint 0,328 sur 741 gènes partagés, contre 0,070 pour le modèle trivial et 0,158 pour GEARS.
Voir le passage dans l’article
Its zero-shot delta Pearson (0.328) is 4.7x the trivial LinearPerturb baseline (0.070) and 2.1x the standard GEARS model (0.158), even though the target cell line (A549) and perturbation mode (overexpression) were never seen during training.
-
Interprétation des auteurs
Les auteurs interprètent l’écart entre le kNN oracle et le kNN fondé sur les prédictions comme un indice que la géométrie des représentations des perturbations limite les performances restantes.
Voir le passage dans l’article
The 2.8x gap between oracle and predicted-delta kNN quantifies how much GEARS’s perturbation representations need to improve.
Limites
- L’étude n’évalue comme modèle profond que GEARS et ne teste pas plusieurs modèles récents de prédiction des perturbations.
Voir le passage dans l’article
First, we only evaluate GEARS as the deep model; we have not tested other 2026 models such as PRiMeFlow [7], scDFM [8], or OCOO-T [9].
- Les résultats reposent sur deux jeux de données seulement, de sorte que l’ampleur de l’écart peut varier selon les types cellulaires et de perturbation.
Voir le passage dans l’article
Second, we only test two datasets (Replogle K562 and Norman A549); the delta gap may vary across cell types and perturbation types.
- Les expériences principales utilisent un sous-échantillon de 30 cellules par condition, ce qui peut modifier les valeurs absolues observées.
Voir le passage dans l’article
Third, we only use 30 cells per condition (downsampled from full datasets); full-data experiments may yield different absolute numbers, though our downsampling analysis suggests the relative ranking holds.
Portée
Les auteurs recommandent de rapporter les métriques en espace delta en plus des corrélations globales, qui peuvent masquer la faible prédiction des transitions induites. Ils proposent aussi de privilégier l’alignement de l’objectif d’entraînement sur ces transitions et l’amélioration des représentations des perturbations.
Rédigé par une IA à partir de l’article. Les passages cités sont vérifiés mot pour mot dans le texte analysé ; le reste peut contenir des erreurs.
Posez des questions sur cet article à notre assistant IA
Comment discuter avec cet article ? Guide illustré
Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.
Gardez cette conversation — un compte gratuit conserve vos questions et réponses, vos collections d’articles et vos alertes.
Continuer avec Google Créer un compte gratuitOutils pour cet article
Outils avancés Premium
Pour suivre un domaine de près : alertes de citations, diapositives de journal club, comparaison des versions et envoi vers Zotero. Découvrir Premium
Les articles autour de celui-ci
Les voir sur une carteClassés selon la proximité de leur titre et de leur résumé avec ceux de cet article. Sélectionnez-en pour les lire ensemble.
Les articles les plus proches
-
GEARS: Predicting transcriptional outcomes of novel multi-gene perturbationsYusuf H. Roohani, Kexin Huang, J. Leskovec · 2022 · bioRxiv · preprint, non relu par les pairs · cité 35 fois · Pas encore résumé
GEARS prédit les réponses transcriptionnelles à des perturbations inédites, modèle que l’étude évalue sur des perturbations non vues.
Résumé scientifique
Cellular response to genetic perturbation is central to numerous biomedical applications from identifying genetic interactions involved in cancer to methods for regenerative medicine. However, the combinatorial explosion in the number of possible multi-gene perturbations severely limits experimental interrogation. Here, we present GEARS, a method that can predict transcriptional response to both single and multi-gene perturbations using single-cell RNA-sequencing data from perturbational screens. GEARS is uniquely able to predict outcomes of perturbing combinations consisting of novel genes that were never experimentally perturbed by leveraging geometric deep learning and a knowledge graph o…
-
Gradient-aware modeling advances AI-driven prediction of genetic perturbation effectsDixian Zhu, Livnat Jerby · 2025 · bioRxiv · preprint, non relu par les pairs · cité 1 fois · Pas encore résumé
GARM emploie une supervision alignée sur les gradients pour prédire les effets de perturbations, tandis que l’étude aligne l’entraînement sur les deltas.
Résumé scientifique
Predicting the transcriptional effects of genetic perturbations across diverse contexts is a central challenge in functional genomics. While single-cell perturbational assays such as Perturb-seq have generated valuable datasets, exhaustively profiling all perturbations is infeasible, underscoring the need for predictive models. We present GARM (Gradient Aligned Regression with Multi-decoder), a machine learning (ML) framework that leverages gradient-aware supervision to capture both absolute and relative perturbational effects. Across multiple large-scale datasets, GARM consistently outperforms leading approaches—including GEARS, scGPT, and GenePert—in predicting responses to unseen perturba…
-
COMPASS: Component-Wise Inference of Shared and Gene-Specific Perturbation ResponseHuan Liang, Rohit Singh · 2026 · bioRxiv · preprint, non relu par les pairs · cité 2 fois · Pas encore résumé
COMPASS étudie la réponse transcriptionnelle aux perturbations et montre que la moyenne des réponses masque des réponses plus ciblées, comme l’étude examine les limites des évaluations globales.
Résumé scientifique
Predicting how a genetic perturbation reshapes a cell’s transcriptome is a central goal of computational biology. Previous studies report that the mean response across training perturbations rivals specialized models on standard accuracy metrics, even though it cannot distinguish which perturbation occurred. Across 2,270 CRISPRi perturbations measured in each of six cell lines, we show that this apparent paradox reflects a conserved organization of perturbation responses. Perturbations span a continuum from responses strongly aligned with the mean to more targeted responses that depart from it. Crucially, a perturbation’s position along this continuum is conserved across cell lines (Kendall’…
-
Diversity by Design: Addressing Mode Collapse Improves scRNA-seq Perturbation Modeling on Well-Calibrated MetricsGabriel M. Mejía, Henry E. Miller, Francis J. A. Leblanc et al. · 2025 · arXiv.org · preprint, non relu par les pairs · cité 27 fois · Pas encore résumé
Diversity by Design attribue les performances trompeuses aux métriques fondées sur les deltas et propose des métriques pondérées par les gènes différentiellement exprimés.
Résumé scientifique
Recent benchmarks reveal that models for single-cell perturbation response are often outperformed by simply predicting the dataset mean. We trace this anomaly to a metric artifact: control-referenced deltas and unweighted error metrics reward mode collapse whenever the control is biased or the biological signal is sparse. Large-scale \textit{in silico} simulations and analysis of two real-world perturbation datasets confirm that shared reference shifts, not genuine biological change, drives high performance in these evaluations. We introduce differentially expressed gene (DEG)-aware metrics, weighted mean-squared error (WMSE) and weighted delta $R^{2}$ ($R^{2}_{w}(\Delta)$) with respect to a…
-
Reliable single-cell perturbations explain and improve model performanceXi Wang, J. Kuipers, Florian Hugi et al. · 2026 · bioRxiv · preprint, non relu par les pairs · cité 3 fois · Pas encore résumé
Reliable single-cell perturbations examine la fiabilité des mesures de perturbation, qui conditionne l’interprétation des performances prédictives évaluées ici.
Résumé scientifique
Predicting single-cell transcriptional responses to perturbations is central to building the virtual cell, yet recent benchmarks show that simple baseline methods often outperform complex models, and model comparisons depend on the evaluation metric. Most studies assume that preprocessed RNA sequencing data are reliable ground truth for both training and evaluation. Here, we test this assumption by measuring the reliability of perturbations and their alignment with shared perturbation responses, classifying each perturbation as specific, shared, or unreliable. Among 7,170 perturbations from 29 datasets, 65% are unreliable, 11% shared, and 24% specific. Applying these quality labels to publis…
-
Signal, Bounds, and Baselines: Principles for Evaluating Virtual Cell Perturbation ModelsMichael Vollenweider, P. Bühlmann · 2026 · bioRxiv · preprint, non relu par les pairs · cité 6 fois · Pas encore résumé
Signal, Bounds, and Baselines propose des principes d’évaluation des modèles de perturbation, notamment des métriques sensibles au signal biologique.
Résumé scientifique
Foundation models and deep learning systems are increasingly proposed as core components of “virtual cells” capable of forecasting transcriptomic responses to unseen perturbations. Yet rigorous evaluation of perturbation prediction in high-dimensional gene expression space remains challenging, raising concerns of reported performances. Here, we introduce the SBB principles (Signal, Bounds, and Baselines) for evaluating biological perturbation prediction. The Signal pillar introduces diagnostic meta-metrics and promotes differentially expressed gene (DEG)-based weighting or filtering to verify and recover metric sensitivity to biological signal masked by high-dimensional noise. The Bounds pil…
-
Evaluating Single-Cell Perturbation Response Models Is Far from StraightforwardMahshid Heidari, M. Karimpour, Sumana Srivatsa et al. · 2026 · bioRxiv · preprint, non relu par les pairs · cité 3 fois · Pas encore résumé
Evaluating Single-Cell Perturbation Response Models étudie comment les métriques usuelles surestiment les performances des modèles de réponse aux perturbations.
Résumé scientifique
Predicting cellular responses to genetic and chemical perturbations remains a central challenge in single-cell biology and a key step toward building in silico virtual cells. The rapid growth of perturbation datasets and advances in deep-learning models have raised expectations for accurate and generalizable prediction. We show that these expectations are overly optimistic, largely due to the failure modes of existing evaluation metrics. In this study, using cross-splitting, controlled noise experiments, and synthetic data, we systematically evaluate both prediction models and evaluation metrics. We demonstrate that widely used metrics, including correlation-based measures and common distrib…
-
Systema: a framework for evaluating genetic perturbation response prediction beyond systematic variationRamon Viñas Torné, Maciej Wiatrak, Zoe Piran et al. · 2025 · Nature Biotechnology · cité 129 fois · Pas encore résumé
Systema montre que les métriques courantes surestiment la prédiction en raison de variations systématiques, tandis que l’étude met en évidence l’influence des gènes non réactifs.
Résumé scientifique
Predicting transcriptional responses to genetic perturbations is challenging in functional genomics. While recent methods aim to infer effects of untested perturbations, their true predictive power remains unclear. Here, we show that current methods struggle to generalize beyond systematic variation, the consistent transcriptional differences between perturbed and control cells arising from selection biases or confounders. We quantify this variation in ten datasets, spanning three technologies and five cell lines, and show that common metrics are susceptible to these biases, leading to overestimated performance. To address this, we introduce Systema, an evaluation framework that emphasizes p…
Les travaux antérieurs sur lesquels il s’appuie
-
D2R2: Discrete Diffusion with Regulation Reinforcement for Single-Cell Perturbation PredictionNing Fan, Qi Liu, Xunuo Zhu et al. · 2026 · arXiv.org · preprint, non relu par les pairs · cité 2 fois · Pas encore résumé
D²R² prédit les réponses transcriptomiques par génération progressive des gènes, autre approche de modélisation des perturbations.
Résumé scientifique
Predicting single-cell transcriptomic responses to genetic perturbations is central to functional genomics and virtual-cell modeling. Existing approaches, however, typically predict an entire expression profile as a whole, leaving the order in which individual gene responses are generated unmodeled. To address this problem, we introduce \textbf{$D^{2}R^{2}$} (\textbf{D}iscrete \textbf{D}iffusion with \textbf{R}egulation \textbf{R}einforcement), which reformulates perturbation prediction as regulation-guided gene-wise progressive generation. A Masked Discrete Diffusion Model represents expression as ordinal tokens and reconstructs a fully masked profile step by step, allowing generated gene r…
-
Modeling and predicting single-cell multi-gene perturbation responses with scLAMBDAGe-Fei Wang, Tian-Yu Liu, Jia Zhao et al. · 2024 · bioRxiv · preprint, non relu par les pairs · cité 34 fois · Pas encore résumé
scLAMBDA modélise et prédit les réponses transcriptionnelles à des perturbations simples ou combinées, sans traiter spécifiquement l’écart entre corrélations globales et deltas.
Résumé scientifique
Understanding cellular responses to genetic perturbations is essential for understanding gene regulation and phenotype formation. While high-throughput single-cell RNA-sequencing has facilitated detailed profiling of heterogeneous transcriptional responses to perturbations at the single-cell level, there remains a pressing need for computational models that can decode the mechanisms driving these responses and accurately predict outcomes to prioritize target genes for experimental design. Here, we present scLAMBDA, a deep generative learning framework designed to model and predict single-cell transcriptional responses to genetic perturbations, including single-gene and combinatorial multi-ge…
-
Benchmarking virtual cell models for in-the-wild perturbation responseXin-Jie Mao, Song-Ming Zhang, Qi-rong Wen et al. · 2026 · cité 8 fois · Pas encore résumé
Benchmarking virtual cell models cite l’étude et propose un cadre standardisé pour évaluer les prédictions en conditions plus proches du réel.
Résumé scientifique
Virtual cell (VC) models aim to predict cellular responses to any perturbations in silico and have emerged as a promising approach for drug discovery and precision medicine. Yet, a clear gap still remains: while models routinely reported impressive results on standard benchmarks, it is unclear whether their predictions are truly meaningful in practice. This is mainly due to limitations in current evaluation setups, which are often overly simplified or inconsistent, and do not reflect the complexity and variability of real biological systems. Here, we introduce a standardized and modular benchmarking framework for virtual cell prediction. Our framework evaluates diverse models under in-the-wi…
-
PRiMeFlow: Capturing Complex Expression Heterogeneity in Perturbation Response ModellingZi-Chao Yan, Yan Wu, M. Ji et al. · 2026 · arXiv.org · preprint, non relu par les pairs · cité 5 fois · Pas encore résumé
PRiMeFlow modélise les distributions d’expression après perturbation par flow matching, plutôt que de se concentrer sur les métriques de delta.
Résumé scientifique
Predicting the effects of perturbations in-silico on cell state can identify drivers of cell behavior at scale and accelerate drug discovery. However, modeling challenges remain due to the inherent heterogeneity of single cell gene expression and the complex, latent gene dependencies. Here, we present PRiMeFlow, an end-to-end flow matching based approach to directly model the effects of genetic and small molecule perturbations in the gene expression space. The distribution-fitting approach taken by PRiMeFlow enables it to accurately approximate the empirical distribution of single-cell gene expression, which we demonstrate through extensive benchmarking inside PerturBench. Through ablation s…
-
scDFM: Distributional Flow Matching Model for Robust Single-Cell Perturbation PredictionCheng-Lei Yu, Chuan-Rui Wang, Bangyan Liao et al. · 2026 · International Conference on Learning Representations · cité 27 fois · Pas encore résumé
scDFM prédit les distributions de cellules perturbées avec un objectif de flow matching conditionnel, une approche distincte de l’évaluation des deltas.
Résumé scientifique
A central goal in systems biology and drug discovery is to predict the transcriptional response of cells to perturbations. This task is challenging due to the noisy and sparse nature of single-cell measurements, as well as the fact that perturbations often induce population-level shifts rather than changes in individual cells. Existing deep learning methods typically assume cell-level correspondences, limiting their ability to capture such global effects. We present scDFM, a generative framework based on conditional flow matching that models the full distribution of perturbed cells conditioned on control states. By incorporating a maximum mean discrepancy (MMD) objective, our method aligns p…
Aller plus loin
Comment ces articles sont-ils trouvés ?
Nous comparons le titre et le résumé de cet article avec ceux de tous les articles résumés sur ce site, et avec les articles que Semantic Scholar recommande, ceux qu’il cite et ceux qui le citent (pour un article très cité, ses citations les plus récentes et, depuis OpenAlex, les plus citées). Parmi les travaux antérieurs et les suites, les articles qui s’utilisent en profondeur, une méthode qu’il utilise et les suites très citées remontent un peu. Les niveaux (très proche, proche, apparenté) viennent de la similarité des textes, pas d’un jugement de qualité ; * signale un article sans résumé, comparé par son titre. La phrase sous un article est écrite par une IA à partir des deux résumés : vérifiez-la dans les articles. Un article jugé hors sujet par trois lecteurs quitte la liste.
Mis à jour le 16 novembre 2026.
Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.