Résumé IA · arXiv: 2611.10658v1 · cs.AI

The Delta Gap: Cellular World Models for Perturbation Response Prediction Are Far Harder Than Global Correlation Implies

Junhui Gao
Article original Soumis à arXiv le 07 Nov. 2026 35 pages, 16 figures, 17 tables Licence : CC BY 4.0 Aussi en : en

Comment lire ce résumé ? Guide illustré

L’essentiel

L’étude montre que la corrélation globale surestime la prédiction des réponses aux perturbations et que l’évaluation et l’entraînement en espace delta améliorent leur mesure et leur prédiction.

Question

Les corrélations globales utilisées pour évaluer les modèles de réponse aux perturbations reflètent-elles leur capacité à prédire les changements induits, ou sont-elles surtout portées par les gènes peu modifiés ? Les auteurs examinent aussi si des évaluations et objectifs centrés sur ces changements peuvent réduire cet écart.

Méthode

Les auteurs évaluent GEARS sur 509 perturbations inédites et 5 000 gènes dans le jeu Replogle K562, ainsi que sur 107 conditions Norman A549, avec 30 cellules par condition pour les expériences principales. Ils comparent la corrélation globale à la corrélation des deltas observés et prédits, et évaluent des corrections par marche aléatoire sur un graphe de co-expression et par k plus proches voisins, ainsi qu’un entraînement aligné sur le delta. Les expériences GEARS utilisent trois graines; l’entraînement aligné dure 20 époques et teste notamment λ = 1,0 et 3,0.

Résultats

  • Résultat Sur Replogle, GEARS atteint une corrélation globale de 0,977, mais sa corrélation delta n’est que de 0,076; le modèle trivial prédisant le delta moyen d’entraînement atteint 0,267.
    Voir le passage dans l’article
    On Replogle K562 essential data [1], GEARS achieves global Pearson 0.977 on unseen single perturbations, but when evaluated on the perturbation-induced delta (predicted minus control vs observed minus control), Pearson drops to 0.076.
  • Résultat La correction par k plus proches voisins améliore la corrélation delta de GEARS, mais reste en dessous du modèle trivial de delta moyen.
    Voir le passage dans l’article
    kNN matching with k=50 and alpha=0 (pure kNN) achieves 0.211 delta Pearson, a 3.1x improvement over GEARS one-step (0.069) and 2.1x over RWR (0.103).
  • Résultat L’entraînement aligné sur le delta avec λ = 3,0 porte la corrélation delta à 0,179 et améliore aussi la précision directionnelle et la récupération de gènes par rapport au modèle trivial.
    Voir le passage dans l’article
    with lambda = 3.0 it reaches 0.179, a 2.35x improvement over the vanilla model, while top-20 delta Pearson increases from 0.148 to 0.269 (1.8x).
  • Résultat Dans le transfert sans adaptation de K562 à A549, le modèle entraîné avec l’objectif aligné atteint 0,328 sur 741 gènes partagés, contre 0,070 pour le modèle trivial et 0,158 pour GEARS.
    Voir le passage dans l’article
    Its zero-shot delta Pearson (0.328) is 4.7x the trivial LinearPerturb baseline (0.070) and 2.1x the standard GEARS model (0.158), even though the target cell line (A549) and perturbation mode (overexpression) were never seen during training.
  • Interprétation des auteurs Les auteurs interprètent l’écart entre le kNN oracle et le kNN fondé sur les prédictions comme un indice que la géométrie des représentations des perturbations limite les performances restantes.
    Voir le passage dans l’article
    The 2.8x gap between oracle and predicted-delta kNN quantifies how much GEARS’s perturbation representations need to improve.

Limites

  • L’étude n’évalue comme modèle profond que GEARS et ne teste pas plusieurs modèles récents de prédiction des perturbations.
    Voir le passage dans l’article
    First, we only evaluate GEARS as the deep model; we have not tested other 2026 models such as PRiMeFlow [7], scDFM [8], or OCOO-T [9].
  • Les résultats reposent sur deux jeux de données seulement, de sorte que l’ampleur de l’écart peut varier selon les types cellulaires et de perturbation.
    Voir le passage dans l’article
    Second, we only test two datasets (Replogle K562 and Norman A549); the delta gap may vary across cell types and perturbation types.
  • Les expériences principales utilisent un sous-échantillon de 30 cellules par condition, ce qui peut modifier les valeurs absolues observées.
    Voir le passage dans l’article
    Third, we only use 30 cells per condition (downsampled from full datasets); full-data experiments may yield different absolute numbers, though our downsampling analysis suggests the relative ranking holds.

Portée

Les auteurs recommandent de rapporter les métriques en espace delta en plus des corrélations globales, qui peuvent masquer la faible prédiction des transitions induites. Ils proposent aussi de privilégier l’alignement de l’objectif d’entraînement sur ces transitions et l’amélioration des représentations des perturbations.

Rédigé par une IA à partir de l’article. Les passages cités sont vérifiés mot pour mot dans le texte analysé ; le reste peut contenir des erreurs.

Mots clés générés par l'IA : Prédiction des perturbations génétiques ; expression différentielle ; modèles de réponse cellulaire ; corrélation des deltas ; GEARS

Pour aller plus loin

  • Résumé Complet
  • Résumé vulgarisé
  • Article de blog
  • Abstract original
L’article examine si les modèles qui prédisent les réponses aux perturbations génétiques apprennent réellement les changements causés par celles-ci, ou s’ils semblent surtout performants parce qu’ils prédisent correctement l’expression de base. Les évaluations reposent souvent sur la corrélation de Pearson calculée sur l’ensemble des gènes. Or, comme la plupart des gènes changent peu après une perturbation, l’expression commune aux cellules témoins peut dominer cette mesure. Les auteurs proposent donc d’évaluer directement le « delta », c’est-à-dire la différence entre l’expression après perturbation et celle des cellules témoins. L’étude compare les prédictions de GEARS aux réponses observées pour 509 perturbations inédites dans le jeu de données Replogle K562, ainsi que pour 107 conditions inédites dans Norman A549. Les auteurs mesurent la corrélation entre les deltas prédits et observés, la corrélation pour les 20 gènes les plus différentiellement exprimés, la précision de la prédiction du sens des changements et la récupération des gènes les plus réactifs. Les expériences utilisent notamment 30 cellules par condition. Les auteurs évaluent également un modèle de référence très simple, qui prédit pour chaque perturbation le delta moyen des perturbations d’entraînement. Ils étudient deux méthodes de correction après prédiction : la propagation des effets sur un réseau de coexpression par marche aléatoire avec redémarrage (RWR), et une méthode des k plus proches voisins (kNN), qui emprunte les deltas observés des perturbations d’entraînement dont les profils prédits sont les plus proches. Enfin, ils entraînent GEARS à l’aide d’une fonction de perte qui aligne explicitement les deltas prédits et observés, puis testent une variante intégrant une calibration de l’amplitude des effets. Sur Replogle, GEARS atteint une corrélation globale de 0,977, mais sa corrélation dans l’espace des deltas n’est que de 0,076. Le modèle de référence fondé sur le delta moyen obtient 0,267, soit environ 3,5 fois plus. Le RWR augmente le score de GEARS à 0,103, tandis que le kNN le porte à 0,211. Un kNN « oracle », qui connaît les vrais deltas des perturbations test pour sélectionner ses voisins, atteint 0,592. Ce résultat révèle un potentiel d’amélioration important dans la représentation des perturbations, même si cette approche oracle n’est pas applicable en pratique. Sur Norman, l’écart entre les performances globales et celles mesurées dans l’espace des deltas est moins marqué : GEARS obtient respectivement 0,877 et 0,565. Les auteurs attribuent cette différence aux effets plus forts et plus cohérents observés dans ce jeu de données. L’entraînement qui aligne les deltas améliore les résultats sur Replogle. Avec un poids d’alignement de 3, la corrélation des deltas atteint 0,179 et la précision de prédiction du sens des changements, 0,680, contre 0,567 pour le modèle de référence. La récupération des gènes réactifs passe de 1,19 à 1,52 en moyenne. La combinaison de cet entraînement avec le kNN atteint une corrélation des deltas de 0,217. L’ajout d’une calibration de l’amplitude améliore encore la récupération des gènes réactifs, qui atteint une moyenne de 2,73 sur trois graines avec le kNN, mais entraîne une baisse de la corrélation globale.

Cette synthèse vous a-t-elle été utile ?

Note : 0

Pourquoi avons-nous besoin de votes ?

Les votes sont utilisés pour déterminer si nous devons réexécuter nos outils de synthèse. Si le compte atteint -10, nos outils peuvent être redémarrés.

Figures et graphiques

Posez une question sur une figure en indiquant son numéro ou en utilisant son bouton de question pour demander une analyse visuelle. Au maximum deux figures et quatre panneaux par question. Les valeurs lues sur les graphiques sont approximatives ; vérifiez les données originales.

Instructions pour utiliser l'assistant IA ?

Outils pour cet article

Expliquer autrement 1 réécriture gratuite restante aujourd'hui
Enregistrer dans une collection Regroupez des articles en collections pour les comparer, les interroger et les exporter. Continuer avec Google Créer un compte gratuit Se connecter

Outils avancés Premium

Pour suivre un domaine de près : alertes de citations, diapositives de journal club, comparaison des versions et envoi vers Zotero. Découvrir Premium

Zotero Guide Zotero
Alertes de citation Guide des alertes de citations
Lettre hebdomadaire Présenté dans « Intelligence artificielle cette semaine » du 16 novembre 2026. Intelligence artificielle cette semaine : ce que les bons scores ne disent pas · En recevoir une par email gratuitement

Les articles autour de celui-ci

Les voir sur une carte

Classés selon la proximité de leur titre et de leur résumé avec ceux de cet article. Sélectionnez-en pour les lire ensemble.

Les articles les plus proches

  1. Proche Base de cet article
    GEARS: Predicting transcriptional outcomes of novel multi-gene perturbations
    Yusuf H. Roohani, Kexin Huang, J. Leskovec · 2022 · bioRxiv · preprint, non relu par les pairs · cité 35 fois · Pas encore résumé

    GEARS prédit les réponses transcriptionnelles à des perturbations inédites, modèle que l’étude évalue sur des perturbations non vues.

    Résumé scientifique

    Cellular response to genetic perturbation is central to numerous biomedical applications from identifying genetic interactions involved in cancer to methods for regenerative medicine. However, the combinatorial explosion in the number of possible multi-gene perturbations severely limits experimental interrogation. Here, we present GEARS, a method that can predict transcriptional response to both single and multi-gene perturbations using single-cell RNA-sequencing data from perturbational screens. GEARS is uniquely able to predict outcomes of perturbing combinations consisting of novel genes that were never experimentally perturbed by leveraging geometric deep learning and a knowledge graph o…

  2. Proche Autre approche du problème
    Gradient-aware modeling advances AI-driven prediction of genetic perturbation effects
    Dixian Zhu, Livnat Jerby · 2025 · bioRxiv · preprint, non relu par les pairs · cité 1 fois · Pas encore résumé

    GARM emploie une supervision alignée sur les gradients pour prédire les effets de perturbations, tandis que l’étude aligne l’entraînement sur les deltas.

    Résumé scientifique

    Predicting the transcriptional effects of genetic perturbations across diverse contexts is a central challenge in functional genomics. While single-cell perturbational assays such as Perturb-seq have generated valuable datasets, exhaustively profiling all perturbations is infeasible, underscoring the need for predictive models. We present GARM (Gradient Aligned Regression with Multi-decoder), a machine learning (ML) framework that leverages gradient-aware supervision to capture both absolute and relative perturbational effects. Across multiple large-scale datasets, GARM consistently outperforms leading approaches—including GEARS, scGPT, and GenePert—in predicting responses to unseen perturba…

  3. Proche Même question
    COMPASS: Component-Wise Inference of Shared and Gene-Specific Perturbation Response
    Huan Liang, Rohit Singh · 2026 · bioRxiv · preprint, non relu par les pairs · cité 2 fois · Pas encore résumé

    COMPASS étudie la réponse transcriptionnelle aux perturbations et montre que la moyenne des réponses masque des réponses plus ciblées, comme l’étude examine les limites des évaluations globales.

    Résumé scientifique

    Predicting how a genetic perturbation reshapes a cell’s transcriptome is a central goal of computational biology. Previous studies report that the mean response across training perturbations rivals specialized models on standard accuracy metrics, even though it cannot distinguish which perturbation occurred. Across 2,270 CRISPRi perturbations measured in each of six cell lines, we show that this apparent paradox reflects a conserved organization of perturbation responses. Perturbations span a continuum from responses strongly aligned with the mean to more targeted responses that depart from it. Crucially, a perturbation’s position along this continuum is conserved across cell lines (Kendall’…

  4. Proche Même question Cité par cet article
    Diversity by Design: Addressing Mode Collapse Improves scRNA-seq Perturbation Modeling on Well-Calibrated Metrics
    Gabriel M. Mejía, Henry E. Miller, Francis J. A. Leblanc et al. · 2025 · arXiv.org · preprint, non relu par les pairs · cité 27 fois · Pas encore résumé

    Diversity by Design attribue les performances trompeuses aux métriques fondées sur les deltas et propose des métriques pondérées par les gènes différentiellement exprimés.

    Résumé scientifique

    Recent benchmarks reveal that models for single-cell perturbation response are often outperformed by simply predicting the dataset mean. We trace this anomaly to a metric artifact: control-referenced deltas and unweighted error metrics reward mode collapse whenever the control is biased or the biological signal is sparse. Large-scale \textit{in silico} simulations and analysis of two real-world perturbation datasets confirm that shared reference shifts, not genuine biological change, drives high performance in these evaluations. We introduce differentially expressed gene (DEG)-aware metrics, weighted mean-squared error (WMSE) and weighted delta $R^{2}$ ($R^{2}_{w}(\Delta)$) with respect to a…

  5. Proche Contexte plus large
    Reliable single-cell perturbations explain and improve model performance
    Xi Wang, J. Kuipers, Florian Hugi et al. · 2026 · bioRxiv · preprint, non relu par les pairs · cité 3 fois · Pas encore résumé

    Reliable single-cell perturbations examine la fiabilité des mesures de perturbation, qui conditionne l’interprétation des performances prédictives évaluées ici.

    Résumé scientifique

    Predicting single-cell transcriptional responses to perturbations is central to building the virtual cell, yet recent benchmarks show that simple baseline methods often outperform complex models, and model comparisons depend on the evaluation metric. Most studies assume that preprocessed RNA sequencing data are reliable ground truth for both training and evaluation. Here, we test this assumption by measuring the reliability of perturbations and their alignment with shared perturbation responses, classifying each perturbation as specific, shared, or unreliable. Among 7,170 perturbations from 29 datasets, 65% are unreliable, 11% shared, and 24% specific. Applying these quality labels to publis…

  6. Proche Article de revue
    Signal, Bounds, and Baselines: Principles for Evaluating Virtual Cell Perturbation Models
    Michael Vollenweider, P. Bühlmann · 2026 · bioRxiv · preprint, non relu par les pairs · cité 6 fois · Pas encore résumé

    Signal, Bounds, and Baselines propose des principes d’évaluation des modèles de perturbation, notamment des métriques sensibles au signal biologique.

    Résumé scientifique

    Foundation models and deep learning systems are increasingly proposed as core components of “virtual cells” capable of forecasting transcriptomic responses to unseen perturbations. Yet rigorous evaluation of perturbation prediction in high-dimensional gene expression space remains challenging, raising concerns of reported performances. Here, we introduce the SBB principles (Signal, Bounds, and Baselines) for evaluating biological perturbation prediction. The Signal pillar introduces diagnostic meta-metrics and promotes differentially expressed gene (DEG)-based weighting or filtering to verify and recover metric sensitivity to biological signal masked by high-dimensional noise. The Bounds pil…

  7. Proche Même question
    Evaluating Single-Cell Perturbation Response Models Is Far from Straightforward
    Mahshid Heidari, M. Karimpour, Sumana Srivatsa et al. · 2026 · bioRxiv · preprint, non relu par les pairs · cité 3 fois · Pas encore résumé

    Evaluating Single-Cell Perturbation Response Models étudie comment les métriques usuelles surestiment les performances des modèles de réponse aux perturbations.

    Résumé scientifique

    Predicting cellular responses to genetic and chemical perturbations remains a central challenge in single-cell biology and a key step toward building in silico virtual cells. The rapid growth of perturbation datasets and advances in deep-learning models have raised expectations for accurate and generalizable prediction. We show that these expectations are overly optimistic, largely due to the failure modes of existing evaluation metrics. In this study, using cross-splitting, controlled noise experiments, and synthetic data, we systematically evaluate both prediction models and evaluation metrics. We demonstrate that widely used metrics, including correlation-based measures and common distrib…

  8. Proche Même question
    Systema: a framework for evaluating genetic perturbation response prediction beyond systematic variation
    Ramon Viñas Torné, Maciej Wiatrak, Zoe Piran et al. · 2025 · Nature Biotechnology · cité 129 fois · Pas encore résumé

    Systema montre que les métriques courantes surestiment la prédiction en raison de variations systématiques, tandis que l’étude met en évidence l’influence des gènes non réactifs.

    Résumé scientifique

    Predicting transcriptional responses to genetic perturbations is challenging in functional genomics. While recent methods aim to infer effects of untested perturbations, their true predictive power remains unclear. Here, we show that current methods struggle to generalize beyond systematic variation, the consistent transcriptional differences between perturbed and control cells arising from selection biases or confounders. We quantify this variation in ten datasets, spanning three technologies and five cell lines, and show that common metrics are susceptible to these biases, leading to overestimated performance. To address this, we introduce Systema, an evaluation framework that emphasizes p…

Les travaux antérieurs sur lesquels il s’appuie

  1. Proche Contexte plus large Utilisé en profondeur par cet article
    D2R2: Discrete Diffusion with Regulation Reinforcement for Single-Cell Perturbation Prediction
    Ning Fan, Qi Liu, Xunuo Zhu et al. · 2026 · arXiv.org · preprint, non relu par les pairs · cité 2 fois · Pas encore résumé

    D²R² prédit les réponses transcriptomiques par génération progressive des gènes, autre approche de modélisation des perturbations.

    Résumé scientifique

    Predicting single-cell transcriptomic responses to genetic perturbations is central to functional genomics and virtual-cell modeling. Existing approaches, however, typically predict an entire expression profile as a whole, leaving the order in which individual gene responses are generated unmodeled. To address this problem, we introduce \textbf{$D^{2}R^{2}$} (\textbf{D}iscrete \textbf{D}iffusion with \textbf{R}egulation \textbf{R}einforcement), which reformulates perturbation prediction as regulation-guided gene-wise progressive generation. A Masked Discrete Diffusion Model represents expression as ordinal tokens and reconstructs a fully masked profile step by step, allowing generated gene r…

  2. Proche Contexte plus large Utilisé en profondeur par cet article
    Modeling and predicting single-cell multi-gene perturbation responses with scLAMBDA
    Ge-Fei Wang, Tian-Yu Liu, Jia Zhao et al. · 2024 · bioRxiv · preprint, non relu par les pairs · cité 34 fois · Pas encore résumé

    scLAMBDA modélise et prédit les réponses transcriptionnelles à des perturbations simples ou combinées, sans traiter spécifiquement l’écart entre corrélations globales et deltas.

    Résumé scientifique

    Understanding cellular responses to genetic perturbations is essential for understanding gene regulation and phenotype formation. While high-throughput single-cell RNA-sequencing has facilitated detailed profiling of heterogeneous transcriptional responses to perturbations at the single-cell level, there remains a pressing need for computational models that can decode the mechanisms driving these responses and accurately predict outcomes to prioritize target genes for experimental design. Here, we present scLAMBDA, a deep generative learning framework designed to model and predict single-cell transcriptional responses to genetic perturbations, including single-gene and combinatorial multi-ge…

  3. Apparenté Prolonge cet article Utilisé en profondeur par cet article
    Benchmarking virtual cell models for in-the-wild perturbation response
    Xin-Jie Mao, Song-Ming Zhang, Qi-rong Wen et al. · 2026 · cité 8 fois · Pas encore résumé

    Benchmarking virtual cell models cite l’étude et propose un cadre standardisé pour évaluer les prédictions en conditions plus proches du réel.

    Résumé scientifique

    Virtual cell (VC) models aim to predict cellular responses to any perturbations in silico and have emerged as a promising approach for drug discovery and precision medicine. Yet, a clear gap still remains: while models routinely reported impressive results on standard benchmarks, it is unclear whether their predictions are truly meaningful in practice. This is mainly due to limitations in current evaluation setups, which are often overly simplified or inconsistent, and do not reflect the complexity and variability of real biological systems. Here, we introduce a standardized and modular benchmarking framework for virtual cell prediction. Our framework evaluates diverse models under in-the-wi…

  4. Apparenté Contexte plus large Utilisé en profondeur par cet article
    PRiMeFlow: Capturing Complex Expression Heterogeneity in Perturbation Response Modelling
    Zi-Chao Yan, Yan Wu, M. Ji et al. · 2026 · arXiv.org · preprint, non relu par les pairs · cité 5 fois · Pas encore résumé

    PRiMeFlow modélise les distributions d’expression après perturbation par flow matching, plutôt que de se concentrer sur les métriques de delta.

    Résumé scientifique

    Predicting the effects of perturbations in-silico on cell state can identify drivers of cell behavior at scale and accelerate drug discovery. However, modeling challenges remain due to the inherent heterogeneity of single cell gene expression and the complex, latent gene dependencies. Here, we present PRiMeFlow, an end-to-end flow matching based approach to directly model the effects of genetic and small molecule perturbations in the gene expression space. The distribution-fitting approach taken by PRiMeFlow enables it to accurately approximate the empirical distribution of single-cell gene expression, which we demonstrate through extensive benchmarking inside PerturBench. Through ablation s…

  5. Apparenté Contexte plus large Utilisé en profondeur par cet article
    scDFM: Distributional Flow Matching Model for Robust Single-Cell Perturbation Prediction
    Cheng-Lei Yu, Chuan-Rui Wang, Bangyan Liao et al. · 2026 · International Conference on Learning Representations · cité 27 fois · Pas encore résumé

    scDFM prédit les distributions de cellules perturbées avec un objectif de flow matching conditionnel, une approche distincte de l’évaluation des deltas.

    Résumé scientifique

    A central goal in systems biology and drug discovery is to predict the transcriptional response of cells to perturbations. This task is challenging due to the noisy and sparse nature of single-cell measurements, as well as the fact that perturbations often induce population-level shifts rather than changes in individual cells. Existing deep learning methods typically assume cell-level correspondences, limiting their ability to capture such global effects. We present scDFM, a generative framework based on conditional flow matching that models the full distribution of perturbed cells conditioned on control states. By incorporating a maximum mean discrepancy (MMD) objective, our method aligns p…

Comment ces articles sont-ils trouvés ?

Nous comparons le titre et le résumé de cet article avec ceux de tous les articles résumés sur ce site, et avec les articles que Semantic Scholar recommande, ceux qu’il cite et ceux qui le citent (pour un article très cité, ses citations les plus récentes et, depuis OpenAlex, les plus citées). Parmi les travaux antérieurs et les suites, les articles qui s’utilisent en profondeur, une méthode qu’il utilise et les suites très citées remontent un peu. Les niveaux (très proche, proche, apparenté) viennent de la similarité des textes, pas d’un jugement de qualité ; * signale un article sans résumé, comparé par son titre. La phrase sous un article est écrite par une IA à partir des deux résumés : vérifiez-la dans les articles. Un article jugé hors sujet par trois lecteurs quitte la liste.

Mis à jour le 16 novembre 2026.

Le guide illustré des articles autour d’un article

Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.