Résumé IA · DOI: 10.64898/2026.11.03.26367200 · medRxiv: Neurology
False-Positive Calls of Reimplemented Published Analyses for Covert Command-Following on Electroencephalograms Recorded Without Study Commands
L’essentiel
Sur des EEG sans commandes d’étude, trois analyses réimplémentées ont produit des appels positifs fréquents, soulignant l’importance d’évaluer la règle complète de décision.
Question
Les analyses EEG publiées pour détecter un suivi covert de commandes produisent-elles des appels positifs lorsque les patients n’ont reçu aucune commande d’étude ? Les auteurs examinent aussi l’effet des répétitions, de la randomisation de l’ordre des essais et de corrections analytiques sur ces appels et sur la détection de réponses réelles.
Méthode
Les auteurs ont réimplémenté 11 analyses publiées et les ont appliquées à des EEG cliniques sans commandes, d’abord chez 974 patients, puis dans un jeu de réplication distinct de 730 patients; ils les ont aussi examinées chez 38 personnes avec trouble prolongé de la conscience et 544 patients comateux après arrêt cardiaque. Ils ont évalué les appels positifs sur des fenêtres auxquelles étaient attribués les calendriers de tâches publiés, puis étudié la détection sur des tâches réelles, des étiquettes fictives et des réponses simulées; les règles ont également été testées avec ordre des essais randomisé et avec des seuils calibrés pour viser 5 % de faux appels.
Résultats
-
Résultat
Trois des dix analyses de suivi de commandes ont appelé positifs 13,8 % à 23,3 % des patients du jeu de développement sans commande d’étude, et ces taux ont été reproduits dans le jeu indépendant.
Voir le passage dans l’article
Goldfine 2011 called 164 of 703 patients (23.3%; 95% CI, 20.2%-26.6%), du Bois 2026 157 of 707 (22.2%; 95% CI, 19.2%-25.5%) and Guger 2018 117 of 850 (13.8%; 95% CI, 11.5%-16.3%)
-
Résultat
Avec la règle publiée de Guger 2018, la proportion de patients ayant au moins un appel positif est passée de 14,1 % avec une analyse à 62,9 % avec sept analyses.
Voir le passage dans l’article
In a fixed cohort of 639 patients with 7 runs, the share rose from 14.1% with 1 run to 62.9% with 7
-
Résultat
Les mêmes règles ont appelé positifs 11,5 % à 27,3 % des patients comateux évalués après un arrêt cardiaque.
Voir le passage dans l’article
Applied unchanged from clinical EEG to the 544 patients with a usable window, du Bois 2026 called 140 of 513 (27.3%; 95% CI, 23.5%-31.4%), including 29 of 83 with a suppressed background, Guger 2018 75 of 534 (14.0%; 95% CI, 11.2%-17.3%) and Goldfine 2011 57 of 494 (11.5%; 95% CI, 8.9%-14.7%)
-
Résultat
Pour Goldfine 2011, remplacer l’unité de jackknife par des commandes entières a réduit les faux appels de 23,1 % à 0,6 % dans les enregistrements de développement et les a maintenus sous 5 % chez les patients de réplication et après arrêt cardiaque.
Voir le passage dans l’article
deleting whole commands rather than single tapered estimates in its jackknife gave a variance a median 3.9 times that expected for independent estimates and lowered false calls from 79 (23.1%) to 2 (0.6%; 95% CI, 0.1%-2.1%)
-
Interprétation des auteurs
Les auteurs concluent que l’interprétation d’un résultat positif exige d’évaluer la règle complète au niveau du patient, notamment le nombre d’analyses autorisées et les taux de faux appels et de détection.
Voir le passage dans l’article
What makes a positive result interpretable is the complete patient-level rule, including the runs allowed, its false-call rate on recordings without commands and its detection of genuine responders.
Limites
- Les analyses ont été réimplémentées à partir des publications et de code public sans logiciel fournisseur ni examen par les auteurs originaux ou un expert EEG indépendant, et deux implémentations indépendantes ont divergé.
Voir le passage dans l’article
First, the analyses were reimplemented from publications and public code, without vendor software, the original authors’ review or review by an independent EEG expert; independent implementations of 2 analyses disagreed with ours, and our du Bois 2026 implementation departs from several stated choices, which moved its rate in both directions (Table S30), so the rates describe the published rules as implemented here (positive-control evidence for each, Table S23).
- Les contrôles de tâches réelles portaient sur des volontaires sains et des patients après AVC, et non sur des patients présentant un trouble de la conscience.
Voir le passage dans l’article
Second, the real-task controls used healthy volunteers and patients after stroke, not patients with disorders of consciousness, and a tactile Braille task rather than the vendor’s vibrotactile paradigm;
- Les données de réplication provenaient du même corpus que le jeu de développement, et l’évaluation des troubles prolongés de la conscience était exploratoire.
Voir le passage dans l’article
Third, the choice rule and 2 corrections were set after development rates had been seen; the replication was internal to one corpus and had no background labels, and the longest schedules ran later, only where recordings held them (after arrest, 231 of 544).
Portée
Les auteurs plaident pour rapporter, avec tout résultat positif de suivi de commandes par EEG, le taux de faux appels de la règle exacte sur des enregistrements sans commande, le nombre d’analyses pouvant compter et sa capacité à détecter de vraies réponses à ce taux. Ils soulignent que ces contrôles quantifient le comportement dû au hasard, mais ne remplacent pas une estimation de la spécificité diagnostique dans la population cible.
Rédigé par une IA à partir de l’article. Les passages cités sont vérifiés mot pour mot dans le texte analysé ; le reste peut contenir des erreurs.
Posez des questions sur cet article à notre assistant IA
Comment discuter avec cet article ? Guide illustré
Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.
Gardez cette conversation — un compte gratuit conserve vos questions et réponses, vos collections d’articles et vos alertes.
Continuer avec Google Créer un compte gratuitOutils pour cet article
Outils avancés Premium
Pour suivre un domaine de près : alertes de citations, diapositives de journal club, comparaison des versions et envoi vers Zotero. Découvrir Premium
Les articles autour de celui-ci
Les voir sur une carteClassés selon la proximité de leur titre et de leur résumé avec ceux de cet article. Sélectionnez-en pour les lire ensemble.
Les articles les plus proches
-
How large an effect would we have seen? Positive controls, detection floors and dataset pitfalls in scalp-EEG speech decodingB. Adeika, O. Osuagwu · 2026 · cité 1 fois · Pas encore résumé
Cette étude audite le décodage de parole imaginée sur EEG et mesure les limites de détection, tandis que l’article teste les faux appels de suivi de commandes covertes.
Résumé scientifique
Objective. Studies that decode imagined speech from scalp electroencephalography (EEG) commonly validate their pipelines with a positive control, usually overt speech, and report null results without stating what effect size the pipeline could have detected. Approach. Using ds003626 ("Thinking out loud"), KaraOne and Track 3 of the 2020 International Brain-Computer Interface Competition, we audited decoding of overt speech, articulator preparation and imagined speech with artifact-channel subsets, band-limited decoding and trial selection, under a protocol that enforces split integrity by assertion. We injected class-dependent effects of known amplitude into the real recordings to measure th…
-
Beyond Classification Accuracy: Building Trustworthy Artificial Intelligence for Clinical Electroencephalography.Sha-Sha Hu, Yun-Lei Huang, Jie Zhang · 2026 · Brain Research Bulletin · Pas encore résumé
Cette revue discute la fiabilité clinique de l’IA en EEG, tandis que l’article mesure les faux positifs de règles publiées pour le suivi covert de commandes.
Résumé scientifique
Electroencephalography (EEG) remains important in clinical neuroscience because it records brain activity as a time-resolved physiological process. It offers millisecond temporal resolution, can be used at the bedside and supports prolonged monitoring. Artificial intelligence (AI) has expanded EEG analysis through automated pattern recognition, representation learning, large-scale screening and decision support in epilepsy, sleep medicine, cognitive disorders, psychiatric conditions, intensive care, disorders of consciousness and anaesthesia monitoring. High classification accuracy in a research dataset, however, is not clinical readiness. EEG signals are shaped by physiological state, artef…
-
Decoding sequence auditory expectations for clinical diagnostic and prognostic assessment of prolonged disorders of consciousness.Rui-Jie Luo, Yue-Hong Huang, Chen-Xia Xue et al. · 2026 · Journal of Neural Engineering · Pas encore résumé
Cette étude décode des attentes auditives chez des patients avec trouble prolongé de la conscience, comme l’article évalue des réponses covertes dans cette population.
Résumé scientifique
OBJECTIVE Electroencephalogram (EEG) features are important objective markers for diagnostic and prognostic evaluation of prolonged disorders of consciousness (DOC). However, task-based EEG paradigms are limited by mismatches between task demands and patients' residual awareness, as well as the limited individual assessment capacity of machine-learning-based detection frameworks. APPROACH In this study, we proposed a lowdemand DOC detection strategy by decoding expectations of global regularities in sequence auditory stimulation using a modified local-global paradigm. Three single-trial classification frameworks using canonical correlation analysis, principal component analysis, and xDAWN fo…
-
Outcome-Blind EEG Microstate Topography After Cardiac Arrest: Spatial Expression of a Lateralized Microstate and Association with Neurological OutcomeCalixto Machado · 2026 · Brain Topography · Pas encore résumé
Cette analyse étudie les microétats EEG après arrêt cardiaque et leur association au pronostic, tandis que l’article mesure les faux appels chez des patients comateux après arrêt cardiaque.
Résumé scientifique
Electroencephalography (EEG) is central to neurological assessment after cardiac arrest, yet conventional approaches predominantly characterize amplitude, frequency content, continuity, suppression, reactivity, or predefined pathological patterns. EEG microstates provide a complementary framework by describing quasi-stable configurations of the global scalp electric field. We investigated whether an outcome-blind microstate decomposition of EEG from comatose survivors of cardiac arrest identifies reproducible spatial states associated with neurological outcome. We performed a secondary analysis of the multicenter I-CARE/PhysioNet database. Following prespecified EEG screening requiring conti…
-
Same pipelines, different answers: how evaluation design shapes EEG seizure predictionz. song, M. Pedersen, D. Henare · 2026 · medRxiv preprint · Résumé IA disponible
Cette étude compare les effets des protocoles d’évaluation sur la prédiction des crises EEG, tandis que l’article teste les faux appels de plusieurs analyses de suivi covert.
En bref
À pipelines EEG fixes, le découpage des données modifie fortement les performances apparentes, tandis que les seuils choisis en validation se transfèrent mal aux patients inconnus.
-
Variability in Preprocessing and Analysis of the Error‐Related Negativity in Adult Response‐Conflict Studies: A Systematic ReviewKatharina Paul, Johanna Paping, Jan Wacker · 2026 · Psychophysiology · Pas encore résumé
Cette revue systématique recense les choix analytiques des études EEG sur la négativité liée à l’erreur, tandis que l’article réimplémente des analyses publiées pour mesurer leurs faux appels.
Résumé scientifique
ABSTRACT The analysis of EEG (electroencephalography) data affords many defensible choices, creating substantial researcher degrees of freedom. While stimulus‐locked components such as the N400 show wide methodological variability and incomplete reporting, it has been unclear whether this generalizes to the response‐locked error‐related negativity (ERN). We conducted a PRISMA‐guided systematic review of ERN studies published 1995–2025. From a chronologically stratified sample of 202 studies of adults using conventional response‐conflict tasks and conventional ERP analyses, we extracted preprocessing and quantification choices, assessed reporting completeness, examined temporal trends, and te…
-
Assessing consciousness by near-nerve electrostimulation in intensive rehabilitationPiergiuseppe Liuzzi, Sara Ballanti, A. Mannini et al. · 2026 · Journal of Neural Engineering · Pas encore résumé
Cette étude cherche un marqueur EEG de conscience chez des patients avec trouble prolongé de la conscience, comme l’article évalue la détection de réponses covertes dans ce groupe.
Résumé scientifique
Objective. Consciousness diagnosis in prolonged disorders of consciousness (pDoC) relies on the Coma Recovery Scale–Revised, yet consciousness or its potential for recovery may escape behavioural detection. We tested whether near-nerve stimulation (NNS) of the median nerve, compared to standard surface cutaneous stimulation (SCS), could provide an EEG-based marker of consciousness and its recovery, by specifically eliciting sensory responses. Approach. Nineteen pDoC patients (median age 69 years, time post-onset 74 d) underwent NNS and SCS with high-density EEG. We quantified evoked potentials, global field power and perturbational complexity, and defined recovery as improvement in clinical …
-
Measuring Evaluation Leakage in EEG Motor Imagery Decoding, with an Application to Stroke PatientsAria Chadha · 2026 · Proceedings of the OJSS Virtual Research Conference 2026 · Pas encore résumé
Cette étude mesure l’inflation des performances EEG par fuite d’évaluation en imagerie motrice, tandis que l’article examine les faux positifs de tests de suivi covert.
Résumé scientifique
Brain-computer interfaces (BCIs) that decode imagined movement from EEG are often evaluated using Common Spatial Patterns (CSP), a supervised filtering method. If CSP is fitted to all data before splitting into training and test sets, information from the test labels leaks into the model and inflates reported accuracy. This study measures the size of that effect. In a null experiment where true accuracy should be at chance (50%), fitting CSP before the split produced 91% within-subject accuracy, a 41-percentage-point inflation, compared with about 5 points in cross-subject evaluation. On real data from 87 healthy participants and 46 post-stroke patients, leakage added 14.3 and 10.6 points re…
Aller plus loin
Comment ces articles sont-ils trouvés ?
Nous comparons le titre et le résumé de cet article avec ceux de tous les articles résumés sur ce site, et avec les articles que Semantic Scholar recommande, ceux qu’il cite et ceux qui le citent (pour un article très cité, ses citations les plus récentes et, depuis OpenAlex, les plus citées). Parmi les travaux antérieurs et les suites, les articles qui s’utilisent en profondeur, une méthode qu’il utilise et les suites très citées remontent un peu. Les niveaux (très proche, proche, apparenté) viennent de la similarité des textes, pas d’un jugement de qualité ; * signale un article sans résumé, comparé par son titre. La phrase sous un article est écrite par une IA à partir des deux résumés : vérifiez-la dans les articles. Un article jugé hors sujet par trois lecteurs quitte la liste.
Mis à jour le 9 novembre 2026.
Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.