Résumé IA · arXiv: 2611.11003v1 · econ.EM
Do Modern Difference-in-Differences Estimators Change Published Findings in Business Research?
L’essentiel
Dans les spécifications réestimées, TWFE et les estimateurs DiD robustes à l’hétérogénéité divergent plus souvent que dans l’échantillon économique de référence, surtout dans certains types de panels.
Question
L’étude examine si les poids négatifs possibles de l’estimateur TWFE dans les plans DiD à adoption échelonnée changent les résultats publiés en gestion et en marketing. Elle compare les estimations TWFE aux estimateurs modernes de Callaway et Sant’Anna et de Borusyak et al.
Méthode
Les auteurs utilisent des agents de modèle de langage pour examiner 1 331 articles de trois revues disposant d’archives de réplication et 498 articles de quatre autres revues, puis réestiment sur les données originales 355 spécifications issues de 40 articles. Ils comparent TWFE aux estimateurs DiD-averaging et d’imputation; l’analyse principale porte sur les 283 et 306 comparaisons, respectivement, qui passent le filtre de levier, avec une covariance estimée par bootstrap bayésien en grappes à 999 tirages.
Résultats
-
Résultat
Les corrélations entre TWFE et les estimations modernes sont de 0,61 pour DiD-averaging et de 0,70 pour l’imputation.
Voir le passage dans l’article
The correlation between TWFE and modern estimates is 0.61 for DiD-averaging and 0.70 for imputation (Figure 1 plots the estimates).
-
Résultat
Les estimations changent de signe dans 25,1 % des comparaisons DiD-averaging et 18,0 % des comparaisons par imputation; les divergences significatives de signe opposé concernent respectivement 10,2 % et 7,2 % des comparaisons.
Voir le passage dans l’article
Estimates change sign in 25.1 percent of DiD-averaging comparisons and 18.0 percent of imputation comparisons. Reversals accompanied by a statistically significant difference between the two estimates are rarer, at 10.2 and 7.2 percent.
-
Résultat
Les erreurs-types des estimateurs modernes sont en moyenne 1,61 fois celles de TWFE pour DiD-averaging et 1,30 fois pour l’imputation.
Voir le passage dans l’article
Standard errors of the DiD-averaging estimator are on average 1.61 times the TWFE standard error, and those of the imputation estimator 1.30 times, compared with 1.47 and 1.14 in Hull (2026).
-
Interprétation des auteurs
Les divergences sont particulièrement concentrées dans les panels déséquilibrés et les plans sans unités jamais traitées.
Voir le passage dans l’article
Disagreement is concentrated in unbalanced panels, in which units enter or leave the data.
-
Interprétation des auteurs
Les auteurs concluent que les estimateurs TWFE et robustes à l’hétérogénéité sont plus souvent en désaccord dans leur échantillon que dans l’échantillon économique de référence.
Voir le passage dans l’article
First, where staggered designs in business-school journals can be re-estimated on original data, TWFE and heterogeneity-robust estimators disagree more often than in economics.
Limites
- Les comparaisons principales reposent sur 28 et 29 articles issus de deux revues, de sorte que quelques articles peuvent influencer les statistiques récapitulatives.
Voir le passage dans l’article
With 28 and 29 papers from two journals behind the main comparisons, single papers move the summary statistics, as Appendix C shows.
- Le dépistage par mots-clés et citations n’est pas exhaustif, comme l’indique l’ajout de deux plans admissibles lors de l’examen d’articles hors de la liste candidate.
Voir le passage dans l’article
The check of 343 articles outside the candidate list added 2 eligible designs, so the candidate search is not exhaustive.
- La portée de l’analyse est limitée aux plans réestimables sur des données originales; plusieurs plans admissibles n’ont pas été réestimés faute de données utilisables ou d’accès public.
Voir le passage dans l’article
Of the 92 papers with an eligible design, 18 come with synthetic, disguised, or pseudo data, posted under the journals’ alternative disclosure plans for proprietary data.
Portée
Les résultats indiquent que les conclusions fondées sur TWFE peuvent diverger sensiblement des estimations robustes à l’hétérogénéité dans certains plans d’adoption échelonnée en gestion et en marketing. Les auteurs recommandent de rapporter un estimateur robuste en plus de TWFE, notamment pour les panels déséquilibrés et les plans sans unités jamais traitées.
Rédigé par une IA à partir de l’article. Les passages cités sont vérifiés mot pour mot dans le texte analysé ; le reste peut contenir des erreurs.
Posez des questions sur cet article à notre assistant IA
Comment discuter avec cet article ? Guide illustré
Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.
Gardez cette conversation — un compte gratuit conserve vos questions et réponses, vos collections d’articles et vos alertes.
Continuer avec Google Créer un compte gratuitOutils pour cet article
Outils avancés Premium
Pour suivre un domaine de près : alertes de citations, diapositives de journal club, comparaison des versions et envoi vers Zotero. Découvrir Premium
Parmi les 18 articles autour de celui-ci, le nom qui revient le plus : Pedro H. C. Sant'Anna (3 articles)
2 autres personnes en signent plusieurs. La carte complète ajoute leurs institutions et leurs approches, d’après les articles des dernières années.
Les articles autour de celui-ci
Les voir sur une carteClassés selon la proximité de leur titre et de leur résumé avec ceux de cet article. Sélectionnez-en pour les lire ensemble.
Les articles les plus proches
-
How Different are Different Differences-in-Differences? A Large-Scale Meta-AnalysisPeter Hull · 2026 · Econometrics · cité 1 fois · Résumé IA disponible
Cette méta-analyse compare TWFE aux estimateurs modernes sur des spécifications à adoption échelonnée, mais dans des articles d’économie plutôt que de gestion et marketing.
En bref
Dans 1 346 spécifications de différences-en-différences à adoption échelonnée, les estimations TWFE concordent généralement avec les méthodes modernes, et les inversions de signe statistiquement significatives sont rares.
-
When Can We Use Two-Way Fixed Effects (TWFE)? A Comparison of TWFE and Novel Dynamic Difference-in-Differences EstimatorsTobias Rüttenauer, O. Aksoy · 2026 · Sociological methodology · Pas encore résumé
Cet article compare par simulations TWFE à cinq estimateurs DiD dynamiques et expose leurs biais et limites en cas d’adoption échelonnée.
Résumé scientifique
The conventional two-way fixed effects (TWFE) estimator has come under increasing scrutiny in settings with staggered treatment adoption. Recent research shows that TWFE can be biased when treatment effects vary across time or groups, prompting the development of several alternative dynamic difference-in-differences (DiD) estimators. Yet for applied researchers, it often remains unclear when TWFE is biased, what the newer estimators solve, and what limitations they all have. The authors provide an accessible overview of this literature and compare conventional TWFE with five dynamic DiD estimators using Monte Carlo simulations. The simulations consider realistic scenarios with time- and grou…
-
How Much Should We Trust Staggered Difference-In-Differences Estimates?A. Baker, D. Larcker, Charles C. Y. Wang · 2021 · Social Science Research Network · cité 2 259 fois · Pas encore résumé
Cette étude réexamine des résultats publiés sur les DiD échelonnés en finance et comptabilité, en évaluant les biais liés à l’hétérogénéité des effets.
Résumé scientifique
Difference-in-differences analysis with staggered treatment timing is frequently used to assess the impact of policy changes on corporate outcomes in academic research. However, recent advances in econometric theory show that such designs are likely to be biased in the presence of treatment effect heterogeneity. Given the pronounced use of staggered treatment designs in applied corporate finance and accounting research, this finding potentially impacts a large swath of prior findings in these fields. We survey the nascent literature and document how and when such bias arises from treatment effect heterogeneity. We apply recently proposed methods to a set of prior published results, and find …
-
Difference-in-Differences with compositional changesPedro H. C. Sant'Anna, Qi Xu · 2023 · Journal of Econometrics · cité 7 fois · Pas encore résumé
Cet article propose des estimateurs DiD pour les données répétées en coupe transversale avec changements de composition, plutôt que de comparer des estimateurs TWFE.
Résumé scientifique
This paper studies Difference-in-Differences (DiD) setups with repeated cross-sectional data and potential compositional changes across time periods. We begin our analysis by deriving the efficient influence function and the semiparametric efficiency bound for the average treatment effect on the treated (ATT). We introduce nonparametric estimators that attain the semiparametric efficiency bound under mild rate conditions on the estimators of the nuisance functions, exhibiting a type of rate doubly robust (DR) property. Additionally, we document a trade-off related to compositional changes: We derive the asymptotic bias of DR DiD estimators that erroneously exclude compositional changes and t…
-
Two-stage differences in differencesJ. Gardner · 2022 · cité 237 fois · Pas encore résumé
Cet article propose une estimation DiD en deux étapes pour l’adoption échelonnée et les effets hétérogènes, un autre remplacement possible de TWFE.
Résumé scientifique
A recent literature has shown that when adoption of a treatment is staggered and average treatment effects vary across groups and over time, difference-in-differences regression does not identify an easily interpretable measure of the typical effect of the treatment. In this paper, I extend this literature in two ways. First, I provide some simple underlying intuition for why difference-in-differences regression does not identify a group × period average treatment effect. Second, I propose an alternative two-stage estimation framework, motivated by this intuition. In this framework, group and period effects are identified in a first stage from the sample of untreated observations, and average treatmen…
-
Difference-in-Differences Designs: A Practitioner's GuideA. Baker, Brantly Callaway, Scott Cunningham et al. · 2025 · cité 50 fois · Pas encore résumé
Ce guide organise les types de plans DiD et leurs estimateurs, notamment les périodes multiples et les traitements échelonnés.
Résumé scientifique
Difference-in-differences (DiD) is arguably the most popular quasi-experimental research design. Its canonical form, with two groups and two periods, is well-understood. However, empirical practices can be ad hoc when researchers go beyond that simple case. This article provides an organizing framework for discussing different types of DiD designs and their associated DiD estimators. It discusses covariates, weights, handling multiple periods, and staggered treatments. The organizational framework, however, applies to other extensions of DiD methods as well.
-
What’s trending in difference-in-differences? A synthesis of the recent econometrics literatureJ. Roth, Pedro H. C. Sant'Anna, A. Bilinski et al. · 2022 · Journal of Econometrics · cité 1 835 fois · Pas encore résumé
Cette synthèse classe les avancées récentes en DiD, notamment celles sur les périodes multiples et la variation du calendrier de traitement.
Résumé scientifique
This paper synthesizes recent advances in the econometrics of difference-in-differences (DiD) and provides concrete recommendations for practitioners. We begin by articulating a simple set of ``canonical'' assumptions under which the econometrics of DiD are well-understood. We then argue that recent advances in DiD methods can be broadly classified as relaxing some components of the canonical DiD setup, with a focus on $(i)$ multiple periods and variation in treatment timing, $(ii)$ potential violations of parallel trends, or $(iii)$ alternative frameworks for inference. Our discussion highlights the different ways that the DiD literature has advanced beyond the canonical model, and helps to…
-
How Much Should We Trust Differences-in-Differences Estimates?Marianne Bertrand, E. Duflo, S. Mullainathan · 2004 · National Bureau of Economic Research · cité 11 440 fois · Pas encore résumé
Cet article étudie le biais des erreurs-types en DiD dû à la corrélation sérielle, plutôt que les poids négatifs de TWFE.
Résumé scientifique
Most Difference-in-Difference (DD) papers rely on many years of data and focus on serially correlated outcomes. Yet almost all these papers ignore the bias in the estimated standard errors that serial correlation introduce4s. This is especially troubling because the independent variable of interest in DD estimation (e.g., the passage of law) is itself very serially correlated, which will exacerbate the bias in standard errors. To illustrate the severity of this issue, we randomly generate placebo laws in state-level data on female wages from the Current Population Survey. For each law, we use OLS to compute the DD estimate of its 'effect' as well as the standard error for this estimate. The …
Les travaux antérieurs sur lesquels il s’appuie
-
Negative Weights are No Concern in Design-Based SpecificationsK. Borusyak, P. Hull · 2024 · Social Science Research Network · cité 12 fois · Pas encore résumé
Cet article montre que les spécifications fondées sur le plan d’étude évitent les poids négatifs ex post, un enjeu distinct des comparaisons empiriques de TWFE.
Résumé scientifique
Recent work shows that popular partially-linear regression specifications can put negative weights on some treatment effects, potentially producing incorrectly-signed estimands. We show this is not an issue in design-based specifications, in which low-dimensional controls span the conditional expectation of the treatment. Specifically, the estimands of such specifications are convex averages of causal effects with ex-ante weights that average the potentially negative ex-post weights across possible treatment realizations. This result extends to design-based instrumental variable estimands under a first-stage monotonicity condition and applies to formula treatments and instruments such as shi…
-
Causal Panel Analysis under Parallel Trends: Lessons from a Large Reanalysis StudyAlbert Chiu, Xingchen Lan, Ziyi Liu et al. · 2023 · American Political Science Review · cité 50 fois · Pas encore résumé
Cette réanalyse compare des modèles TWFE à des estimateurs robustes à l’hétérogénéité sur des études publiées, mais en science politique.
Résumé scientifique
Two-way fixed effects (TWFE) models are widely used in political science to establish causality, but recent methodological discussions highlight their limitations under heterogeneous treatment effects (HTE) and violations of the parallel trends (PT) assumption. This growing literature has introduced numerous new estimators and procedures, causing confusion among researchers about the reliability of existing results and best practices. To address these concerns, we replicated and reanalyzed 49 studies from leading journals that employ TWFE models for causal inference using observational panel data with binary treatments. Using six HTE-robust estimators, diagnostic tests, and sensitivity analy…
-
Estimating dynamic treatment effects in event studies with heterogeneous treatment effectsSarah C. Abraham, Li-Yang Sun · 2018 · Journal of Econometrics · cité 4 821 fois · Pas encore résumé
Cet article établit que TWFE peut agréger de façon non convexe des effets hétérogènes et produire des termes parasites dans les études d’événement.
Résumé scientifique
Event studies are frequently used to estimate average treatment effects on the treated (ATT). In estimating the ATT, researchers commonly use fixed effects models that implicitly assume constant treatment effects across cohorts. We show that this is not an innocuous assumption. In fixed effect models where the sole regressor is treatment status, the OLS coefficient is a non-convex average of the heterogeneous cohort-specific ATTs. When regressors containing lags and leads of treatment are added, the OLS coefficient corresponding to a given lead or lag picks up spurious terms consisting of treatment effects from other periods. Therefore, estimates from these commonly used models are not causa…
Aller plus loin
Comment ces articles sont-ils trouvés ?
Nous comparons le titre et le résumé de cet article avec ceux de tous les articles résumés sur ce site, et avec les articles que Semantic Scholar recommande, ceux qu’il cite et ceux qui le citent (pour un article très cité, ses citations les plus récentes et, depuis OpenAlex, les plus citées). Parmi les travaux antérieurs et les suites, les articles qui s’utilisent en profondeur, une méthode qu’il utilise et les suites très citées remontent un peu. Les niveaux (très proche, proche, apparenté) viennent de la similarité des textes, pas d’un jugement de qualité ; * signale un article sans résumé, comparé par son titre. La phrase sous un article est écrite par une IA à partir des deux résumés : vérifiez-la dans les articles. Un article jugé hors sujet par trois lecteurs quitte la liste.
Mis à jour le 16 novembre 2026.
Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.