How Different are Different Differences-in-Differences? A Large-Scale Meta-Analysis

Peter Hull

Résumé IA · arXiv: 2610.39995v1 · econ.EM

How Different are Different Differences-in-Differences? A Large-Scale Meta-Analysis

Peter Hull

Article original Soumis à arXiv le 29 Oct. 2026 35 pages, 8 figures, 4 tables Licence : CC BY 4.0 Aussi en : en

Comment lire ce résumé ? Guide illustré

L’essentiel

Dans 1 346 spécifications de différences-en-différences à adoption échelonnée, les estimations TWFE concordent généralement avec les méthodes modernes, et les inversions de signe statistiquement significatives sont rares.

Question

Quelle est l’importance empirique des poids négatifs dans les estimations TWFE en contexte d’adoption échelonnée, et à quelle fréquence entraînent-ils des conclusions de signe erronées par rapport aux méthodes modernes de différences-en-différences ?

Méthode

L’auteur utilise l’IA pour repérer et répliquer 1 346 spécifications issues de 108 articles parus dans dix revues d’économie, puis compare les estimations TWFE à celles de deux méthodes modernes : l’agrégation DiD et l’imputation. Il estime aussi des modèles hiérarchiques gaussien et non paramétrique, tenant compte de l’erreur d’échantillonnage, et examine les poids négatifs dans les spécifications statiques.

Résultats

Résultat Les estimations TWFE sont fortement corrélées aux estimations modernes : la corrélation observée est de 0,88 avec l’agrégation DiD et de 0,93 avec l’imputation.
Voir le passage dans l’article
The sample correlation is 0.88 for DiD-averaging and 0.93 for imputation.
Résultat Les inversions de signe observées concernent 14,5 % des comparaisons avec l’agrégation DiD et 10,8 % avec l’imputation, mais seulement 3,5 % et 2,2 % respectivement lorsque la différence est statistiquement significative.
Voir le passage dans l’article
Around 14.5% of TWFE estimates change sign with DiD averaging while 3.5% do so with a significant difference. These shares are lower with imputation, at 10.8% and 2.2%.
Résultat Dans les spécifications TWFE statiques, la médiane de la part du poids absolu attribuée aux poids négatifs est de 1,4 %.
Voir le passage dans l’article
Among static TWFE specifications, the median fraction of treated observation rows with negative ex post weights is approximately 8%, while the median share of absolute effect weight carried by negative weights is only 1.4% (Appendix Figure A3 shows full distributions).
Résultat Le modèle hiérarchique estime la corrélation des estimands TWFE et modernes à 0,913 pour l’agrégation DiD et à 0,976 pour l’imputation.
Voir le passage dans l’article
Table 2 reports estimand correlations of 0.91 for DiD-averaging and 0.98 for imputation.
Résultat La probabilité estimée qu’une estimation TWFE soit statistiquement significative et de signe opposé à l’estimand moderne est de 2,1 % avec l’agrégation DiD et de 0,6 % avec l’imputation.
Voir le passage dans l’article
These rates are 2.1% for DiD averaging and 0.6% for imputation, reflecting the high correlation in estimands.

Limites

L’analyse prend en compte l’erreur d’estimation, mais pas les différences entre estimands qui peuvent notamment résulter d’un échec de l’hypothèse de tendances parallèles.
Voir le passage dans l’article
The analysis here accounts for the former but not the latter.
Le périmètre est limité aux spécifications TWFE simples avec traitement binaire et sans contrôles variant dans le temps; plusieurs autres enjeux économétriques sont laissés hors analyse.
Voir le passage dans l’article
Other potentially important issues raised in this literature—such as with time-varying controls, continuous treatments, extrapolation or underidentification in event study models, and choices of binning or other treatment specifications—are outside the scope of the present analysis.
Les comparaisons sont limitées aux spécifications répliquées et satisfaisant les critères de levier retenus, ce qui restreint la portée des conclusions.
Voir le passage dans l’article
Such specifications are likely to suffer from unstable estimates and unreliable inference, complicating the analysis.

Portée

L’étude apporte une évaluation systématique, à grande échelle, du risque des poids négatifs dans les applications publiées : dans cet échantillon, ils semblent rarement modifier fortement les conclusions empiriques. Elle ne recommande toutefois pas d’écarter les méthodes modernes, et souligne l’intérêt de vérifier leur pertinence dans chaque application.

Rédigé par une IA à partir de l’article. Les passages cités sont vérifiés mot pour mot dans le texte analysé ; le reste peut contenir des erreurs.

Mots clés générés par l'IA : différences-en-différences poids négatifs effets fixes à deux dimensions adoption échelonnée estimands

Pour aller plus loin

Résumé Complet
Résumé vulgarisé
Article de blog
Abstract original

Cet article étudie l’importance empirique des poids négatifs dans les estimations de différences-en-différences à effets fixes à deux dimensions (TWFE), lorsque les unités adoptent le traitement à des dates différentes. En théorie, ces poids peuvent conduire à une estimation TWFE de signe opposé à celui des effets de traitement individuels ou de leur moyenne, même lorsque ces effets sont tous de même signe. L’étude cherche à déterminer à quelle fréquence ce risque modifie concrètement les conclusions des travaux appliqués, tout en tenant compte de la précision souvent supérieure des estimations TWFE par rapport à celle de méthodes plus récentes. L’auteur constitue un échantillon de 1 346 spécifications tirées de 108 articles publiés ou à paraître dans dix revues généralistes d’économie. Pour repérer et reproduire ces spécifications, il s’appuie sur des agents d’intelligence artificielle, sous supervision humaine, afin d’examiner 16 094 notices bibliographiques et les archives de réplication. L’échantillon se limite à des modèles simples d’adoption échelonnée, avec traitement binaire et sans contrôles variant dans le temps ni tendances propres aux unités. Les estimations TWFE sont comparées à deux méthodes conçues pour éviter les problèmes de pondération : l’estimateur par agrégation des différences-en-différences de Callaway et Sant’Anna, et l’estimateur par imputation de Borusyak, Jaravel et Spiess. Les comparaisons fortement influencées par quelques grappes ou observations à fort levier sont exclues. Afin de distinguer les différences réelles entre les estimands du bruit d’échantillonnage, l’auteur ajuste également des modèles hiérarchiques qui relient conjointement les estimations et leurs erreurs-types. Les estimations TWFE sont fortement corrélées à celles des méthodes modernes : la corrélation observée est de 0,88 avec l’agrégation DiD et de 0,93 avec l’imputation. Le signe diffère dans 14,5 % des comparaisons avec la première méthode et dans 10,8 % avec la seconde. Toutefois, les inversions accompagnées d’écarts statistiquement significatifs sont moins fréquentes : elles concernent respectivement 3,5 % et 2,2 % des comparaisons. En moyenne, les erreurs-types des méthodes modernes sont supérieures à celles de TWFE de 47 % pour l’agrégation et de 14 % pour l’imputation. Dans les spécifications TWFE statiques, la médiane de la proportion de lignes traitées auxquelles est attribué un poids négatif est d’environ 8 %. En revanche, la médiane de la part du poids absolu correspondant à ces poids négatifs n’est que de 1,4 %. Après prise en compte de l’erreur d’estimation, les modèles hiérarchiques évaluent la corrélation entre les estimands à 0,913 pour l’agrégation et à 0,976 pour l’imputation. Ils estiment que les deux estimands ont des signes opposés dans respectivement 11,5 % et 5,6 % des cas. La probabilité qu’une estimation TWFE soit statistiquement significative tout en ayant un signe opposé à celui de l’estimand moderne est évaluée à 2,1 % avec l’agrégation et à 0,6 % avec l’imputation. Les résultats restent similaires dans une spécification non paramétrique.

À quel point les différences-en-différences diffèrent-elles ?

Le titre de l’article de Peter Hull, « How Different are Different Differences-in-Differences? A Large-Scale Meta-Analysis », pose une question essentielle pour la recherche empirique : quand des unités adoptent un traitement à des moments différents, les estimations classiques par différences-en-différences risquent-elles de tirer les chercheurs vers des conclusions erronées ? Une vaste analyse de travaux appliqués suggère que ces écarts existent, mais qu’ils changent rarement de façon décisive les conclusions statistiques.

Pourquoi les poids négatifs inquiètent-ils ?

Dans les modèles à effets fixes à deux dimensions, ou TWFE, l’estimation compare des unités traitées à des unités non encore traitées, entre différentes périodes. Avec une adoption échelonnée, certaines comparaisons peuvent recevoir des poids négatifs. Il devient alors possible que l’estimation globale soit de signe opposé à celui des effets individuels — même si tous ces effets vont dans la même direction.

Ce problème est théoriquement bien établi, mais son importance pratique est moins claire. Une différence entre deux estimateurs ne signifie pas nécessairement qu’une étude aurait abouti à une conclusion opposée : elle peut refléter le bruit d’échantillonnage, et les méthodes modernes peuvent être moins précises. L’enjeu est donc de mesurer non seulement les écarts, mais aussi leur fréquence et leur portée statistique.

Une comparaison à grande échelle

Pour examiner la question, Hull rassemble 1 346 spécifications issues de 108 articles publiés ou à paraître dans dix revues généralistes d’économie. La constitution de l’échantillon s’appuie sur des agents d’intelligence artificielle, supervisés par des humains, qui passent au crible 16 094 notices bibliographiques et les archives de réplication des études.

L’analyse se concentre sur des modèles simples d’adoption échelonnée : le traitement est binaire, et les spécifications ne comportent ni contrôles variant dans le temps ni tendances propres aux unités. Les estimations TWFE sont comparées à deux méthodes conçues pour éviter les difficultés liées aux pondérations : l’agrégation des différences-en-différences de Callaway et Sant’Anna, et l’estimateur par imputation de Borusyak, Jaravel et Spiess. Les comparaisons dominées par quelques grappes ou observations à fort levier sont écartées.

L’auteur tient aussi compte de l’incertitude statistique. Des modèles hiérarchiques relient conjointement les estimations et leurs erreurs-types, afin de distinguer les différences entre les quantités estimées du simple bruit dû aux échantillons.

Des signes parfois différents, mais rarement de façon décisive

Dans l’échantillon, les estimations TWFE évoluent généralement de concert avec celles des méthodes modernes. Leur corrélation observée atteint 0,88 avec l’agrégation de Callaway et Sant’Anna et 0,93 avec l’estimateur par imputation. Le signe des estimations diffère dans 14,5 % des comparaisons avec la première méthode et dans 10,8 % avec la seconde.

Ces divergences de signe sont toutefois moins préoccupantes lorsqu’on demande si elles s’accompagnent d’un écart statistiquement significatif. C’est le cas dans 3,5 % des comparaisons avec l’agrégation et dans 2,2 % avec l’imputation. Autrement dit, des estimations peuvent pointer dans des directions opposées sans que les données permettent de conclure solidement à une différence entre leurs résultats.

La précision aide à comprendre ce constat. En moyenne, les erreurs-types des méthodes modernes sont supérieures à celles de TWFE de 47 % pour l’agrégation et de 14 % pour l’imputation. Une méthode qui évite les problèmes de pondération peut donc produire une estimation moins précise. Comparer uniquement les signes ou les valeurs ponctuelles risque de faire paraître les différences plus importantes qu’elles ne le sont réellement.

Les poids négatifs : présents, mais souvent modestes

Dans les spécifications TWFE statiques, la médiane de la part des lignes traitées recevant un poids négatif est d’environ 8 %. Mais cette proportion ne dit pas à elle seule quelle influence ces poids exercent sur l’estimation. En considérant leur ampleur, on constate que la médiane de la part du poids absolu attribuable aux poids négatifs n’est que de 1,4 %. Les poids négatifs existent donc fréquemment, mais ils représentent souvent une fraction limitée du poids total.

Ce que l’ajustement statistique révèle

Après prise en compte des erreurs d’estimation, les modèles hiérarchiques évaluent la corrélation entre les estimands à 0,913 pour l’agrégation et à 0,976 pour l’imputation. Ils estiment que les deux estimands ont des signes opposés dans 11,5 % des cas avec la première méthode et dans 5,6 % avec la seconde.

Le risque le plus important — une estimation TWFE statistiquement significative dont le signe est opposé à celui de l’estimand moderne — apparaît encore plus rare. La probabilité estimée est de 2,1 % avec l’agrégation et de 0,6 % avec l’imputation. Les résultats restent similaires lorsque l’analyse utilise une spécification non paramétrique.

Une mise en garde, pas un verdict

Cette étude ne démontre pas que les poids négatifs sont inoffensifs. Elle montre plutôt qu’un risque théorique peut être moins fréquent dans la pratique qu’on ne le suppose, notamment lorsque les poids négatifs sont faibles et que l’incertitude statistique est prise en compte. Dans les modèles étudiés, TWFE et les méthodes modernes aboutissent généralement à des estimations étroitement liées, et les inversions de signe statistiquement significatives sont rares.

Pour les chercheurs, la leçon est nuancée : il reste important de vérifier les estimations avec des méthodes adaptées à l’adoption échelonnée, mais un désaccord ponctuel ne suffit pas à conclure que la méthode classique a inversé le résultat. Il faut aussi examiner la précision, l’ampleur des poids négatifs et la robustesse des conclusions. C’est cette approche d’ensemble qui permet de distinguer une différence méthodologique substantielle d’une variation due au hasard.

Créé le 02 Nov. 2026

Cette synthèse vous a-t-elle été utile ?

Note : 0

Posez des questions sur cet article à notre assistant IA

Comment discuter avec cet article ? Guide illustré

Comparer avec le PDF

Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.

Instructions pour utiliser l'assistant IA ?

Outils pour cet article

Expliquer autrement 3 réécritures gratuites restantes aujourd'hui

Enregistrer dans une collection Regroupez des articles en collections pour les comparer, les interroger et les exporter. Créer un compte gratuit Se connecter

Exporter BibTeX · RIS (Zotero, Mendeley, EndNote) · Obsidian (Markdown) · Notion (Markdown)

Outils avancés Premium

Pour suivre un domaine de près : alertes de citations, diapositives de journal club, comparaison des versions et envoi vers Zotero. Découvrir Premium

Zotero

Alertes de citation Guide des alertes de citations

Qui travaille dessus ? Les personnes et institutions qui publient sur son sujet

Lettre hebdomadaire Présenté dans « Économie et finance cette semaine » du 2 novembre 2026. Économie et finance cette semaine : ce que nos instruments nous laissent voir

Journal club Premium+ Des slides pour le présenter Proposer pour le journal club

Versions Ce qui a changé entre les versions

En parler en public Premium+ Kit presse : communiqué, questions, détecteur de hype Guide du kit presse

Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.

How Different are Different Differences-in-Differences? A Large-Scale Meta-Analysis

L’essentiel

Question

Méthode

Résultats

Limites

Portée

Pour aller plus loin

Definitions

À quel point les différences-en-différences diffèrent-elles ?

Pourquoi les poids négatifs inquiètent-ils ?

Une comparaison à grande échelle

Des signes parfois différents, mais rarement de façon décisive

Les poids négatifs : présents, mais souvent modestes

Ce que l’ajustement statistique révèle

Une mise en garde, pas un verdict

Posez des questions sur cet article à notre assistant IA

Outils pour cet article

Outils avancés Premium

Les articles autour de celui-ci

Les articles les plus proches

Les travaux antérieurs sur lesquels il s’appuie

Aller plus loin

Citer cet article (BibTeX)