# The Leaderboard Illusion

**Authors:** Shivalika Singh, Yiyang Nan, Alex Wang, Daniel D'Souza, Sayash Kapoor, Ahmet Üstün, Sanmi Koyejo, Yuntian Deng, Shayne Longpre, Noah Smith, Beyza Ermis, Marzieh Fadaee, Sara Hooker  
**arXiv:** [2504.20879](https://arxiv.org/abs/2504.20879)  
**Date:** 2025-04-29  
**Summary page:** https://www.summarizepaper.com/fr/paper/2504.20879v1/

## Key points

- La mesure des progrès est essentielle pour l'avancement scientifique
- Chatbot Arena est un classement de référence pour les systèmes d'IA performants
- Des problèmes systématiques ont faussé le terrain de jeu de l'Arena
- Les pratiques de test privées non divulguées favorisent certains fournisseurs
- Les modèles fermés propriétaires sont avantagés par rapport aux alternatives open-weight et open-source
- L'accès aux données du Chatbot Arena offre des avantages significatifs en termes de performance
- Des recommandations sont proposées pour réformer le cadre d'évaluation du Chatbot Arena
- Ces points clés résument les principaux aspects abordés dans le texte.

## Summary

La mesure des progrès est fondamentale pour l'avancement de tout domaine scientifique. Alors que les repères jouent un rôle de plus en plus central, ils deviennent également plus susceptibles de distorsion. Chatbot Arena s'est imposé comme le classement de référence pour évaluer les systèmes d'IA les plus performants. Cependant, dans ce travail, nous identifions des problèmes systématiques qui ont abouti à un terrain de jeu faussé. Nous constatons que des pratiques de test privées non divulguées bénéficient à quelques fournisseurs capables de tester plusieurs variantes avant leur publication publique et de retirer les scores si nécessaire. Nous établissons que la capacité de ces fournisseurs à choisir le meilleur score conduit à des scores biaisés dans l'Arena en raison de la divulgation sélective des résultats de performance. Dans une situation extrême, nous identifions 27 variantes LLM privées testées par Meta avant la sortie du Llama-4. Nous établissons également que les modèles fermés propriétaires sont échantillonnés à des taux plus élevés (nombre de combats) et ont moins de modèles retirés de l'arène que les alternatives open-weight et open-source. Ces politiques entraînent toutes deux des asymétries d'accès aux données importantes au fil du temps. En outre, nous montrons que l'accès aux données du Chatbot Arena procure d'importants avantages ; même une quantité limitée supplémentaire peut entraîner des gains relatifs en performance allant jusqu'à 112 % sur la distribution arena, selon nos estimations conservatrices. Ensemble, ces dynamiques conduisent à un surajustement aux spécificités propres à l'Arena plutôt qu'à la qualité générale du modèle. L'Arena s'appuie sur les efforts substantiels tant des organisateurs que d'une communauté ouverte qui maintient cette précieuse plateforme d'évaluation. Nous proposons des recommandations concrètes pour réformer le cadre d'évaluation du Chatbot Arena et promouvoir un classement plus juste et transparent pour le domaine. Notre travail s'inscrit dans un ensemble plus large d'études examinant le rôle des benchmarks dans la détermination des progrès en apprentissage automatique. Les benchmarks ont joué un rôle central dans la définition des priorités et incitations à la recherche au sein de la communauté deep learning. La création d'un benchmark significatif et fiable est difficile, et il existe un travail critique identifiant les principales désidérata en matière de benchmarking ainsi que les défis ouverts. La propension au surajustement est une préoccupation majeure lorsqu'il s'agit d'évaluations statiques basées sur des tâches telles que celles proposées par Hugging Face's Open LLM Leaderboard ou OpenCompass ; elles sont souvent sujettes à la contamination des données et au surajustement implicite. Enfin, le manque de standardisation entre les benchmarks complique les comparaisons significatives en raison notamment de métriques incohérentes et définitions variables. Il y a aussi une question concernant la qualité des données utilisées pour ces benchmarks qui peuvent affecter leur reproductibilité.