Invisibilization as a Source of Probability Bias in Language Models
Comment préparer une communication fidèle au papier ? Guide illustré
Christian Arnold, Ernesto Calvo, Guadalupe Gonzalez, Sebastián Vallejo Vera, Tiago Ventura · arXiv: 2610.30785v1 · Page du résumé
Pourquoi en parler cette semaine ?
Quand éviter un attribut sensible crée un autre biais
Refuser de tenir compte de l’origine d’une personne peut sembler une précaution équitable. Mais que se passe-t-il si le modèle écarte alors aussi l’information qu’elle apporte ? Dans un jeu de probabilités disposant d’une réponse bayésienne exacte, des chercheurs ont mené 6 600 sessions en faisant varier la description de la personne qui fournit un témoignage invérifiable. Dans le contraste le plus marqué, les modèles renoncent à évaluer ce témoignage dans 46 % des cas lorsque la personne est décrite comme noire, contre 9 % lorsqu’elle est décrite comme blanche. Lorsqu’ils l’évaluent effectivement, ils accordent pourtant légèrement plus de confiance à la première.
Ce mécanisme peut échapper aux audits centrés sur la confiance moyenne ou sur les seuls témoignages évalués. Dans cette étude, davantage d’effort de raisonnement et certaines consignes de prudence aggravent le problème. Une piste l’atténue : noter les prévisions selon la vérité révélée au fil des manches. Dans quatre des cinq configurations testées, l’écart de confiance entre descriptions raciales tombe alors sous 0,02 en fin de partie. Un résultat circonscrit à ce jeu, mais une invitation à examiner aussi ce que les modèles refusent d’évaluer.
Contexte éditorial rédigé par IA à partir des résumés, sans validation scientifique indépendante. Le kit et ses citations vérifiées s’appuient sur l’article source, et non sur cette lettre.
Parler d’un article en public sans l’exagérer : le vôtre, celui qu’on vous demande de commenter, ou celui sur lequel vous écrivez comme journaliste.
- Votre article : un projet de communiqué pour votre service de presse, les questions des journalistes avec ce que l’article permet d’y répondre, les contresens probables, un résumé grand public et un fil court.
- Sollicité pour commenter : ce que l’article montre et ne montre pas, ses points forts et ses faiblesses avec leurs passages, et ce qui trancherait son affirmation principale.
- Vous écrivez à son sujet comme journaliste : des angles de sujet, les formulations à vérifier avant publication, et les questions à poser aux auteurs.
- Pour tous : les résultats avec leurs passages vérifiés mot pour mot, la nouveauté confrontée aux articles antérieurs les plus proches, un détecteur de hype, des figures avec leur crédit, et des spécialistes pour un regard extérieur qui n’ont pas signé avec les auteurs.