System Prompts Affect Response Bias More Than Discriminability in LLM Safety
Comment préparer une communication fidèle au papier ? Guide illustré
Mohan W. Gupta, Sandy Tanwisuth · arXiv: 2611.11074v1 · Page du résumé
Pourquoi en parler cette semaine ?
Une consigne plus stricte ne rend pas forcément plus perspicace
Lorsqu’une consigne système pousse un modèle à refuser davantage de demandes, a-t-elle amélioré sa capacité à reconnaître les demandes dangereuses ? Pour séparer ces questions, une étude applique la théorie de la détection du signal aux réponses de 13 modèles, sur des requêtes maintenues identiques tandis que changent les familles de consignes et leur clarté. Cette méthode distingue la capacité de discrimination du seuil à partir duquel le modèle choisit de refuser.
Le résultat dominant est un déplacement de ce seuil : les consignes modifient surtout la propension au refus, avec des effets plus faibles et moins constants sur la distinction entre demandes sûres et dangereuses. Des consignes plus claires ne garantissent donc pas un meilleur discernement. Elles changent aussi la répartition entre plusieurs comportements, dont la demande de clarification et l’aide sans danger. Cette prépublication invite à ne pas confondre prudence affichée et compétence de sécurité.
Contexte éditorial rédigé par IA à partir des résumés, sans validation scientifique indépendante. Le kit et ses citations vérifiées s’appuient sur l’article source, et non sur cette lettre.
Parler d’un article en public sans l’exagérer : le vôtre, celui qu’on vous demande de commenter, ou celui sur lequel vous écrivez comme journaliste.
- Votre article : un projet de communiqué pour votre service de presse, les questions des journalistes avec ce que l’article permet d’y répondre, les contresens probables, un résumé grand public et un fil court.
- Sollicité pour commenter : ce que l’article montre et ne montre pas, ses points forts et ses faiblesses avec leurs passages, et ce qui trancherait son affirmation principale.
- Vous écrivez à son sujet comme journaliste : des angles de sujet, les formulations à vérifier avant publication, et les questions à poser aux auteurs.
- Pour tous : les résultats avec leurs passages vérifiés mot pour mot, la nouveauté confrontée aux articles antérieurs les plus proches, un détecteur de hype, des figures avec leur crédit, et des spécialistes pour un regard extérieur qui n’ont pas signé avec les auteurs.