Résumé IA · arXiv: 2611.11074v1 · cs.LG

System Prompts Affect Response Bias More Than Discriminability in LLM Safety

Mohan W. Gupta, Sandy Tanwisuth
Article original Soumis à arXiv le 08 Nov. 2026 23 pages, 4 figures Licence : CC BY 4.0 Aussi en : en

Comment lire ce résumé ? Guide illustré

L’essentiel

L’étude montre que les consignes système modifient surtout la propension des modèles à refuser et leurs politiques de réponse, sans améliorer de façon fiable leur discrimination entre demandes sûres et dangereuses.

Question

Quand une même demande reçoit des consignes système différentes, ces consignes améliorent-elles la distinction entre demandes sûres et dangereuses, ou changent-elles surtout la propension à refuser? Modifient-elles aussi le choix d’autres comportements, comme demander des précisions ou proposer une aide sûre?

Méthode

Les auteurs évaluent 13 modèles sur des éléments de HarmBench, XSTest et IHEval, en croisant huit familles de consignes avec trois niveaux de clarté et en maintenant les requêtes fixes entre conditions. Ils appliquent la théorie de la détection du signal aux refus pour distinguer discriminabilité et critère de réponse, puis classent les réponses selon six politiques comportementales à l’aide d’un juge LLM.

Résultats

  • Résultat L’identité du modèle prédit fortement la discriminabilité, F(12,290)=258,0, p<0,001, avec des différences importantes entre modèles.
    Voir le passage dans l’article
    Model identity strongly predicted discriminability, $F(12,290)=258.0$, $p<.001$, partial $\eta_{p}^{2}=.914$, indicating substantial differences in how effectively models distinguish safe from unsafe requests through refusal behavior.
  • Résultat Les familles de consignes influencent davantage le critère de réponse que la discriminabilité, et les consignes « Refuse » entraînent un critère plus libéral que les consignes « Answer ».
    Voir le passage dans l’article
    Prompt family had a much larger effect on response criterion, $F(7,290)=16.61$, $p<.001$, partial $\eta_{p}^{2}=.286$. Refuse prompts produced the lowest criterion ($c=.302$), whereas Answer prompts produced the highest ($c=.553$; Tukey-adjusted $p<.001$).
  • Résultat Les familles de consignes augmentent la probabilité des politiques comportementales qu’elles ciblent, sans les déterminer de manière systématique.
    Voir le passage dans l’article
    Thus, prompt families systematically biased models toward their intended behavioral policies, but did not deterministically select them.
  • Résultat Une clarté accrue augmente la propension à refuser, mais n’améliore pas significativement la discriminabilité.
    Voir le passage dans l’article
    In contrast, clarity did not significantly affect discriminability, $F(2,290)=2.01$, $p=.136$, partial $\eta_{p}^{2}=.014$. Mean $d^{\prime}$ was similar across Vague (2.36), Explicit (2.35), and Explicit with Fallback (2.41) prompts, with no significant pairwise differences.
  • Interprétation des auteurs Les auteurs proposent d’évaluer les consignes selon la discriminabilité, le critère de réponse et leur capacité à sélectionner des politiques appropriées, plutôt qu’en optimisant seulement les taux de refus.
    Voir le passage dans l’article
    Rather than optimizing refusal rates alone, candidate prompts could be evaluated by their discriminability, response criterion, and ability to select appropriate behavioral policies.

Limites

  • Les étiquettes reposent sur un juge LLM évaluant uniquement les réponses; elles ne permettent pas toujours de vérifier si le comportement observé est correct dans son contexte.
    Voir le passage dans l’article
    Output-only labels also cannot establish whether a response is correct when the original request or instruction context is needed.
  • Les trois modèles de pointe ont été évalués sur des échantillons plus petits que les dix autres modèles, ce qui limite la comparaison directe de leurs valeurs absolues de discriminabilité.
    Voir le passage dans l’article
    The different item sets therefore limit direct comparisons of absolute $d^{\prime}$ across models.
  • Les familles de consignes étudiées isolent des priorités, alors que les systèmes déployés combinent souvent plusieurs objectifs et contextes; la généralisation à ces situations reste à établir.
    Voir le passage dans l’article
    Whether our findings extend to these settings, including agentic workflows, remains an open question.

Portée

Les résultats distinguent les changements de propension à refuser des changements de capacité à discriminer, et étendent l’analyse de la sécurité à plusieurs politiques de réponse. Les auteurs présentent ce cadre comme un moyen de mieux caractériser et optimiser les consignes système, tout en laissant ouverte la possibilité d’optimiser conjointement ces dimensions.

Rédigé par une IA à partir de l’article. Les passages cités sont vérifiés mot pour mot dans le texte analysé ; le reste peut contenir des erreurs.

Mots clés générés par l'IA : consignes système sécurité des grands modèles de langage détection du signal refus injustifiés politiques de réponse

Pour aller plus loin

  • Résumé Complet
  • Résumé vulgarisé
  • Article de blog
  • Abstract original
L’article examine l’effet des consignes système sur les réponses de sécurité des grands modèles de langage. Une augmentation des refus peut signaler une meilleure capacité à distinguer les demandes sûres des demandes dangereuses, mais aussi une tendance générale à refuser davantage, au risque de rejeter des demandes légitimes. Les auteurs cherchent donc à dissocier ces deux effets et à déterminer si les consignes orientent également les modèles vers d’autres comportements, comme demander des précisions ou proposer une aide sûre. L’évaluation porte sur huit familles de consignes : répondre, refuser, clarifier, privilégier les preuves, respecter la hiérarchie des instructions, isoler les sources, fournir une aide sûre, et transformer ou classer le texte. Chaque famille est testée à trois niveaux de clarté : une consigne vague, une consigne explicite et une consigne explicite assortie d’une règle de repli en cas d’incertitude. Les chercheurs évaluent 13 modèles à partir d’exemples tirés de HarmBench, XSTest et IHEval, en conservant la même requête d’une condition à l’autre. Un système de jugement automatisé classe les réponses selon six politiques observables : conformité, refus, clarification, respect de la hiérarchie, aide sûre et isolation des sources. Pour analyser les refus, les auteurs appliquent la théorie de la détection du signal. Les demandes dangereuses constituent le signal et le refus, la réponse positive. Cette méthode permet de distinguer la discriminabilité — la capacité à différencier les demandes sûres des demandes dangereuses — du critère de réponse, qui mesure la tendance générale à refuser. Les différences entre modèles sont marquées : l’identité du modèle prédit fortement la discriminabilité, avec un effet statistique important (F(12,290) = 258,0, p < 0,001). Les consignes ont également un effet sur la discriminabilité, mais celui-ci est plus modeste et moins régulier. Par exemple, les consignes visant à faire répondre le modèle donnent une discriminabilité estimée à 2,46, contre 2,25 pour les consignes axées sur les preuves et 2,28 pour celles qui favorisent la clarification. De nombreuses autres comparaisons ne sont pas significatives, et les effets varient selon les modèles. En revanche, les familles de consignes influent davantage sur le critère de refus. Les consignes de refus produisent le critère le plus bas (c = 0,302), ce qui correspond à une plus grande disposition à refuser, tandis que les consignes visant à faire répondre le modèle donnent le critère le plus élevé (c = 0,553). Cette tendance se retrouve chez les 13 modèles. Le niveau de clarté a un effet comparable. Le critère passe de 0,506 avec une consigne vague à 0,435 avec une consigne explicite, puis à 0,363 lorsque celle-ci comprend une règle de repli. Les trois différences sont statistiquement significatives. En revanche, la clarté ne modifie pas significativement la discriminabilité (p = 0,136), dont les moyennes restent comprises entre 2,35 et 2,41. Les consignes orientent également les politiques de réponse. Sur plus de 2,42 millions de réponses valides, chaque famille de consignes augmente significativement la fréquence du comportement correspondant. Ainsi, la clarification passe de 32,3 % sous les autres familles de consignes à 47,4 % sous une consigne de clarification.

Cette synthèse vous a-t-elle été utile ?

Note : 0

Pourquoi avons-nous besoin de votes ?

Les votes sont utilisés pour déterminer si nous devons réexécuter nos outils de synthèse. Si le compte atteint -10, nos outils peuvent être redémarrés.

Figures et graphiques

Posez une question sur une figure en indiquant son numéro ou en utilisant son bouton de question pour demander une analyse visuelle. Au maximum deux figures et quatre panneaux par question. Les valeurs lues sur les graphiques sont approximatives ; vérifiez les données originales.

Instructions pour utiliser l'assistant IA ?

Outils pour cet article

Expliquer autrement 1 réécriture gratuite restante aujourd'hui
Enregistrer dans une collection Regroupez des articles en collections pour les comparer, les interroger et les exporter. Continuer avec Google Créer un compte gratuit Se connecter

Outils avancés Premium

Pour suivre un domaine de près : alertes de citations, diapositives de journal club, comparaison des versions et envoi vers Zotero. Découvrir Premium

Zotero Guide Zotero
Alertes de citation Guide des alertes de citations
Lettre hebdomadaire Présenté dans « Intelligence artificielle cette semaine » du 16 novembre 2026. Intelligence artificielle cette semaine : ce que les bons scores ne disent pas · En recevoir une par email gratuitement
Un sujet qui monte Cet article fait partie de « Détecter les comportements dangereux de l’IA avant qu’ils atteignent les utilisateurs », qui monte en Calcul et langage (cs.CL) (×11,5 par rapport à d'habitude). Les sujets qui montaient cette semaine-là · L'historique du terme

Les articles autour de celui-ci

Les voir sur une carte

Classés selon la proximité de leur titre et de leur résumé avec ceux de cet article. Sélectionnez-en pour les lire ensemble.

Les articles les plus proches

  1. Très proche Même question
    The Refusal-Compliance Tradeoff: A Large-Scale Safety Behavior Audit of Large Language Models
    Alif Al Hasan, Sumon Biswas · 2026 · arXiv.org · preprint, non relu par les pairs · cité 1 fois · Pas encore résumé

    The Refusal-Compliance Tradeoff audits how models balance refusals of harmful requests against over-refusals of benign ones across safety benchmarks.

    Résumé scientifique

    Refusal rates are a poor proxy for LLM safety, i.e., a model may over-refuse benign prompts while still complying with harmful ones. We audit both failure modes across 21 open-weight LLMs on four safety benchmarks (OR-Bench, XSTest, ToxiGen, BOLD), using a composition adjustment to isolate model sensitivity from dataset toxicity confounds. We report three findings. First, models adopt fundamentally different calibration strategies: conservative ecosystems such as Llama suppress unsafe outputs at the cost of elevated over-refusals, while permissive ecosystems such as DeepSeek and Qwen preserve helpfulness but tolerate higher harmful compliance. Second, demographic protection is unequal: model…

  2. Très proche Autre approche du problème
    Mitigating Exaggerated Safety in Large Language Models
    Ruchira Ray, Ruchi Bhalani · 2024 · arXiv.org · preprint, non relu par les pairs · cité 10 fois · Pas encore résumé

    Mitigating Exaggerated Safety tests interactive, contextual, and few-shot prompting to reduce refusals of safe requests, rather than measuring prompt-conditioned discriminability.

    Résumé scientifique

    As the popularity of Large Language Models (LLMs) grow, combining model safety with utility becomes increasingly important. The challenge is making sure that LLMs can recognize and decline dangerous prompts without sacrificing their ability to be helpful. The problem of"exaggerated safety"demonstrates how difficult this can be. To reduce excessive safety behaviours -- which was discovered to be 26.1% of safe prompts being misclassified as dangerous and refused -- we use a combination of XSTest dataset prompts as well as interactive, contextual, and few-shot prompting to examine the decision bounds of LLMs such as Llama2, Gemma Command R+, and Phi-3. We find that few-shot prompting works best…

  3. Très proche Contexte plus large
    From Prompt Risk to Response Risk: Paired Analysis of Safety Behavior of Large Language Model
    Meng-Ya Hu, Qiong Wei, Sandeep Atluri · 2026 · arXiv.org · preprint, non relu par les pairs · Pas encore résumé

    From Prompt Risk to Response Risk measures how model responses change the severity of harm, whereas this paper studies how system prompts shape safety behaviors.

    Résumé scientifique

    Safety evaluations of large language models (LLMs) typically report binary outcomes, i.e. attack success rate (ASR), refusal rate, or harmful versus safe classification, which hide how risk changes between prompt and response. We present a paired analysis over human labeled prompt and response records across four harm categories (Sexual, Self harm, Hate and Violence) and ordinal severity levels (Safe, Low, Medium, High). 61% of responses reduce harm relative to the prompt, 36% preserve severity, and 3% escalate. The escalation splits into two mechanisms: benign prompts triggering unrequested harmful detail, and answers that stay on task at higher severity than the prompt. Category decomposit…

  4. Proche Contexte plus large
    Resisting Correction: How RLHF Makes Language Models Ignore External Safety Signals in Natural Conversation
    Felipe Biava Cataneo · 2025 · arXiv.org · preprint, non relu par les pairs · cité 2 fois · Pas encore résumé

    Resisting Correction tests whether external confidence signals change model answers on GSM8K, not how safety prompts affect refusal decisions.

    Résumé scientifique

    Safety architectures for language models increasingly rely on external monitors to detect errors and inject corrective signals at inference time. For such systems to function in interactive settings, models must be able to incorporate externally provided confidence information into their verbal responses. In this work, we test whether instruction-tuned language models preserve this controllability across different interaction modes. Using Llama-3.2-3B on GSM8K, we perform a causal intervention study in which explicit external confidence signals are injected and model compliance is measured under multiple prompt strategies. We find that base models exhibit near-perfect controllability (Spearm…

  5. Proche Même question
    The Instability of Safety: How Random Seeds and Temperature Expose Inconsistent LLM Refusal Behavior
    E. Larsen · 2025 · arXiv.org · preprint, non relu par les pairs · cité 7 fois · Pas encore résumé

    The Instability of Safety examines changes in refusal decisions across sampling settings, while this paper tests how system prompts shift refusal behavior.

    Résumé scientifique

    Current safety evaluations of large language models rely on single-shot testing, implicitly assuming that model responses are deterministic and representative of the model's safety alignment. We challenge this assumption by investigating the stability of safety refusal decisions across random seeds and temperature settings. Testing four instruction-tuned models from three families (Llama 3.1 8B, Qwen 2.5 7B, Qwen 3 8B, Gemma 3 12B) on 876 harmful prompts across 20 sampling configurations (4 temperatures x 5 seeds), we find that 18-28% of prompts exhibit decision flips (the REFUSE/PARTIAL/COMPLY label changes across configurations), depending on the model. Our Safety Stability Index (SSI) rev…

  6. Proche Contexte plus large
    Are Large Language Models Good Prompt Optimizers?
    Ruotian Ma, Xiaolei Wang, Xin Zhou et al. · 2024 · Computation and Language · preprint, non relu par les pairs · cité 46 fois · Résumé IA disponible

    Are Large Language Models Good Prompt Optimizers studies how models refine prompts and diagnose errors, rather than how safety prompts alter responses.

    Résumé scientifique

    LLM-based Automatic Prompt Optimization, which typically utilizes LLMs as Prompt Optimizers to self-reflect and refine prompts, has shown promising performance in recent studies. Despite the success, the underlying mechanism of this approach remains unexplored, and the true effectiveness of LLMs as Prompt Optimizers requires further validation. In this work, we conducted a comprehensive study to uncover the actual mechanism of LLM-based Prompt Optimization. Our findings reveal that the LLM optimizers struggle to identify the true causes of errors during reflection, tending to be biased by their own prior knowledge rather than genuinely reflecting on the errors. Furthermore, even when the ref…

  7. Proche Autre approche du problème
    Beyond Over-Refusal: Scenario-Based Diagnostics and Post-Hoc Mitigation for Exaggerated Refusals in LLMs
    Shu-Zhou Yuan, Ercong Nie, Yin Sun et al. · 2025 · arXiv.org · preprint, non relu par les pairs · cité 5 fois · Pas encore résumé

    Beyond Over-Refusal introduces single- and multi-turn benchmarks and mitigation for false refusals, instead of analyzing prompt effects on refusal criteria.

    Résumé scientifique

    Large language models (LLMs) frequently produce false refusals, declining benign requests that contain terms resembling unsafe queries. We address this challenge by introducing two comprehensive benchmarks: the Exaggerated Safety Benchmark (XSB) for single-turn prompts, annotated with"Focus"keywords that identify refusal-inducing triggers, and the Multi-turn Scenario-based Exaggerated Safety Benchmark (MS-XSB), which systematically evaluates refusal calibration in realistic, context-rich dialog settings. Our benchmarks reveal that exaggerated refusals persist across diverse recent LLMs and are especially pronounced in complex, multi-turn scenarios. To mitigate these failures, we leverage pos…

  8. Proche Contexte plus large
    When Prompt Optimization Becomes Jailbreaking: Adaptive Red-Teaming of Large Language Models
    Zafir Shamsi, Nikhil Chekuru, Z. Guzman et al. · 2026 · Conference of the European Chapter of the Association for Computational Linguistics · cité 1 fois · Pas encore résumé

    When Prompt Optimization Becomes Jailbreaking uses adaptive prompt refinement to find safety failures, whereas this paper compares fixed safety instructions.

    Résumé scientifique

    Large Language Models (LLMs) are increasingly integrated into high-stakes applications, making robust safety guarantees a central practical and commercial concern. Existing safety evaluations predominantly rely on fixed collections of harmful prompts, implicitly assuming non-adaptive adversaries and thereby overlooking realistic attack scenarios in which inputs are iteratively refined to evade safeguards. In this work, we examine the vulnerability of contemporary language models to automated, adversarial prompt refinement. We repurpose black-box prompt optimization techniques, originally designed to improve performance on benign tasks, to systematically search for safety failures. Using DSPy…

Les travaux antérieurs sur lesquels il s’appuie

  1. Proche Base de cet article
    LLMs as Signal Detectors: Sensitivity, Bias, and the Temperature-Criterion Analogy
    Jon-Paul Cacioli · 2026 · arXiv.org · preprint, non relu par les pairs · cité 9 fois · Pas encore résumé

    LLMs as Signal Detectors applies signal detection theory to separate sensitivity from response bias, the distinction this paper uses to analyze refusals.

    Résumé scientifique

    Large language models (LLMs) are evaluated for calibration using metrics such as Expected Calibration Error that conflate two distinct components: the model's ability to discriminate correct from incorrect answers (sensitivity) and its tendency toward confident or cautious responding (bias). Signal Detection Theory (SDT) decomposes these components. While SDT-derived metrics such as AUROC are increasingly used, the full parametric framework - unequal-variance model fitting, criterion estimation, z-ROC analysis - has not been applied to LLMs as signal detectors. In this pre-registered study, we treat three LLMs as observers performing factual discrimination across 168,000 trials and test whet…

  2. Apparenté Données, outil ou méthode en commun
    G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment
    Yang Liu, Dan Iter, Yi-Chong Xu et al. · 2023 · Conference on Empirical Methods in Natural Language Processing · cité 3 690 fois · Résumé IA disponible

    G-Eval uses an LLM as a text evaluator, a generic evaluation method used by this paper to classify behavioral policies.

    Résumé scientifique

    The quality of texts generated by natural language generation (NLG) systems is hard to measure automatically. Conventional reference-based metrics, such as BLEU and ROUGE, have been shown to have relatively low correlation with human judgments, especially for tasks that require creativity and diversity. Recent studies suggest using large language models (LLMs) as reference-free metrics for NLG evaluation, which have the benefit of being applicable to new tasks that lack human references. However, these LLM-based evaluators still have lower human correspondence than medium-size neural evaluators. In this work, we present G-Eval, a framework of using large language models with chain-of-thought…

Comment ces articles sont-ils trouvés ?

Nous comparons le titre et le résumé de cet article avec ceux de tous les articles résumés sur ce site, et avec les articles que Semantic Scholar recommande, ceux qu’il cite et ceux qui le citent (pour un article très cité, ses citations les plus récentes et, depuis OpenAlex, les plus citées). Parmi les travaux antérieurs et les suites, les articles qui s’utilisent en profondeur, une méthode qu’il utilise et les suites très citées remontent un peu. Les niveaux (très proche, proche, apparenté) viennent de la similarité des textes, pas d’un jugement de qualité ; * signale un article sans résumé, comparé par son titre. La phrase sous un article est écrite par une IA à partir des deux résumés : vérifiez-la dans les articles. Un article jugé hors sujet par trois lecteurs quitte la liste.

Mis à jour le 16 novembre 2026.

Le guide illustré des articles autour d’un article

Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.