Explore or Confirm? LLM Agents Misallocate Measurements Under Noise
Comment préparer une communication fidèle au papier ? Guide illustré
Abdul Karim, Matt Keon · arXiv: 2610.25111v1 · Page du résumé
Pourquoi en parler cette semaine ?
Au laboratoire, savoir quand recommencer
Une mesure exceptionnelle signale-t-elle un bon candidat ou un coup de chance ? Le banc d’essai Wellocate place cinq modèles devant ce dilemme : consacrer un budget limité à explorer de nouveaux candidats ou à remesurer les plus prometteurs. Les essais utilisent un paysage simulé et deux jeux de données de protéines réorganisés pour empêcher les réponses de mémoire. Trois modèles remesurent trop ; sur le paysage simulé, un autre ne confirme pas assez ses premières impressions. Dans ce dernier cadre, tous terminent avec un choix moins bon que celui d’une stratégie programmée simple.
Les correctifs ne sont pas interchangeables. Fournir une liste de candidats encore inexplorés réduit les répétitions et améliore nettement les choix de deux modèles sur les données de protéines. À l’inverse, vérifier seulement les meilleurs candidats à la fin ne récupère qu’environ un quart des pertes du modèle qui confirme trop peu. La leçon de cette prépublication est pratique : un agent scientifique doit apprendre à répartir ses mesures pendant toute l’expérience, pas seulement à commenter ses résultats.
Contexte éditorial rédigé par IA à partir des résumés, sans validation scientifique indépendante. Le kit et ses citations vérifiées s’appuient sur l’article source, et non sur cette lettre.
Parler d’un article en public sans l’exagérer : le vôtre, celui qu’on vous demande de commenter, ou celui sur lequel vous écrivez comme journaliste.
- Votre article : un projet de communiqué pour votre service de presse, les questions des journalistes avec ce que l’article permet d’y répondre, les contresens probables, un résumé grand public et un fil court.
- Sollicité pour commenter : ce que l’article montre et ne montre pas, ses points forts et ses faiblesses avec leurs passages, et ce qui trancherait son affirmation principale.
- Vous écrivez à son sujet comme journaliste : des angles de sujet, les formulations à vérifier avant publication, et les questions à poser aux auteurs.
- Pour tous : les résultats avec leurs passages vérifiés mot pour mot, la nouveauté confrontée aux articles antérieurs les plus proches, un détecteur de hype, des figures avec leur crédit, et des spécialistes pour un regard extérieur qui n’ont pas signé avec les auteurs.