Un exemple réel : ce que vous obtenez
30 articles en 6 thèmes · « RAG et hallucinations des grands modèles de langage ».
- Une synthèse, chaque phrase avec ses articles
- 6 thèmes avec leurs résultats
- 2 points de consensus
- 4 questions ouvertes
- Chaque affirmation avec la phrase citée de son article
La synthèse
Les résultats disponibles ne permettent pas d’affirmer que le RAG réduit systématiquement davantage les hallucinations que le fine-tuning seul : les comparaisons directes sont peu nombreuses et portent sur des formes différentes d’adaptation et d’évaluation.
Un point de consensus, avec sa source
L’accès à des documents ne suffit pas : il faut à la fois retrouver des preuves pertinentes et en préserver fidèlement le contenu pendant la génération.
Une question ouverte
Il manque une comparaison harmonisée du RAG, du fine-tuning seul et de leur combinaison, à modèle, budget, corpus et mesure directe des hallucinations comparables ; les classements divergents disponibles ne constituent donc pas une contradiction expérimentale établie.
Les premiers résultats
-
Retrieval Augmentation Reduces Hallucination in Conversation
Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela et al. · 2021
Évalue la récupération dans le dialogue et ses effets sur la connaissance et la qualité, sans comparaison directe au fine-tuning.
-
Deficiency of Large Language Models in Finance: An Empirical Examination of Hallucination
Haoqiang Kang, Xiao-Yang Liu · 2023
Compare plusieurs méthodes de réduction des hallucinations en finance, dont le RAG, mais l’abstract ne précise pas une comparaison au fine-tuning.
-
Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy
Zhihong Shao, Yeyun Gong, Yelong Shen, Minlie Huang et al. · 2023
Évalue une méthode de RAG itératif qui améliore la pertinence des preuves, mais ne la compare pas au fine-tuning seul.
-
HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models
Junyi Li, Xiaoxue Cheng, Xin Zhao, Jian‐Yun Nie et al. · 2023
Fournit un benchmark et des mesures de détection utiles à l’évaluation, mais ne compare pas RAG et fine-tuning.
-
Retrieval-Augmented Generation for Large Language Models: A Survey
Yunfan Gao, Yun Xiong, Xinyu Gao, Kangxiang Jia et al. · 2023
Présente les variantes et composants du RAG pertinents pour expliquer les différences d’effet, mais pas une comparaison avec le fine-tuning.
-
Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection
Akari Asai, Zeqiu Wu, Yizhong Wang, Avirup Sil et al. · 2023
Propose un RAG avec récupération à la demande et auto-évaluation, éclairant les mécanismes de grounding, sans comparaison au fine-tuning seul.
-
Understanding Retrieval Augmentation for Long-Form Question Answering
Hung-Ting Chen, Fangyuan Xu, Shane Arora, Eunsol Choi · 2023
Analyse l’attribution des réponses longues aux documents récupérés, une mesure importante du grounding, sans comparer au fine-tuning seul.
-
Benchmarking Large Language Models in Retrieval-Augmented Generation
Jiawei Chen, Hongyu Lin, Xianpei Han, Le Sun · 2024
Le benchmark mesure la robustesse, le rejet et l’intégration d’information en RAG, éclairant la dépendance des résultats aux capacités évaluées.
-
Benchmarking Retrieval-Augmented Generation for Medicine
Guangzhi Xiong, Qiao Jin, Zhiyong Lu, Aidong Zhang · 2024
Le benchmark compare de nombreuses combinaisons de corpus, récupérateurs et modèles en médecine, montrant l’importance des choix d’évaluation.
-
Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language Models
Wenhao Yu, Hongming Zhang, Xiaoman Pan, Peixin Cao et al. · 2024
Propose une méthode pour limiter les erreurs dues aux documents non pertinents et gérer l’incertitude en RAG.
20 autres résultats masqués
Voir un exemple complet, expliqué pas à pas →
Le résultat complet, tel que son auteur le partagerait →
