# Precise Zero-Shot Dense Retrieval without Relevance Labels

**Authors:** Luyu Gao, Xueguang Ma, Jimmy Lin, Jamie Callan  
**arXiv:** [2212.10496](https://arxiv.org/abs/2212.10496)  
**Date:** 2022-12-20  
**Summary page:** https://www.summarizepaper.com/fr/paper/2212.10496v1/

## Key points

- Les systèmes de recherche dense sont efficaces et efficients dans différentes tâches et langues.
- Il est difficile de créer des systèmes de recherche dense entièrement zéro-shot sans étiquette de pertinence disponible.
- Les auteurs proposent d'utiliser les Embeddings Hypothétiques de Document (HyDE).
- HyDE utilise un modèle linguistique pour générer un document hypothétique qui capture les motifs pertinents mais peut contenir des informations fausses ou inexactes.
- Un encodeur non supervisé appris par contraste encode le document en un vecteur d'embedding pour identifier un voisinage dans l'espace d'embedding du corpus où des documents réels similaires sont récupérés en fonction de la similarité vectorielle.
- HyDE surpasse significativement le retriever dense non supervisé state-of-the-art Contriever et présente une performance solide comparable aux retrievers fine-tuned sur diverses tâches (recherche web, QA, vérification des faits) et langues (swahili, coréen, japonais).

## Summary

Les systèmes de recherche dense ont prouvé leur efficacité et leur efficience dans diverses tâches et langues. Cependant, il est difficile de créer des systèmes de recherche dense entièrement zéro-shot lorsqu'aucune étiquette de pertinence n'est disponible. Dans cet article, les auteurs reconnaissent la difficulté liée à l'apprentissage zéro-shot et au codage de la pertinence. Au lieu de cela, ils proposent d'utiliser les Embeddings Hypothétiques de Document (HyDE). Lorsqu'une requête est soumise, HyDE utilise un modèle linguistique qui suit des instructions (par exemple InstructGPT) pour générer un document hypothétique. Ce document capture les motifs pertinents mais peut contenir des informations fausses ou inexactes. Ensuite, un encodeur non supervisé appris par contraste (par exemple Contriever) encode le document en un vecteur d'embedding. Ce vecteur identifie un voisinage dans l'espace d'embedding du corpus où des documents réels similaires sont récupérés en fonction de la similarité vectorielle. Cette seconde étape permet d'ancrer le document généré au corpus réel tout en filtrant les informations incorrectes grâce à l'encodeur à bottleneck dense. Les expériences montrent que HyDE surpasse significativement le retriever dense non supervisé state-of-the-art Contriever et présente une performance solide comparable aux retrievers fine-tuned sur diverses tâches (recherche web, QA, vérification des faits) et langues (swahili, coréen, japonais).