01 / Comprendre
Attention Is All You Need
Vaswani et al. · 2017 · arXiv:1706.03762
- La question
- L’attention seule peut-elle permettre un modèle performant de transformation de séquences ?
- L’idée principale
- Le Transformer remplace la récurrence et la convolution par l’attention. L’article l’évalue sur des tâches de traduction.
- Un point à vérifier
- Les résultats sur ces tests ne démontrent pas les performances pour toutes les langues ou toutes les tâches.
Exemple de lecture rédigé à partir de l’abstract. Lire la source ↗
Ouvrir un résumé IA déjà disponible →