Résultats du processus de synthèse de l'article arXiv : 2302.10866v1

Les avancées récentes en matière d'apprentissage profond ont largement reposé sur l'utilisation de grands transformateurs en raison de leur capacité à apprendre à grande échelle. Cependant, l'opérateur d'attention qui constitue le bloc de construction central des transformateurs présente un coût quadratique en fonction de la longueur de la séquence et limite ainsi la quantité de contexte accessible. Pour pallier cette lacune dans les capacités, nous proposons Hyena, un remplacement subquadratique plug-and-play pour l'attention construit par entrelacement de convolutions longues implicitement paramétrisées et contrôle des données. Hyena améliore la précision des tâches de rappel et de raisonnement sur des séquences allant jusqu'à plusieurs milliers ou centaines de milliers de jetons par rapport aux opérateurs reposant sur les espaces d’états et autres méthodes implicites et explicites correspondant aux modèles basés sur l’attention. Nous avons établi un nouveau record du monde pour les architectures sans attention dense en matière de modélisation linguistique dans des ensembles standard (WikiText103 et The Pile), atteignant la qualité du Transformer avec une réduction de 20 % du calcul requis pour l’apprentissage à une longueur maximale 2K. Les opérateurs Hyena sont également plus rapides que l’attention hautement optimisée à une longueur maximale 8K et 100 fois plus rapide à une longueur maximale 64K. Michael Poli, Stefano Massaroli, Eric Nguyen, Daniel Y. Fu, Tri Dao, Stephen Baccus, Yoshua Bengio, Stefano Ermon et Christopher Ré ont travaillé sur cette recherche intitulée "Hyena Hierarchy: Towards Larger Convolutional Language Models".

• Les avancées en apprentissage profond reposent sur l'utilisation de grands transformateurs
• L'opérateur d'attention des transformateurs a un coût quadratique en fonction de la longueur de la séquence, limitant la quantité de contexte accessible
• Hyena est proposé comme un remplacement subquadratique plug-and-play pour l'attention, construit par entrelacement de convolutions longues implicitement paramétrisées et contrôle des données
• Hyena améliore la précision des tâches de rappel et de raisonnement sur des séquences allant jusqu'à plusieurs milliers ou centaines de milliers de jetons par rapport aux opérateurs basés sur l’attention
• Un nouveau record du monde a été établi pour les architectures sans attention dense en matière de modélisation linguistique dans des ensembles standard (WikiText103 et The Pile)
• Les opérateurs Hyena sont plus rapides que l’attention hautement optimisée à une longueur maximale 8K et 100 fois plus rapide à une longueur maximale 64K.
• Cette recherche intitulée "Hyena Hierarchy: Towards Larger Convolutional Language Models" a été menée par Michael Poli, Stefano Massaroli, Eric Nguyen, Daniel Y. Fu, Tri Dao, Stephen Baccus, Yoshua Bengio, Stefano Ermon et Christopher Ré

Hyena Hierarchy: Vers des modèles linguistiques convolutionnels plus grands

Les avancées récentes en matière d'apprentissage profond ont largement reposé sur l'utilisation de grands transformateurs en raison de leur capacité à apprendre à grande échelle. Cependant, l'opérateur d'attention qui constitue le bloc de construction central des transformateurs présente un coût quadratique en fonction de la longueur de la séquence et limite ainsi la quantité de contexte accessible. Pour pallier cette lacune dans les capacités, Michael Poli, Stefano Massaroli, Eric Nguyen, Daniel Y. Fu, Tri Dao, Stephen Baccus, Yoshua Bengio, Stefano Ermon et Christopher Ré ont travaillé sur une recherche intitulée "Hyena Hierarchy: Towards Larger Convolutional Language Models".

Objectifs

Le but principal du projet est d’améliorer les performances des modèles basés sur l’attention pour les tâches de rappel et de raisonnement sur des séquences allant jusqu’à plusieurs milliers ou centaines de milliers de jetons par rapport aux opérateurs reposant sur les espaces d’états et autres méthodes implicites et explicites correspondant aux modèles basés sur l’attention.

Mise en œuvre

Pour atteindre ce but ambitieux, ils ont proposé Hyena - un remplacement subquadratique plug-and-play pour l'attention construit par entrelacement de convolutions longues implicitement paramétrisées et contrôle des données. Hyena combine diffusions locales (convolution) avec diffusion globale (attention), ce qui permet au modèle d’accroître sa prise en compte du contexte sans augmenter significativement le nombre total d’opératoires requis pour chaque couche du réseau neuronal convolutif profond (CNN).

Résultats

Les résultats obtenus montrent que Hyena peut amener une meilleure pratique que les architectures sans attention dense en matière de modélisation linguistique dans des ensembles standard (WikiText103 et The Pile), atteignant la qualité du Transformer avec une réductionde 20 % du calcul requis pour l’apprentissage à une longueur maximale 2K. Les opérateurs Hyena sont également plus rapides que l’attention hautement optimisée à une longueur maximale 8K et 100 fois plus rapide à une longueur maximale 64K.

Conclusion En conclusion , cette recherche démontre qu ' Hyena est un outil puissant qui peut être utilis é pour am é liorer considérablement la performance des syst è mes bas é s sur l ' attention . Il offre non seulement un gain important en termes temps / vitesse , mais il permet é galement aux syst è mes CNN profonds d ' accro î tre le contexte disponible sans sacrifier trop grande partie du calcul n é cessaire .