Résultats du processus de synthèse de l'article arXiv : 2211.17192v1

Nous tenons à remercier chaleureusement YaGuang Li pour son aide concernant LaMDA et le calcul des chiffres de LaMDA dans l'article ainsi que Blake Hechtman pour ses excellentes idées et son aide avec XLA. Nous souhaitons également remercier Asaf Aharoni, Sasha Goldshtein, Nadav Sherman, Eyal Segalis, Eyal Molad, Dani Valevski, Daniel Wasserman, Valerie Nygaard et les équipes LaMDA et Theta Labs chez Google ainsi que nos familles. Dans cette étude nous présentons une méthode de décodage spéculatif - un algorithme qui permet d'accélérer l'inférence à partir de modèles autorégressifs sans changer les sorties en calculant plusieurs jetons en parallèle. Notre approche est basée sur les observations suivantes : (1) les tâches de modélisation linguistique difficiles incluent souvent des sous-tâches plus faciles qui peuvent être bien approximés par des modèles plus efficaces et (2) en utilisant une exécution spéculative et une nouvelle méthode d'échantillonnage nous pouvons accélérer le décodage exact à partir des grands modèles en les exécutant en parallèle sur les sorties des modèles d'approximation générés potentiellement plusieurs jetons simultanés sans changer la distribution. Notre mise en œuvre ne requiert pas de réentrainement ou modifications architecturales. Nous montrons l'efficacité de notre mise en œuvre sur T5-XXL obtenant une accélération 2X-3X par rapport à la mise en œuvre standard de T5X avec des sorties identiques. En ce qui concerne les travaux connexes l’efficacité de l’infèrence à partir de grands modèles a était largement étudiée (Dehghani et al., 2021). De nombreux travaux interessants ont étés réalisés dans ce domaine. Enfin le document source est un extrait d'une requête ArXiv contenant des informations sur l'article intitulée "Fast Inference from Transformers via Speculative Decoding". Cet article présente une methode pour accerler l’inferece à partir des transformers via un décodage speculatif.

• - Remerciements à YaGuang Li et Blake Hechtman pour leur aide avec LaMDA et XLA
• - Remerciements à Asaf Aharoni, Sasha Goldshtein, Nadav Sherman, Eyal Segalis, Eyal Molad, Dani Valevski, Daniel Wasserman, Valerie Nygaard et les équipes LaMDA et Theta Labs chez Google ainsi que nos familles
• - Méthode de décodage spéculatif pour accélérer l'inférence à partir de modèles autorégressifs sans changer les sorties
• - Utilisation d'exécution spéculative et d'une nouvelle méthode d'échantillonnage pour exécuter en parallèle sur les sorties des modèles d'approximation générés potentiellement plusieurs jetons simultanés sans changer la distribution
• - Pas besoin de réentrainement ou modifications architecturales
• - Accélération 2X-3X par rapport à la mise en œuvre standard de T5X avec des sorties identiques
• - Études antérieures sur l'efficacité de l'inférence à partir de grands modèles (Dehghani et al., 2021)
• - Article intitulé "Fast Inference from Transformers via Speculative Decoding" présentant une méthode pour accélérer l'inférence à partir des transformers via un décodage spéculatif.

Résumé - Des remerciements à YaGuang Li et Blake Hechtman pour leur aide avec LaMDA et XLA. - Une méthode de décodage spéculatif pour accélérer l'inférence à partir de modèles autorégressifs sans changer les sorties. - Utilisation d'exécution spéculative et d'une nouvelle méthode d'échantillonnage pour exécuter en parallèle sur les sorties des modèles d'approximation générés potentiellement plusieurs jetons simultanés sans changer la distribution. - Pas besoin de réentrainement ou modifications architecturales. - Accélération 2X-3X par rapport à la mise en œuvre standard de T5X avec des sorties identiques. Définitions - Remerciements : dire merci à quelqu'un pour son aide ou sa contribution. - Décodage : processus de traduction ou compréhension d'un message codé ou crypté. - Spéculatif : basé sur des suppositions ou des hypothèses plutôt que sur des faits concrets. - Inférence : processus de tirer une conclusion logique à partir de preuves ou d'informations disponibles. - Modèles autorégressifs : modèles qui génèrent une séquence en prédisant chaque élément de la séquence

Accélérer l'inférence à partir des transformateurs via un décodage spéculatif

Nous tenons à remercier chaleureusement YaGuang Li pour son aide concernant LaMDA et le calcul des chiffres de LaMDA dans cet article ainsi que Blake Hechtman pour ses excellentes idées et son aide avec XLA. Nous souhaitons également remercier Asaf Aharoni, Sasha Goldshtein, Nadav Sherman, Eyal Segalis, Eyal Molad, Dani Valevski, Daniel Wasserman, Valerie Nygaard et les équipes LaMDA et Theta Labs chez Google ainsi que nos familles.

Introduction

Dans cette étude nous présentons une méthode de décodage spéculatif - un algorithme qui permet d'accélérer l'inférence à partir de modèles autorégressifs sans changer les sorties en calculant plusieurs jetons en parallèle. Notre approche est basée sur les observations suivantes : (1) les tâches de modélisation linguistique difficiles incluent souvent des sous-tâches plus faciles qui peuvent être bien approximés par des modèles plus efficaces et (2) en utilisant une exécution spéculative et une nouvelle mise en œuvre d’un échantillonnage nous pouvons accroître la vitesse du décodage exact à partir des grands modèles en exerçant simultanement sur les sorties des modèles d’approximation générés potentiellement plusieurs jetons sans changer la distribution. Notre mise en œuvre ne requiert pas de réentrainement ou modifications architecturales.

Résultats

Nous montrons l'efficacité de notre mise en œuvre sur T5-XXL obtenant une accélération 2X-3X par rapport à la mise en œuvre standard de T5X avec des sorties identiques. En ce qui concerne les travaux connexes l’efficacité de l’infèrece à partir de grands modèles a était largement étudiée (Dehghani et al., 2021). De nombreux travaux interessants ont étés réalisés dans ce domaine. Enfin le document source est un extrait d'une requête ArXiv contenant des informations sur l'article intitulée "Fast Inference from Transformers via Speculative Decoding". Cet article présente une methode pour accerler l’inferece à partir des transformers via un décodage speculatif.

Conclusion

Cet article propose donc une solution innovante pour ameliorer la vitesse du decodage exacte depuis les modeles autoregressifs sans modifier leur architecture ni necessiter un entrainement supplementaire grace au decodage speculatif parallele permettant aux modeles approximatifs generaux potentiellement multiples tokens simultanement sans alterer sa distribution initiale .