Résultats du processus de synthèse de l'article arXiv : 2411.18148v1

Les réseaux neuronaux transformateurs (TNN) sont des modèles de pointe dans le domaine du traitement du langage naturel (NLP), de la traduction automatique et de la vision par ordinateur (CV). Contrairement aux approches traditionnelles utilisant des couches récurrentes ou convolutionnelles, les TNN ne nécessitent pas ces types de couches. Cependant, ils ont des exigences élevées en termes de puissance de calcul et de mémoire, ce qui peut poser problème sur des appareils à ressources limitées tels que les FPGA. De plus, chaque modèle de transformateur peut avoir un temps de traitement différent selon l'application, ce qui nécessite souvent la création d'accélérateurs personnalisés avec des paramètres spécifiques. Cela peut être complexe et chronophage. Bien qu'il existe déjà certains accélérateurs personnalisés pour les TNN, ils manquent souvent d'adaptabilité en temps réel et s'appuient sur des matrices clairsemées pour réduire la latence. Cependant, cela rend la conception matérielle encore plus complexe car elle doit prendre en compte les motifs clairsemés spécifiques à chaque application. C'est pourquoi nous présentons ADAPTOR : un accélérateur adaptable en temps réel pour les calculs matriciels denses dans les encodeurs et décodeurs de transformateurs sur FPGA. ADAPTOR optimise l'utilisation des éléments de traitement et de la mémoire intégrée afin d'améliorer le parallélisme et réduire la latence. Il utilise également un carrelage efficace des matrices pour distribuer les ressources sur les plates-formes FPGA et est entièrement quantifié pour une efficacité computationnelle et une portabilité optimales. Nos évaluations ont été réalisées sur des cartes de centre de données Xilinx Alveo U55C ainsi que sur des plateformes embarquées telles que VC707 et ZCU102. Les résultats montrent que notre conception est 1,2 fois plus économe en énergie que le GPU NVIDIA K80 et 2,87 fois plus économe que le CPU i7-8700K respectivement. De plus, elle obtient un gain de vitesse compris entre 1,7 et 2,25 fois par rapport à certains accélérateurs basés sur FPGA dernier cri. En conclusion, ADAPTOR représente une avancée significative dans l'accélération des calculs matriciels denses pour les transformateurs neuronaux grâce à son adaptabilité en temps réel, son utilisation optimale des ressources matérielles et sa performance supérieure par rapport aux solutions existantes sur FPGA.

• Les réseaux neuronaux transformateurs (TNN) sont des modèles de pointe dans le domaine du traitement du langage naturel (NLP), de la traduction automatique et de la vision par ordinateur (CV).
• Contrairement aux approches traditionnelles utilisant des couches récurrentes ou convolutionnelles, les TNN ne nécessitent pas ces types de couches.
• Les TNN ont des exigences élevées en termes de puissance de calcul et de mémoire, ce qui peut poser problème sur des appareils à ressources limitées tels que les FPGA.
• Chaque modèle de transformateur peut avoir un temps de traitement différent selon l'application, nécessitant souvent la création d'accélérateurs personnalisés avec des paramètres spécifiques.
• ADAPTOR est un accélérateur adaptable en temps réel pour les calculs matriciels denses dans les encodeurs et décodeurs de transformateurs sur FPGA, optimisant l'utilisation des éléments de traitement et de la mémoire intégrée pour améliorer le parallélisme et réduire la latence.
• ADAPTOR utilise un carrelage efficace des matrices pour distribuer les ressources sur les plates-formes FPGA et est entièrement quantifié pour une efficacité computationnelle et une portabilité optimales.
• Les évaluations montrent que ADAPTOR est plus économe en énergie que le GPU NVIDIA K80 et le CPU i7-8700K respectivement, tout en obtenant un gain de vitesse significatif par rapport à certains accélérateurs basés sur FPGA dernier cri.

Les réseaux neuronaux transformateurs (TNN) sont des modèles de pointe dans le domaine du traitement du langage naturel (NLP), de la traduction automatique et de la vision par ordinateur (CV). Ces modèles ont révolutionné ces domaines en utilisant une approche différente des méthodes traditionnelles. Contrairement à celles-ci, les TNN n'utilisent pas de couches récurrentes ou convolutionnelles pour traiter les données. Au lieu de cela, ils se basent sur un mécanisme appelé "attention" qui leur permet d'apprendre les relations entre les différentes parties d'un texte ou d'une image.

Cependant, malgré leurs performances impressionnantes, les TNN ont des exigences élevées en termes de puissance de calcul et de mémoire. Cela peut poser problème sur des appareils à ressources limitées tels que les FPGA. De plus, chaque modèle de transformateur peut avoir un temps de traitement différent selon l'application, ce qui nécessite souvent la création d'accélérateurs personnalisés avec des paramètres spécifiques. Cette étape peut être complexe et chronophage.

Bien qu'il existe déjà certains accélérateurs personnalisés pour les TNN, ils présentent souvent des limitations telles que l'absence d'adaptabilité en temps réel et l'utilisation de matrices clairsemées pour réduire la latence. Cependant, cela rend la conception matérielle encore plus complexe car elle doit prendre en compte les motifs clairsemés spécifiques à chaque application.

C'est pourquoi une équipe a développé ADAPTOR : un accélérateur adaptable en temps réel pour les calculs matriciels denses dans les encodeurs et décodeurs de transformateurs sur FPGA. Cette solution optimise l'utilisation des éléments de traitement et de la mémoire intégrée afin d'améliorer le parallélisme et réduire la latence. Elle utilise également un carrelage efficace des matrices pour distribuer les ressources sur les plates-formes FPGA et est entièrement quantifiée pour une efficacité computationnelle et une portabilité optimales.

Pour évaluer l'efficacité d'ADAPTOR, des tests ont été réalisés sur différentes cartes telles que Xilinx Alveo U55C ainsi que sur des plateformes embarquées comme VC707 et ZCU102. Les résultats montrent que notre conception est 1,2 fois plus économe en énergie que le GPU NVIDIA K80 et 2,87 fois plus économe que le CPU i7-8700K respectivement. De plus, elle obtient un gain de vitesse compris entre 1,7 et 2,25 fois par rapport à certains accélérateurs basés sur FPGA dernier cri.

En conclusion, ADAPTOR représente une avancée significative dans l'accélération des calculs matriciels denses pour les transformateurs neuronaux grâce à son adaptabilité en temps réel, son utilisation optimale des ressources matérielles et sa performance supérieure par rapport aux solutions existantes sur FPGA. Cette innovation permettra sans aucun doute de rendre ces modèles encore plus accessibles dans différents domaines tels que le NLP, la traduction automatique ou encore la vision par ordinateur.