High-Performance GPU-to-CPU Transpilation and Optimization via High-Level Parallel Constructs
Auteurs : William S. Moses, Ivan R. Ivanov, Jens Domke, Toshio Endo, Johannes Doerfert, Oleksandr Zinenko
Points clés générés par l'IA
- Le parallélisme est la principale source de performance, mais les implémentations architecturales et les modèles de programmation changent à chaque nouvelle génération de matériel.
- Cela entraîne souvent une réingénierie coûteuse des applications.
- La plupart des outils de portabilité des performances nécessitent un portage manuel et onéreux des applications vers un autre modèle de programmation.
- Une solution alternative a été proposée dans l'article "High-Performance GPU-to-CPU Transpilation and Optimization via High-Level Parallel Constructs".
- Cette approche permet de traduire automatiquement les programmes écrits dans un modèle de programmation (CUDA) en un autre (threads CPU) basé sur Polygeist/MLIR sans nécessiter de portage manuel et coûteux.
- Les résultats montrent qu'elle permet d'obtenir une accélération géométrique moyenne de 76 % par rapport au code OpenMP écrit à la main.
- Ils ont réussi à faire fonctionner efficacement les noyaux CUDA de PyTorch sur le supercalculateur Fugaku uniquement avec l'intervention automatique de l'utilisateur.
- Leur couche de compatibilité PyTorch utilisant les noyaux CUDA transpilés dépasse le backend natif CPU PyTorch de 2,7 fois en termes d'efficacité.
- Cette approche pourrait avoir un impact significatif sur la réduction des coûts et des efforts liés à la portabilité des performances dans le domaine du calcul haute performance.
Résumé : While parallelism remains the main source of performance, architectural implementations and programming models change with each new hardware generation, often leading to costly application re-engineering. Most tools for performance portability require manual and costly application porting to yet another programming model. We propose an alternative approach that automatically translates programs written in one programming model (CUDA), into another (CPU threads) based on Polygeist/MLIR. Our approach includes a representation of parallel constructs that allows conventional compiler transformations to apply transparently and without modification and enables parallelism-specific optimizations. We evaluate our framework by transpiling and optimizing the CUDA Rodinia benchmark suite for a multi-core CPU and achieve a 76% geomean speedup over handwritten OpenMP code. Further, we show how CUDA kernels from PyTorch can efficiently run and scale on the CPU-only Supercomputer Fugaku without user intervention. Our PyTorch compatibility layer making use of transpiled CUDA PyTorch kernels outperforms the PyTorch CPU native backend by 2.7$\times$.
Outils pour cet article
Posez des questions sur cet article à notre assistant IA
Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.
⚠La licence de l'article ne nous permet pas de nous appuyer sur son contenu et l'assistant IA ne peut se servir que des métadonnées de l'article plutôt que de l'article complet.
Le résumé précédent a été créé il y a plus d'un an et peut être réexécuté (si nécessaire) en cliquant sur le bouton Exécuter ci-dessous.
⚠La licence de cet article spécifique ne nous permet pas de nous appuyer sur son contenu et les outils de synthèse seront exécutés en utilisant les métadonnées de l'article plutôt que l'article complet. Cependant, l'outil produira quand même un bon résultat, et vous pouvez également essayer nos outils sur des papiers avec des licences plus ouvertes.
Articles similaires résumés avec nos outils d'IA
Naviguez à travers encore plus d'articles similaires en utilisant une
représentation arborescenteRecherchez des articles similaires (en version bêta)
Nous comparons le titre et le résumé avec les articles indexés dans notre base. Pour les articles arXiv, la recherche porte sur la même catégorie ; pour les DOI et les autres sources, elle couvre toutes les sources et disciplines. Vous pouvez la relancer à mesure que notre base s’enrichit.
Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.