Summarize Paper logo SummarizePaper.com

Résumé IA · arXiv: 2610.41919v1 · cs.DC

Matching Workloads to Blackwell: Power-Resolved Benchmarking of NVIDIA B200 and B300 across HPC and AI Workloads

Mohsen Zand, Trung Dac Nguyen, H. Birali Runesha
Article original Soumis à arXiv le 30 Oct. 2026 10 pages, 8 figures. Accepted at the 17th International Workshop on Performance Modeling, Benchmarking and Simulation of High Performance Computer Systems (PMBS 2026), held in conjunction with SC26 Licence : NONEXCLUSIVE-DISTRIB 1.0 Aussi en : en

Comment lire ce résumé ? Guide illustré

L’essentiel

Le B300 ne surpasse pas uniformément le B200 : ses performances dépendent de la charge, de la précision numérique et de la maturité logicielle.

Question

Le B300 constitue-t-il une amélioration effective du B200 pour les charges d’IA et de calcul scientifique ? L’étude examine aussi comment la puissance électrique et les comparaisons entre systèmes éclairent les écarts observés.

Méthode

Les auteurs comparent B200 et B300 sur deux clusters indépendants à huit GPU par nœud, avec quatre modèles de vision, Llama-3-8B et 70B, Pangu-Weather et six codes HPC. En vision, les entrées restent en mémoire GPU ; l’inférence comporte 100 itérations chronométrées après 30 d’échauffement, l’entraînement 50 après 15, et la puissance est échantillonnée à 20 Hz sur le rang 0. Les essais LLM utilisent 150 requêtes ; les mesures de vision et de LLM sont des exécutions uniques, tandis que celles du transformeur 3D et du HPC sont les médianes de cinq répétitions.

Résultats

  • Résultat À huit GPU en BF16, le B200 atteint un débit d’inférence 5,6 fois supérieur sur ConvNeXt-Base, tandis que le B300 gagne 21 % sur ViT-Large.
    Voir le passage dans l’article
    At 8 GPUs in BF16, ResNet-50 reaches 110.7 K FPS on B200 against 35.6 K on B300 (3.1$\times$), and ConvNeXt-Base 52.9 K against 9.4 K (5.6$\times$). EfficientNet-B4 is nearly level (45.8 K vs. 39.0 K).
  • Interprétation des auteurs Les auteurs interprètent la granularité des noyaux, plutôt que la famille du modèle, comme le facteur prédictif des régressions du B300.
    Voir le passage dans l’article
    The predictive variable is kernel granularity, not model family, and it is visible in the power trace before it is visible in any throughput number.
  • Interprétation des auteurs Sur les deux systèmes B300, le temps jusqu’au premier jeton est 2,1 fois plus élevé à 8B et 1,6 fois plus élevé à 70B sur Lenovo, écart attribué à la compilation des graphes CUDA dans sa version de vLLM.
    Voir le passage dans l’article
    Lenovo B300 time-to-first-token is 2.1$\times$ higher at 8B and 1.6$\times$ higher at 70B than Schmidt B300, from less optimized CUDA-graph compilation for sm_103.
  • Résultat Pour Pangu-Weather à huit GPU et un lot global de 12, le B200 atteint 8,3 échantillons par seconde contre 1,0 pour le B300.
    Voir le passage dans l’article
    Training Pangu-Weather [14] at a patch size of $2\times 4\times 4$, using a training code base released by our group https://github.com/ndtrung81/3dViT-training, the B200 sustains 8.3 samples/s versus 1.0 on the B300 at the optimal global batch size of 12 over 8 GPUs.
  • Résultat Dans Quantum ESPRESSO, le noyau dominant h_psi d’un calcul sur une supercellule de diamant de 511 atomes s’exécute 16 fois plus lentement sur B300 que sur B200.
    Voir le passage dans l’article
    For Quantum ESPRESSO [20, 21], which requires double precision throughout, we ran the $G_{0}W_{0}$ calculation on a 511-atom NV-centre diamond supercell; its dominant kernel, $h\_psi$, runs 16$\times$ slower on a B300 than on a B200.

Limites

  • Les mesures de vision et de LLM ne sont pas systématiquement répétées, ce qui fragilise les comparaisons proches de la variabilité observée de 2 à 4 %.
    Voir le passage dans l’article
    First, replication is uneven, as set out in Section III: the HPC and 3D ViT figures are medians of five runs, while the CV and LLM figures are single runs with spot-checked variation of 2–4%.
  • Le protocole de vision exclut la chaîne d’alimentation des données et ne représente donc pas ses éventuels goulets d’étranglement en déploiement.
    Voir le passage dans l’article
    Second, our CV harness deliberately excludes the input pipeline. A deployment feeding real images from storage may well encounter a genuine data-supply bottleneck that our measurement is blind to by construction.
  • Le diagnostic ne départage pas le surcoût de lancement des noyaux et la maturité des noyaux convolutionnels de cuDNN.
    Voir le passage dans l’article
    Two candidates remain: CPU-side kernel-launch overhead, which dominates for launch-heavy networks of many small convolutions, and the maturity of sm_103 convolution kernels in cuDNN [11] 9.15.

Portée

Selon les auteurs, les achats de B300 doivent être décidés charge par charge, sans le considérer comme un remplacement universel du B200. Ils recommandent de mesurer conjointement débit et puissance, de profiler la granularité des noyaux et de documenter précisément les versions logicielles utilisées.

Rédigé par une IA à partir de l’article. Les passages cités sont vérifiés mot pour mot dans le texte analysé ; le reste peut contenir des erreurs.

Mots clés générés par l'IA : NVIDIA B300 NVIDIA B200 performances applicatives intelligence artificielle calcul scientifique

Pour aller plus loin

  • Résumé Complet
  • Résumé vulgarisé
  • Article de blog
  • Abstract original
Cette étude évalue si le NVIDIA B300, également appelé Blackwell Ultra, constitue une amélioration systématique par rapport au B200 pour les applications d’intelligence artificielle et de calcul scientifique. Elle vise à éclairer les décisions d’achat à partir de performances applicatives réelles, plutôt que des seules spécifications techniques. Si le B300 dispose notamment d’une mémoire plus importante — 288 Go contre 192 Go —, ses avantages dépendent fortement de la précision numérique, des opérations exécutées et de la maturité logicielle. Les expériences sont menées sur deux infrastructures indépendantes dotées de nœuds de huit GPU. Elles portent sur quatre modèles de vision, l’inférence avec Llama-3-8B et Llama-3-70B, l’entraînement du modèle météorologique Pangu-Weather et plusieurs applications scientifiques. Les essais de vision utilisent PyTorch, différentes tailles de lots et un, quatre ou huit GPU. Les données d’entrée restent en mémoire GPU : les temps de lecture, de décodage et de transfert depuis l’hôte sont donc exclus des mesures. La puissance électrique d’un GPU est échantillonnée à 20 Hz. Les résultats en vision et pour les modèles de langage reposent sur une seule exécution chronométrée par configuration, tandis que ceux du calcul scientifique et de Pangu-Weather correspondent à la médiane de cinq répétitions. Les résultats en vision sont contrastés. Avec huit GPU en BF16, le B200 atteint 110 700 images/s sur ResNet-50, contre 35 600 pour le B300, soit un débit 3,1 fois supérieur. Sur ConvNeXt-Base, cet avantage atteint un facteur de 5,6, avec 52 900 contre 9 400 images/s. L’écart est plus modéré sur EfficientNet-B4 : 45 800 contre 39 000 images/s. À l’inverse, le B300 se distingue sur ViT-Large, avec 47 700 contre 39 500 images/s en inférence, soit un gain de 21 %, et une amélioration d’environ 16 % en entraînement. Cet avantage ne s’étend toutefois pas à tous les transformeurs : sur Pangu-Weather, le B200 atteint 8,3 échantillons/s, contre 1,0 pour le B300, dans la configuration à huit GPU avec un lot global de 12. La consommation électrique fournit un indice important pour interpréter ces écarts. En inférence sur ConvNeXt-Base et ResNet-50, le B300 n’utilise respectivement que 36 % et 53 % de son enveloppe de puissance de 1 100 W, contre environ 95 % sur ViT-Large. Les auteurs y voient un signe de sous-utilisation associé à l’exécution de nombreux petits noyaux. Ils ne peuvent toutefois pas déterminer si cette situation résulte principalement des coûts de lancement des noyaux ou d’une sélection insuffisamment optimisée des algorithmes cuDNN. Des essais avec des graphes CUDA ou un profilage temporel seraient nécessaires pour départager ces hypothèses. Pour Llama-3-70B, le B200 fournit environ 11 000 à 11 200 jetons/s, contre 8 700 à 9 000 pour le B300. La comparaison entre les infrastructures révèle également une forte sensibilité à l’environnement logiciel : sur des B300 identiques, le délai avant le premier jeton varie jusqu’à un facteur de 2,1. Les auteurs attribuent cet écart aux versions de vLLM utilisées. En calcul scientifique, le noyau dominant de Quantum ESPRESSO est 16 fois plus lent sur le B300, un résultat compatible avec sa capacité de calcul FP64 nettement réduite. En revanche, GROMACS affiche, en simple précision, des performances presque identiques sur les deux GPU. Les auteurs recommandent donc de choisir le GPU en fonction de la charge de travail : le B300 pour certains calculs dominés par de grandes multiplications matricielles et pour les besoins accrus en mémoire ; le B200 pour les applications FP64 et plusieurs charges sensibles à l’exécution de petits noyaux. Ces recommandations restent propres aux versions logicielles testées. Les principales limites de l’étude sont le nombre insuffisant de répétitions des essais en vision et en langage, une variabilité ponctuellement estimée entre 2 et 4 %, la mesure électrique limitée à un seul GPU, les différences entre environnements et l’absence de résultats sur B300 pour plusieurs applications scientifiques.
Créé le 02 Nov. 2026

Cette synthèse vous a-t-elle été utile ?

Note : 0

Pourquoi avons-nous besoin de votes ?

Les votes sont utilisés pour déterminer si nous devons réexécuter nos outils de synthèse. Si le compte atteint -10, nos outils peuvent être redémarrés.

Posez des questions sur cet article à notre assistant IA

Comment discuter avec cet article ? Guide illustré

Comparer avec le PDF

Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.

Figures et graphiques

Posez une question sur une figure en indiquant son numéro ou en utilisant son bouton de question pour demander une analyse visuelle. Au maximum deux figures et quatre panneaux par question. Les valeurs lues sur les graphiques sont approximatives ; vérifiez les données originales.
Instructions pour utiliser l'assistant IA ?

Outils pour cet article

Expliquer autrement 3 réécritures gratuites restantes aujourd'hui
Enregistrer dans une collection Regroupez des articles en collections pour les comparer, les interroger et les exporter. Créer un compte gratuit Se connecter
Exporter BibTeX · RIS (Zotero, Mendeley, EndNote) · Obsidian (Markdown) · Notion (Markdown)

Outils avancés Premium

Pour suivre un domaine de près : alertes de citations, diapositives de journal club, comparaison des versions et envoi vers Zotero. Découvrir Premium

Zotero
Alertes de citation Guide des alertes de citations
Qui travaille dessus ? Les personnes et institutions qui publient sur son sujet
Lettre hebdomadaire Présenté dans « Informatique hors IA cette semaine » du 2 novembre 2026. Informatique hors IA cette semaine : des cartes à colorier aux machines à choisir
Un sujet qui monte Cet article fait partie de « Réduire le coût et le temps d’exécution de l’IA », qui monte en Informatique (cs) (×7,3 par rapport à d'habitude). Les sujets qui montaient cette semaine-là · L'historique du terme
Journal club Premium+ Des slides pour le présenter Proposer pour le journal club
Versions Ce qui a changé entre les versions
En parler en public Premium+ Kit presse : communiqué, questions, détecteur de hype Guide du kit presse

Les articles autour de celui-ci

Les voir sur une carte

Classés selon la proximité de leur titre et de leur résumé avec ceux de cet article. Sélectionnez-en pour les lire ensemble.

Les articles les plus proches

  1. Proche Contexte plus large
    In-Datacenter Performance Analysis of a Tensor Processing Unit
    Norman P. Jouppi, Cliff Young, Nishant Patil et al. · 2017 · Hardware Architecture · cité 5 584 fois · Résumé IA disponible

    In-Datacenter Performance Analysis évalue un ASIC TPU pour l’inférence de réseaux neuronaux, tandis que l’article compare des GPU sur des charges d’IA et de calcul scientifique.

    Résumé scientifique

    Many architects believe that major improvements in cost-energy-performance must now come from domain-specific hardware. This paper evaluates a custom ASIC---called a Tensor Processing Unit (TPU)---deployed in datacenters since 2015 that accelerates the inference phase of neural networks (NN). The heart of the TPU is a 65,536 8-bit MAC matrix multiply unit that offers a peak throughput of 92 TeraOps/second (TOPS) and a large (28 MiB) software-managed on-chip memory. The TPU's deterministic execution model is a better match to the 99th-percentile response-time requirement of our NN applications than are the time-varying optimizations of CPUs and GPUs (caches, out-of-order execution, multithrea…

  2. Proche Contexte plus large
    Benchmarking CPU, GPU, and ML Power-Flow Solvers from 14 to 70,000 Buses
    Benjamin Donnot, Sami Tazi, Eva Boguslawski et al. · 2026 · Distributed, Parallel, and Cluster Computing · Résumé IA disponible

    Benchmarking CPU, GPU, and ML Power-Flow Solvers compare des solveurs pour le calcul de flux de puissance, alors que l’article évalue des GPU sur plusieurs charges HPC et d’IA.

    En bref

    Sur les cas étudiés, des solveurs physiques CPU parallélisés ou GPU égalent ou dépassent le débit des substituts neuronaux évalués, avec une précision nettement supérieure.

  3. Proche Même question
    From Words to Watts: Benchmarking the Energy Costs of Large Language Model Inference
    Siddharth Samsi, Dan Zhao, Joseph McDonald et al. · 2023 · Computation and Language · cité 376 fois · Résumé IA disponible

    From Words to Watts mesure les coûts énergétiques de l’inférence LLM, tandis que l’article mesure notamment la puissance et le débit de Llama-3 sur B200 et B300.

    Résumé scientifique

    Large language models (LLMs) have exploded in popularity due to their new generative capabilities that go far beyond prior state-of-the-art. These technologies are increasingly being leveraged in various domains such as law, finance, and medicine. However, these models carry significant computational challenges, especially the compute and energy costs required for inference. Inference energy costs already receive less attention than the energy costs of training LLMs -- despite how often these large models are called on to conduct inference in reality (e.g., ChatGPT). As these state-of-the-art LLMs see increasing usage and deployment in various domains, a better understanding of their resourc…

  4. Proche Même question
    Not All GPUs Are Created Equal: Characterizing Variability in Large-Scale, Accelerator-Rich Systems
    Prasoon Sinha, Akhil Guliani, Rutwik Jain et al. · 2022 · Distributed, Parallel, and Cluster Computing · cité 47 fois · Pas encore résumé

    Not All GPUs Are Created Equal étudie les variations de performance entre accélérateurs de même architecture, tandis que l’article observe des écarts entre clusters B300 identiques.

    Résumé scientifique

    Scientists are increasingly exploring and utilizing the massive parallelism of general-purpose accelerators such as GPUs for scientific breakthroughs. As a result, datacenters, hyperscalers, national computing centers, and supercomputers have procured hardware to support this evolving application paradigm. These systems contain hundreds to tens of thousands of accelerators, enabling peta- and exa-scale levels of compute for scientific workloads. Recent work demonstrated that power management (PM) can impact application performance in CPU-based HPC systems, even when machines have the same architecture and SKU (stock keeping unit). This variation occurs due to manufacturing variability and th…

  5. Proche Même méthode, autre problème
    MIGPerf: A Comprehensive Benchmark for Deep Learning Training and Inference Workloads on Multi-Instance GPUs
    Huaizheng Zhang, Yuanming Li, Wencong Xiao et al. · 2023 · Machine Learning · preprint, non relu par les pairs · cité 10 fois · Pas encore résumé

    MIGPerf benchmarke entraînement et inférence de vision sur GPU, comme l’article, mais étudie le partitionnement MIG plutôt que les B200 et B300.

    Résumé scientifique

    New architecture GPUs like A100 are now equipped with multi-instance GPU (MIG) technology, which allows the GPU to be partitioned into multiple small, isolated instances. This technology provides more flexibility for users to support both deep learning training and inference workloads, but efficiently utilizing it can still be challenging. The vision of this paper is to provide a more comprehensive and practical benchmark study for MIG in order to eliminate the need for tedious manual benchmarking and tuning efforts. To achieve this vision, the paper presents MIGPerf, an open-source tool that streamlines the benchmark study for MIG. Using MIGPerf, the authors conduct a series of experiments,…

  6. Proche Même méthode, autre problème
    Benchmarking and Dissecting the Nvidia Hopper GPU Architecture
    Weile Luo, Ruibo Fan, Zeyu Li et al. · 2024 · Hardware Architecture · cité 110 fois · Résumé IA disponible

    Benchmarking and Dissecting caractérise l’architecture Hopper par des benchmarks GPU, tandis que l’article compare les performances de GPU Blackwell sur diverses charges.

    Résumé scientifique

    Graphics processing units (GPUs) are continually evolving to cater to the computational demands of contemporary general-purpose workloads, particularly those driven by artificial intelligence (AI) utilizing deep learning techniques. A substantial body of studies have been dedicated to dissecting the microarchitectural metrics characterizing diverse GPU generations, which helps researchers understand the hardware details and leverage them to optimize the GPU programs. However, the latest Hopper GPUs present a set of novel attributes, including new tensor cores supporting FP8, DPX, and distributed shared memory. Their details still remain mysterious in terms of performance and operational char…

  7. Apparenté Contexte plus large
    Efficient Large-Scale Language Model Training on GPU Clusters
    Deepak Narayanan, Mohammad Shoeybi, Jared Casper et al. · 2021 · Computation and Language · cité 1 465 fois · Résumé IA disponible

    Efficient Large-Scale Language Model Training traite du parallélisme et de la mise à l’échelle de l’entraînement LLM sur clusters GPU, une charge proche de celles évaluées dans l’article.

    Résumé scientifique

    Large language models have led to state-of-the-art accuracies across a range of tasks. However, training these large models efficiently is challenging for two reasons: a) GPU memory capacity is limited, making it impossible to fit large models on a single GPU or even on a multi-GPU server; and b) the number of compute operations required to train these models can result in unrealistically long training times. New methods of model parallelism such as tensor and pipeline parallelism have been proposed to address these challenges; unfortunately, naive usage leads to fundamental scaling issues at thousands of GPUs due to various reasons, e.g., expensive cross-node communication or idle periods w…

  8. Apparenté Même question
    DynamoLLM: Designing LLM Inference Clusters for Performance and Energy Efficiency
    Jovan Stojkovic, Chaojie Zhang, Íñigo Goiri et al. · 2024 · Artificial Intelligence · cité 226 fois · Résumé IA disponible

    DynamoLLM étudie la performance et l’efficacité énergétique de l’inférence LLM sur GPU, tandis que l’article mesure puissance et débit pour Llama-3 sur B200 et B300.

    Résumé scientifique

    The rapid evolution and widespread adoption of generative large language models (LLMs) have made them a pivotal workload in various applications. Today, LLM inference clusters receive a large number of queries with strict Service Level Objectives (SLOs). To achieve the desired performance, these models execute on power-hungry GPUs causing the inference clusters to consume large amount of energy and, consequently, result in excessive carbon emissions. Fortunately, we find that there is a great opportunity to exploit the heterogeneity in inference compute properties and fluctuations in inference workloads, to significantly improve energy-efficiency. However, such a diverse and dynamic environm…

Aller plus loin

Comment ces articles sont-ils trouvés ?

Nous comparons le titre et le résumé de cet article avec ceux de tous les articles résumés sur ce site, et avec les articles que Semantic Scholar recommande, ceux qu’il cite et ceux qui le citent (pour un article très cité, ses citations les plus récentes et, depuis OpenAlex, les plus citées). Parmi les travaux antérieurs et les suites, les articles qui s’utilisent en profondeur, une méthode qu’il utilise et les suites très citées remontent un peu. Les niveaux (très proche, proche, apparenté) viennent de la similarité des textes, pas d’un jugement de qualité ; * signale un article sans résumé, comparé par son titre. La phrase sous un article est écrite par une IA à partir des deux résumés : vérifiez-la dans les articles. Un article jugé hors sujet par trois lecteurs quitte la liste.

Mis à jour le 2 novembre 2026.

Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.