Half-precision inference of AI weather prediction models: negligible loss of skill at a fraction of the cost

Stefan Siegert

Résumé IA · arXiv: 2611.09573v1 · physics.ao-ph

Half-precision inference of AI weather prediction models: negligible loss of skill at a fraction of the cost

Stefan Siegert

L’essentiel

L’inférence en fp16, en conservant l’état physique en fp32, réduit le coût des prévisions de cinq modèles météorologiques avec une perte de compétence généralement faible.

D’après l’abstract uniquement : vérifiez les détails dans l’article original.

Question

L’exécution en demi-précision peut-elle accélérer et rendre moins énergivores les modèles d’IA météorologique sans dégrader sensiblement leurs prévisions ? Le travail examine aussi si les résultats diffèrent selon le modèle et la précision réduite utilisée.

Méthode

Les auteurs évaluent Aurora, Pangu-Weather, FourCastNet, SFNO et FastNet sur un seul GPU de 16 Go, à partir de 52 dates initiales de 2024, et comparent les prévisions en fp32 et fp16 aux données ERA5. Ils maintiennent l’état physique, sa normalisation et sa dénormalisation en fp32, puis mesurent les erreurs de prévision, la performance et la consommation énergétique; des expériences de sensibilité examinent également les couches du réseau.

Résultats

Résultat Le fp16 modifie le RMSE global d’au plus 1,4 %, et d’environ 0,5 % ou moins pour quatre des cinq modèles.
Voir le passage dans l’article
With the state, its normalisation and denormalisation in fp32, running the network in fp16 changes the global RMSE by at most 1.4%, and by about 0.5% or less for four of the five models
Résultat La différence de compétence correspond à moins d’une heure d’échéance jusqu’au jour 8 et à au plus deux heures au jour 10.
Voir le passage dans l’article
equivalent to less than one hour of lead time up to day 8 and at most two hours at day 10.
Résultat Une prévision de dix jours en fp16 est 1,3 à 3,5 fois plus rapide et consomme 1,4 à 3,7 fois moins d’énergie qu’en fp32.
Voir le passage dans l’article
A 10-day forecast in fp16 is 1.3-3.5 times faster than in fp32 and uses 1.4-3.7 times less energy.
Interprétation des auteurs Les auteurs concluent que le fp16 avec l’état en fp32 est pratiquement sans perte pour l’exécution de modèles météorologiques sur un seul GPU.
Voir le passage dans l’article
For running AI weather models on a single GPU, fp16 with the state in fp32 is practically lossless at a fraction of the cost.
Résultat Le bf16 est aussi rapide, mais moins précis que le fp16 pour chacun des modèles évalués.
Voir le passage dans l’article
bf16, often preferred for its wider range, is as fast but less accurate than fp16 for every model

Limites

L’évaluation porte sur cinq modèles, 52 dates initiales de 2024 et un seul GPU de 16 Go; la portée des résultats est donc limitée à ce cadre expérimental.
Les règles de sensibilité à la précision réduite ne se généralisent que partiellement entre les modèles et les couches.
Voir le passage dans l’article
Sensitivity experiments show that rules of thumb from other applications of reduced precision carry over only partly: the first and last layers dominate for some models but not for others, and no type of layer is sensitive on its own.

Portée

Les auteurs avancent que le fp16, à condition de maintenir l’état physique en fp32, permet de réduire nettement le temps de calcul et l’énergie sans perte importante de compétence dans les modèles évalués. Ils soulignent que le choix de précision doit être testé pour chaque modèle, car les règles de sensibilité des couches ne se transfèrent que partiellement.

Rédigé par une IA à partir de l’article. Les passages cités sont vérifiés mot pour mot dans le texte analysé ; le reste peut contenir des erreurs.

Mots clés générés par l'IA : prévision météorologique demi-précision fp16 modèles d’intelligence artificielle efficacité énergétique

Pour aller plus loin

Résumé Complet
Résumé vulgarisé
Article de blog
Abstract original

L’article examine si les modèles d’intelligence artificielle pour la prévision météorologique peuvent effectuer leurs calculs en demi-précision (fp16) afin de réduire leur coût d’exécution sans dégrader sensiblement la qualité des prévisions. Ces modèles utilisent habituellement des poids en précision simple (fp32) et fonctionnent par défaut dans ce format, bien que les GPU actuels puissent effectuer plus rapidement des calculs en 16 bits. La question centrale est donc de déterminer si ce gain de vitesse est compatible avec la précision numérique nécessaire pour représenter les états atmosphériques et maintenir les performances de prévision. L’étude compare cinq modèles accessibles au public : Aurora, Pangu-Weather, FourCastNet, SFNO et FastNet. Les prévisions sont initialisées à partir de 52 dates de 2024, calculées sur un GPU doté de 16 Go de mémoire, puis évaluées par rapport aux données ERA5. Les auteurs comparent les résultats obtenus en fp32 et en fp16. Ils ne convertissent toutefois pas l’ensemble des calculs en demi-précision : l’état physique, sa normalisation et sa dénormalisation restent en fp32, tandis que le réseau neuronal est exécuté en fp16. Cette approche répond aux problèmes liés à l’échelle numérique. Selon le résumé, la conversion intégrale du modèle entraîne l’arrondissement des valeurs physiques. En fp16, certaines valeurs peuvent dépasser la plage représentable ; en bf16, la perte de précision risque d’éliminer des informations utiles. En séparant la représentation de l’état physique du calcul du réseau, les auteurs limitent la variation du RMSE global à 1,4 %. Pour quatre des cinq modèles, cette variation est d’environ 0,5 % ou moins. Ils estiment que ces écarts correspondent à moins d’une heure de prévision jusqu’au huitième jour et à deux heures au maximum au dixième jour. Les auteurs ne constatent aucune tendance systématique des écarts selon la région, l’échelle spatiale ou le type de tempête, qu’elle soit tropicale ou extratropicale. Ils signalent toutefois une légère pénalité pour les cyclones tropicaux avec FourCastNet. Pour les prévisions d’ensemble d’Aurora, les scores CRPS, la dispersion et la calibration varient très peu en fp16. Aucune valeur ne dépasse la plage numérique du fp16, soit ±65 504. Les valeurs maximales observées restent de 38 à 544 fois inférieures à cette limite. Sur le matériel testé, les gains de calcul sont substantiels : une prévision à dix jours en fp16 est de 1,3 à 3,5 fois plus rapide qu’en fp32 et consomme de 1,4 à 3,7 fois moins d’énergie. Les expériences de sensibilité montrent néanmoins qu’il n’existe pas de règle générale permettant de déterminer quelles couches doivent être conservées en précision supérieure. Les premières et dernières couches sont particulièrement sensibles dans certains modèles, mais pas dans les autres. Aucun type de couche ne se révèle systématiquement sensible à lui seul. Le résumé indique également que le bf16, bien qu’aussi rapide, est moins précis que le fp16 pour chacun des modèles étudiés. La quantification sur 8 bits entraîne, quant à elle, une perte de performance nettement plus importante. Les auteurs concluent que le fp16 peut être pratiquement sans perte pour ces modèles, à condition de conserver l’état physique ainsi que ses transformations en fp32. Cette configuration permettrait de réduire le temps de calcul et la consommation énergétique sur un seul GPU.

La météo par IA peut-elle être aussi fiable en demi-précision ?

Les modèles d’intelligence artificielle prévoient de plus en plus souvent l’évolution de l’atmosphère. Mais leurs calculs ont un coût : ils mobilisent du matériel spécialisé, consomment de l’énergie et nécessitent un temps d’exécution qui peut devenir important. Une piste pour les rendre plus efficaces consiste à réduire la précision numérique utilisée pendant les calculs.

Dans l’étude Half-precision inference of AI weather prediction models: negligible loss of skill at a fraction of the cost, Stefan Siegert examine si ces modèles peuvent fonctionner en demi-précision, ou fp16, sans perdre une part significative de leur capacité à prévoir le temps. Le résultat est encourageant : avec une précaution essentielle concernant les données atmosphériques, le fp16 peut offrir des prévisions presque aussi précises tout en réduisant le temps de calcul et la consommation d’énergie.

Pourquoi envisager le fp16 ?

Les modèles étudiés fonctionnent habituellement en précision simple, le fp32. Ce format représente les nombres avec davantage de précision que le fp16, mais les GPU actuels peuvent effectuer certains calculs en 16 bits plus rapidement et avec une consommation moindre. Passer au fp16 pourrait donc rendre les prévisions plus rapides et moins coûteuses.

Le défi est de préserver l’information nécessaire pour décrire l’état de l’atmosphère. Une précision numérique insuffisante peut introduire des erreurs, arrondir des valeurs utiles ou même produire des nombres qui dépassent la plage représentable. Il ne suffit donc pas de convertir indistinctement toutes les étapes du modèle.

Une comparaison de cinq modèles météorologiques

L’étude évalue cinq modèles accessibles au public : Aurora, Pangu-Weather, FourCastNet, SFNO et FastNet. Les prévisions sont lancées à partir de 52 dates de 2024, sur un GPU doté de 16 Go de mémoire. Les résultats en fp16 sont comparés à ceux obtenus en fp32 et évalués par rapport aux données ERA5.

Le choix technique central consiste à ne pas effectuer tous les calculs en demi-précision. Le réseau neuronal fonctionne en fp16, mais l’état physique de l’atmosphère, ainsi que sa normalisation et sa dénormalisation, restent en fp32. Cette séparation protège les valeurs atmosphériques tout en permettant au réseau de profiter des calculs plus rapides en 16 bits.

Cette précaution répond aux limites des formats numériques. Une conversion intégrale peut arrondir les valeurs physiques. En fp16, certaines valeurs pourraient dépasser la plage disponible ; en bf16, le risque est plutôt de perdre trop de précision. Dans les expériences décrites, aucune valeur ne dépasse la plage du fp16, soit ±65 504. Les valeurs maximales observées restent entre 38 et 544 fois inférieures à cette limite.

Une perte de qualité très limitée

Avec cette configuration mixte, la variation du RMSE global — une mesure courante de l’erreur des prévisions — reste limitée à 1,4 %. Pour quatre modèles sur cinq, elle est d’environ 0,5 % ou moins. Les auteurs estiment que ces écarts correspondent à moins d’une heure de prévision jusqu’au huitième jour et à deux heures au maximum au dixième jour.

Les résultats ne montrent pas de dégradation systématique selon la région, l’échelle spatiale ou le type de tempête, qu’elle soit tropicale ou extratropicale. Une légère pénalité apparaît toutefois pour les cyclones tropicaux avec FourCastNet. Pour les prévisions d’ensemble d’Aurora, les scores CRPS, la dispersion et la calibration changent très peu en fp16.

Autrement dit, réduire la précision des calculs du réseau ne semble pas compromettre sensiblement la qualité d’ensemble des prévisions, à condition de garder les données physiques et leurs transformations en fp32.

Des gains de calcul et d’énergie notables

Sur le GPU testé, l’intérêt pratique du fp16 est important. Une prévision à dix jours est de 1,3 à 3,5 fois plus rapide qu’en fp32 et consomme de 1,4 à 3,7 fois moins d’énergie. Ces gains peuvent rendre les prévisions moins coûteuses à produire et faciliter leur exécution sur un seul GPU.

L’étude souligne cependant qu’il n’existe pas de recette universelle pour décider quelles couches d’un modèle doivent conserver une précision supérieure. Les premières et les dernières couches sont parfois sensibles, mais ce n’est pas le cas pour tous les modèles. Aucun type de couche ne se révèle systématiquement fragile.

Le fp16 préserve presque entièrement les performances dans les expériences menées.
Le bf16, pourtant aussi rapide, est moins précis que le fp16 pour chacun des modèles étudiés.
La quantification sur 8 bits entraîne une perte de performance nettement plus importante.
Conserver l’état physique et ses transformations en fp32 est essentiel à la méthode testée.

Une piste concrète pour des prévisions plus efficaces

La conclusion de Stefan Siegert est nuancée mais optimiste : le fp16 peut être pratiquement sans perte pour ces modèles de prévision météorologique, sans que cela signifie qu’une conversion complète en demi-précision soit toujours sûre. La méthode repose sur un compromis précis entre la représentation des données atmosphériques et les calculs du réseau neuronal.

Les résultats suggèrent une manière concrète de réduire le coût énergétique et le temps de calcul de la prévision météorologique par IA. Ils montrent aussi pourquoi la précision numérique doit être évaluée modèle par modèle : la demi-précision est prometteuse, mais ses bénéfices dépendent de la façon dont elle est intégrée.

Créé le 09 Nov. 2026

Cette synthèse vous a-t-elle été utile ?

Note : 0

Posez des questions sur cet article à notre assistant IA

Comment discuter avec cet article ? Guide illustré

Comparer avec le PDF

Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.

⚠La licence de l'article ne nous permet pas de nous appuyer sur son contenu et l'assistant IA ne peut se servir que des métadonnées de l'article plutôt que de l'article complet.

Instructions pour utiliser l'assistant IA ?

Outils pour cet article

Expliquer autrement 1 réécriture gratuite restante aujourd'hui

Enregistrer dans une collection Regroupez des articles en collections pour les comparer, les interroger et les exporter. Continuer avec Google Créer un compte gratuit Se connecter

Exporter BibTeX · RIS (Zotero, Mendeley, EndNote) · Obsidian (Markdown) · Notion (Markdown)

Outils avancés Premium

Pour suivre un domaine de près : alertes de citations, diapositives de journal club, comparaison des versions et envoi vers Zotero. Découvrir Premium

Zotero

Alertes de citation Guide des alertes de citations

Qui travaille dessus ? Les personnes et institutions qui publient sur son sujet

Lettre hebdomadaire Présenté dans « Climat et Terre cette semaine » du 9 novembre 2026. Climat et Terre cette semaine : des vitamines de l’océan aux fractures de la Lune

Journal club Premium+ Des slides pour le présenter Proposer pour le journal club

Versions Ce qui a changé entre les versions

En parler en public Premium+ Kit presse : communiqué, questions, détecteur de hype Guide du kit presse

Les articles autour de celui-ci

Les voir sur une carte

Classés selon la proximité de leur titre et de leur résumé avec ceux de cet article. Sélectionnez-en pour les lire ensemble.

Les articles les plus proches

Proche Contexte plus large
FP8-LM: Training FP8 Large Language Models
Houwen Peng, Kan Wu, Yixuan Wei et al. · 2023 · Machine Learning · preprint, non relu par les pairs · cité 105 fois · Résumé IA disponible

FP8-LM étudie l’entraînement de grands modèles de langage en précision réduite, tandis que cet article évalue l’inférence de modèles météorologiques en fp16.

Résumé scientifique
In this paper, we explore FP8 low-bit data formats for efficient training of large language models (LLMs). Our key insight is that most variables, such as gradients and optimizer states, in LLM training can employ low-precision data formats without compromising model accuracy and requiring no changes to hyper-parameters. Specifically, we propose a new FP8 automatic mixed-precision framework for training LLMs. This framework offers three levels of FP8 utilization to streamline mixed-precision and distributed parallel training for LLMs. It gradually incorporates 8-bit gradients, optimizer states, and distributed learning in an incremental manner. Experiment results show that, during the traini…
Proche Même question
Pangu-Weather: A 3D High-Resolution Model for Fast and Accurate Global Weather Forecast
Kaifeng Bi, Lingxi Xie, Hengheng Zhang et al. · 2022 · Atmospheric and Oceanic Physics · preprint, non relu par les pairs · cité 309 fois · Résumé IA disponible

Pangu-Weather présente un modèle de prévision météorologique évalué dans l’étude, qui mesure notamment l’effet du fp16 sur ses prévisions.

Résumé scientifique
In this paper, we present Pangu-Weather, a deep learning based system for fast and accurate global weather forecast. For this purpose, we establish a data-driven environment by downloading $43$ years of hourly global weather data from the 5th generation of ECMWF reanalysis (ERA5) data and train a few deep neural networks with about $256$ million parameters in total. The spatial resolution of forecast is $0.25^\circ\times0.25^\circ$, comparable to the ECMWF Integrated Forecast Systems (IFS). More importantly, for the first time, an AI-based method outperforms state-of-the-art numerical weather prediction (NWP) methods in terms of accuracy (latitude-weighted RMSE and ACC) of all factors (e.g.,…
Proche Contexte plus large
FP4 All the Way: Fully Quantized Training of LLMs
Brian Chmiel, Maxim Fishman, Ron Banner et al. · 2025 · Machine Learning · preprint, non relu par les pairs · cité 48 fois · Résumé IA disponible

FP4 All the Way examine l’entraînement quantifié de modèles de langage, alors que cet article mesure la précision et le coût de l’inférence météo en fp16.

Résumé scientifique
We demonstrate, for the first time, fully quantized training (FQT) of large language models (LLMs) using predominantly 4-bit floating-point (FP4) precision for weights, activations, and gradients on datasets up to 200 billion tokens. We extensively investigate key design choices for FP4, including block sizes, scaling formats, and rounding methods. Our analysis shows that the NVFP4 format, where each block of 16 FP4 values (E2M1) shares a scale represented in E4M3, provides optimal results. We use stochastic rounding for backward and update passes and round-to-nearest for the forward pass to enhance stability. Additionally, we identify a theoretical and empirical threshold for effective quan…
Proche Contexte plus large
Adding NVMe SSDs to Enable and Accelerate 100B Model Fine-tuning on a Single GPU
Changyue Liao, Mo Sun, Zihan Yang et al. · 2024 · Distributed, Parallel, and Cluster Computing · cité 15 fois · Résumé IA disponible

Cette étude accélère l’ajustement de grands modèles sur un seul GPU grâce au stockage NVMe, tandis que l’article réduit le coût de l’inférence météo par le fp16.

Résumé scientifique
Recent advances in large language models have brought immense value to the world, with their superior capabilities stemming from the massive number of parameters they utilize. However, even the GPUs with the highest memory capacities, currently peaking at 80GB, are far from sufficient to accommodate these vast parameters and their associated optimizer states when conducting stochastic gradient descent-based optimization. One approach to hosting such huge models is to aggregate device memory from many GPUs. However, this approach introduces prohibitive costs for most academic researchers, who always have a limited budget for many high-end GPU servers. In this paper, we focus on huge model fin…
Proche Contexte plus large
WRF-JAX v1.1.28: a differentiable regional weather model with fully coupled physics, numerically consistent with WRF and matching 128-process CPU performance on a single GPU
Shijin Yuan, Tianyu Shen, Bin Mu et al. · 2026 · Atmospheric and Oceanic Physics · Résumé IA disponible

WRF-JAX réimplémente un modèle météorologique régional sur GPU et compare ses erreurs numériques, tandis que cet article teste la précision réduite de modèles météo d’IA.

En bref
WRF-JAX reproduit les simulations couplées de WRF avec des écarts proches de ses différences numériques internes, un débit comparable à 128 processus CPU et des gradients approximatifs.
Proche Contexte plus large
Towards High Performance, Portability, and Productivity: Lightweight Augmented Neural Networks for Performance Prediction
Ajitesh Srivastava, Naifeng Zhang, Rajgopal Kannan et al. · 2020 · Performance · cité 2 fois · Pas encore résumé

Cet article prédit la performance de différentes implémentations sur du matériel hétérogène, tandis que l’étude mesure directement vitesse et énergie des modèles météo en fp16.

Résumé scientifique
Writing high-performance code requires significant expertise in the programming language, compiler optimizations, and hardware knowledge. This often leads to poor productivity and portability and is inconvenient for a non-programmer domain-specialist such as a Physicist. More desirable is a high-level language where the domain-specialist simply specifies the workload in terms of high-level operations (e.g., matrix-multiply(A, B)), and the compiler identifies the best implementation fully utilizing the heterogeneous platform. For creating a compiler that supports productivity, portability, and performance simultaneously, it is crucial to predict the performance of various available implementa…
Apparenté Même méthode, autre problème
Shedding the Bits: Pushing the Boundaries of Quantization with Minifloats on FPGAs
Shivam Aggarwal, Hans Jakob Damsgaard, Alessandro Pappalardo et al. · 2023 · Computer Vision and Pattern Recognition · cité 10 fois · Pas encore résumé

Shedding the Bits évalue des formats flottants réduits pour diminuer latence et énergie des réseaux, comme l’étude le fait avec le fp16 en inférence météo.

Résumé scientifique
Post-training quantization (PTQ) is a powerful technique for model compression, reducing the numerical precision in neural networks without additional training overhead. Recent works have investigated adopting 8-bit floating-point formats(FP8) in the context of PTQ for model inference. However, floating-point formats smaller than 8 bits and their relative comparison in terms of accuracy-hardware cost with integers remains unexplored on FPGAs. In this work, we present minifloats, which are reduced-precision floating-point formats capable of further reducing the memory footprint, latency, and energy cost of a model while approaching full-precision model accuracy. We implement a custom FPGA-bas…
Apparenté Contexte plus large
Accuracy is not compatibility: two Evo 2 checkpoints hinge on one FP8 matrix multiplication
Xun Ding, Ziyuan Qin · 2026 · Machine Learning · Résumé IA disponible

Cette étude montre que les opérations FP8 peuvent compromettre la compatibilité de modèles ADN, tandis que l’article compare la précision réduite pour des prévisions météo.

En bref
Deux checkpoints Evo 2 dépendent de l’accumulation FP8 d’une première projection : une arithmétique plus exacte les dégrade, tandis que son émulation rétablit la classification de variants.

Aller plus loin

Comment ces articles sont-ils trouvés ?

Nous comparons le titre et le résumé de cet article avec ceux de tous les articles résumés sur ce site, et avec les articles que Semantic Scholar recommande, ceux qu’il cite et ceux qui le citent (pour un article très cité, ses citations les plus récentes et, depuis OpenAlex, les plus citées). Parmi les travaux antérieurs et les suites, les articles qui s’utilisent en profondeur, une méthode qu’il utilise et les suites très citées remontent un peu. Les niveaux (très proche, proche, apparenté) viennent de la similarité des textes, pas d’un jugement de qualité ; * signale un article sans résumé, comparé par son titre. La phrase sous un article est écrite par une IA à partir des deux résumés : vérifiez-la dans les articles. Un article jugé hors sujet par trois lecteurs quitte la liste.

Mis à jour le 9 novembre 2026.

Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.

Half-precision inference of AI weather prediction models: negligible loss of skill at a fraction of the cost

L’essentiel

Question

Méthode

Résultats

Limites

Portée

Pour aller plus loin

Definitions

La météo par IA peut-elle être aussi fiable en demi-précision ?

Pourquoi envisager le fp16 ?

Une comparaison de cinq modèles météorologiques

Une perte de qualité très limitée

Des gains de calcul et d’énergie notables

Une piste concrète pour des prévisions plus efficaces

Posez des questions sur cet article à notre assistant IA

Outils pour cet article

Outils avancés Premium

Les articles autour de celui-ci

Les articles les plus proches

Aller plus loin

Citer cet article (BibTeX)