Half-precision inference of AI weather prediction models: negligible loss of skill at a fraction of the cost

Classés selon la proximité de leur titre et de leur résumé avec ceux de cet article. Sélectionnez-en pour les lire ensemble.

Les articles les plus proches

1. Proche Contexte plus large Pas pertinent

   FP8-LM: Training FP8 Large Language Models

   Houwen Peng, Kan Wu, Yixuan Wei et al. · 2023 · Machine Learning · preprint, non relu par les pairs · cité 105 fois · Résumé IA disponible

   FP8-LM étudie l’entraînement de grands modèles de langage en précision réduite, tandis que cet article évalue l’inférence de modèles météorologiques en fp16.

   Résumé scientifique

   In this paper, we explore FP8 low-bit data formats for efficient training of large language models (LLMs). Our key insight is that most variables, such as gradients and optimizer states, in LLM training can employ low-precision data formats without compromising model accuracy and requiring no changes to hyper-parameters. Specifically, we propose a new FP8 automatic mixed-precision framework for training LLMs. This framework offers three levels of FP8 utilization to streamline mixed-precision and distributed parallel training for LLMs. It gradually incorporates 8-bit gradients, optimizer states, and distributed learning in an incremental manner. Experiment results show that, during the traini…

2. Proche Même question Pas pertinent

   Pangu-Weather: A 3D High-Resolution Model for Fast and Accurate Global Weather Forecast

   Kaifeng Bi, Lingxi Xie, Hengheng Zhang et al. · 2022 · Atmospheric and Oceanic Physics · preprint, non relu par les pairs · cité 309 fois · Résumé IA disponible

   Pangu-Weather présente un modèle de prévision météorologique évalué dans l’étude, qui mesure notamment l’effet du fp16 sur ses prévisions.

   Résumé scientifique

   In this paper, we present Pangu-Weather, a deep learning based system for fast and accurate global weather forecast. For this purpose, we establish a data-driven environment by downloading $43$ years of hourly global weather data from the 5th generation of ECMWF reanalysis (ERA5) data and train a few deep neural networks with about $256$ million parameters in total. The spatial resolution of forecast is $0.25^\circ\times0.25^\circ$, comparable to the ECMWF Integrated Forecast Systems (IFS). More importantly, for the first time, an AI-based method outperforms state-of-the-art numerical weather prediction (NWP) methods in terms of accuracy (latitude-weighted RMSE and ACC) of all factors (e.g.,…

3. Proche Contexte plus large Pas pertinent

   FP4 All the Way: Fully Quantized Training of LLMs

   Brian Chmiel, Maxim Fishman, Ron Banner et al. · 2025 · Machine Learning · preprint, non relu par les pairs · cité 48 fois · Résumé IA disponible

   FP4 All the Way examine l’entraînement quantifié de modèles de langage, alors que cet article mesure la précision et le coût de l’inférence météo en fp16.

   Résumé scientifique

   We demonstrate, for the first time, fully quantized training (FQT) of large language models (LLMs) using predominantly 4-bit floating-point (FP4) precision for weights, activations, and gradients on datasets up to 200 billion tokens. We extensively investigate key design choices for FP4, including block sizes, scaling formats, and rounding methods. Our analysis shows that the NVFP4 format, where each block of 16 FP4 values (E2M1) shares a scale represented in E4M3, provides optimal results. We use stochastic rounding for backward and update passes and round-to-nearest for the forward pass to enhance stability. Additionally, we identify a theoretical and empirical threshold for effective quan…

4. Proche Contexte plus large Pas pertinent

   Adding NVMe SSDs to Enable and Accelerate 100B Model Fine-tuning on a Single GPU

   Changyue Liao, Mo Sun, Zihan Yang et al. · 2024 · Distributed, Parallel, and Cluster Computing · cité 15 fois · Résumé IA disponible

   Cette étude accélère l’ajustement de grands modèles sur un seul GPU grâce au stockage NVMe, tandis que l’article réduit le coût de l’inférence météo par le fp16.

   Résumé scientifique

   Recent advances in large language models have brought immense value to the world, with their superior capabilities stemming from the massive number of parameters they utilize. However, even the GPUs with the highest memory capacities, currently peaking at 80GB, are far from sufficient to accommodate these vast parameters and their associated optimizer states when conducting stochastic gradient descent-based optimization. One approach to hosting such huge models is to aggregate device memory from many GPUs. However, this approach introduces prohibitive costs for most academic researchers, who always have a limited budget for many high-end GPU servers. In this paper, we focus on huge model fin…

5. Proche Contexte plus large Pas pertinent

   WRF-JAX v1.1.28: a differentiable regional weather model with fully coupled physics, numerically consistent with WRF and matching 128-process CPU performance on a single GPU

   Shijin Yuan, Tianyu Shen, Bin Mu et al. · 2026 · Atmospheric and Oceanic Physics · Résumé IA disponible

   WRF-JAX réimplémente un modèle météorologique régional sur GPU et compare ses erreurs numériques, tandis que cet article teste la précision réduite de modèles météo d’IA.

   En bref

   WRF-JAX reproduit les simulations couplées de WRF avec des écarts proches de ses différences numériques internes, un débit comparable à 128 processus CPU et des gradients approximatifs.

6. Proche Contexte plus large Pas pertinent

   Towards High Performance, Portability, and Productivity: Lightweight Augmented Neural Networks for Performance Prediction

   Ajitesh Srivastava, Naifeng Zhang, Rajgopal Kannan et al. · 2020 · Performance · cité 2 fois · Pas encore résumé

   Cet article prédit la performance de différentes implémentations sur du matériel hétérogène, tandis que l’étude mesure directement vitesse et énergie des modèles météo en fp16.

   Résumé scientifique

   Writing high-performance code requires significant expertise in the programming language, compiler optimizations, and hardware knowledge. This often leads to poor productivity and portability and is inconvenient for a non-programmer domain-specialist such as a Physicist. More desirable is a high-level language where the domain-specialist simply specifies the workload in terms of high-level operations (e.g., matrix-multiply(A, B)), and the compiler identifies the best implementation fully utilizing the heterogeneous platform. For creating a compiler that supports productivity, portability, and performance simultaneously, it is crucial to predict the performance of various available implementa…

7. Apparenté Même méthode, autre problème Pas pertinent

   Shedding the Bits: Pushing the Boundaries of Quantization with Minifloats on FPGAs

   Shivam Aggarwal, Hans Jakob Damsgaard, Alessandro Pappalardo et al. · 2023 · Computer Vision and Pattern Recognition · cité 10 fois · Pas encore résumé

   Shedding the Bits évalue des formats flottants réduits pour diminuer latence et énergie des réseaux, comme l’étude le fait avec le fp16 en inférence météo.

   Résumé scientifique

   Post-training quantization (PTQ) is a powerful technique for model compression, reducing the numerical precision in neural networks without additional training overhead. Recent works have investigated adopting 8-bit floating-point formats(FP8) in the context of PTQ for model inference. However, floating-point formats smaller than 8 bits and their relative comparison in terms of accuracy-hardware cost with integers remains unexplored on FPGAs. In this work, we present minifloats, which are reduced-precision floating-point formats capable of further reducing the memory footprint, latency, and energy cost of a model while approaching full-precision model accuracy. We implement a custom FPGA-bas…

8. Apparenté Contexte plus large Pas pertinent

   Accuracy is not compatibility: two Evo 2 checkpoints hinge on one FP8 matrix multiplication

   Xun Ding, Ziyuan Qin · 2026 · Machine Learning · Résumé IA disponible

   Cette étude montre que les opérations FP8 peuvent compromettre la compatibilité de modèles ADN, tandis que l’article compare la précision réduite pour des prévisions météo.

   En bref

   Deux checkpoints Evo 2 dépendent de l’accumulation FP8 d’une première projection : une arithmétique plus exacte les dégrade, tandis que son émulation rétablit la classification de variants.