Résumé IA · arXiv: 2611.12832v1 · cs.LG

What the Loss Curve Misses: FP4 Pretraining Slows the Acquisition of Rare Facts

Chang Lu, Mengjiao Zhang
Article original Soumis à arXiv le 09 Nov. 2026 Licence : NONEXCLUSIVE-DISTRIB 1.0 Aussi en : en

Comment lire ce résumé ? Guide illustré

L’essentiel

Le préentraînement NVFP4 ralentit l’acquisition de faits rares malgré des pertes de validation proches de celles du BF16.

Question

L’article examine si l’égalité de perte de validation entre entraînements basse précision et BF16 signifie que les faits rares sont acquis avec la même efficacité. Il cherche aussi à caractériser le rôle du bruit de gradient et de l’optimiseur Adam dans cet écart.

Méthode

Les auteurs entraînent des transformeurs de 12 à 100 millions de paramètres sur des biographies synthétiques dont l’exposition des faits est contrôlée, puis sur un mélange de biographies et de FineWeb-Edu. Ils comparent le BF16 à des multiplications matricielles émulées en FP8, MXFP4 et NVFP4, principalement sur six graines, et mesurent le rappel selon le nombre d’expositions. Des expériences de quantification partielle, d’injection de bruit et de séparation des moments d’Adam servent à étudier le mécanisme.

Résultats

  • Résultat À nombre de jetons égal, NVFP4 requiert 1,32 fois plus d’expositions sur les biographies synthétiques et 1,52 fois plus sur le texte naturel que le BF16.
    Voir le passage dans l’article
    On synthetic data (40M) NVFP4 shifts the curve right by 1.32$\times$ [1.16, 1.50] at matched tokens and 1.25$\times$ [1.13, 1.38] at matched validation loss, with every seed above 1 (sign test $p=0.03$), while the final validation loss differs by only 0.1–0.9%. On natural text the validation loss gap is larger (+1.9 to +2.1%) and so is the token-matched shift, 1.52$\times$ [1.35, 1.71].
  • Résultat La quantification du seul passage arrière entraîne un coût d’exposition alors que la perte de validation change à peine, et du bruit de gradient de moyenne nulle reproduit ce coût.
    Voir le passage dans l’article
    Backward-only quantization runs the forward pass in BF16 and changes validation loss by just $+0.1\%$ on average, so its cost is nearly invisible in the loss. Its gradient error is approximately zero-mean (stochastic rounding, Appendix D), and exactly zero-mean noise reproduces its cost.
  • Résultat Dans les expériences contrôlées, le bruit dans la seconde estimation de moment d’Adam se comporte comme une baisse du taux d’apprentissage dont le coût s’atténue, tandis que le bruit dans les deux moments conserve une pénalité.
    Voir le passage dans l’article
    The cost of such a cut fades over training.
  • Résultat Augmenter le taux d’apprentissage pour compenser la réduction du pas moyen ne supprime pas le coût d’acquisition mesuré.
    Voir le passage dans l’article
    The cost does not fall (Figure 6(c)). Relative to its multiplier at $10^{-3}$, the noise at the raised rate costs 1.08$\times$ [0.95, 1.24], against 0.75 if the cost were the shrunken step.
  • Résultat Un diagnostic calculé à partir des statistiques de gradient d’un point de contrôle BF16 classe les coûts observés des configurations testées, sans ajustement aux multiplicateurs mesurés.
    Voir le passage dans l’article
    Across 17 configurations (formats, partial quantization, and i.i.d., block-shaped and forward noise at three scales each), the prediction ranks the observed costs with Spearman correlation 0.96 (bootstrap interval over configurations [0.84, 0.99]).

Limites

  • Les expériences portent sur des modèles d’au plus 96,6 millions de paramètres et un milliard de jetons, avec des multiplications FP4 émulées plutôt que validées sur du matériel natif.
    Voir le passage dans l’article
    Our models have at most 96.6M parameters and see at most 1B tokens. Production-scale generalization remains open, and the natural-text setting reaches about 24 tokens per parameter. FP4 GEMMs are emulated, with no native-hardware validation or throughput measurement.
  • Les faits étudiés sont des biographies synthétiques, et les résultats ne sont pas établis pour des connaissances rares naturellement présentes dans les corpus.
    Voir le passage dans l’article
    Facts are synthetic biographies, on their own or mixed into one web corpus, rather than naturally occurring long-tail knowledge.
  • Le mécanisme proposé est local et ne rend pas compte de plusieurs dynamiques d’apprentissage, et son lien avec le rappel repose en partie sur une hypothèse heuristique.
    Voir le passage dans l’article
    The account is local and omits forgetting between exposures (Chang et al., 2024), curvature and interactions between facts.

Portée

Les auteurs soutiennent que la perte de validation, qui pondère davantage les contenus fréquents, peut masquer un ralentissement de l’apprentissage des faits rares. Ils recommandent donc de rapporter des courbes de rappel contrôlées par le nombre d’expositions en complément de la perte lors de l’évaluation des recettes basse précision.

Rédigé par une IA à partir de l’article. Les passages cités sont vérifiés mot pour mot dans le texte analysé ; le reste peut contenir des erreurs.

Mots clés générés par l'IA : faible précision NVFP4 rappel des faits bruit des gradients multiplicateur d’expositions

Pour aller plus loin

  • Résumé Complet
  • Résumé vulgarisé
  • Article de blog
  • Abstract original
L’article examine une question que la perte de validation peut masquer : à perte presque égale, l’entraînement en faible précision permet-il d’apprendre les faits rares aussi efficacement qu’un entraînement en BF16 ? Les auteurs comparent notamment le format NVFP4 au BF16. Ils entraînent des transformeurs de 12 à 100 millions de paramètres sur des biographies synthétiques, où chaque fait apparaît un nombre contrôlé de fois, ainsi que sur un mélange de biographies et de textes FineWeb-Edu. Ils mesurent le rappel des faits en fonction du nombre d’expositions et définissent un « multiplicateur d’expositions » : le facteur par lequel il faut augmenter le nombre d’expositions d’un modèle en faible précision pour atteindre le même rappel qu’un modèle BF16. À nombre de jetons égal, le NVFP4 nécessite 1,32 fois plus d’expositions sur les biographies synthétiques et 1,52 fois plus sur le mélange de textes naturels. Pourtant, l’écart de perte de validation n’est que de 0,1 à 0,9 % dans les expériences synthétiques et de 1,9 à 2,1 % dans les expériences sur données naturelles. Lorsque les modèles sont comparés à perte de validation égale, les multiplicateurs diminuent respectivement à 1,25 et 1,22. Le déficit ne s’explique pas simplement par une erreur de lecture due à la quantification pendant l’évaluation : effectuer les multiplications matricielles des modèles NVFP4 en BF16 laisse des coûts de 1,26 et 1,30 à nombre de jetons égal. L’écart est particulièrement marqué pour les faits peu fréquents, tandis que les faits déjà bien appris sont peu affectés. Les expériences consacrées aux mécanismes en jeu indiquent que le bruit des gradients contribue à ce coût. La quantification du seul passage arrière entraîne un multiplicateur de 1,13, malgré une variation de perte d’environ 0,1 %. L’ajout d’un bruit artificiel de moyenne nulle aux gradients reproduit cet effet. Des interventions sur les deux moments d’Adam suggèrent que le bruit agit de deux façons : il réduit la taille effective des pas, comme le ferait une baisse du taux d’apprentissage, et dégrade le rapport signal-bruit des mises à jour. La première composante s’atténue au cours de l’entraînement, contrairement à la seconde, qui persiste. Dans une expérience utilisant un bruit deux fois supérieur à l’erreur NVFP4, cette dernière représente environ les deux tiers du coût. Augmenter le taux d’apprentissage pour compenser la réduction des pas ne supprime pas le déficit. Un diagnostic fondé sur des statistiques de gradients mesurées à partir de points de contrôle BF16 classe les coûts de 17 formats et contrôles avec une corrélation de rang de Spearman de 0,96, sans toutefois en prédire parfaitement l’ampleur. Les solutions testées réduisent le coût, mais ne le suppriment pas. La recette NVFP4 adaptée par les auteurs élimine 60 % de l’écart de perte, mais seulement 42 % du coût en expositions sur les données synthétiques. Sur le mélange de données naturelles, le gain estimé n’est que d’environ un huitième et demeure incertain. Le passage des opérations de la rétropropagation en FP8 fait baisser le multiplicateur sur données synthétiques de 1,32 à 1,23. Dans l’ensemble, les auteurs recommandent d’évaluer les méthodes d’entraînement en faible précision à l’aide de mesures contrôlées de l’acquisition des faits, en complément de la perte de validation.

Cette synthèse vous a-t-elle été utile ?

Note : 0

Pourquoi avons-nous besoin de votes ?

Les votes sont utilisés pour déterminer si nous devons réexécuter nos outils de synthèse. Si le compte atteint -10, nos outils peuvent être redémarrés.

Figures et graphiques

Posez une question sur une figure en indiquant son numéro ou en utilisant son bouton de question pour demander une analyse visuelle. Au maximum deux figures et quatre panneaux par question. Les valeurs lues sur les graphiques sont approximatives ; vérifiez les données originales.

Instructions pour utiliser l'assistant IA ?

Outils pour cet article

Expliquer autrement 1 réécriture gratuite restante aujourd'hui
Enregistrer dans une collection Regroupez des articles en collections pour les comparer, les interroger et les exporter. Continuer avec Google Créer un compte gratuit Se connecter

Outils avancés Premium

Pour suivre un domaine de près : alertes de citations, diapositives de journal club, comparaison des versions et envoi vers Zotero. Découvrir Premium

Zotero Guide Zotero
Alertes de citation Guide des alertes de citations
Qui travaille dessus ?

Parmi les 23 articles autour de celui-ci, le nom qui revient le plus : Brian Chmiel (3 articles)

3 autres personnes en signent plusieurs. La carte complète ajoute leurs institutions et leurs approches, d’après les articles des dernières années.

Continuer avec Google Créez un compte gratuit : votre première carte est offerte
Lettre hebdomadaire Présenté dans « Intelligence artificielle cette semaine » du 16 novembre 2026. Intelligence artificielle cette semaine : ce que les bons scores ne disent pas · En recevoir une par email gratuitement

Les articles autour de celui-ci

Les voir sur une carte

Classés selon la proximité de leur titre et de leur résumé avec ceux de cet article. Sélectionnez-en pour les lire ensemble.

Les articles les plus proches

  1. Proche Autre approche du problème Cité par cet article
    Training LLMs with MXFP4
    Albert Tseng, Tao Yu, Youngsuk Park · 2025 · International Conference on Artificial Intelligence and Statistics · cité 50 fois · Pas encore résumé

    Training LLMs with MXFP4 propose des GEMM MXFP4 et un arrondi stochastique pour préserver la qualité, tandis que l’article mesure le coût sur l’acquisition des faits rares.

    Résumé scientifique

    Low precision (LP) datatypes such as MXFP4 can accelerate matrix multiplications (GEMMs) and reduce training costs. However, directly using MXFP4 instead of BF16 during training significantly degrades model quality. In this work, we present the first near-lossless training recipe that uses MXFP4 GEMMs, which are $2\times$ faster than FP8 on supported hardware. Our key insight is to compute unbiased gradient estimates with stochastic rounding (SR), resulting in more accurate model updates. However, directly applying SR to MXFP4 can result in high variance from block-level outliers, harming convergence. To overcome this, we use the random Hadamard tranform to theoretically bound the variance o…

  2. Proche Autre approche du problème
    FP4 All the Way: Fully Quantized Training of LLMs
    Brian Chmiel, Maxim Fishman, Ron Banner et al. · 2025 · Machine Learning · preprint, non relu par les pairs · cité 48 fois · Résumé IA disponible

    FP4 All the Way étudie l’entraînement entièrement quantifié des LLM en FP4 et ses choix de format et d’arrondi, plutôt que le rappel des faits rares.

    Résumé scientifique

    We demonstrate, for the first time, fully quantized training (FQT) of large language models (LLMs) using predominantly 4-bit floating-point (FP4) precision for weights, activations, and gradients on datasets up to 200 billion tokens. We extensively investigate key design choices for FP4, including block sizes, scaling formats, and rounding methods. Our analysis shows that the NVFP4 format, where each block of 16 FP4 values (E2M1) shares a scale represented in E4M3, provides optimal results. We use stochastic rounding for backward and update passes and round-to-nearest for the forward pass to enhance stability. Additionally, we identify a theoretical and empirical threshold for effective quan…

  3. Proche Autre approche du problème Cité par cet article
    Pretraining Large Language Models with NVFP4
    Nvidia, Felix Abecassis, A. Agrusa et al. · 2025 · arXiv.org · preprint, non relu par les pairs · cité 104 fois · Pas encore résumé

    Pretraining Large Language Models with NVFP4 cherche à améliorer l’efficacité du préentraînement en NVFP4, tandis que l’article évalue son effet sur l’acquisition de faits rares.

    Résumé scientifique

    Large Language Models (LLMs) today are powerful problem solvers across many domains, and they continue to get stronger as they scale in model size, training set size, and training set quality, as shown by extensive research and experimentation across the industry. Training a frontier model today requires on the order of tens to hundreds of yottaflops, which is a massive investment of time, compute, and energy. Improving pretraining efficiency is therefore essential to enable the next generation of even more capable LLMs. While 8-bit floating point (FP8) training is now widely adopted, transitioning to even narrower precision, such as 4-bit floating point (FP4), could unlock additional improv…

  4. Proche Même question Cité par cet article
    Linger and Lose: Knowledge Collapse in Low-Bit Language Models
    Prashanna Mani Paudel, S. Sheshappanavar · 2026 · arXiv.org · preprint, non relu par les pairs · cité 1 fois · Pas encore résumé

    Linger and Lose mesure les connaissances factuelles acquises par des modèles basse précision sur des biographies synthétiques et montre que perte et perplexité masquent leur déficit.

    Résumé scientifique

    Training language models with ternary weights is commonly judged by loss and downstream accuracy, which record only a modest cost relative to full precision. We show that these metrics can conceal a much larger failure. We instead measure knowledge capacity, the factual bits stored per parameter, on synthetic biographies with known information content. We train GPT-2-style models from scratch with 2.5M to 50M parameters at five precisions. Under the standard cosine schedule, ternary models retain as little as 6% of an identically trained fp16 model's capacity. The deficit widens with model size while perplexity rises by only 1.4 to 1.6 times. Measured throughout training, these models first …

  5. Apparenté Autre approche du problème Cité par cet article
    Accurate Neural Training with 4-bit Matrix Multiplications at Standard Formats
    Brian Chmiel, Ron Banner, Elad Hoffer et al. · 2021 · International Conference on Learning Representations · cité 41 fois · Pas encore résumé

    Accurate Neural Training combine quantification 4 bits non biaisée et échelle logarithmique pour les gradients, alors que l’article étudie les faits rares sous calcul FP4.

    Résumé scientifique

    Quantization of the weights and activations is one of the main methods to reduce the computational footprint of Deep Neural Networks (DNNs) training. Current methods enable 4-bit quantization of the forward phase. However, this constitutes only a third of the training process. Reducing the computational footprint of the entire training process requires the quantization of the neural gradients, i.e., the loss gradients with respect to the outputs of intermediate neural layers. Previous works separately showed that accurate 4-bit quantization of the neural gradients needs to (1) be unbiased and (2) have a log scale. However, no previous work aimed to combine both ideas, as we do in this work. …

  6. Apparenté Contexte plus large Cité par cet article
    Scaling Laws for Precision
    Tanishq Kumar, Zachary Ankner, Benjamin F. Spector et al. · 2024 · Machine Learning · cité 116 fois · Résumé IA disponible

    Scaling Laws for Precision modélise les pertes dues à la faible précision en entraînement et en inférence, sans mesurer l’acquisition de faits rares.

    Résumé scientifique

    Low precision training and inference affect both the quality and cost of language models, but current scaling laws do not account for this. In this work, we devise "precision-aware" scaling laws for both training and inference. We propose that training in lower precision reduces the model's "effective parameter count," allowing us to predict the additional loss incurred from training in low precision and post-train quantization. For inference, we find that the degradation introduced by post-training quantization increases as models are trained on more data, eventually making additional pretraining data actively harmful. For training, our scaling laws allow us to predict the loss of a model w…

  7. Apparenté Contexte plus large
    The Unreasonable Ineffectiveness of the Deeper Layers
    Andrey Gromov, Kushal Tirumala, Hassan Shapourian et al. · 2024 · Computation and Language · cité 302 fois · Résumé IA disponible

    The Unreasonable Ineffectiveness of the Deeper Layers étudie l’élagage et le réglage fin de couches de LLM, sans aborder la précision d’entraînement ni les faits rares.

    Résumé scientifique

    We empirically study a simple layer-pruning strategy for popular families of open-weight pretrained LLMs, finding minimal degradation of performance on different question-answering benchmarks until after a large fraction (up to half) of the layers are removed. To prune these models, we identify the optimal block of layers to prune by considering similarity across layers; then, to "heal" the damage, we perform a small amount of finetuning. In particular, we use parameter-efficient finetuning (PEFT) methods, specifically quantization and Low Rank Adapters (QLoRA), such that each of our experiments can be performed on a single A100 GPU. From a practical perspective, these results suggest that l…

  8. Apparenté Autre approche du problème Cité par cet article
    The Curse and Blessing of Mean Bias in FP4-Quantized LLM Training
    Heng-Jie Cao, Zhen-Dong Huang, Meng-Yi Chen et al. · 2026 · arXiv.org · preprint, non relu par les pairs · cité 2 fois · Pas encore résumé

    The Curse and Blessing of Mean Bias analyse les outliers d’activations qui fragilisent l’entraînement FP4, tandis que l’article relie le bruit FP4 au rappel des faits rares.

    Résumé scientifique

    FP4 training promises substantial memory and compute savings for large language models, but remains fragile because blockwise quantization is dictated by extreme activation magnitudes, which inflate dynamic range and compress long-tail signals. We identify a counterintuitive source of this failure: dominant activation outliers are not merely arbitrary sparse events, but are largely induced by a coherent rank-one mean bias, whose direction aligns with the leading anisotropic spectral component. This mean component strengthens during training, is amplified and reshaped by attention and FFN operators, and increasingly dominates top activation magnitudes. Crucially, this discovery reveals that a…

Les travaux antérieurs sur lesquels il s’appuie

  1. Apparenté Autre approche du problème
    Optimizing Large Language Model Training Using FP4 Quantization
    Ruizhe Wang, Yeyun Gong, Xiao Liu et al. · 2025 · International Conference on Machine Learning · cité 74 fois · Pas encore résumé

    Optimizing Large Language Model Training Using FP4 Quantization propose un cadre d’entraînement FP4 pour les LLM, tandis que l’article examine l’acquisition de faits rares sous quantification.

    Résumé scientifique

    The growing computational demands of training large language models (LLMs) necessitate more efficient methods. Quantized training presents a promising solution by enabling low-bit arithmetic operations to reduce these costs. While FP8 precision has demonstrated feasibility, leveraging FP4 remains a challenge due to significant quantization errors and limited representational capacity. This work introduces the first FP4 training framework for LLMs, addressing these challenges with two key innovations: a differentiable quantization estimator for precise weight updates and an outlier clamping and compensation strategy to prevent activation collapse. To ensure stability, the framework integrates…

  2. Apparenté* Autre approche du problème Utilisé en profondeur par cet article
    FP4 All the Way: Fully Quantized Training of Large Language Models
    Brian Chmiel, Maxim Fishman, Ron Banner et al. · 2025 · Neural Information Processing Systems · cité 13 fois · Pas encore résumé

    FP4 All the Way présente l’entraînement entièrement quantifié de grands modèles en FP4, tandis que l’article compare l’acquisition des faits rares selon la précision.

  3. Apparenté Base de cet article
    Deep Learning with Limited Numerical Precision
    Suyog Gupta, Ankur Agrawal, K. Gopalakrishnan et al. · 2015 · International Conference on Machine Learning · cité 2 339 fois · Pas encore résumé

    Deep Learning with Limited Numerical Precision étudie l’effet de la précision et de l’arrondi stochastique sur l’entraînement de réseaux, des principes de base mobilisés par l’article.

    Résumé scientifique

    Training of large-scale deep neural networks is often constrained by the available computational resources. We study the effect of limited precision data representation and computation on neural network training. Within the context of low-precision fixed-point computations, we observe the rounding scheme to play a crucial role in determining the network's behavior during training. Our results show that deep networks can be trained using only 16-bit wide fixed-point number representation when using stochastic rounding, and incur little to no degradation in the classification accuracy. We also demonstrate an energy-efficient hardware accelerator that implements low-precision fixed-point arithm…

  4. Apparenté Base de cet article
    Mixed Precision Training
    P. Micikevicius, Sharan Narang, Jonah Alben et al. · 2017 · International Conference on Learning Representations · cité 2 736 fois · Pas encore résumé

    Mixed Precision Training propose d’entraîner des réseaux en demi-précision avec des mécanismes compensatoires, fournissant un contexte antérieur à la comparaison BF16 et FP4.

    Résumé scientifique

    Deep neural networks have enabled progress in a wide variety of applications. Growing the size of the neural network typically results in improved accuracy. As model sizes grow, the memory and compute requirements for training these models also increases. We introduce a technique to train deep neural networks using half precision floating point numbers. In our technique, weights, activations and gradients are stored in IEEE half-precision format. Half-precision floating numbers have limited numerical range compared to single-precision numbers. We propose two techniques to handle this loss of information. Firstly, we recommend maintaining a single-precision copy of the weights that accumulate…

  5. Apparenté Même question
    How Do Large Language Models Acquire Factual Knowledge During Pretraining?
    Hoyeon Chang, Jinho Park, Seonghyeon Ye et al. · 2024 · Computation and Language · cité 134 fois · Résumé IA disponible

    How Do Large Language Models Acquire Factual Knowledge During Pretraining étudie l’acquisition et l’oubli des faits pendant le préentraînement, sans comparaison de précisions numériques.

    Résumé scientifique

    Despite the recent observation that large language models (LLMs) can store substantial factual knowledge, there is a limited understanding of the mechanisms of how they acquire factual knowledge through pretraining. This work addresses this gap by studying how LLMs acquire factual knowledge during pretraining. The findings reveal several important insights into the dynamics of factual knowledge acquisition during pretraining. First, counterintuitively, we observe that pretraining on more data shows no significant improvement in the model's capability to acquire and maintain factual knowledge. Next, there is a power-law relationship between training steps and forgetting of memorization and ge…

Comment ces articles sont-ils trouvés ?

Nous comparons le titre et le résumé de cet article avec ceux de tous les articles résumés sur ce site, et avec les articles que Semantic Scholar recommande, ceux qu’il cite et ceux qui le citent (pour un article très cité, ses citations les plus récentes et, depuis OpenAlex, les plus citées). Parmi les travaux antérieurs et les suites, les articles qui s’utilisent en profondeur, une méthode qu’il utilise et les suites très citées remontent un peu. Les niveaux (très proche, proche, apparenté) viennent de la similarité des textes, pas d’un jugement de qualité ; * signale un article sans résumé, comparé par son titre. La phrase sous un article est écrite par une IA à partir des deux résumés : vérifiez-la dans les articles. Un article jugé hors sujet par trois lecteurs quitte la liste.

Mis à jour le 16 novembre 2026.

Le guide illustré des articles autour d’un article

Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.