Résumé IA · arXiv: 2611.12832v1 · cs.LG
What the Loss Curve Misses: FP4 Pretraining Slows the Acquisition of Rare Facts
L’essentiel
Le préentraînement NVFP4 ralentit l’acquisition de faits rares malgré des pertes de validation proches de celles du BF16.
Question
L’article examine si l’égalité de perte de validation entre entraînements basse précision et BF16 signifie que les faits rares sont acquis avec la même efficacité. Il cherche aussi à caractériser le rôle du bruit de gradient et de l’optimiseur Adam dans cet écart.
Méthode
Les auteurs entraînent des transformeurs de 12 à 100 millions de paramètres sur des biographies synthétiques dont l’exposition des faits est contrôlée, puis sur un mélange de biographies et de FineWeb-Edu. Ils comparent le BF16 à des multiplications matricielles émulées en FP8, MXFP4 et NVFP4, principalement sur six graines, et mesurent le rappel selon le nombre d’expositions. Des expériences de quantification partielle, d’injection de bruit et de séparation des moments d’Adam servent à étudier le mécanisme.
Résultats
-
Résultat
À nombre de jetons égal, NVFP4 requiert 1,32 fois plus d’expositions sur les biographies synthétiques et 1,52 fois plus sur le texte naturel que le BF16.
Voir le passage dans l’article
On synthetic data (40M) NVFP4 shifts the curve right by 1.32$\times$ [1.16, 1.50] at matched tokens and 1.25$\times$ [1.13, 1.38] at matched validation loss, with every seed above 1 (sign test $p=0.03$), while the final validation loss differs by only 0.1–0.9%. On natural text the validation loss gap is larger (+1.9 to +2.1%) and so is the token-matched shift, 1.52$\times$ [1.35, 1.71].
-
Résultat
La quantification du seul passage arrière entraîne un coût d’exposition alors que la perte de validation change à peine, et du bruit de gradient de moyenne nulle reproduit ce coût.
Voir le passage dans l’article
Backward-only quantization runs the forward pass in BF16 and changes validation loss by just $+0.1\%$ on average, so its cost is nearly invisible in the loss. Its gradient error is approximately zero-mean (stochastic rounding, Appendix D), and exactly zero-mean noise reproduces its cost.
-
Résultat
Dans les expériences contrôlées, le bruit dans la seconde estimation de moment d’Adam se comporte comme une baisse du taux d’apprentissage dont le coût s’atténue, tandis que le bruit dans les deux moments conserve une pénalité.
Voir le passage dans l’article
The cost of such a cut fades over training.
-
Résultat
Augmenter le taux d’apprentissage pour compenser la réduction du pas moyen ne supprime pas le coût d’acquisition mesuré.
Voir le passage dans l’article
The cost does not fall (Figure 6(c)). Relative to its multiplier at $10^{-3}$, the noise at the raised rate costs 1.08$\times$ [0.95, 1.24], against 0.75 if the cost were the shrunken step.
-
Résultat
Un diagnostic calculé à partir des statistiques de gradient d’un point de contrôle BF16 classe les coûts observés des configurations testées, sans ajustement aux multiplicateurs mesurés.
Voir le passage dans l’article
Across 17 configurations (formats, partial quantization, and i.i.d., block-shaped and forward noise at three scales each), the prediction ranks the observed costs with Spearman correlation 0.96 (bootstrap interval over configurations [0.84, 0.99]).
Limites
- Les expériences portent sur des modèles d’au plus 96,6 millions de paramètres et un milliard de jetons, avec des multiplications FP4 émulées plutôt que validées sur du matériel natif.
Voir le passage dans l’article
Our models have at most 96.6M parameters and see at most 1B tokens. Production-scale generalization remains open, and the natural-text setting reaches about 24 tokens per parameter. FP4 GEMMs are emulated, with no native-hardware validation or throughput measurement.
- Les faits étudiés sont des biographies synthétiques, et les résultats ne sont pas établis pour des connaissances rares naturellement présentes dans les corpus.
Voir le passage dans l’article
Facts are synthetic biographies, on their own or mixed into one web corpus, rather than naturally occurring long-tail knowledge.
- Le mécanisme proposé est local et ne rend pas compte de plusieurs dynamiques d’apprentissage, et son lien avec le rappel repose en partie sur une hypothèse heuristique.
Voir le passage dans l’article
The account is local and omits forgetting between exposures (Chang et al., 2024), curvature and interactions between facts.
Portée
Les auteurs soutiennent que la perte de validation, qui pondère davantage les contenus fréquents, peut masquer un ralentissement de l’apprentissage des faits rares. Ils recommandent donc de rapporter des courbes de rappel contrôlées par le nombre d’expositions en complément de la perte lors de l’évaluation des recettes basse précision.
Rédigé par une IA à partir de l’article. Les passages cités sont vérifiés mot pour mot dans le texte analysé ; le reste peut contenir des erreurs.
Posez des questions sur cet article à notre assistant IA
Comment discuter avec cet article ? Guide illustré
Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.
Gardez cette conversation — un compte gratuit conserve vos questions et réponses, vos collections d’articles et vos alertes.
Continuer avec Google Créer un compte gratuitOutils pour cet article
Outils avancés Premium
Pour suivre un domaine de près : alertes de citations, diapositives de journal club, comparaison des versions et envoi vers Zotero. Découvrir Premium
Parmi les 23 articles autour de celui-ci, le nom qui revient le plus : Brian Chmiel (3 articles)
3 autres personnes en signent plusieurs. La carte complète ajoute leurs institutions et leurs approches, d’après les articles des dernières années.
Les articles autour de celui-ci
Les voir sur une carteClassés selon la proximité de leur titre et de leur résumé avec ceux de cet article. Sélectionnez-en pour les lire ensemble.
Les articles les plus proches
-
Training LLMs with MXFP4Albert Tseng, Tao Yu, Youngsuk Park · 2025 · International Conference on Artificial Intelligence and Statistics · cité 50 fois · Pas encore résumé
Training LLMs with MXFP4 propose des GEMM MXFP4 et un arrondi stochastique pour préserver la qualité, tandis que l’article mesure le coût sur l’acquisition des faits rares.
Résumé scientifique
Low precision (LP) datatypes such as MXFP4 can accelerate matrix multiplications (GEMMs) and reduce training costs. However, directly using MXFP4 instead of BF16 during training significantly degrades model quality. In this work, we present the first near-lossless training recipe that uses MXFP4 GEMMs, which are $2\times$ faster than FP8 on supported hardware. Our key insight is to compute unbiased gradient estimates with stochastic rounding (SR), resulting in more accurate model updates. However, directly applying SR to MXFP4 can result in high variance from block-level outliers, harming convergence. To overcome this, we use the random Hadamard tranform to theoretically bound the variance o…
-
FP4 All the Way: Fully Quantized Training of LLMsBrian Chmiel, Maxim Fishman, Ron Banner et al. · 2025 · Machine Learning · preprint, non relu par les pairs · cité 48 fois · Résumé IA disponible
FP4 All the Way étudie l’entraînement entièrement quantifié des LLM en FP4 et ses choix de format et d’arrondi, plutôt que le rappel des faits rares.
Résumé scientifique
We demonstrate, for the first time, fully quantized training (FQT) of large language models (LLMs) using predominantly 4-bit floating-point (FP4) precision for weights, activations, and gradients on datasets up to 200 billion tokens. We extensively investigate key design choices for FP4, including block sizes, scaling formats, and rounding methods. Our analysis shows that the NVFP4 format, where each block of 16 FP4 values (E2M1) shares a scale represented in E4M3, provides optimal results. We use stochastic rounding for backward and update passes and round-to-nearest for the forward pass to enhance stability. Additionally, we identify a theoretical and empirical threshold for effective quan…
-
Pretraining Large Language Models with NVFP4Nvidia, Felix Abecassis, A. Agrusa et al. · 2025 · arXiv.org · preprint, non relu par les pairs · cité 104 fois · Pas encore résumé
Pretraining Large Language Models with NVFP4 cherche à améliorer l’efficacité du préentraînement en NVFP4, tandis que l’article évalue son effet sur l’acquisition de faits rares.
Résumé scientifique
Large Language Models (LLMs) today are powerful problem solvers across many domains, and they continue to get stronger as they scale in model size, training set size, and training set quality, as shown by extensive research and experimentation across the industry. Training a frontier model today requires on the order of tens to hundreds of yottaflops, which is a massive investment of time, compute, and energy. Improving pretraining efficiency is therefore essential to enable the next generation of even more capable LLMs. While 8-bit floating point (FP8) training is now widely adopted, transitioning to even narrower precision, such as 4-bit floating point (FP4), could unlock additional improv…
-
Linger and Lose: Knowledge Collapse in Low-Bit Language ModelsPrashanna Mani Paudel, S. Sheshappanavar · 2026 · arXiv.org · preprint, non relu par les pairs · cité 1 fois · Pas encore résumé
Linger and Lose mesure les connaissances factuelles acquises par des modèles basse précision sur des biographies synthétiques et montre que perte et perplexité masquent leur déficit.
Résumé scientifique
Training language models with ternary weights is commonly judged by loss and downstream accuracy, which record only a modest cost relative to full precision. We show that these metrics can conceal a much larger failure. We instead measure knowledge capacity, the factual bits stored per parameter, on synthetic biographies with known information content. We train GPT-2-style models from scratch with 2.5M to 50M parameters at five precisions. Under the standard cosine schedule, ternary models retain as little as 6% of an identically trained fp16 model's capacity. The deficit widens with model size while perplexity rises by only 1.4 to 1.6 times. Measured throughout training, these models first …
-
Accurate Neural Training with 4-bit Matrix Multiplications at Standard FormatsBrian Chmiel, Ron Banner, Elad Hoffer et al. · 2021 · International Conference on Learning Representations · cité 41 fois · Pas encore résumé
Accurate Neural Training combine quantification 4 bits non biaisée et échelle logarithmique pour les gradients, alors que l’article étudie les faits rares sous calcul FP4.
Résumé scientifique
Quantization of the weights and activations is one of the main methods to reduce the computational footprint of Deep Neural Networks (DNNs) training. Current methods enable 4-bit quantization of the forward phase. However, this constitutes only a third of the training process. Reducing the computational footprint of the entire training process requires the quantization of the neural gradients, i.e., the loss gradients with respect to the outputs of intermediate neural layers. Previous works separately showed that accurate 4-bit quantization of the neural gradients needs to (1) be unbiased and (2) have a log scale. However, no previous work aimed to combine both ideas, as we do in this work. …
-
Scaling Laws for PrecisionTanishq Kumar, Zachary Ankner, Benjamin F. Spector et al. · 2024 · Machine Learning · cité 116 fois · Résumé IA disponible
Scaling Laws for Precision modélise les pertes dues à la faible précision en entraînement et en inférence, sans mesurer l’acquisition de faits rares.
Résumé scientifique
Low precision training and inference affect both the quality and cost of language models, but current scaling laws do not account for this. In this work, we devise "precision-aware" scaling laws for both training and inference. We propose that training in lower precision reduces the model's "effective parameter count," allowing us to predict the additional loss incurred from training in low precision and post-train quantization. For inference, we find that the degradation introduced by post-training quantization increases as models are trained on more data, eventually making additional pretraining data actively harmful. For training, our scaling laws allow us to predict the loss of a model w…
-
The Unreasonable Ineffectiveness of the Deeper LayersAndrey Gromov, Kushal Tirumala, Hassan Shapourian et al. · 2024 · Computation and Language · cité 302 fois · Résumé IA disponible
The Unreasonable Ineffectiveness of the Deeper Layers étudie l’élagage et le réglage fin de couches de LLM, sans aborder la précision d’entraînement ni les faits rares.
Résumé scientifique
We empirically study a simple layer-pruning strategy for popular families of open-weight pretrained LLMs, finding minimal degradation of performance on different question-answering benchmarks until after a large fraction (up to half) of the layers are removed. To prune these models, we identify the optimal block of layers to prune by considering similarity across layers; then, to "heal" the damage, we perform a small amount of finetuning. In particular, we use parameter-efficient finetuning (PEFT) methods, specifically quantization and Low Rank Adapters (QLoRA), such that each of our experiments can be performed on a single A100 GPU. From a practical perspective, these results suggest that l…
-
The Curse and Blessing of Mean Bias in FP4-Quantized LLM TrainingHeng-Jie Cao, Zhen-Dong Huang, Meng-Yi Chen et al. · 2026 · arXiv.org · preprint, non relu par les pairs · cité 2 fois · Pas encore résumé
The Curse and Blessing of Mean Bias analyse les outliers d’activations qui fragilisent l’entraînement FP4, tandis que l’article relie le bruit FP4 au rappel des faits rares.
Résumé scientifique
FP4 training promises substantial memory and compute savings for large language models, but remains fragile because blockwise quantization is dictated by extreme activation magnitudes, which inflate dynamic range and compress long-tail signals. We identify a counterintuitive source of this failure: dominant activation outliers are not merely arbitrary sparse events, but are largely induced by a coherent rank-one mean bias, whose direction aligns with the leading anisotropic spectral component. This mean component strengthens during training, is amplified and reshaped by attention and FFN operators, and increasingly dominates top activation magnitudes. Crucially, this discovery reveals that a…
Les travaux antérieurs sur lesquels il s’appuie
-
Optimizing Large Language Model Training Using FP4 QuantizationRuizhe Wang, Yeyun Gong, Xiao Liu et al. · 2025 · International Conference on Machine Learning · cité 74 fois · Pas encore résumé
Optimizing Large Language Model Training Using FP4 Quantization propose un cadre d’entraînement FP4 pour les LLM, tandis que l’article examine l’acquisition de faits rares sous quantification.
Résumé scientifique
The growing computational demands of training large language models (LLMs) necessitate more efficient methods. Quantized training presents a promising solution by enabling low-bit arithmetic operations to reduce these costs. While FP8 precision has demonstrated feasibility, leveraging FP4 remains a challenge due to significant quantization errors and limited representational capacity. This work introduces the first FP4 training framework for LLMs, addressing these challenges with two key innovations: a differentiable quantization estimator for precise weight updates and an outlier clamping and compensation strategy to prevent activation collapse. To ensure stability, the framework integrates…
-
FP4 All the Way: Fully Quantized Training of Large Language ModelsBrian Chmiel, Maxim Fishman, Ron Banner et al. · 2025 · Neural Information Processing Systems · cité 13 fois · Pas encore résumé
FP4 All the Way présente l’entraînement entièrement quantifié de grands modèles en FP4, tandis que l’article compare l’acquisition des faits rares selon la précision.
-
Deep Learning with Limited Numerical PrecisionSuyog Gupta, Ankur Agrawal, K. Gopalakrishnan et al. · 2015 · International Conference on Machine Learning · cité 2 339 fois · Pas encore résumé
Deep Learning with Limited Numerical Precision étudie l’effet de la précision et de l’arrondi stochastique sur l’entraînement de réseaux, des principes de base mobilisés par l’article.
Résumé scientifique
Training of large-scale deep neural networks is often constrained by the available computational resources. We study the effect of limited precision data representation and computation on neural network training. Within the context of low-precision fixed-point computations, we observe the rounding scheme to play a crucial role in determining the network's behavior during training. Our results show that deep networks can be trained using only 16-bit wide fixed-point number representation when using stochastic rounding, and incur little to no degradation in the classification accuracy. We also demonstrate an energy-efficient hardware accelerator that implements low-precision fixed-point arithm…
-
Mixed Precision TrainingP. Micikevicius, Sharan Narang, Jonah Alben et al. · 2017 · International Conference on Learning Representations · cité 2 736 fois · Pas encore résumé
Mixed Precision Training propose d’entraîner des réseaux en demi-précision avec des mécanismes compensatoires, fournissant un contexte antérieur à la comparaison BF16 et FP4.
Résumé scientifique
Deep neural networks have enabled progress in a wide variety of applications. Growing the size of the neural network typically results in improved accuracy. As model sizes grow, the memory and compute requirements for training these models also increases. We introduce a technique to train deep neural networks using half precision floating point numbers. In our technique, weights, activations and gradients are stored in IEEE half-precision format. Half-precision floating numbers have limited numerical range compared to single-precision numbers. We propose two techniques to handle this loss of information. Firstly, we recommend maintaining a single-precision copy of the weights that accumulate…
-
How Do Large Language Models Acquire Factual Knowledge During Pretraining?Hoyeon Chang, Jinho Park, Seonghyeon Ye et al. · 2024 · Computation and Language · cité 134 fois · Résumé IA disponible
How Do Large Language Models Acquire Factual Knowledge During Pretraining étudie l’acquisition et l’oubli des faits pendant le préentraînement, sans comparaison de précisions numériques.
Résumé scientifique
Despite the recent observation that large language models (LLMs) can store substantial factual knowledge, there is a limited understanding of the mechanisms of how they acquire factual knowledge through pretraining. This work addresses this gap by studying how LLMs acquire factual knowledge during pretraining. The findings reveal several important insights into the dynamics of factual knowledge acquisition during pretraining. First, counterintuitively, we observe that pretraining on more data shows no significant improvement in the model's capability to acquire and maintain factual knowledge. Next, there is a power-law relationship between training steps and forgetting of memorization and ge…
Aller plus loin
Comment ces articles sont-ils trouvés ?
Nous comparons le titre et le résumé de cet article avec ceux de tous les articles résumés sur ce site, et avec les articles que Semantic Scholar recommande, ceux qu’il cite et ceux qui le citent (pour un article très cité, ses citations les plus récentes et, depuis OpenAlex, les plus citées). Parmi les travaux antérieurs et les suites, les articles qui s’utilisent en profondeur, une méthode qu’il utilise et les suites très citées remontent un peu. Les niveaux (très proche, proche, apparenté) viennent de la similarité des textes, pas d’un jugement de qualité ; * signale un article sans résumé, comparé par son titre. La phrase sous un article est écrite par une IA à partir des deux résumés : vérifiez-la dans les articles. Un article jugé hors sujet par trois lecteurs quitte la liste.
Mis à jour le 16 novembre 2026.
Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.