# HFT: Half Fine-Tuning for Large Language Models

**Authors:** Tingfeng Hui, Zhenyu Zhang, Shuohuan Wang, Weiran Xu, Yu Sun, Hua Wu  
**arXiv:** [2404.18466](https://arxiv.org/abs/2404.18466)  
**Date:** 2024-04-29  
**Summary page:** https://www.summarizepaper.com/fr/paper/2404.18466v1/

## Key points

- Les grands modèles de langage (LLMs) avec une ou plusieurs phases de fine-tuning sont nécessaires pour débloquer diverses capacités
- Risque d'oubli catastrophique lors de l'entraînement séquentiel
- Réinitialisation régulière des paramètres partiels pour restaurer les connaissances originales
- Introduction du Half Fine-Tuning (HFT) comme substitut au full fine-tuning (FFT) pour atténuer les problèmes d'oubli
- Analyse de faisabilité du HFT du point de vue de l'optimisation et interprétation de la sélection des paramètres comme régularisation
- Efficacité, robustesse et efficience du HFT démontrées par des expériences approfondies et analyses
- Le HFT atténue significativement le problème d'oubli par rapport au FFT et obtient les meilleures performances dans une série d'évaluations ultérieures, réduisant le temps d'entraînement d'environ 30%
- Les grands modèles de langage (LLMs) avec une ou plusieurs phases de fine-tuning sont nécessaires pour débloquer diverses capacités. Cependant, cela comporte le risque d'oubli catastrophique lors de l'entraînement séquentiel. En réinitialisant régulièrement des paramètres partiels, les LLMs peuvent restaurer une partie des connaissances originales. Inspirés par cela, le Half Fine-Tuning (HFT) est introduit comme substitut au full fine-tuning (FFT) pour atténuer les problèmes d'oubli. Une analyse de faisabilité du point de vue de l'optimisation est fournie, interprétant l'opération de sélection des paramètres comme un terme de régularisation. Le HFT pourrait être intégré sans heurts dans les cadres existants de fine-tuning. Des expériences approfondies et analyses montrent systématiquement l'efficacité, la robustesse et l'efficience du HFT. Comparé au FFT, le HFT atténue significativement le problème d'oubli et obtient également les meilleures performances dans une série d'évaluations ultérieures,

## Summary

Les grands modèles de langage (LLMs) avec une ou plusieurs phases de fine-tuning sont devenus une étape nécessaire pour débloquer diverses capacités, permettant aux LLMs de suivre des instructions en langage naturel ou de s'aligner sur les préférences humaines. Cependant, cela comporte le risque d'oubli catastrophique lors de l'entraînement séquentiel, où les connaissances paramétriques ou les compétences apprises dans les étapes précédentes peuvent être submergées par les données d'entraînement entrantes. Dans cet article, nous constatons qu'en réinitialisant régulièrement des paramètres partiels, les LLMs peuvent restaurer une partie des connaissances originales. Inspirés par cela, nous introduisons le Half Fine-Tuning (HFT) pour les LLMs, comme substitut au full fine-tuning (FFT), pour atténuer les problèmes d'oubli, où la moitié des paramètres sont sélectionnés pour apprendre de nouvelles tâches tandis que l'autre moitié est figée pour conserver les connaissances antérieures. Nous fournissons une analyse de faisabilité du point de vue de l'optimisation et interprétons l'opération de sélection des paramètres comme un terme de régularisation. Sans changer l'architecture du modèle, le HFT pourrait être intégré sans heurts dans les cadres existants de fine-tuning. Des expériences approfondies et des analyses sur le fine-tuning supervisé, l'optimisation directe des préférences et l'apprentissage continu démontrent systématiquement l'efficacité, la robustesse et l'efficience du HFT. Comparé au FFT, le HFT atténue significativement le problème d'oubli et obtient également les meilleures performances dans une série d'évaluations ultérieures, avec une réduction d'environ 30% du temps d'entraînement.