Résultats du processus de synthèse de l'article arXiv : 2404.18466v1

Les grands modèles de langage (LLMs) avec une ou plusieurs phases de fine-tuning sont devenus une étape nécessaire pour débloquer diverses capacités, permettant aux LLMs de suivre des instructions en langage naturel ou de s'aligner sur les préférences humaines. Cependant, cela comporte le risque d'oubli catastrophique lors de l'entraînement séquentiel, où les connaissances paramétriques ou les compétences apprises dans les étapes précédentes peuvent être submergées par les données d'entraînement entrantes. Dans cet article, nous constatons qu'en réinitialisant régulièrement des paramètres partiels, les LLMs peuvent restaurer une partie des connaissances originales. Inspirés par cela, nous introduisons le Half Fine-Tuning (HFT) pour les LLMs, comme substitut au full fine-tuning (FFT), pour atténuer les problèmes d'oubli, où la moitié des paramètres sont sélectionnés pour apprendre de nouvelles tâches tandis que l'autre moitié est figée pour conserver les connaissances antérieures. Nous fournissons une analyse de faisabilité du point de vue de l'optimisation et interprétons l'opération de sélection des paramètres comme un terme de régularisation. Sans changer l'architecture du modèle, le HFT pourrait être intégré sans heurts dans les cadres existants de fine-tuning. Des expériences approfondies et des analyses sur le fine-tuning supervisé, l'optimisation directe des préférences et l'apprentissage continu démontrent systématiquement l'efficacité, la robustesse et l'efficience du HFT. Comparé au FFT, le HFT atténue significativement le problème d'oubli et obtient également les meilleures performances dans une série d'évaluations ultérieures, avec une réduction d'environ 30% du temps d'entraînement.

• Les grands modèles de langage (LLMs) avec une ou plusieurs phases de fine-tuning sont nécessaires pour débloquer diverses capacités
• Risque d'oubli catastrophique lors de l'entraînement séquentiel
• Réinitialisation régulière des paramètres partiels pour restaurer les connaissances originales
• Introduction du Half Fine-Tuning (HFT) comme substitut au full fine-tuning (FFT) pour atténuer les problèmes d'oubli
• Analyse de faisabilité du HFT du point de vue de l'optimisation et interprétation de la sélection des paramètres comme régularisation
• Efficacité, robustesse et efficience du HFT démontrées par des expériences approfondies et analyses
• Le HFT atténue significativement le problème d'oubli par rapport au FFT et obtient les meilleures performances dans une série d'évaluations ultérieures, réduisant le temps d'entraînement d'environ 30%
• Les grands modèles de langage (LLMs) avec une ou plusieurs phases de fine-tuning sont nécessaires pour débloquer diverses capacités. Cependant, cela comporte le risque d'oubli catastrophique lors de l'entraînement séquentiel. En réinitialisant régulièrement des paramètres partiels, les LLMs peuvent restaurer une partie des connaissances originales. Inspirés par cela, le Half Fine-Tuning (HFT) est introduit comme substitut au full fine-tuning (FFT) pour atténuer les problèmes d'oubli. Une analyse de faisabilité du point de vue de l'optimisation est fournie, interprétant l'opération de sélection des paramètres comme un terme de régularisation. Le HFT pourrait être intégré sans heurts dans les cadres existants de fine-tuning. Des expériences approfondies et analyses montrent systématiquement l'efficacité, la robustesse et l'efficience du HFT. Comparé au FFT, le HFT atténue significativement le problème d'oubli et obtient également les meilleures performances dans une série d'évaluations ultérieures,

Summary- Big language models (LLMs) with one or more fine-tuning phases are needed to unlock various abilities. Fine-tuning means adjusting the model's parameters to improve its performance on specific tasks. - There is a risk of catastrophic forgetting during sequential training, which refers to the model forgetting previously learned information when learning new things. - Regularly resetting partial parameters can help LLMs restore some of their original knowledge, ensuring they don't forget everything they've learned. - Half Fine-Tuning (HFT) is introduced as a way to reduce forgetting issues compared to full fine-tuning (FFT). HFT involves adjusting only part of the model's parameters instead of all of them. - Feasibility analysis of HFT focuses on optimizing parameter selection as a form of regularization, which helps prevent overfitting and improves model generalization. Definitions1. Language Models (LLMs): Complex computer programs that process and generate human language text. 2. Fine-tuning: Adjusting a pre-trained model's parameters for specific tasks or datasets to improve its performance. 3. Catastrophic forgetting: The phenomenon where a machine learning model loses previously learned information when trained on new data. 4. Regularization: A technique used in machine learning to prevent overfitting by adding constraints or penalties to the model's parameters during training. Résumé - Les grands modèles de langage (LLMs) avec une ou plusieurs phases de fine-tuning sont nécessaires pour déblo

Les grands modèles de langage (LLMs) sont devenus une étape cruciale pour améliorer les capacités des LLMs en leur permettant de suivre des instructions en langage naturel ou de s'aligner sur les préférences humaines. Cependant, cette méthode comporte un risque d'oubli catastrophique lors de l'entraînement séquentiel, où les connaissances et compétences acquises dans les étapes précédentes peuvent être écrasées par les nouvelles données d'entraînement.

Dans cet article, nous explorons une solution pour atténuer ce problème : le Half Fine-Tuning (HFT). Inspiré par la possibilité de restaurer partiellement les connaissances originales en réinitialisant certains paramètres, le HFT consiste à sélectionner la moitié des paramètres pour apprendre de nouvelles tâches tandis que l'autre moitié est figée pour conserver les connaissances antérieures.

Nous fournissons une analyse détaillée du point de vue de l'optimisation et interprétons cette opération comme un terme de régularisation. Le HFT peut être intégré facilement dans les cadres existants sans modifier l'architecture du modèle. Des expériences approfondies et des analyses ont été menées sur différentes méthodes telles que le fine-tuning supervisé, l'optimisation directe des préférences et l'apprentissage continu, démontrant systématiquement l'efficacité, la robustesse et l'efficience du HFT.

Comparativement au full fine-tuning (FFT), le HFT a montré une nette amélioration en atténuant le problème d'oubli et a obtenu les meilleures performances lors des évaluations ultérieures. De plus, il a permis une réduction significative du temps d'entraînement, environ 30%. En conclusion, le HFT est une alternative efficace au FFT pour améliorer les capacités des LLMs tout en conservant les connaissances antérieures acquises.