# Time-LLM: Time Series Forecasting by Reprogramming Large Language Models

**Authors:** Ming Jin, Shiyu Wang, Lintao Ma, Zhixuan Chu, James Y. Zhang, Xiaoming Shi, Pin-Yu Chen, Yuxuan Liang, Yuan-Fang Li, Shirui Pan, Qingsong Wen  
**arXiv:** [2310.01728](https://arxiv.org/abs/2310.01728)  
**Date:** 2023-10-03  
**Summary page:** https://www.summarizepaper.com/fr/paper/2310.01728v1/

## Key points

- La prévision des séries chronologiques est cruciale pour de nombreux systèmes dynamiques du monde réel
- Les modèles de prévision des séries chronologiques sont souvent spécialisés
- Les modèles fondamentaux pré-entraînés ont été limités par la rareté des données dans le domaine des séries chronologiques
- Les grands modèles de langage (LLM) possèdent une capacité robuste de reconnaissance de motifs et de raisonnement sur des séquences complexes de jetons
- Le défi consiste à aligner efficacement les modalités des données chronologiques et du langage naturel pour exploiter ces capacités
- Un cadre de reprogrammation permet d'utiliser à nouveau les LLM pour la prévision générale des séries chronologiques tout en conservant les modèles linguistiques sous-jacents intacts
- Les séries chronologiques d'entrée sont reprogrammées avec des prototypes textuels avant d'être alimentées dans le LLM gelé pour aligner les deux modalités
- Pour améliorer la capacité du LLM à raisonner avec les données chronologiques, un enrichissement du contexte d'entrée est proposé, guidant la transformation des patchs d'entrée reprogrammés
- Les patchs de séries chronologiques transformés par le LLM sont projetés pour obtenir les prévisions
- Le cadre proposé excelle dans les scénarios d'apprentissage avec peu ou sans exemples et surpasse les modèles spécialisés existants.

## Summary

La prévision des séries chronologiques est cruciale pour de nombreux systèmes dynamiques du monde réel et a fait l'objet d'études approfondies. Contrairement au traitement du langage naturel (NLP) et à la vision par ordinateur (CV), où un seul modèle volumineux peut s'attaquer à plusieurs tâches, les modèles de prévision des séries chronologiques sont souvent spécialisés. Cela nécessite des conceptions distinctes pour différentes tâches et applications. Bien que les modèles fondamentaux pré-entraînés aient réalisé des avancées impressionnantes en NLP et en CV, leur développement dans le domaine des séries chronologiques a été limité par la rareté des données. Des études récentes ont montré que les grands modèles de langage (LLM) possèdent une capacité robuste de reconnaissance de motifs et de raisonnement sur des séquences complexes de jetons. Cependant, le défi consiste à aligner efficacement les modalités des données chronologiques et du langage naturel pour exploiter ces capacités. Dans ce travail, nous présentons , un cadre de reprogrammation permettant d'utiliser à nouveau les LLM pour la prévision générale des séries chronologiques tout en conservant les modèles linguistiques sous-jacents intacts. Nous commençons par reprogrammer les séries chronologiques d'entrée avec des prototypes textuels avant de les alimenter dans le LLM gelé pour aligner les deux modalités. Pour améliorer la capacité du LLM à raisonner avec les données chronologiques, nous proposons , qui enrichit le contexte d'entrée et guide la transformation des patchs d'entrée reprogrammés. Les patchs de séries chronologiques transformés par le LLM sont enfin projetés pour obtenir les prévisions. Nos évaluations complètes démontrent que  est un puissant apprenti des séries chronologiques qui surpasse les modèles de prévision spécialisés de pointe. De plus,  excelle à la fois dans les scénarios d'apprentissage avec peu d'exemples et sans exemples. Il montre des promesses dans l'adaptation des grands modèles linguistiques gelés pour la prévision des séries chronologiques en reprogrammant les données chronologiques en prototypes textuels plus naturels pour les LLM et en fournissant une orientation en langage naturel via  pour augmenter le raisonnement. Les évaluations démontrent que les LLM adaptés peuvent surpasser tous les modèles de référence spécialisés, ce qui indique leur potentiel en tant que machines à séries chronologiques efficaces. Nos résultats apportent également un nouvel éclairage selon lequel la prévision des séries chronologiques peut être considérée comme une autre tâche "linguistique" pouvant être abordée par un modèle LLM prêt à l'emploi pour atteindre des performances de pointe grâce à notre cadre .