# A Survey on Language Models for Code

**Authors:** Ziyin Zhang, Chaoyu Chen, Bingchang Liu, Cong Liao, Zi Gong, Hang Yu, Jianguo Li, Rui Wang  
**arXiv:** [2311.07989](https://arxiv.org/abs/2311.07989)  
**Date:** 2023-11-14  
**Summary page:** https://www.summarizepaper.com/fr/paper/2311.07989v1/

## Key points

- Examen systématique des progrès récents dans le traitement du code avec des modèles de langage
- Plus de 50 modèles et plus de 30 tâches d'évaluation couverts
- Modèles de langage généraux représentés par la famille GPT
- Modèles spécialisés pré-entraînés spécifiquement pour le code
- Transition historique du codage vers les Transformers pré-entraînés et LLM (Language Models for Code)
- Caractéristiques spécifiques au code telles que l'AST, le CFG et les tests unitaires
- Application de ces caractéristiques dans l'entraînement des modèles de langage pour le code
- Principaux défis et orientations futures potentielles dans ce domaine
- Examen systématique des progrès récents dans le traitement du code avec des modèles de langage
- Plus de 50 modèles et plus de 30 tâches d'évaluation couverts
- Modèles de langage généraux représentés par la famille GPT
- Modèles spécialisés pré-entraînés spécifiquement pour le code
- Transition historique du codage vers les Transformers pré-entraînés et LLM (Language Models for Code)
- Caractéristiques spécifiques au code telles que l'AST, le CFG et les tests unitaires
- Application de ces caractéristiques dans l'entraînement des modèles de langage pour le code

## Summary

Dans cette étude, nous examinons systématiquement les progrès récents dans le traitement du code avec des modèles de langage, couvrant plus de 50 modèles, plus de 30 tâches d'évaluation et 500 travaux connexes. Nous divisons les modèles de traitement du code en modèles de langage généraux représentés par la famille GPT et en modèles spécialisés pré-entraînés spécifiquement pour le code, souvent avec des objectifs adaptés. Nous discutons des relations et des différences entre ces modèles et mettons en évidence la transition historique du codage à partir de modèles statistiques et RNN vers les Transformers pré-entraînés et LLM (Language Models for Code), qui a suivi exactement le même chemin que celui emprunté par le TALN (Traitement Automatique du Langage Naturel). Nous abordons également les caractéristiques spécifiques au code telles que l'AST (Abstract Syntax Tree), le CFG (Control Flow Graph) et les tests unitaires, ainsi que leur application dans l'entraînement des modèles de langage pour le code. Nous identifions également les principaux défis et orientations futures potentielles dans ce domaine. Cette étude est maintenue ouverte et mise à jour sur GitHub à l'adresse https://github.com/codefuse-ai/Awesome-Code-LLM. Les auteurs sont Ziyin Zhang, Chaoyu Chen, Bingchang Liu, Cong Liao, Zi Gong, Hang Yu , Jianguo Li and Rui Wang.