# RouteLLM: Learning to Route LLMs with Preference Data

**Authors:** Isaac Ong, Amjad Almahairi, Vincent Wu, Wei-Lin Chiang, Tianhao Wu, Joseph E. Gonzalez, M Waleed Kadous, Ion Stoica  
**arXiv:** [2406.18665](https://arxiv.org/abs/2406.18665)  
**Date:** 2024-06-26  
**Summary page:** https://www.summarizepaper.com/fr/paper/2406.18665v1/

## Key points

- Les grands modèles de langage (LLMs) ont des capacités impressionnantes dans une large gamme de tâches.
- Choisir le modèle à utiliser implique souvent un compromis entre les performances et les coûts.
- Proposition de plusieurs modèles de routeurs efficaces pour sélectionner dynamiquement entre un LLM plus fort et un LLM plus faible lors de l'inférence.
- Objectif d'optimiser l'équilibre entre le coût et la qualité des réponses.
- Développement d'un cadre d'entraînement pour ces routeurs en utilisant des données de préférence humaine et des techniques d'augmentation de données pour améliorer les performances.
- Réduction significative des coûts - jusqu'à 2 fois dans certains cas - sans compromettre la qualité des réponses grâce à cette approche.
- Capacités significatives en matière d'apprentissage par transfert, maintenant les performances même lorsque les modèles forts et faibles sont changés au moment du test.
- Potentiel des routeurs à fournir une solution rentable mais performante pour le déploiement des LLMs.
- Les grands modèles de langage (LLMs) ont des capacités impressionnantes dans une large gamme de tâches. Cependant, choisir le modèle à utiliser implique souvent un compromis entre les performances et les coûts. Pour résoudre ce dilemme, nous proposons plusieurs modèles de routeurs efficaces qui sélectionnent dynamiquement entre un LLM plus fort et un LLM plus faible lors de l'inférence. Notre objectif est d'optimiser l'équilibre entre le coût et la qualité des réponses. Nous avons développé un cadre d'entraînement pour ces routeurs en utilisant des données de préférence humaine et des techniques d'augmentation de données pour améliorer les performances. Nos évaluations sur des benchmarks largement reconnus montrent que notre approche réduit significativement les coûts - jusqu'à 2 fois dans certains cas - sans compromettre la qualité des réponses. De manière intéressante, nos modèles de routeurs démontrent également des capacités significatives en matière d'apprentissage par transfert en

## Summary

Les grands modèles de langage (LLMs) ont des capacités impressionnantes dans une large gamme de tâches. Cependant, choisir le modèle à utiliser implique souvent un compromis entre les performances et les coûts. Les modèles plus puissants sont efficaces mais coûteux, tandis que les modèles moins capables sont plus abordables. Pour résoudre ce dilemme, nous proposons plusieurs modèles de routeurs efficaces qui sélectionnent dynamiquement entre un LLM plus fort et un LLM plus faible lors de l'inférence. Notre objectif est d'optimiser l'équilibre entre le coût et la qualité des réponses. Nous avons développé un cadre d'entraînement pour ces routeurs en utilisant des données de préférence humaine et des techniques d'augmentation de données pour améliorer les performances. Nos évaluations sur des benchmarks largement reconnus montrent que notre approche réduit significativement les coûts - jusqu'à 2 fois dans certains cas - sans compromettre la qualité des réponses. De manière intéressante, nos modèles de routeurs démontrent également des capacités significatives en matière d'apprentissage par transfert en maintenant leurs performances même lorsque les modèles forts et faibles sont changés au moment du test. Cela souligne le potentiel de ces routeurs à fournir une solution rentable mais performante pour le déploiement des LLMs. Le document intitulé "RouteLLM: Learning to Route LLMs with Preference Data" a été écrit par Isaac Ong, Amjad Almahairi, Vincent Wu, Wei-Lin Chiang, Tianhao Wu, Joseph E. Gonzalez, M Waleed Kadous et Ion Stoica.