# PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task Completion

**Authors:** Yiduo Guo, Zekai Zhang, Yaobo Liang, Dongyan Zhao, Duan Nan  
**arXiv:** [2311.01767](https://arxiv.org/abs/2311.01767)  
**Date:** 2023-11-03  
**Summary page:** https://www.summarizepaper.com/fr/paper/2311.01767v1/

## Key points

- Les évaluations récentes des grands modèles de langage (LLMs) se sont concentrées sur le test de leurs capacités zero-shot/few-shot pour des tâches basiques en langage naturel et leur capacité à traduire des instructions en API d'outils.
- Introduction du benchmark PowerPoint Task Completion (PPTC) pour évaluer la capacité des LLMs à créer et éditer des fichiers PPT en fonction des instructions utilisateur.
- Proposition du système d'évaluation PPTX-Match qui évalue si les LLMs terminent l'instruction en se basant sur le fichier de prédiction plutôt que sur la séquence API étiquetée.
- Résultats montrant que GPT-4 surpasse les autres LLMs avec une précision de 75,1% dans les tests de dialogue à un seul tour mais rencontre des défis pour compléter l'ensemble des sessions, n'atteignant qu'une précision de session de 6%.
- Identification de trois principales causes d'erreur dans le benchmark : l'accumulation d'erreurs dans la session multi-tours, le traitement de longs modèles PPT et la perception multimodale.

## Summary

Résumé: Les évaluations récentes des grands modèles de langage (LLMs) se sont concentrées sur le test de leurs capacités zero-shot/few-shot pour des tâches basiques en langage naturel et leur capacité à traduire des instructions en API d'outils. Cependant, l'évaluation des LLMs utilisant des outils complexes pour terminer des instructions multi-tours, multi-modales dans un environnement multi-modal complexe n'a pas été étudiée. Pour combler cette lacune, nous introduisons le benchmark PowerPoint Task Completion (PPTC) pour évaluer la capacité des LLMs à créer et éditer des fichiers PPT en fonction des instructions utilisateur. Il contient 279 sessions multi-tours couvrant divers sujets et des centaines d'instructions impliquant des opérations multi-modales. Nous proposons également le système d'évaluation PPTX-Match qui évalue si les LLMs terminent l'instruction en se basant sur le fichier de prédiction plutôt que sur la séquence API étiquetée, ce qui supporte différentes séquences API générées par les LLMs. Nous mesurons 3 LLMs fermés et 6 LLMs open-source. Les résultats montrent que GPT-4 surpasse les autres LLMs avec une précision de 75,1% dans les tests de dialogue à un seul tour mais rencontre des défis pour compléter l'ensemble des sessions, n'atteignant qu'une précision de session de 6%. Nous identifions trois principales causes d'erreur dans notre benchmark : l'accumulation d'erreurs dans la session multi-tours, le traitement de longs modèles PPT et la perception multimodale. Ces éléments posent de grands défis pour les futurs systèmes LLM et agents. Nous mettons à disposition les données, le code et le système d'évaluation du PPTC sur \url{https://github.com/gydpku/PPTC}.