PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task Completion
Auteurs : Yiduo Guo, Zekai Zhang, Yaobo Liang, Dongyan Zhao, Duan Nan
Points clés générés par l'IA
- Les évaluations récentes des grands modèles de langage (LLMs) se sont concentrées sur le test de leurs capacités zero-shot/few-shot pour des tâches basiques en langage naturel et leur capacité à traduire des instructions en API d'outils.
- Introduction du benchmark PowerPoint Task Completion (PPTC) pour évaluer la capacité des LLMs à créer et éditer des fichiers PPT en fonction des instructions utilisateur.
- Proposition du système d'évaluation PPTX-Match qui évalue si les LLMs terminent l'instruction en se basant sur le fichier de prédiction plutôt que sur la séquence API étiquetée.
- Résultats montrant que GPT-4 surpasse les autres LLMs avec une précision de 75,1% dans les tests de dialogue à un seul tour mais rencontre des défis pour compléter l'ensemble des sessions, n'atteignant qu'une précision de session de 6%.
- Identification de trois principales causes d'erreur dans le benchmark : l'accumulation d'erreurs dans la session multi-tours, le traitement de longs modèles PPT et la perception multimodale.
Résumé : Recent evaluations of Large Language Models (LLMs) have centered around testing their zero-shot/few-shot capabilities for basic natural language tasks and their ability to translate instructions into tool APIs. However, the evaluation of LLMs utilizing complex tools to finish multi-turn, multi-modal instructions in a complex multi-modal environment has not been investigated. To address this gap, we introduce the PowerPoint Task Completion (PPTC) benchmark to assess LLMs' ability to create and edit PPT files based on user instructions. It contains 279 multi-turn sessions covering diverse topics and hundreds of instructions involving multi-modal operations. We also propose the PPTX-Match Evaluation System that evaluates if LLMs finish the instruction based on the prediction file rather than the label API sequence, thus it supports various LLM-generated API sequences. We measure 3 closed LLMs and 6 open-source LLMs. The results show that GPT-4 outperforms other LLMs with 75.1\% accuracy in single-turn dialogue testing but faces challenges in completing entire sessions, achieving just 6\% session accuracy. We find three main error causes in our benchmark: error accumulation in the multi-turn session, long PPT template processing, and multi-modality perception. These pose great challenges for future LLM and agent systems. We release the data, code, and evaluation system of PPTC at \url{https://github.com/gydpku/PPTC}.
Outils pour cet article
Posez des questions sur cet article à notre assistant IA
Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.
Le résumé précédent a été créé il y a plus d'un an et peut être réexécuté (si nécessaire) en cliquant sur le bouton Exécuter ci-dessous.
Articles similaires résumés avec nos outils d'IA
Naviguez à travers encore plus d'articles similaires en utilisant une
représentation arborescenteRecherchez des articles similaires (en version bêta)
Nous comparons le titre et le résumé avec les articles indexés dans notre base. Pour les articles arXiv, la recherche porte sur la même catégorie ; pour les DOI et les autres sources, elle couvre toutes les sources et disciplines. Vous pouvez la relancer à mesure que notre base s’enrichit.
Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.