# UI-TARS: Pioneering Automated GUI Interaction with Native Agents

**Authors:** Yujia Qin, Yining Ye, Junjie Fang, Haoming Wang, Shihao Liang, Shizuo Tian, Junda Zhang, Jiahao Li, Yunxin Li, Shijue Huang, Wanjun Zhong, Kuanye Li, Jiale Yang, Yu Miao, Woyu Lin, Longxiang Liu, Xu Jiang, Qianli Ma, Jingyu Li, Xiaojun Xiao  
**arXiv:** [2501.12326](https://arxiv.org/abs/2501.12326)  
**Date:** 2025-01-21  
**Summary page:** https://www.summarizepaper.com/fr/paper/2501.12326v1/

## Key points

- UI-TARS est un modèle d'agent GUI natif utilisant des captures d'écran comme entrée
- Surpasse les cadres d'agents existants en performances, atteignant les meilleures performances dans plus de 10 benchmarks d'agents GUI
- Intègre plusieurs innovations clés : Perception améliorée, Modélisation d'action unifiée, Raisonnement du système-2 et Entraînement itératif avec traces en ligne réfléchies
- Apprend continuellement de ses erreurs et s'adapte aux situations imprévues avec une intervention humaine minimale
- UI-TARS est un modèle d'agent GUI natif qui surpasse les autres modèles en performance.
- Il intègre des innovations clés telles que la perception améliorée et le raisonnement délibéré.
- UI-TARS apprend de ses erreurs et s'adapte aux situations imprévues avec peu d'intervention humaine.

## Summary

Ce document présente UI-TARS, un modèle d'agent GUI natif qui utilise uniquement des captures d'écran comme entrée et effectue des interactions humaines telles que des opérations au clavier et à la souris. Contrairement aux cadres d'agents prédominants qui dépendent fortement de modèles commerciaux hautement enveloppés tels que GPT-4o avec des invites et des flux de travail conçus par des experts, UI-TARS est un modèle de bout en bout qui surpasse ces cadres sophistiqués. Les expériences démontrent ses performances supérieures : UI-TARS atteint les meilleures performances dans plus de 10 benchmarks d'agents GUI évaluant la perception, l'ancrage et l'exécution de tâches GUI. Notamment, dans le benchmark OSWorld, UI-TARS obtient des scores de 24.6 avec 50 étapes et 22.7 avec 15 étapes, surpassant Claude (22.0 et 14.9 respectivement). Dans AndroidWorld, UI-TARS atteint 46.6, dépassant GPT-4o (34.5). UI-TARS intègre plusieurs innovations clés : (1) Perception améliorée : en exploitant un ensemble de données à grande échelle de captures d'écran GUI pour une compréhension contextuelle des éléments d'interface utilisateur et une légende précise ; (2) Modélisation d'action unifiée : normalisation des actions dans un espace commun entre plateformes pour une mise à la terre précise et une interaction grâce à des traces d'action à grande échelle ; (3) Raisonnement du système-2 : intégration d'un raisonnement délibéré dans la prise de décision multi-étapes, impliquant plusieurs schémas de raisonnement tels que la décomposition des tâches, la réflexion analytique, la reconnaissance des jalons, etc. ; (4) Entraînement itératif avec traces en ligne réfléchies : résolution du problème de manque de données en collectant automatiquement, filtrant et affinant les nouvelles traces d'interaction sur des centaines de machines virtuelles. Grâce à l'entraînement itératif et au réglage réfléchi, UI-TARS apprend continuellement de ses erreurs et s'adapte aux situations imprévues avec une intervention humaine minimale. Nous analysons également le chemin évolutif des agents GUI pour guider le développement ultérieur de ce domaine.