Résultats du processus de synthèse de l'article arXiv : 2501.12326v1

Ce document présente UI-TARS, un modèle d'agent GUI natif qui utilise uniquement des captures d'écran comme entrée et effectue des interactions humaines telles que des opérations au clavier et à la souris. Contrairement aux cadres d'agents prédominants qui dépendent fortement de modèles commerciaux hautement enveloppés tels que GPT-4o avec des invites et des flux de travail conçus par des experts, UI-TARS est un modèle de bout en bout qui surpasse ces cadres sophistiqués. Les expériences démontrent ses performances supérieures : UI-TARS atteint les meilleures performances dans plus de 10 benchmarks d'agents GUI évaluant la perception, l'ancrage et l'exécution de tâches GUI. Notamment, dans le benchmark OSWorld, UI-TARS obtient des scores de 24.6 avec 50 étapes et 22.7 avec 15 étapes, surpassant Claude (22.0 et 14.9 respectivement). Dans AndroidWorld, UI-TARS atteint 46.6, dépassant GPT-4o (34.5). UI-TARS intègre plusieurs innovations clés : (1) Perception améliorée : en exploitant un ensemble de données à grande échelle de captures d'écran GUI pour une compréhension contextuelle des éléments d'interface utilisateur et une légende précise ; (2) Modélisation d'action unifiée : normalisation des actions dans un espace commun entre plateformes pour une mise à la terre précise et une interaction grâce à des traces d'action à grande échelle ; (3) Raisonnement du système-2 : intégration d'un raisonnement délibéré dans la prise de décision multi-étapes, impliquant plusieurs schémas de raisonnement tels que la décomposition des tâches, la réflexion analytique, la reconnaissance des jalons, etc. ; (4) Entraînement itératif avec traces en ligne réfléchies : résolution du problème de manque de données en collectant automatiquement, filtrant et affinant les nouvelles traces d'interaction sur des centaines de machines virtuelles. Grâce à l'entraînement itératif et au réglage réfléchi, UI-TARS apprend continuellement de ses erreurs et s'adapte aux situations imprévues avec une intervention humaine minimale. Nous analysons également le chemin évolutif des agents GUI pour guider le développement ultérieur de ce domaine.

• UI-TARS est un modèle d'agent GUI natif utilisant des captures d'écran comme entrée
• Surpasse les cadres d'agents existants en performances, atteignant les meilleures performances dans plus de 10 benchmarks d'agents GUI
• Intègre plusieurs innovations clés : Perception améliorée, Modélisation d'action unifiée, Raisonnement du système-2 et Entraînement itératif avec traces en ligne réfléchies
• Apprend continuellement de ses erreurs et s'adapte aux situations imprévues avec une intervention humaine minimale
• UI-TARS est un modèle d'agent GUI natif qui surpasse les autres modèles en performance.
• Il intègre des innovations clés telles que la perception améliorée et le raisonnement délibéré.
• UI-TARS apprend de ses erreurs et s'adapte aux situations imprévues avec peu d'intervention humaine.

Ce document présente UI-TARS, un modèle d'agent GUI natif qui utilise uniquement des captures d'écran comme entrée et effectue des interactions humaines telles que des opérations au clavier et à la souris. Contrairement aux cadres d'agents prédominants qui dépendent fortement de modèles commerciaux hautement enveloppés tels que GPT-4o avec des invites et des flux de travail conçus par des experts, UI-TARS est un modèle de bout en bout qui surpasse ces cadres sophistiqués.

UI-TARS a été développé pour résoudre le problème du manque de performances dans les agents GUI existants. Il atteint les meilleures performances dans plus de 10 benchmarks d'agents GUI évaluant la perception, l'ancrage et l'exécution de tâches GUI. Dans le benchmark OSWorld, UI-TARS obtient des scores de 24.6 avec 50 étapes et 22.7 avec 15 étapes, surpassant Claude (22.0 et 14.9 respectivement). Dans AndroidWorld, UI-TARS atteint 46.6, dépassant GPT-4o (34.5).

Pour atteindre ces performances supérieures, UI-TARS intègre plusieurs innovations clés :

Perception améliorée

En exploitant un ensemble de données à grande échelle de captures d'écran GUI pour une compréhension contextuelle des éléments d'interface utilisateur et une légende précise.

Modélisation d'action unifiée

UI-TARS normalise les actions dans un espace commun entre plateformes pour une mise à la terre précise et une interaction grâce à des traces d'action à grande échelle.

Raisonnement du système-2

UI-TARS intègre un raisonnement délibéré dans la prise de décision multi-étapes, impliquant plusieurs schémas de raisonnement tels que la décomposition des tâches, la réflexion analytique, la reconnaissance des jalons, etc.

Entraînement itératif avec traces en ligne réfléchies

Pour résoudre le problème de manque de données, UI-TARS utilise un entraînement itératif et un réglage réfléchi. Il collecte automatiquement, filtre et affine les nouvelles traces d'interaction sur des centaines de machines virtuelles. Grâce à cela, UI-TARS apprend continuellement de ses erreurs et s'adapte aux situations imprévues avec une intervention humaine minimale.

En analysant le chemin évolutif des agents GUI, les développeurs peuvent utiliser ces informations pour guider le développement ultérieur dans ce domaine. Cela permettra d'améliorer encore plus les performances et l'efficacité des agents GUI pour une utilisation future. Avec son approche novatrice et ses performances supérieures prouvées par les benchmarks, UI-TARS est sans aucun doute un modèle prometteur pour l'avenir des agents GUI natifs.