# Aligning Effective Tokens with Video Anomaly in Large Language Models

**Authors:** Yingxian Chen, Jiahui Liu, Ruifan Di, Yanwei Li, Chirui Chang, Shizhen Zhao, Wilton W. T. Fok, Xiaojuan Qi, Yik-Chung Wu  
**arXiv:** [2508.06350](https://arxiv.org/abs/2508.06350)  
**Date:** 2025-08-08  
**Summary page:** https://www.summarizepaper.com/fr/paper/2508.06350v1/

## Key points

- Comprendre les événements anormaux dans les vidéos est une tâche vitale et stimulante qui a suscité beaucoup d'attention dans un large éventail d'applications.
- Les modèles de langage multimodaux à grande échelle ont du mal à gérer les anomalies en raison de la rareté spatiale et temporelle des événements anormaux.
- VA-GPT est un nouveau modèle multimodal conçu pour résumer et localiser les événements anormaux dans diverses vidéos, grâce aux modules SETS et TETG.
- Notre méthode proposée surpasse les méthodes existantes state-of-the-art sur divers benchmarks.
- Comprendre les événements anormaux dans les vidéos est une tâche vitale et stimulante qui a suscité beaucoup d'attention dans un large éventail d'applications.
- Les modèles de langage multimodaux à grande échelle ont du mal à gérer les anomalies en raison de la rareté spatiale et temporelle des événements anormaux.
- VA-GPT est un nouveau modèle multimodal conçu pour résumer et localiser les événements anormaux dans diverses vidéos, grâce aux modules SETS et TETG.
- Notre méthode proposée surpasse les méthodes existantes state-of-the-art sur divers benchmarks.

## Summary

Comprendre les événements anormaux dans les vidéos est une tâche vitale et stimulante qui a suscité beaucoup d'attention dans un large éventail d'applications. Bien que les modèles de langage multimodaux à grande échelle actuels soient capables d'analyser des vidéos générales, ils ont souvent du mal à gérer les anomalies en raison de la rareté spatiale et temporelle des événements anormaux. Cela est dû au fait que l'information redondante conduit toujours à des résultats suboptimaux. Pour relever ces défis, nous proposons VA-GPT, un nouveau modèle multimodal à grande échelle conçu pour résumer et localiser les événements anormaux dans diverses vidéos. Notre approche aligne efficacement les tokens efficaces entre les encodeurs visuels et LLM grâce à deux modules clés : la Sélection de Tokens Efficaces Spatiaux (SETS) et la Génération de Tokens Efficaces Temporels (TETG). Ces modules permettent à notre modèle de capturer et d'analyser efficacement les informations spatiales et temporelles associées aux événements anormaux, ce qui se traduit par des réponses et interactions plus précises. De plus, nous avons construit un ensemble de données spécifiquement pour le réglage fin des MLLMs sensibles aux anomalies vidéo, et introduit un banc d'essai d'évaluation interdomaine basé sur l'ensemble de données XD-Violence. Notre méthode proposée surpasse les méthodes existantes state-of-the-art sur divers benchmarks. Auteurs : Yingxian Chen, Jiahui Liu, Ruifan Di, Yanwei Li, Chirui Chang, Shizhen Zhao, Wilton W. T. Fok, Xiaojuan Qi, Yik-Chung Wu. Titre : Aligning Effective Tokens with Video Anomaly in Large Language Models. Résumé : Comprendre les événements anormaux dans les vidéos est une tâche vitale et stimulante qui a suscité beaucoup d'attention dans un large éventail d'applications. Bien que les modèles de langage multimodaux à grande échelle actuels soient capables d'analyser des vidéos générales, ils ont souvent du mal à gérer les anomalies en raison de la rareté spatiale et temporelle des événements anormaux...