# Detecting and Correcting Hate Speech in Multimodal Memes with Large Visual Language Model

**Authors:** Minh-Hao Van, Xintao Wu  
**arXiv:** [2311.06737](https://arxiv.org/abs/2311.06737)  
**Date:** 2023-11-12  
**Summary page:** https://www.summarizepaper.com/fr/paper/2311.06737v1/

## Key points

- Les grands modèles de langage (LLM) sont utilisés dans le traitement du langage naturel.
- L'intégration des LLM avec la vision permet d'explorer des capacités en multimodalité.
- Les modèles de langage visuel (VLM) ont montré de bonnes performances sur les tâches visio-linguistiques.
- Il y a un manque de recherche sur la détection et la correction des mèmes haineux à l'aide des VLM.
- Cette étude examine la capacité des VLM à détecter et corriger les mèmes haineux sans référence préalable.
- Le modèle pré-entraîné LLaVA est efficace pour cette tâche spécifique, mais présente également certaines faiblesses.
- Ce cadre offre une solution pratique pour créer des sites web sûrs et respectueux sans référence préalable.
- Les VLM sont prometteurs pour l'analyse du caractère haineux et la génération d'un texte plus réfléchi en s'appuyant sur leurs connaissances issues du corpus d'entraînement.
- Bien que ce cadre ne puisse pas rivaliser avec les classificateurs traditionnels d'apprentissage profond, il peut apporter des améliorations substantielles par rapport aux résultats antérieurs.
- Cet article aborde également les défis liés à la détection du discours haineux et mentionne quelques travaux existants dans ce domaine.

## Summary

Récemment, les grands modèles de langage (LLM) ont pris la vedette dans le traitement du langage naturel. De plus, l'intégration des LLM avec la vision permet aux utilisateurs d'explorer des capacités émergentes en multimodalité. Les modèles de langage visuel (VLM), tels que LLaVA, Flamingo ou GPT-4, ont démontré des performances impressionnantes sur diverses tâches visio-linguistiques. Il existe donc de nombreuses applications potentielles de ces modèles sur les plateformes de médias sociaux. Cependant, il y a un manque de recherche connexe sur la détection et la correction des mèmes haineux à l'aide des VLM. Dans cette étude, nous étudions la capacité des VLM à détecter et à corriger les mèmes haineux sans référence préalable. À partir de nos expériences empiriques, nous montrons l'efficacité du modèle pré-entraîné LLaVA et discutons ses forces et faiblesses pour cette tâche spécifique. Notre cadre offre une solution pratique pour créer des sites web sûrs et respectueux en se basant uniquement sur une incitation sans référence préalable. Nous montrons également que le VLM est prometteur tant pour l'analyse du caractère haineux que pour la génération d'un texte plus réfléchi en s'appuyant sur ses connaissances issues du corpus d'entraînement. Bien que notre cadre ne puisse pas rivaliser avec les classificateurs traditionnels d’apprentissage profond qui requiert un ajustement fin ou OCR textuelle supplémentaire; nos résultats indiquent qu’avec une instruction soigneusement élaborée le modèle LLaVA peut amener des ameliorations substantielles par rapport aux résultats antérrieurs [1 ,2]. Dans cet article nous abordons également les défis liés à la detection du discours haineux et mentionnons quelques travaux existants dans ce domaine.