# Generative Semantic Segmentation

**Authors:** Jiaqi Chen, Jiachen Lu, Xiatian Zhu, Li Zhang  
**arXiv:** [2303.11316](https://arxiv.org/abs/2303.11316)  
**Date:** 2023-03-20  
**Summary page:** https://www.summarizepaper.com/fr/paper/2303.11316v1/

## Key points

- Generative Semantic Segmentation (GSS) est une approche d'apprentissage génératif pour la segmentation sémantique
- La segmentation sémantique est considérée comme un problème de génération de masques conditionnés à l'image
- L'apprentissage discriminatif pixel par pixel conventionnel est remplacé par un processus d'apprentissage préalable latent
- Le masque de segmentation est exprimé avec un type spécial d'image appelée maskige
- Des expériences montrent que GSS peut être compétitif par rapport aux alternatives existantes dans le cadre standard de la segmentation sémantique et atteindre un nouvel état de l'art dans le cadre plus difficile et pratique du domaine croisé.
- proposer une approche GSS qui reformule la segmentation sémantique comme un problème de génération de masques conditionnés à l'image
- réaliser un modèle GSS dans un cadre établi de génération d'images conditionnelles avec des modifications minimales d'architecture et fonction perte spécifiques à la tâche tout en exploitant pleinement les connaissances des modèles génératifs disponibles
- montrer que GSS est compétitif par rapport aux modèles existants dans le cadre standard et atteint un nouvel état de l'art dans le cadre plus difficile et pratique du domaine croisé.

## Summary

Nous présentons Generative Semantic Segmentation (GSS), une approche d'apprentissage génératif pour la segmentation sémantique. De manière unique, nous considérons la segmentation sémantique comme un problème de génération de masques conditionnés à l'image. Cela est réalisé en remplaçant l'apprentissage discriminatif pixel par pixel conventionnel par un processus d'apprentissage préalable latent. Plus précisément, nous modélisons la distribution postérieure variationnelle des variables latentes donnée le masque de segmentation. À cette fin, le masque de segmentation est exprimée avec un type spécial d'image (appelée maskige). Cette distribution postérieure permet de générer des masques de segmentation sans condition. Pour réaliser la segmentation sémantique sur une image donnée, nous introduisons également un réseau de conditionnement qui est optimisée en minimisant la divergence entre la distribution postérionere du maskige (c'est-à-dire les masques de segmentation) et la distribution prétale latente des images d'entraînement d'entrée. Des expérriences approfondies sur des benchmarks standard montrent que notre GSS peut être compétitif par rapport aux alternatives existantes dans le cadre standard de la segmentation sémantique tout en atteignant un nouvel état de l'art dans le cadre plus difficile et pratique du domaine croisée. Les contributions principales sont les suivantes : (i) Nous proposons une approche Generative Semantic Segmentation qui reformule la segmentation sêmantique comme un problème de génértion de masques conditionnés à l'image. Cela représente un changement conceptuel par rapport au paradigme conventionnel baser sur l'apprentissage discriminatif ; (ii) Nous réalisons un modèle GSS dans un cadre établi de génértion d'images conditionnelles avec un besoin minimal modifications darchitecture et fonction perte spêcifiques à ta tâche tout en exploitants pleinement les connaissances des modèles génératives disponibles ; (iii) Des expérriences approfondies sur plusieurs benchmarks désegmentations sêmantiqur montrent que notre GSS est compétitif par rapport aux modèles existants dan sle cadres standard tout en atteignant un nouvel état délart dan sle cadres plus difficile et pratiques du domaine croisée (par exemple MSeg [26]). En ce qui concerne les travaux connexes depuis crêations FCN [32],la segmenrtationsêmatiqueprospère grâce à divers réseaux neuronaux profonds capables déclasser chaque pixel.