Nous présentons Generative Semantic Segmentation (GSS), une approche d'apprentissage génératif pour la segmentation sémantique. De manière unique, nous considérons la segmentation sémantique comme un problème de génération de masques conditionnés à l'image. Cela est réalisé en remplaçant l'apprentissage discriminatif pixel par pixel conventionnel par un processus d'apprentissage préalable latent. Plus précisément, nous modélisons la distribution postérieure variationnelle des variables latentes donnée le masque de segmentation. À cette fin, le masque de segmentation est exprimée avec un type spécial d'image (appelée maskige). Cette distribution postérieure permet de générer des masques de segmentation sans condition. Pour réaliser la segmentation sémantique sur une image donnée, nous introduisons également un réseau de conditionnement qui est optimisée en minimisant la divergence entre la distribution postérionere du maskige (c'est-à-dire les masques de segmentation) et la distribution prétale latente des images d'entraînement d'entrée. Des expérriences approfondies sur des benchmarks standard montrent que notre GSS peut être compétitif par rapport aux alternatives existantes dans le cadre standard de la segmentation sémantique tout en atteignant un nouvel état de l'art dans le cadre plus difficile et pratique du domaine croisée. Les contributions principales sont les suivantes : (i) Nous proposons une approche Generative Semantic Segmentation qui reformule la segmentation sêmantique comme un problème de génértion de masques conditionnés à l'image. Cela représente un changement conceptuel par rapport au paradigme conventionnel baser sur l'apprentissage discriminatif ; (ii) Nous réalisons un modèle GSS dans un cadre établi de génértion d'images conditionnelles avec un besoin minimal modifications darchitecture et fonction perte spêcifiques à ta tâche tout en exploitants pleinement les connaissances des modèles génératives disponibles ; (iii) Des expérriences approfondies sur plusieurs benchmarks désegmentations sêmantiqur montrent que notre GSS est compétitif par rapport aux modèles existants dan sle cadres standard tout en atteignant un nouvel état délart dan sle cadres plus difficile et pratiques du domaine croisée (par exemple MSeg [26]). En ce qui concerne les travaux connexes depuis crêations FCN [32],la segmenrtationsêmatiqueprospère grâce à divers réseaux neuronaux profonds capables déclasser chaque pixel.
- Generative Semantic Segmentation (GSS) est une approche d'apprentissage génératif pour la segmentation sémantique
- La segmentation sémantique est considérée comme un problème de génération de masques conditionnés à l'image
- L'apprentissage discriminatif pixel par pixel conventionnel est remplacé par un processus d'apprentissage préalable latent
- Le masque de segmentation est exprimé avec un type spécial d'image appelée maskige
- Des expériences montrent que GSS peut être compétitif par rapport aux alternatives existantes dans le cadre standard de la segmentation sémantique et atteindre un nouvel état de l'art dans le cadre plus difficile et pratique du domaine croisé.
- Les contributions principales sont :
- proposer une approche GSS qui reformule la segmentation sémantique comme un problème de génération de masques conditionnés à l'image
- réaliser un modèle GSS dans un cadre établi de génération d'images conditionnelles avec des modifications minimales d'architecture et fonction perte spécifiques à la tâche tout en exploitant pleinement les connaissances des modèles génératifs disponibles
- montrer que GSS est compétitif par rapport aux modèles existants dans le cadre standard et atteint un nouvel état de l'art dans le cadre plus difficile et pratique du domaine croisé.
Résumé : Generative Semantic Segmentation (GSS) est une méthode d'apprentissage pour la segmentation sémantique. Cela signifie qu'il permet de séparer les différentes parties d'une image en utilisant des masques spéciaux. GSS utilise un processus d'apprentissage préalable latent pour créer ces masques. Les résultats montrent que GSS peut être aussi bon, voire meilleur que les méthodes existantes.
Définitions :
- Generative Semantic Segmentation (GSS) : une méthode d'apprentissage pour la segmentation sémantique
- Segmentation sémantique : le fait de séparer les différentes parties d'une image en utilisant des masques spéciaux
- Masque : une image spéciale qui permet de distinguer différentes parties d'une image
- Apprentissage préalable latent : un processus qui permet à l'ordinateur de créer des modèles sans avoir besoin de données spécifiques au départ
- État de l'art : le niveau actuel le plus élevé atteint dans un domaine particulier
Generative Semantic Segmentation (GSS) : une nouvelle approche d'apprentissage génératif pour la segmentation sémantique
Nous présentons Generative Semantic Segmentation (GSS), une approche d'apprentissage génératif innovante pour la segmentation sémantique. De manière unique, nous considérons la segmentation sémantique comme un problème de génération de masques conditionnés à l'image. Cela est réalisé en remplaçant l'apprentissage discriminatif pixel par pixel conventionnel par un processus d'apprentissage préalable latent. Plus précisement, nous modélisons la distribution postérieure variationnelle des variables latentes donnée le masque de segmentation. À cette fin, le masque de segmentation est exprimée avec un type spécial d'image (appelée maskige). Cette distribution postérionere permet de génerer des masques de segmentations sans conditions. Pour réaliser la segmentations sêmantiqur sur une image donnée, nous introduisons également un réseau de conditionnement qui est optimisée en minimisant la divergence entre la distribution postérionere du maskige et les distributions prétales latente des images d’entraînements d’entrée.
Contributions principales
Les contributions principales décrites par ce papier incluent :
- (i) Nous proposons une approche Generative Semantic Segmentation qui reformule la segmentationsêmatiquecommeunproblèmedegénrétiondemasquesconditionnésàlimages.
- (ii) Nous réalisons un modèle GSS dan sle cadre établisde génértion dimages conditionnelles avec un besoin minimal modificationsdarchitectureetfonctionpertespêcifiqurstâchetoutenexploitantspleinementlesconnaissancessdesmodèlesgénérativesdisponibles.
- (iii) Des expérriencesapprofondies sur plusieurs benchmarks désegmentationssêmantiqurmontrent que notre GSSest compétitifpar rapport aux modèles existantsdan sle cadres standard tout en atteignantun nouvelétatdartdan sle cadresplus difficileetpratiquesdu domaine croisée(par exempleMSeg[26]).
Contexte et motivation
Depuis crêations FCN [32],la segmenrtationsêmatiqueprospère grâce à divers réseaux neuronaux profonds capables déclasser chaque pixel. Les moteurs classiques basés sur les pixels ont montré des performances impressionnantes pour diffuser les informations contextuelles entre les pixels voisins afin qu’ils soient classés correctement ensemble ; cependant, ils ne peuvent pas facilement capturer les relations structurales complexes entre classes multiples et ignorent souvent certaines caractristiques clés telles que le bruit ou l’occlusion partielle . Dans ce contexte , GSS offreune alternative prometteusepour ameliorer laprecisionsdesegmentationsemantiqusenutilisansapropositionsunique decapturerlesrelationsstructurellescomplicesentrelaclassesmultiplesetendiffuserlinformationcontextuelletoutensimplifiantsignificativementlamiseenœuvredelamodelisationpixel-par-pixel traditionnelle .
Conclusion
En conclusion , GenerativeSemanticSegmentation(GSS ) repr esenteuneapproched ' app rent iss agegen er at ifinnov ant epourlas egm entati on sem anti q ue . Il r em pl acelap rocedured ’ ap prent i ssaged iscr im in at ifpi x el -pa r - pi x eltr ad it ionne l pa run pro cess usd ’ ap prent i ssag ep re al ab letlat ent . L ed omai nec ro is éof f reunecadrep rat i q ued ansc equelanotremode led ev ra it reuss iràatl eind renouveauxtatsdel ' art .
