# Panoptic Out-of-Distribution Segmentation

**Authors:** Rohit Mohan, Kiran Kumaraswamy, Juana Valeria Hurtado, Kürsat Petek, Abhinav Valada  
**arXiv:** [2310.11797](https://arxiv.org/abs/2310.11797)  
**Date:** 2023-10-18  
**Summary page:** https://www.summarizepaper.com/fr/paper/2310.11797v1/

## Key points

- Les auteurs ont publié un article sur "Panoptic Out-of-Distribution Segmentation" explorant les avancées de l'apprentissage profond dans la compréhension des scènes.
- La segmentation panoptique est soulignée comme une tâche clé pour interpréter holistiquement les scènes.
- Les auteurs proposent Panoptic Out-of Distribution Segmentation pour une classification sémantique conjointe au niveau du pixel en distribution et hors distribution avec prédiction d'instances.
- Ils étendent les benchmarks Cityscapes et BDD100K avec des annotations de segmentation d'instances hors distribution.
- L'architecture PoDS innovante comprend un réseau commun partagé, un module contextuel OOD, et des décodeurs symétriques doubles pour une meilleure généralisation OOD.
- Leur approche facilite l'apprentissage progressif des objets hors distribution tout en maintenant les performances en distribution.
- Le réseau PoDS proposé surpasse considérablement les bases existantes selon leurs évaluations approfondies.
- Les données, le code et les modèles entraînés sont disponibles publiquement sur http://pods.cs.uni-freiburg.de.

## Summary

Les auteurs Rohit Mohan, Kiran Kumaraswamy, Juana Valeria Hurtado, Kürsat Petek et Abhinav Valada ont publié un article intitulé "Panoptic Out-of-Distribution Segmentation" qui explore les avancées remarquables de l'apprentissage profond dans la compréhension des scènes. Ils mettent en avant la segmentation panoptique comme une tâche clé d'interprétation holistique des scènes. Cependant, la performance de la segmentation panoptique est gravement impactée en présence d'objets hors distribution (OOD), c'est-à-dire des catégories d'objets qui diffèrent de la distribution d'entraînement. Pour surmonter cette limitation, les auteurs proposent Panoptic Out-of Distribution Segmentation pour une classification conjointe sémantique au niveau du pixel à la fois en distribution et hors distribution avec prédiction d'instances. Ils étendent deux benchmarks établis de segmentation panoptique, Cityscapes et BDD100K, avec des annotations de segmentation d'instances hors distribution. Ils proposent également des métriques d'évaluation appropriées et présentent plusieurs bases solides. Plus important encore, ils proposent l'architecture PoDS novatrice avec un réseau commun partagé, un module contextuel OOD pour apprendre des indices globaux et locaux sur les objets OOD ainsi que des décodeurs symétriques doubles avec des têtes spécifiques à la tâche qui utilisent leur stratégie de désalignement pour une meilleure généralisation OOD. Combinée à leur stratégie d'augmentation de données, cette approche facilite l'apprentissage progressif des objets hors distribution tout en maintenant les performances en distribution. Les auteurs ont mené des évaluations approfondies démontrant que leur réseau PoDS proposé adresse efficacement les principaux défis et surpasse considérablement les bases. Ils rendent le jeu de données, le code et les modèles entraînés disponibles publiquement sur http://pods.cs.uni-freiburg.de. En résumé, cet article propose une approche novatrice pour aborder le problème de la segmentation panoptique en présence d'objets hors distribution grâce à l'utilisation intelligente de l'apprentissage profond et fournit une contribution significative à ce domaine en pleine expansion.