# Pose2Seg: Detection Free Human Instance Segmentation

**Authors:** Song-Hai Zhang, Ruilong Li, Xin Dong, Paul L. Rosin, Zixi Cai, Han Xi, Dingcheng Yang, Hao-Zhi Huang, Shi-Min Hu  
**arXiv:** [1803.10683](https://arxiv.org/abs/1803.10683)  
**Date:** 2018-03-28  
**Summary page:** https://www.summarizepaper.com/fr/paper/1803.10683v3/

## Key points

- Le standard pour la segmentation d'instances d'images consiste à effectuer d'abord la détection d'objets, puis à segmenter l'objet à partir de la boîte englobante de détection.
- Des méthodes plus récentes comme Mask R-CNN les effectuent conjointement.
- Peu de recherches prennent en compte l'unicité de la catégorie "humaine", qui peut être bien définie par le squelette de pose.
- Le squelette de pose humaine peut être utilisé pour mieux distinguer les instances avec une forte occlusion que lorsque seules des boîtes englobantes sont utilisées.
- Un tout nouveau cadre de segmentation d'instances basé sur la pose pour les humains sépare les instances en fonction de la pose humaine plutôt que par la simple détection des régions proposées.
- Ce cadre basé sur la pose atteint une meilleure précision que l’approche basée sur la détection à pointe technologique sur le problème de segmentation instance humaine et qu’il est également capable de mieux gérer l’occlusion.
- Il existe peu d’ensembles publics contenant beaucoup d’humains fortement occultés avec des annotations complètes ce qui rend ce problème rarement remarquable par les chercheurs.
- Un nouvel ensemble appelé « Occluded Human (OCHuman) » est introduit, qui se concentre sur les humains occultés avec des annotations complètes comprenant des boîtes englobantes et une pose humaine ainsi que des masques instance.
- Cet ensemble contient 8110 instances annotées en détail sur 4731 images et offre une moyenne MaxIoU 0.67 pour chaque personne ce qui en fait l’ensemble le plus complexe et difficile liée à la segmentation instance humaine jamais crée.
- Avec OCHuman, l'occlusion est soulignée comme étant un problème difficile à étudier pour les chercheurs.

## Summary

Le standard pour la segmentation d'instances d'images consiste à effectuer d'abord la détection d'objets, puis à segmenter l'objet à partir de la boîte englobante de détection. Plus récemment, des méthodes d'apprentissage profond comme Mask R-CNN les effectuent conjointement. Cependant, peu de recherches prennent en compte l'unicité de la catégorie "humaine", qui peut être bien définie par le squelette de pose. De plus, le squelette de pose humaine peut être utilisé pour mieux distinguer les instances avec une forte occlusion que lorsque seules des boîtes englobantes sont utilisées. Dans cet article, nous présentons un tout nouveau cadre de segmentation d'instances basé sur la pose pour les humains qui sépare les instances en fonction de la pose humaine plutôt que par la simple détection des régions proposées. Nous montrons que notre cadre basé sur la pose peut atteindre une meilleure précision que l’approche basée sur la détection à pointe technologique sur le problème de segmentation instance humaine et qu’il est également capable de mieux gérer l’occlusion. De plus, il existe peu d’ensembles publics contenant beaucoup d’humains fortement occultés avec des annotations complètes ce qui rend ce problème rarement remarquable par les chercheurs. Par conséquent, nous introduisons un nouvel ensemble appelée « Occluded Human (OCHuman) » qui se concentre sur les humains occultés avec des annotations complètes comprenant des boîtes englobantes et une pose humaine ainsi que des masques instance. Cet ensemble contient 8110 instances annotées en détail sur 4731 images et offre une moyenne MaxIoU 0.67 pour chaque personne ce qui en fait l’ensemble le plus complexe et difficile liée à la segmentation instance humaine jamais crée. Avec OCHuman nous voulons souligner l’occlusion comme étant un problème difficile à étudier pour les chercheurs.