# SkyEye: Self-Supervised Bird's-Eye-View Semantic Mapping Using Monocular Frontal View Images

**Authors:** Nikhil Gosala, Kürsat Petek, Paulo L. J. Drews-Jr, Wolfram Burgard, Abhinav Valada  
**arXiv:** [2302.04233](https://arxiv.org/abs/2302.04233)  
**Date:** 2023-02-08  
**Summary page:** https://www.summarizepaper.com/fr/paper/2302.04233v1/

## Key points

- Les cartes sémantiques en vue aérienne (BEV) sont essentielles pour la conduite automatisée.
- Les approches existantes pour générer ces cartes nécessitent beaucoup de données BEV annotées.
- Une nouvelle approche auto-supervisée est proposée pour générer une carte sémantique BEV à partir d'une seule image monoculaire en vue frontale (FV).
- L'architecture SkyEye utilise deux modes d'auto-supervision : la supervision implicite et la supervision explicite.
- Des évaluations sur l'ensemble de donnée KITTI-360 montrent que cette approche fonctionne au même niveau que les méthodes entièrement supervisées, avec seulement 1% des annotations directes dans le BEV par rapport aux autres approches.

## Summary

Les cartes sémantiques en vue aérienne (BEV) sont devenues un composant essentiel des pipelines de conduite automatisée en raison de la représentation riche qu'elles fournissent pour les tâches de prise de décision. Cependant, les approches existantes pour générer ces cartes suivent toujours un paradigme d'apprentissage entièrement supervisé et dépendent donc de grandes quantités de données BEV annotées. Dans ce travail, nous abordons cette limitation en proposant la première approche auto-supervisée pour générer une carte sémantique BEV à partir d'une seule image monoculaire en vue frontale (FV). Pendant l'entraînement, nous surmontons le besoin d'annotations BEV ground truth en exploitant les annotations sémantiques FV plus facilement disponibles des séquences vidéo. Ainsi, nous proposons l'architecture SkyEye qui apprend selon deux modes d'auto-supervision : la supervision implicite et la supervision explicite. La supervision implicite entraîne le modèle en imposant une cohérence spatiale de la scène dans le temps basée sur des séquences sémantiques FV, tandis que la supervision explicite exploite des pseudo-étiquettes BEV générés à partir des annotations sémantiques FV et des estimations auto-supervisée de profondeur. Des évaluations approfondies sur l'ensemble de donnée KITTI-360 montrent que notre approche auto-supervisée fonctionne au même niveau que les méthodes entièrement supervisés et obtient des résultats compétitifs en utilisants seulement 1% du supervisions directe dans le BEV par rapport aux autres approches entièrement supervisés. Enfin, nous rendons publics à la fois notre code et les ensembles de donnée BEV générés à partir des ensemble KITTI-360 et Waymo.