# UniSim: A Neural Closed-Loop Sensor Simulator

**Authors:** Ze Yang, Yun Chen, Jingkang Wang, Sivabalan Manivasagam, Wei-Chiu Ma, Anqi Joyce Yang, Raquel Urtasun  
**arXiv:** [2308.01898](https://arxiv.org/abs/2308.01898)  
**Date:** 2023-08-03  
**Summary page:** https://www.summarizepaper.com/fr/paper/2308.01898v1/

## Key points

- La mise à l'essai rigoureuse des systèmes d'autonomie est essentielle pour rendre les véhicules autonomes sûrs et réels.
- Il faut générer des scénarios critiques en matière de sécurité qui dépassent ce qui peut être collecté en toute sécurité dans le monde réel.
- Les journaux de conduite préalablement enregistrés offrent une ressource précieuse pour créer ces nouveaux scénarios.
- UniSim est un simulateur neuronal de capteurs qui convertit un seul journal enregistré en une simulation multi-capteur réaliste en boucle fermée.
- UniSim reconstruit l'arrière-plan statique et les acteurs dynamiques dans la scène, puis simule des données LiDAR et camérascopiques à partir de nouveaux points de vue avec ajout ou suppression d'acteurs et emplacements différents.
- Des prédictions apprenantes sont utilisées pour gérer les visions extrapolées et un réseau convolutif est exploité pour compléter les régions invisibles.
- UniSim peut simuler des données réalistes avec une faible différence entre domaine sur des tâches ultérieures.
- Avec UniSim, il est possible d'évaluer en boucle fermée le système d'autonomie dans des scénarios critiques comme s'ils étaient présentés dans le monde réel.

## Summary

La mise à l'essai rigoureuse des systèmes d'autonomie est essentielle pour rendre les véhicules autonomes sûrs et réels. Pour cela, il faut générer des scénarios critiques en matière de sécurité qui dépassent ce qui peut être collecté en toute sécurité dans le monde réel car de nombreux scénarios se produisent rarement sur les routes publiques. Afin d'obtenir une évaluation précise des performances, il est nécessaire de tester le véhicule autonome dans ces scénarios en boucle fermée où le véhicule autonome et les autres acteurs interagissent constamment. Les journaux de conduite préalablement enregistrés offrent une ressource précieuse pour créer ces nouveaux scénarios, mais pour une évaluation en boucle fermée, il est nécessaire de modifier les données des capteurs selon la configuration de la scène et les décisions du véhicule autonome car des acteurs peuvent être ajoutés ou supprimés et les trajectoires du véhicule autonome et des acteurs existants diffèrent du journal original. Dans cet article, nous présentons UniSim, un simulateur neuronal de capteurs qui prend un seul journal enregistré capturée par un véhicule équipée de capteurs et le convertit en une simulation multi-capteur réaliste en boucle fermée. UniSim construit des grilles neuronales d'attributs pour reconstruire à la fois l'arrière-plan statique et les acteurs dynamiques dans la scène puis combine ces grilles pour simuler des données LiDAR et camérascopiques à partir de nouveaux points de vue avec ajout ou suppression d'acteurs et emplacements diffèrents. Pour mieux gerer les visions extrapolés, nous incorporons des pridictions apprenantes pour l'objets dynamiques et exploitons un reseau convolutif afin complétement les regions invisibles. Nos expériences montrent que UniSim peut simuler des donnée réalistes avec faible diffrence entre domaine sur tâches ultrieures. Avec UniSim , nous démontrons l'evaluation en boucle ferme du système autonomie dans scenarii critiques comme si elle était presentee dans le monde reel .