UniSim: A Neural Closed-Loop Sensor Simulator

Mots clés générés par l'IA : Simulation Capteurs Véhicule Autonome Sécurité Réalisme

Points clés générés par l'IA

⚠La licence de l'article ne nous permet pas de nous appuyer sur son contenu et les points clés sont générés à l'aide des métadonnées de l'article plutôt que de l'article complet.

La mise à l'essai rigoureuse des systèmes d'autonomie est essentielle pour rendre les véhicules autonomes sûrs et réels.
Il faut générer des scénarios critiques en matière de sécurité qui dépassent ce qui peut être collecté en toute sécurité dans le monde réel.
Les journaux de conduite préalablement enregistrés offrent une ressource précieuse pour créer ces nouveaux scénarios.
UniSim est un simulateur neuronal de capteurs qui convertit un seul journal enregistré en une simulation multi-capteur réaliste en boucle fermée.
UniSim reconstruit l'arrière-plan statique et les acteurs dynamiques dans la scène, puis simule des données LiDAR et camérascopiques à partir de nouveaux points de vue avec ajout ou suppression d'acteurs et emplacements différents.
Des prédictions apprenantes sont utilisées pour gérer les visions extrapolées et un réseau convolutif est exploité pour compléter les régions invisibles.
UniSim peut simuler des données réalistes avec une faible différence entre domaine sur des tâches ultérieures.
Avec UniSim, il est possible d'évaluer en boucle fermée le système d'autonomie dans des scénarios critiques comme s'ils étaient présentés dans le monde réel.

Accédez également à nos autres résultats générés par IA : Résumé complet, Résumé vulgarisé, Article de type blog; ou posez des questions sur cet article à notre Assistant IA.

Auteurs : Ze Yang, Yun Chen, Jingkang Wang, Sivabalan Manivasagam, Wei-Chiu Ma, Anqi Joyce Yang, Raquel Urtasun

arXiv: 2308.01898v1 - DOI (cs.CV)

CVPR 2023 Highlight. Project page: https://waabi.ai/research/unisim/

Licence : NONEXCLUSIVE-DISTRIB 1.0

Résumé : Rigorously testing autonomy systems is essential for making safe self-driving vehicles (SDV) a reality. It requires one to generate safety critical scenarios beyond what can be collected safely in the world, as many scenarios happen rarely on public roads. To accurately evaluate performance, we need to test the SDV on these scenarios in closed-loop, where the SDV and other actors interact with each other at each timestep. Previously recorded driving logs provide a rich resource to build these new scenarios from, but for closed loop evaluation, we need to modify the sensor data based on the new scene configuration and the SDV's decisions, as actors might be added or removed and the trajectories of existing actors and the SDV will differ from the original log. In this paper, we present UniSim, a neural sensor simulator that takes a single recorded log captured by a sensor-equipped vehicle and converts it into a realistic closed-loop multi-sensor simulation. UniSim builds neural feature grids to reconstruct both the static background and dynamic actors in the scene, and composites them together to simulate LiDAR and camera data at new viewpoints, with actors added or removed and at new placements. To better handle extrapolated views, we incorporate learnable priors for dynamic objects, and leverage a convolutional network to complete unseen regions. Our experiments show UniSim can simulate realistic sensor data with small domain gap on downstream tasks. With UniSim, we demonstrate closed-loop evaluation of an autonomy system on safety-critical scenarios as if it were in the real world.

Soumis à arXiv le 03 Aoû. 2023

Posez des questions sur cet article à notre assistant IA

Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.

⚠La licence de l'article ne nous permet pas de nous appuyer sur son contenu et l'assistant IA ne peut se servir que des métadonnées de l'article plutôt que de l'article complet.

Instructions pour utiliser l'assistant IA ?

Résultats du processus de synthèse de l'article arXiv : 2308.01898v1

⚠La licence de cet article ne nous permet pas de nous appuyer sur son contenu et le processus de synthèse est ici effectué avec les métadonnées de l'article plutôt qu'avec l'article en tant que tel.

Résumé Complet
Points clés
Résumé vulgarisé
Article de blog

La mise à l'essai rigoureuse des systèmes d'autonomie est essentielle pour rendre les véhicules autonomes sûrs et réels. Pour cela, il faut générer des scénarios critiques en matière de sécurité qui dépassent ce qui peut être collecté en toute sécurité dans le monde réel car de nombreux scénarios se produisent rarement sur les routes publiques. Afin d'obtenir une évaluation précise des performances, il est nécessaire de tester le véhicule autonome dans ces scénarios en boucle fermée où le véhicule autonome et les autres acteurs interagissent constamment. Les journaux de conduite préalablement enregistrés offrent une ressource précieuse pour créer ces nouveaux scénarios, mais pour une évaluation en boucle fermée, il est nécessaire de modifier les données des capteurs selon la configuration de la scène et les décisions du véhicule autonome car des acteurs peuvent être ajoutés ou supprimés et les trajectoires du véhicule autonome et des acteurs existants diffèrent du journal original. Dans cet article, nous présentons UniSim, un simulateur neuronal de capteurs qui prend un seul journal enregistré capturée par un véhicule équipée de capteurs et le convertit en une simulation multi-capteur réaliste en boucle fermée. UniSim construit des grilles neuronales d'attributs pour reconstruire à la fois l'arrière-plan statique et les acteurs dynamiques dans la scène puis combine ces grilles pour simuler des données LiDAR et camérascopiques à partir de nouveaux points de vue avec ajout ou suppression d'acteurs et emplacements diffèrents. Pour mieux gerer les visions extrapolés, nous incorporons des pridictions apprenantes pour l'objets dynamiques et exploitons un reseau convolutif afin complétement les regions invisibles. Nos expériences montrent que UniSim peut simuler des donnée réalistes avec faible diffrence entre domaine sur tâches ultrieures. Avec UniSim , nous démontrons l'evaluation en boucle ferme du système autonomie dans scenarii critiques comme si elle était presentee dans le monde reel .

- La mise à l'essai rigoureuse des systèmes d'autonomie est essentielle pour rendre les véhicules autonomes sûrs et réels.
- Il faut générer des scénarios critiques en matière de sécurité qui dépassent ce qui peut être collecté en toute sécurité dans le monde réel.
- Les journaux de conduite préalablement enregistrés offrent une ressource précieuse pour créer ces nouveaux scénarios.
- UniSim est un simulateur neuronal de capteurs qui convertit un seul journal enregistré en une simulation multi-capteur réaliste en boucle fermée.
- UniSim reconstruit l'arrière-plan statique et les acteurs dynamiques dans la scène, puis simule des données LiDAR et camérascopiques à partir de nouveaux points de vue avec ajout ou suppression d'acteurs et emplacements différents.
- Des prédictions apprenantes sont utilisées pour gérer les visions extrapolées et un réseau convolutif est exploité pour compléter les régions invisibles.
- UniSim peut simuler des données réalistes avec une faible différence entre domaine sur des tâches ultérieures.
- Avec UniSim, il est possible d'évaluer en boucle fermée le système d'autonomie dans des scénarios critiques comme s'ils étaient présentés dans le monde réel.

Résumé : Les tests rigoureux des systèmes d'autonomie sont importants pour rendre les voitures autonomes sûres et réelles. Il faut créer des situations dangereuses qui ne peuvent pas être réalisées en toute sécurité dans le monde réel. Les journaux de conduite enregistrés sont utiles pour créer ces nouvelles situations. UniSim est un simulateur qui convertit un journal en une simulation réaliste avec différents capteurs. UniSim peut simuler des données réalistes pour évaluer le système d'autonomie dans des situations dangereuses. Définitions - Systèmes d'autonomie : Ce sont des systèmes utilisés dans les voitures autonomes pour leur permettre de se déplacer sans conducteur. - Scénarios critiques : Ce sont des situations dangereuses ou difficiles qui peuvent mettre à l'épreuve les capacités d'un système. - Journaux de conduite : Ce sont des enregistrements de ce qui s'est passé lors de la conduite d'une voiture, y compris les mouvements, les actions et les données collectées par les capteurs. - Simulateur : C'est un programme informatique qui imite ou reproduit une situation réelle ou virtuelle. - Capteurs : Ce sont des dispositifs utilisés pour détecter ou mesurer certaines caractéristiques physiques, comme la

La mise à l'essai rigoureuse des systèmes d'autonomie est essentielle pour rendre les véhicules autonomes sûrs et réels

Les véhicules autonomes sont une technologie prometteuse qui offrira aux conducteurs un niveau de sécurité et de commodité sans précédent. Cependant, avant que ces technologies ne soient totalement fiables, il est important de tester leur performance en conditions critiques afin de garantir la sécurité des utilisateurs. Pour ce faire, il est nécessaire de créer des scénarios critiques qui dépassent ce qui peut être collecté en toute sécurité dans le monde réel car certains scénarios se produisent rarement sur les routes publiques. Afin d'obtenir une évaluation précise des performances du véhicule autonome, il faut effectuer un test en boucle fermée où le véhicule autonome et les autres acteurs interagissent constamment.

UniSim: Un simulateur neuronal multi-capteur pour l'evaluation en boucle ferme

Dans cet article, nous présentons UniSim, un simulateur neuronal multi-capteur conçu pour convertir un journal capturée par un véhicule équipée de capteurs en une simulation réaliste en boucle fermée. UniSim construit des grilles neuronales d’attributs pour reconstruire à la fois l’arrière-plan statique et les acteurs dynamiques dans la scène puis combine ces grilles pour simuler des donnés LiDAR et camérascopiques à partir de nouveaux points de vue avec ajout ou suppression d'acteurs et emplacements diffèrents. Pour mieux gerer les visions extrapolés, nous incorporons des pridictions apprenantes pour l'objets dynamiques et exploitons un reseau convolutif afin complétement les regions invisibles. Nos expériences montrent que UniSim peut simuler des donnée réalistes avec faible diffrence entre domaine sur tâches ultrieures. Avec UniSim , nous démontrons l'evaluation en boucle ferme du système autonomie dans scenarii critiques comme si elle était presentee dans le monde reel .

Conclusion

Afin que les voitures autonomes soient considérés comme fiables par le public, il est important qu’elles passent par une phase rigoureuse de tests afin que leur performance soit évaluée correctement. Dans cet article, nous avons présentez UniSim -un simulateur neuronal multi-capteur conçu spécifiquement pour convertir un journal capturée par un v

Créé le 16 Oct. 2023

Disponible dans d'autres langues : en

Évaluez la qualité du contenu généré par l'IA en votant

Note : 0

Le résumé précédent a été créé il y a plus d'un an et peut être réexécuté (si nécessaire) en cliquant sur le bouton Exécuter ci-dessous.

⚠La licence de cet article spécifique ne nous permet pas de nous appuyer sur son contenu et les outils de synthèse seront exécutés en utilisant les métadonnées de l'article plutôt que l'article complet. Cependant, l'outil produira quand même un bon résultat, et vous pouvez également essayer nos outils sur des papiers avec des licences plus ouvertes.