# Combining Spatial and Temporal Abstraction in Planning for Better Generalization

**Authors:** Mingde Zhao, Safa Alver, Harm van Seijen, Romain Laroche, Doina Precup, Yoshua Bengio  
**arXiv:** [2310.00229](https://arxiv.org/abs/2310.00229)  
**Date:** 2023-09-30  
**Summary page:** https://www.summarizepaper.com/fr/paper/2310.00229v1/

## Key points

- Skipper est un agent d'apprentissage par renforcement basé sur un modèle qui s'inspire de la planification consciente humaine.
- Il utilise des abstractions spatiales et temporelles pour généraliser les compétences apprises dans des situations nouvelles.
- Skipper décompose automatiquement la tâche en sous-tâches plus petites et gérables, ce qui permet une prise de décision parcimonieuse et concentre ses calculs sur les parties pertinentes de l'environnement.
- L'approche repose sur la définition d'un problème proxy de haut niveau représenté par un graphe dirigé, dont les sommets et les arêtes sont appris de bout en bout en utilisant le recul.
- Des analyses théoriques fournissent des garanties de performance sous des hypothèses appropriées et établissent où notre approche est censée être utile.
- Des expériences axées sur la généralisation valident l'avantage significatif de Skipper en termes de généralisation sans apprentissage préalable, par rapport aux méthodes hiérarchiques actuelles d'état de l'art.

## Summary

Nous proposons Skipper, un agent d'apprentissage par renforcement basé sur un modèle qui s'inspire de la planification consciente humaine. Il utilise des abstractions spatiales et temporelles pour généraliser les compétences apprises dans des situations nouvelles. Skipper décompose automatiquement la tâche en sous-tâches de plus petite échelle et plus gérables, ce qui permet une prise de décision parcimonieuse et concentre ses calculs sur les parties pertinentes de l'environnement. Cette approche repose sur la définition d'un problème proxy de haut niveau représenté par un graphe dirigé, dont les sommets et les arêtes sont appris de bout en bout en utilisant le recul. Nos analyses théoriques fournissent des garanties de performance sous des hypothèses appropriées et établissent où notre approche est censée être utile. Des expériences axées sur la généralisation valident l'avantage significatif de Skipper en termes de généralisation sans apprentissage préalable, par rapport aux méthodes hiérarchiques actuelles d'état de l'art. Dans cette étude, nous avons développé une méthode novatrice pour résoudre des problèmes complexes en utilisant des abstractions spatiales et temporelles. Notre agent d'apprentissage par renforcement, appelé Skipper, est capable de décomposer automatiquement une tâche complexe en sous-tâches plus simples grâce à l'utilisation d'un graphe dirigé. Les sommets du graphe représentent les étapes intermédiaires nécessaires pour accomplir la tâche globale, tandis que les arêtes représentent les transitions entre ces étapes. Une caractéristique clé de notre approche est l'utilisation d'un apprentissage par renforcement basé sur un modèle. Cela signifie que Skipper apprend à partir d'expériences passées et utilise ces connaissances pour généraliser ses compétences dans de nouvelles situations. En utilisant des abstractions spatiales et temporelles, Skipper peut se concentrer sur les parties pertinentes de l'environnement et prendre des décisions éclairées. Nous avons réalisé des expériences pour évaluer les performances de Skipper en termes de généralisation sans apprentissage préalable. Les résultats ont montré que notre approche offre un avantage significatif par rapport aux méthodes hiérarchiques actuelles d'état de l'art. Cela démontre la capacité de Skipper à généraliser ses compétences dans des situations inconnues, ce qui est essentiel pour résoudre efficacement des problèmes complexes du monde réel. En conclusion, notre étude présente une approche novatrice pour résoudre des problèmes complexes en utilisant des abstractions spatiales et temporelles. Notre agent d'apprentissage par renforcement, Skipper, a démontré sa capacité à généraliser ses compétences dans des situations inconnues, ce qui le distingue des méthodes hiérarchiques traditionnelles. Ces résultats ouvrent la voie à de nouvelles possibilités dans le domaine de la planification consciente inspirée par l'humain.