# Sample Efficient Deep Reinforcement Learning via Uncertainty Estimation

**Authors:** Vincent Mai, Kaustubh Mani, Liam Paull  
**arXiv:** [2201.01666](https://arxiv.org/abs/2201.01666)  
**Date:** 2022-01-05  
**Summary page:** https://www.summarizepaper.com/fr/paper/2201.01666v1/

## Key points

- Les algorithmes d'apprentissage par renforcement profond (RL) sans modèle sont préjudiciables à l'efficacité de l'échantillonnage lorsqu'ils utilisent des estimations de valeurs bruyantes pour superviser l'évaluation et l'optimisation des politiques.
- Le bruit étant hétéroscédastique, ses effets peuvent être atténués en utilisant des poids basés sur l'incertitude dans le processus d'optimisation.
- Les méthodes précédentes ne capturent pas tous les aspects de l'incertitude, donc les auteurs proposent IV-RL (Inverse Variance RL), un cadre bayésien qui combine des ensembles probabilistes et un pondération Batch Inverse Variance pour mieux atténuer les impacts négatifs de la supervision bruyante.
- Deux méthodes complémentaires d’estimation de l’incertitude tiennent compte à la fois de la valeur Q et de la stochasticité environnementale pour mieux atténuer les impacts négatifs de la supervision bruyante.
- Les résultats montrent une amélioration significative en termes d’efficacité d’apprentissage sur des tâches discrètes et continues.
- IV-RL est présenté comme un cadre pour le RL profond sans modèle qui utilise l'estimation d'incertitude pour améliorer l’efficacité du processus d’apprentissage et ses performances.

## Summary

Dans les algorithmes d'apprentissage par renforcement profond (RL) sans modèle, l'utilisation d'estimations de valeurs bruyantes pour superviser l'évaluation et l'optimisation des politiques est préjudiciable à l'efficacité de l'échantillonnage. Comme ce bruit est hétéroscédastique, ses effets peuvent être atténués en utilisant des poids basés sur l'incertitude dans le processus d'optimisation. Les méthodes précédentes reposent sur des ensembles échantillonnés qui ne capturent pas tous les aspects de l'incertitude. Les auteurs fournissent une analyse systématique des sources d'incertitude qui se produisent dans RL et introduisent IV-RL (Inverse Variance RL), un cadre bayésien qui combine des ensembles probabilistes et un pondération Batch Inverse Variance. Ils proposent une méthode où deux méthodes complémentaires d’estimation de l’incertitude tiennent compte à la fois de la valeur Q et de la stochasticité environnementale pour mieux atténuer les impacts négatifs de la supervision bruyante. Leurs résultats montrent une amélioration significative en termes d’efficacité d’apprentissage sur des tâches discrètes et continues. Les auteurs présentent IV-RL comme un cadre pour le RL profond sans modèle qui utilise l’estimation d’incertitude pour améliorer l’efficacité du processus d’apprentissage et ses performances. Une analyse approfondie des sources de bruit qui contribuent aux erreurs cibles motive le recours à une combinaison du pondérages Batch Inverse Variance (BIV) et des ensembles probabilistes pour estimer la variance cible et réduire le poids des échantillons incertains selon deux manières complétives. Les résultats montrent que ces composantes sont bénfiques, et que leur combinaison ameliore significativement les performances actuelles en termes efficacité apprenntissage, particulièrement pour les tâches contrôle.