Résultats du processus de synthèse de l'article arXiv : 2201.01666v1

Dans les algorithmes d'apprentissage par renforcement profond (RL) sans modèle, l'utilisation d'estimations de valeurs bruyantes pour superviser l'évaluation et l'optimisation des politiques est préjudiciable à l'efficacité de l'échantillonnage. Comme ce bruit est hétéroscédastique, ses effets peuvent être atténués en utilisant des poids basés sur l'incertitude dans le processus d'optimisation. Les méthodes précédentes reposent sur des ensembles échantillonnés qui ne capturent pas tous les aspects de l'incertitude. Les auteurs fournissent une analyse systématique des sources d'incertitude qui se produisent dans RL et introduisent IV-RL (Inverse Variance RL), un cadre bayésien qui combine des ensembles probabilistes et un pondération Batch Inverse Variance. Ils proposent une méthode où deux méthodes complémentaires d’estimation de l’incertitude tiennent compte à la fois de la valeur Q et de la stochasticité environnementale pour mieux atténuer les impacts négatifs de la supervision bruyante. Leurs résultats montrent une amélioration significative en termes d’efficacité d’apprentissage sur des tâches discrètes et continues. Les auteurs présentent IV-RL comme un cadre pour le RL profond sans modèle qui utilise l’estimation d’incertitude pour améliorer l’efficacité du processus d’apprentissage et ses performances. Une analyse approfondie des sources de bruit qui contribuent aux erreurs cibles motive le recours à une combinaison du pondérages Batch Inverse Variance (BIV) et des ensembles probabilistes pour estimer la variance cible et réduire le poids des échantillons incertains selon deux manières complétives. Les résultats montrent que ces composantes sont bénfiques, et que leur combinaison ameliore significativement les performances actuelles en termes efficacité apprenntissage, particulièrement pour les tâches contrôle.

• Les algorithmes d'apprentissage par renforcement profond (RL) sans modèle sont préjudiciables à l'efficacité de l'échantillonnage lorsqu'ils utilisent des estimations de valeurs bruyantes pour superviser l'évaluation et l'optimisation des politiques.
• Le bruit étant hétéroscédastique, ses effets peuvent être atténués en utilisant des poids basés sur l'incertitude dans le processus d'optimisation.
• Les méthodes précédentes ne capturent pas tous les aspects de l'incertitude, donc les auteurs proposent IV-RL (Inverse Variance RL), un cadre bayésien qui combine des ensembles probabilistes et un pondération Batch Inverse Variance pour mieux atténuer les impacts négatifs de la supervision bruyante.
• Deux méthodes complémentaires d’estimation de l’incertitude tiennent compte à la fois de la valeur Q et de la stochasticité environnementale pour mieux atténuer les impacts négatifs de la supervision bruyante.
• Les résultats montrent une amélioration significative en termes d’efficacité d’apprentissage sur des tâches discrètes et continues.
• IV-RL est présenté comme un cadre pour le RL profond sans modèle qui utilise l'estimation d'incertitude pour améliorer l’efficacité du processus d’apprentissage et ses performances.

Apprentissage par renforcement profond (RL) sans modèle et estimation de valeurs bruyantes

L'utilisation d'estimations de valeurs bruyantes pour superviser l'évaluation et l'optimisation des politiques est préjudiciable à l'efficacité de l'échantillonnage dans les algorithmes d'apprentissage par renforcement profond (RL) sans modèle. Dans cet article, nous étudierons comment atténuer les effets du bruit hétéroscédastique en utilisant des poids basés sur l'incertitude dans le processus d’optimisation. Nous examinerons également la mise en œuvre IV-RL (Inverse Variance RL), un cadre bayésien qui combine des ensembles probabilistes et un pondérages Batch Inverse Variance pour estimer la variance cible et réduire le poids des échantillons incertains selon deux manières complétives. Enfin, nous discuterons des résultats obtenus montrant une amélioration significative en termes d’efficacité apprenntissage sur des tâches discrètes et continues.

Sources principales du bruit

Les sources principales du bruit sont liées aux erreurs dues à la stochasticité de l’environnement, aux erreurs dues à la fonction Q approximée, ainsi qu’aux erreurs dues au choix aléatoire entre plusieurs actions possibles. Ces sources peuvent être regroupées en trois catégories : les erreurs liées à la stochasticité de l’environnement, les erreurs liées à la fonction Q approximée et les erreurs liée au choix alatoire entres plusieures actions possibles.

IV-RL: Cadrage Bayésien

Pour atténuer ces effets nocifs du bruit sur le processus d’apprentissage, les auteur proposent IV-RL (Inverse Variance RL), un cadrage bayésien qui combine des ensembles probabilistes et un pondérages Batch Inverse Variance pour estimer la variance cible et réduire le poids des échantillons incertains selon deux manières complétives. La première mthode consiste à utiliser une estimation inversement proportionnelle à sa variance comme facteur multiplicatif pour chaque échantillon afin que ceux ayant une faible variabilité soient favorisés par rapport aux autres ayant une plus grande variabilité . La seconde mthode consiste à calculer directement le facteur multiplicatif inversement proportionnel à sa variance pour chaque action possible avant son application au prochain pas temporel afin que celles ayant une faible variabilit