# Competitive Policy Optimization

**Authors:** Manish Prajapat, Kamyar Azizzadenesheli, Alexander Liniger, Yisong Yue, Anima Anandkumar  
**arXiv:** [2006.10611](https://arxiv.org/abs/2006.10611)  
**Date:** 2020-06-18  
**Summary page:** https://www.summarizepaper.com/fr/paper/2006.10611v1/

## Key points

- Proposition de recherche : "Optimisation compétitive des politiques"
- Aborde le défi de l'optimisation des politiques dans les processus décisionnels markoviens compétitifs
- Objectif : concevoir des méthodes d'optimisation efficaces avec convergence et stabilité souhaitées
- Approche novatrice : "optimisation compétitive des politiques" (CoPO)
- Exploite la nature théorique des jeux compétitifs pour obtenir des mises à jour de politique
- Dérive une approximation bilinéaire de l'objectif du jeu, contrairement aux approximations linéaires traditionnelles
- Deux instantiations de CoPO : gradient compétitif et optimisation compétitive basée sur la région de confiance
- Étude théorique et analyse empirique sur un ensemble complet et difficile de jeux compétitifs
- Résultats : optimisation stable, convergence vers des stratégies sophistiquées, scores plus élevés que les méthodes traditionnelles d'optimisation du gradient de politique
- Auteurs : Manish Prajapat, Kamyar Azizzadenesheli, Alexander Liniger, Yisong Yue et Anima Anandkumar

## Summary

Nous avons une proposition de recherche intitulée "Optimisation compétitive des politiques" qui aborde le défi central de l'optimisation des politiques dans les processus décisionnels markoviens compétitifs. L'objectif est de concevoir des méthodes d'optimisation efficaces avec des propriétés de convergence et de stabilité souhaitées. Pour relever ce défi, les auteurs proposent une approche novatrice appelée "optimisation compétitive des politiques" (CoPO) qui exploite la nature théorique des jeux compétitifs pour obtenir des mises à jour de politique. Inspirés par la méthode d'optimisation du gradient compétitif, ils dérivent une approximation bilinéaire de l'objectif du jeu. Contrairement aux méthodes traditionnelles d'optimisation du gradient de politique qui utilisent uniquement des approximations linéaires, CoPO capture les interactions entre les joueurs. Les auteurs présentent deux instantiations de CoPO : le gradient compétitif et l'optimisation compétitive basée sur la région de confiance. Ils étudient ces méthodes sur le plan théorique et analysent leur comportement empiriquement en les testant sur un ensemble complet et difficile de jeux compétitifs. Les résultats montrent que ces méthodes offrent une optimisation stable, une convergence vers des stratégies sophistiquées et obtiennent des scores plus élevés lorsqu'elles sont confrontées à des méthodes traditionnelles d'optimisation du gradient de politique. Cette recherche est menée par Manish Prajapat, Kamyar Azizzadenesheli, Alexander Liniger, Yisong Yue et Anima Anandkumar.