# Channel Attention Is All You Need for Video Frame Interpolation

**Authors:** Myungsub Choi, Heewon Kim, Bohyung Han, Ning Xu, Kyoung Mu Lee  
**Published in:** Proceedings of the AAAI Conference on Artificial Intelligence  
**DOI:** [10.1609/aaai.v34i07.6693](https://doi.org/10.1609/aaai.v34i07.6693)  
**Date:** 2020-04-03  
**Summary page:** https://www.summarizepaper.com/fr/paper/doi_10.1609--aaai.v34i07.6693/

## Key points

- Objectif : générer des images vidéo intermédiaires sans module explicite d’estimation du mouvement ou du flux optique.
- Motivation : les méthodes fondées sur le flux optique augmentent la complexité et le coût de calcul, et peuvent propager des erreurs lors de mouvements importants ou d’occultations.
- Méthode : un réseau neuronal entraînable de bout en bout combine PixelShuffle et attention sur les canaux pour extraire implicitement les informations de mouvement et synthétiser l’image intermédiaire.
- Résultats annoncés : les auteurs rapportent des performances remarquables face aux modèles utilisant le flux optique, y compris dans des situations difficiles de mouvement et d’occultation.
- Limites des preuves : seul le résumé est disponible ; aucun résultat chiffré, jeu de données, métrique ou détail d’architecture et d’entraînement ne permet de vérifier ou de quantifier les gains.
- Contribution : l’approche remet en question la nécessité d’un module distinct d’estimation du mouvement, mais les rôles respectifs de PixelShuffle et de l’attention ainsi que les limites de la méthode restent à établir.

## Summary

L’article « Channel Attention Is All You Need for Video Frame Interpolation », de Myungsub Choi, Heewon Kim, Bohyung Han, Ning Xu et Kyoung Mu Lee, porte sur la génération d’images intermédiaires entre des images vidéo existantes. Cette tâche nécessite de reconstituer l’apparence des objets à un instant non observé, notamment lorsqu’ils se déplacent ou se masquent mutuellement. Les auteurs cherchent à déterminer si un réseau peut réaliser cette interpolation sans module explicite d’estimation du mouvement. Seuls le titre, les noms des auteurs et le résumé sont disponibles ici, la licence ne permettant pas l’accès au texte intégral. Cette synthèse se limite donc aux informations du résumé. Les auteurs partent du constat que les méthodes existantes dépendent fortement de l’estimation du flux optique, qui décrit les déplacements apparents entre les images. Selon eux, cette estimation accroît la complexité des modèles et leur coût de calcul. Elle peut également entraîner une propagation des erreurs : lorsque les mouvements sont importants ou les occultations marquées, une estimation incorrecte risque de dégrader l’image intermédiaire. L’objectif est donc d’exploiter les informations de mouvement nécessaires à l’interpolation sans recourir à un module dédié au calcul du flux optique. La méthode proposée repose sur un réseau neuronal profond entraînable de bout en bout. Son élément central associe une opération de réorganisation des caractéristiques, appelée PixelShuffle, à un mécanisme d’attention sur les canaux. D’après le résumé, il s’agit de répartir l’information d’une carte de caractéristiques entre plusieurs canaux, puis de pondérer ceux-ci afin d’extraire les informations utiles au mouvement. Ces représentations servent ensuite à synthétiser l’image au niveau des pixels. Le mouvement est ainsi traité implicitement dans les caractéristiques apprises, plutôt que par une estimation explicite du flux optique. Le résumé ne précise toutefois ni l’architecture détaillée du réseau ni les modalités d’entraînement. Les auteurs indiquent avoir mis en place un protocole d’évaluation étendu et rapportent des performances remarquables par rapport aux modèles intégrant un module de calcul du flux optique. Ils affirment également que leur approche reste efficace dans des situations difficiles de mouvement et d’occultation. Toutefois, les informations disponibles ne contiennent aucun résultat chiffré et ne précisent ni les jeux de données, ni les métriques, ni les modèles comparés. Il est donc impossible de quantifier les gains de qualité, les temps d’exécution, le nombre de paramètres ou la réduction effective du coût de calcul. La contribution principale consiste à proposer une combinaison de réorganisation des caractéristiques et d’attention sur les canaux comme alternative aux architectures d’interpolation fondées sur une estimation explicite du flux optique. Elle remet ainsi en question la nécessité d’un module distinct d’estimation du mouvement pour obtenir une interpolation performante. Sa portée reste néanmoins difficile à apprécier à partir du seul résumé. Sans les expériences détaillées, les études d’ablation et l’analyse des échecs, il n’est pas possible d’établir la contribution respective de PixelShuffle et de l’attention sur les canaux, ni de déterminer précisément les limites de l’approche.