# Burstormer: Burst Image Restoration and Enhancement Transformer

**Authors:** Akshay Dudhane, Syed Waqas Zamir, Salman Khan, Fahad Shahbaz Khan, Ming-Hsuan Yang  
**arXiv:** [2304.01194](https://arxiv.org/abs/2304.01194)  
**Date:** 2023-04-03  
**Summary page:** https://www.summarizepaper.com/fr/paper/2304.01194v1/

## Key points

- Les caméras des smartphones ont une qualité d'image en constante amélioration, mais ne peuvent pas atteindre la qualité des appareils photo reflex numériques (DSLR) en raison de limitations matérielles.
- Les techniques de traitement d'image en rafale permettent de récupérer des informations complémentaires à partir de plusieurs captures d'une même scène pour approcher la qualité DSLR.
- Cependant, les décalages sous-pixels entre les images causent souvent des artefacts de flou et d'effet fantôme dans l'image finale.
- Burstormer est une architecture novatrice basée sur un transformateur pour la restauration et l'amélioration d'image en rafale qui utilise des caractéristiques locales et non locales multi-niveaux pour obtenir une meilleure fusion des informations et un meilleur alignement.

## Summary

Burstormer : Transformateur de restauration et d'amélioration d'image en rafale. Au moment où l'industrie des smartphones connaît une croissance fulgurante, la qualité des images produites par les caméras de ces appareils s'améliore rapidement. Toutefois, il existe plusieurs barrières qui empêchent d'atteindre la qualité d'image des appareils photo reflex numériques (DSLR). Les espaces physiques disponibles dans les dispositifs portables limitent les fabricants à utiliser des modules de caméra volumineux et de haute qualité. La plupart des caméras de smartphones utilisent des lentilles, une ouverture et un capteur de petite taille, ce qui génère des images avec une résolution spatiale limitée, une faible plage dynamique et souvent du bruit et des distorsions de couleur, surtout dans des conditions de faible luminosité. Ces problèmes ont conduit à se concentrer sur le développement de solutions photographiques computationnelles pour atténuer les limitations matérielles et approcher la qualité d'image DSLR. Une approche émergente pour obtenir des résultats de haute qualité à partir d'une caméra smartphone consiste à tirer parti des prises en rafale composées de multiples captures d'une même scène. Les techniques de traitement d'image en rafale visent à récupérer l'image haute qualité en fusionnant les informations complémentaires provenant de plusieurs images. Des travaux récents ont validé le potentiel des techniques de traitement en rafale pour reconstruire des détails riches qui ne peuvent pas être récupérés à partir d'une seule image. Cependant, ces approches sont souvent incapables de traiter efficacement les décalages sous-pixels inhérents entre les images, dus aux mouvements de la caméra et/ou de l'objet. Ce décalage sous-pixel provoque souvent des artefacts de flou et d'effet fantôme dans l'image finale. Pour résoudre les problèmes d’alignement, les méthodes existantes utilisent un alignement explicite complexe des caractéristiques et un module d’alignement déformable. Dans cette optique, nous proposons Burstormer : une architecture novatrice basée sur un transformateur pour la restauration et l’amélioration d’image en rafale. Contrairement aux approches existantes, notre méthode exploite des caractéristiques locales et non locales multi-niveaux pour obtenir une meilleure fusion des informations et un meilleur alignement.