# Synthetic Cross-accent Data Augmentation for Automatic Speech Recognition

**Authors:** Philipp Klumpp, Pooja Chitkara, Leda Sarı, Prashant Serai, Jilong Wu, Irina-Elena Veliche, Rongqing Huang, Qing He  
**arXiv:** [2303.00802](https://arxiv.org/abs/2303.00802)  
**Date:** 2023-03-01  
**Summary page:** https://www.summarizepaper.com/fr/paper/2303.00802v1/

## Key points

- La conscience des biais linguistiques dans les ensembles de données et les modèles ASR a augmenté ces dernières années
- Les systèmes ASR fonctionnent moins bien pour les locuteurs non natifs, même pour l'anglais avec une vaste quantité de données d'entraînement disponibles
- Un modèle de conversion d'accent (ACM) a été amélioré pour transformer la parole anglaise native américaine en prononciation accentuée
- Des connaissances phonétiques ont été incluses dans la formation ACM pour fournir des commentaires précis sur la récupération de certains modèles de prononciation dans la forme d'onde synthétisée
- La faisabilité de représentations d'accent apprises a été étudiée au lieu d'incrustations statiques
- Les données générées ont été utilisées pour former deux systèmes ASR à pointe
- L'approche a été évaluée sur des ensembles de donnée anglaises natives et non natives et a montré que les données synthétiquement accentuées ont aidé l’ASR à mieux comprendre la parole provenant des accents connus, mais pas inconnus ou avec un modèle pré-entrainé exclusivement avec une langue maternelle.
- L'utilisation de représentations accent apprises a donné lieu à une augmentation significative du score WER par rapport aux incrustations statiques traditionnelles.
- Ces résultats suggèrent que l'utilisation des données synthétiquement accentuées peut aider à réduire le biais linguistique dans les systèmes ASR et que les représentations apprises peuvent être bénéficiaires pour améliorer les performances du système ASR sur différents accents parlés partout dans le monde entier.

## Summary

La conscience des biais linguistiques dans les ensembles de données et les modèles ASR a considérablement augmenté ces dernières années. Même pour l'anglais, malgré une vaste quantité de données d'entraînement disponibles, les systèmes fonctionnent moins bien pour les locuteurs non natifs. Dans ce travail, nous avons amélioré un modèle de conversion d'accent (ACM) qui transforme la parole anglaise native américaine en prononciation accentuée. Nous avons inclus des connaissances phonétiques dans la formation ACM pour fournir des commentaires précis sur la récupération de certains modèles de prononciation dans la forme d'onde synthétisée. De plus, nous avons étudié la faisabilité de représentations d'accent apprises au lieu d'incrustations statiques. Les données générées ont ensuite été utilisés pour former deux systèmes ASR à pointe. Nous avons évalué notre approche sur des ensembles de donnée anglaises natives et non natives et avons constatés que les donnés synthétiquement accentués ont aidés l’ASR à mieux comprendre la parole provenant des accents connus. Cette observation ne s’est pas traduit par des accents inconnu et elle n’a pas était observée pour un modèle qui a était pr-entrainer exclusivement avec une langue maternelle. En outre, nous avons découvert que l’utilisation de représentations accent apprises a donner lieu à une augmentation significative du score WER par rapport aux incrustations statiques traditionnelles. Ces résultats suggère que l’utilisation des donnée synthétiquement accentués peut aider à réduire le biais linguistique dans les systèmes ASR et que les représentation apprises peuvent être bénificaire pour ameliorer les performances du système ASR sur différnts accents parlé partout dans le monde entier.