# End-to-end Microphone Permutation and Number Invariant Multi-channel Speech Separation

**Authors:** Yi Luo, Zhuo Chen, Nima Mesgarani, Takuya Yoshioka  
**arXiv:** [1910.14104](https://arxiv.org/abs/1910.14104)  
**Date:** 2019-10-30  
**Summary page:** https://www.summarizepaper.com/fr/paper/1910.14104v3/

## Key points

- Le problème important dans la séparation de la parole à l'aide de microphones ad hoc est d'assurer la robustesse du système par rapport aux emplacements et au nombre de microphones.
- Les techniques classiques de formation de faisceaux basées sur l'optimisation satisfont ces exigences par définition.
- Pour les systèmes d'apprentissage en profondeur end-to-end, ces contraintes ne sont pas entièrement prises en compte.
- Transform-Average-Concatenate (TAC) est un paradigme simple pour une permutation de canal et une séparation multi-canal invariante au nombre.
- TAC améliore considérablement les performances de séparation pour divers nombres de microphones dans des tâches bruyantes et réverbérantes avec des matrices ad hoc.
- TAC améliore également considérablement les performances de séparation avec une configuration fixe d'array géométrique.

## Summary

Le problème important dans la séparation de la parole à l'aide de microphones ad hoc est d'assurer la robustesse du système par rapport aux emplacements et au nombre de microphones. Le premier exige que le système soit invariant à des indexations différentes des microphones avec les mêmes emplacements, tandis que le second nécessite une capacité à traiter des entrées avec des dimensions variables. Les techniques classiques de formation de faisceaux basées sur l'optimisation satisfont ces exigences par définition, tandis que pour les systèmes d'apprentissage en profondeur end-to-end, ces contraintes ne sont pas entièrement prises en compte. Dans cet article, nous proposons Transform-Average-Concatenate (TAC), un paradigme simple pour une permutation de canal et une séparation multi-canal invariante au nombre. Basée sur le réseau filter-and-sum (FaSNet), un système de formation de faisceaux temporels end-to-end récemment proposé, nous montrons comment TAC améliore considérablement les performances de séparation pour divers nombres de microphones dans des tâches bruyantes et réverbérantes avec des matrices ad hoc. De plus, nous montrons que TAC améliore également considérablement les performances de séparation avec une configuration fixe d'array géométrique, ce qui prouve l'efficacité du paradigme proposé pour résoudre le problème général de la séparation multi microphone.