# Multimodal Federated Learning via Contrastive Representation Ensemble

**Authors:** Qiying Yu, Yang Liu, Yimu Wang, Ke Xu, Jingjing Liu  
**arXiv:** [2302.08888](https://arxiv.org/abs/2302.08888)  
**Date:** 2023-02-17  
**Summary page:** https://www.summarizepaper.com/fr/paper/2302.08888v3/

## Key points

- L'apprentissage fédéré (FL) offre une alternative respectueuse de la vie privée à l'apprentissage machine centralisé.
- Les méthodes FL existantes pour les données multimodales sont limitées en termes de complexité du modèle et de capacité des données.
- CreamFL est un cadre d'apprentissage fédéré multimodal qui permet d'entraîner des modèles serveur plus grands à partir de clients ayant des architectures de modèle hétérogènes et des modalités de données différentes.
- CreamFL utilise une stratégie globale-locale croisée pour agréger les représentations multimodales des clients.
- CreamFL propose également deux contrastes inter-modaux et intra-modaux pour régulariser l'entraînement local et ajouter l'information manquante pour les clients unimodaux.
- Des évaluations approfondies montrent que CreamFL est supérieur aux moyens FL actuels dans des tâches telles que la recherche image-texte et la réponse à des questions visuelles.

## Summary

Avec la quantité croissante de données multimédias sur les systèmes mobiles modernes et les infrastructures IoT, exploiter ces riches données multimodales tout en préservant la confidentialité des utilisateurs est un défi critique. L'apprentissage fédéré (FL) offre une alternative respectueuse de la vie privée à l'apprentissage machine centralisé. Cependant, les méthodes FL existantes étendues aux données multimodales reposent toutes sur l'agrégation du modèle au niveau de chaque modalité individuelle, ce qui limite le modèle global en termes de complexité du modèle et de capacité des données ainsi que pour diversifier les tâches. Pour y remédier, nous proposons Contrastive Representation Ensemble and Aggregation for Multimodal FL (CreamFL), un cadre d'apprentissage fédéré multimodal qui permet d'entraîner des modèles serveur plus grands à partir de clients ayant des architectures de modèle hétérogènes et des modalités de données différentes sans communiquer que les connaissances sur l'ensemble public de donnée. Afin d’amplifier la fusion des représentations multimodales, nous avons mis au point une stratégie globale-locale croisée pour agréger les représentations des clients. Pour atténuer la dérive du modèle local due à l’hétérogénicités entre les modalités et entre les tâches sans prise en compte pratique antrieurement , nous proposons également deux contrastes inter-modaux et intra-modaux pour régulariser l'entraînement local afin d’ajouter l’information manquante pour les clients unimodaux et régulariser le comportement local vers un consensus global. Des évaluations approfondies et des études d'ablation sur des tâches telles que la recherche image-texte et la réponse à des questions visuelles montrent clairement que CreamFL est supéririeur aux moyens FL actuels et sa valeur pratique est prouvée.