# Relative representations enable zero-shot latent space communication

**Authors:** Luca Moschella, Valentino Maiorca, Marco Fumero, Antonio Norelli, Francesco Locatello, Emanuele Rodolà  
**arXiv:** [2209.15430](https://arxiv.org/abs/2209.15430)  
**Date:** 2022-09-30  
**Summary page:** https://www.summarizepaper.com/fr/paper/2209.15430v1/

## Key points

- Les réseaux neuronaux intègrent la structure géométrique des données dans un espace de grande dimension en des représentations latentes.
- La distribution des points de données dans l'espace latent devrait dépendre uniquement de la tâche, des données, de la fonction de perte et d'autres contraintes spécifiques à l'architecture.
- Certains facteurs tels que l'initialisation aléatoire des poids ou les hyperparamètres d'entraînement peuvent entraîner des espaces latents incohérents qui entravent toute forme de réutilisation.
- Pour les mêmes choix de données et de modélisation, les espaces latents distincts diffèrent généralement par une transformation quasi-isométrique inconnue.
- Utiliser des similarités par paires comme représentation alternative des données permet d'imposer l'invariance souhaitée sans aucun entraînement supplémentaire.
- Les architectures neuronales peuvent exploiter ces représentations relatives pour garantir en pratique l'invariance isométrique latente.
- Cela permet une communication efficace dans l'espace latent : du raccordement de modèles sans apprentissage préalable à la comparaison d'espaces latents entre différents paramètres et architectures (CNNs, GCNs, transformers).

## Summary

Les réseaux neuronaux intègrent la structure géométrique d'une variété de données dans un espace de grande dimension en des représentations latentes. Idéalement, la distribution des points de données dans l'espace latent devrait dépendre uniquement de la tâche, des données, de la fonction de perte et d'autres contraintes spécifiques à l'architecture. Cependant, certains facteurs tels que l'initialisation aléatoire des poids ou les hyperparamètres d'entraînement peuvent entraîner des espaces latents incohérents qui entravent toute forme de réutilisation. Néanmoins, nous avons observé empiriquement que pour les mêmes choix de données et de modélisation, les espaces latents distincts diffèrent généralement par une transformation quasi-isométrique inconnue : c'est-à-dire que dans chaque espace, les distances entre les encodages ne changent pas. Dans ce travail, nous proposons d'utiliser des similarités par paires comme représentation alternative des données afin d'imposer l'invariance souhaitée sans aucun entraînement supplémentaire. Nous montrons comment les architectures neuronales peuvent exploiter ces représentations relatives pour garantir en pratique l'invariance isométrique latente. Cela permet une communication efficace dans l'espace latent : du raccordement de modèles sans apprentissage préalable à la comparaison d'espaces latents entre différents paramètres et architectures (CNNs, GCNs, transformers).