Résultats du processus de synthèse de l'article arXiv : 2504.02137v1

Le développement exponentiel du contenu en ligne a posé d'importants défis aux modèles basés sur les ID dans les systèmes de recommandation industriels. Ces défis incluent la cardinalité extrêmement élevée et l'espace ID en croissance dynamique, ainsi que des distributions d'engagement très biaisées et l'instabilité des prédictions due aux cycles de vie naturels des IDs (par exemple, la naissance de nouveaux IDs et la retraite des anciens IDs). Pour résoudre ces problèmes, de nombreux systèmes s'appuient sur le hachage aléatoire pour gérer l'espace ID et contrôler les paramètres du modèle correspondants (c'est-à-dire la table d'embedding). Cependant, cette approche introduit une pollution des données provenant de plusieurs IDs partageant le même embedding, ce qui entraîne une dégradation des performances du modèle et une instabilité de la représentation de l'embedding. Ce document examine ces défis et présente , une nouvelle technique de paramétrisation des tokens qui améliore significativement les performances du . crée des collisions sémantiquement significatives en regroupant hiérarchiquement les éléments en fonction de leurs embeddings de contenu, par opposition à des affectations aléatoires. À travers une expérimentation approfondie, nous démontrons que permet non seulement d'adresser l'instabilité des embeddings mais aussi d'améliorer considérablement la modélisation des IDs marginaux, réduit le surajustement et atténue les changements dans la représentation. Nous mettons également en avant les avantages du dans les modèles basés sur l'attention qui contextualisent les historiques utilisateurs, montrant ainsi d'importantes améliorations des performances. Nous rapportons également notre expérience d'intégration du dans le système Meta production Ads Ranking, entraînant ainsi des gains notables en performance et une meilleure stabilité des prédictions lors des déploiements en direct. Les auteurs impliqués dans cette recherche sont Carolina Zheng, Minhui Huang, Dmitrii Pedchenko, Kaushik Rangadurai, Siyu Wang, Gaby Nahum, Jie Lei,Yang Yang,Tao Liu,Zutian Luo,Xiaohan Wei,Dinesh Ramasamy,Jiyan Yang,Yiping Han,Lin Yang,Hangjun Xu,Rong Jin et Shuang Yang.

• Le développement exponentiel du contenu en ligne a posé des défis aux modèles basés sur les ID dans les systèmes de recommandation industriels.
• Les défis incluent la cardinalité élevée, l'espace ID en croissance dynamique, les distributions d'engagement biaisées et l'instabilité des prédictions dues aux cycles de vie naturels des IDs.
• De nombreux systèmes utilisent le hachage aléatoire pour gérer l'espace ID et contrôler les paramètres du modèle correspondants.
• Cependant, cette approche introduit une pollution des données provenant de plusieurs IDs partageant le même embedding, entraînant une dégradation des performances du modèle et une instabilité de la représentation de l'embedding.
• Une nouvelle technique de paramétrisation des tokens est présentée pour améliorer significativement les performances du modèle en regroupant hiérarchiquement les éléments en fonction de leurs embeddings de contenu.
• Cette technique permet d'adresser l'instabilité des embeddings, d'améliorer la modélisation des IDs marginaux, réduire le surajustement et atténuer les changements dans la représentation.
• L'intégration de cette technique dans le système Meta production Ads Ranking a entraîné des gains notables en performance et une meilleure stabilité des prédictions lors des déploiements en direct.

Le développement exponentiel du contenu en ligne a posé d'importants défis aux modèles basés sur les ID dans les systèmes de recommandation industriels. Ces défis incluent la cardinalité extrêmement élevée et l'espace ID en croissance dynamique, ainsi que des distributions d'engagement très biaisées et l'instabilité des prédictions due aux cycles de vie naturels des IDs (par exemple, la naissance de nouveaux IDs et la retraite des anciens IDs).

Pour résoudre ces problèmes, de nombreux systèmes s'appuient sur le hachage aléatoire pour gérer l'espace ID et contrôler les paramètres du modèle correspondants (c'est-à-dire la table d'embedding). Cependant, cette approche introduit une pollution des données provenant de plusieurs IDs partageant le même embedding, ce qui entraîne une dégradation des performances du modèle et une instabilité de la représentation de l'embedding.

Dans cet article, nous examinons ces défis et présentons , une nouvelle technique de paramétrisation des tokens qui améliore significativement les performances du . crée des collisions sémantiquement significatives en regroupant hiérarchiquement les éléments en fonction de leurs embeddings de contenu, par opposition à des affectations aléatoires.

À travers une expérimentation approfondie, nous démontrons que permet non seulement d'adresser l'instabilité des embeddings mais aussi d'améliorer considérablement la modélisation des IDs marginaux. De plus, il réduit le surajustement et atténue les changements dans la représentation.

Nous mettons également en avant les avantages du dans les modèles basés sur l'attention qui contextualisent les historiques utilisateurs, montrant ainsi d'importantes améliorations des performances.

En outre, nous rapportons notre expérience d'intégration du dans le système Meta production Ads Ranking, entraînant ainsi des gains notables en performance et une meilleure stabilité des prédictions lors des déploiements en direct.

Les auteurs impliqués dans cette recherche sont Carolina Zheng, Minhui Huang, Dmitrii Pedchenko, Kaushik Rangadurai, Siyu Wang, Gaby Nahum, Jie Lei,Yang Yang,Tao Liu,Zutian Luo,Xiaohan Wei,Dinesh Ramasamy,Jiyan Yang,Yiping Han,Lin Yang,Hangjun Xu,Rong Jin et Shuang Yang.