Résultats du processus de synthèse de l'article arXiv : 2103.00020v1

Les systèmes de vision par ordinateur de pointe sont entraînés à prédire un ensemble fixe de catégories d'objets prédéterminées. Cette forme restreinte de supervision limite leur généralité et leur utilisabilité, car des données étiquetées supplémentaires sont nécessaires pour spécifier tout autre concept visuel. Apprendre directement à partir de texte brut sur des images est une alternative prometteuse qui exploite une source de supervision beaucoup plus large. Les auteurs ont démontré que la tâche simple de pré-entraînement consistant à prédire quelle légende va avec quelle image est un moyen efficace et évolutif d'apprendre des représentations d'image SOTA à partir de zéro sur un ensemble de donnée comprenant 400 millions (image, texte) collectés sur Internet. Après le pré-entraînement, le langage naturel est utilisée pour réferencer les concepts visuels appris (ou en décrire de nouveaux), permettant un transfert sans apprentissage du modèle vers des tâches en aval. Les performances de cette approche ont étudiés en benchmarking sur plus 30 ensembles différnts en vision par ordinateur couvrant des tâches telles que la reconnaissance optique des caractères, la reconnaissance d'actions vidoes, la gilocalisation et plusieurs types classification d'objets fins. Le modèle se transfère non trivialement vers la plupart des tâches et est souvent compétitif avec une ligne base entièrement supervisée sans avoir besoin d'un apprentissage spicifique à l'ensemble donnée. Par exemple les auteurs correspondent exactitude du ResNet-50 original sur ImageNet sans avoir besoin utiliser 1,28 million exemples entrainements sur lesquels il a était formée.

• Les systèmes de vision par ordinateur sont limités car ils ne peuvent prédire qu'un ensemble fixe de catégories d'objets prédéterminées.
• Apprendre directement à partir de texte brut sur des images est une alternative prometteuse qui permet une source de supervision beaucoup plus large.
• La tâche simple de pré-entraînement consistant à prédire quelle légende va avec quelle image est un moyen efficace et évolutif d'apprendre des représentations d'image SOTA à partir de zéro sur un ensemble de données comprenant 400 millions (image, texte) collectés sur Internet.
• Après le pré-entraînement, le langage naturel est utilisé pour référencer les concepts visuels appris, permettant un transfert sans apprentissage du modèle vers des tâches en aval.
• Les performances de cette approche ont été étudiées en benchmarking sur plus de 30 ensembles différents en vision par ordinateur couvrant des tâches telles que la reconnaissance optique des caractères, la reconnaissance d'actions vidéos, la géolocalisation et plusieurs types classification d'objets fins.
• Le modèle se transfère non trivialement vers la plupart des tâches et est souvent compétitif avec une ligne base entièrement supervisée sans avoir besoin d'un apprentissage spécifique à l'ensemble donné.
• Par exemple, les auteurs correspondent à l'exactitude du ResNet-50 original sur ImageNet sans avoir besoin d'utiliser 1,28 million exemples entrainements sur lesquels il a été formé.

Résumé: Les ordinateurs peuvent voir certaines choses, mais ils ne peuvent pas tout prédire. Apprendre à partir de textes sur des images est une bonne alternative pour enseigner aux ordinateurs à voir plus de choses. En utilisant cette méthode, les ordinateurs peuvent apprendre beaucoup de choses à partir d'un grand nombre d'images et de textes collectés sur Internet. Après avoir appris ces concepts visuels, les ordinateurs peuvent les utiliser pour résoudre différentes tâches sans avoir besoin d'apprendre spécifiquement pour chaque tâche. Cette méthode fonctionne très bien et peut même être meilleure que l'apprentissage supervisé traditionnel. Définitions- SOTA: "State of the Art" signifie la technologie la plus avancée ou la plus récente dans un domaine donné. - Benchmarking: Comparer les performances d'un système ou d'une méthode avec celles des autres systèmes ou méthodes existants. - Reconnaissance optique des caractères: La capacité d'un ordinateur à lire et comprendre du texte imprimé ou écrit à la main. - Classification d'objets fins: La capacité de distinguer entre des objets similaires mais différents, par exemple différencier différentes espèces de fleurs. - Ligne base entièrement supervisée : une approche où l

Apprentissage direct à partir de texte brut sur des images

Les systèmes de vision par ordinateur modernes sont entraînés pour prédire un ensemble fixe de catégories d'objets prédéfinies. Cette forme restreinte de supervision limite leur généralité et leur utilisabilité, car des données étiquetées supplémentaires sont nécessaires pour spécifier tout autre concept visuel. Apprendre directement à partir du texte brut sur les images est une alternative prometteuse qui exploite une source beaucoup plus large de supervision. Les auteurs ont démontré que la tâche simple consistant à pré-entraîner un modèle en prédisant quelle ligne va avec quelle image est un moyen efficace et évolutif d'apprendre des représentations SOTA (state of the art) d'image à partir de zéro sur un ensemble comprenant 400 millions (image, texte) collectés sur Internet.

Transfert sans apprentissage

Après le pré-entraînement, le langage naturel est utilisée pour réferencer les concepts visuels appris (ou en décrire de nouveaux), permettant un transfert sans apprentissage du modèle vers des tâches en aval. Les performances de cette approche ont étudiés en benchmarking sur plus 30 ensembles différnts couvrant des tâches telles que la reconnaissance optique des caractères, la reconnaissance d'actions vidoes, la gilocalisation et plusieurs types classification d'objets fins. Le modèle se transfère non trivialement vers la plupart des tâches et est souvent compétitif avec une ligne base entièrement supervisée sans avoir besoin d'un apprentissage spicifique à l'ensemble donnée. Par exemple les auteurs correspondent exactitude du ResNet-50 original sur ImageNet sans avoir besoin utiliser 1,28 million exemples entrainements sur lesquels il a était formée.

Conclusion

Cette recherche montre que l’apprentissage direct à partir du texte brut peut être très efficace pour apprendre des représentations SOTA d’images et qu’il permet ensuite aux modèles obtenus de se transferer facilement vers diverses tâches liée au traitement visuel .