# Cambrian-S: Towards Spatial Supersensing in Video

**Authors:** Shusheng Yang, Jihan Yang, Pinzhi Huang, Ellis Brown, Zihao Yang, Yue Yu, Shengbang Tong, Zihan Zheng, Yifan Xu, Muhan Wang, Daohan Lu, Rob Fergus, Yann LeCun, Li Fei-Fei, Saining Xie  
**arXiv:** [2511.04670](https://arxiv.org/abs/2511.04670)  
**Date:** 2025-11-06  
**Summary page:** https://www.summarizepaper.com/fr/paper/2511.04670v1/

## Key points

- Le progrès vers une véritable intelligence multimodale nécessite un changement de systèmes réactifs axés sur les tâches et de longs contextes par la force brute vers un paradigme plus large de supersensibilisation.
- Les quatre étapes de la cognition multimodale sont : perception sémantique, cognition des événements en continu, cognition spatiale implicite en 3D et modélisation prédictive du monde.
- Les benchmarks actuels testent principalement les premières étapes de la cognition multimodale, offrant une couverture limitée de la cognition spatiale.
- Pour faire avancer la cognition multimodale, les auteurs présentent VSI-SUPER, un benchmark en deux parties : VSR et VSC.
- Les performances sur VSI-SUPER restent limitées malgré l'échelle des données, indiquant que l'échelle seule n'est pas suffisante pour progresser dans ce domaine.
- La voie à suivre est d'utiliser un prédicteur auto-supervisé du prochain cadre latent qui utilise la surprise pour stimuler la mémoire et segmenter les événements.
- Le progrès vers une véritable intelligence multimodale nécessite un changement de systèmes réactifs axés sur les tâches et de longs contextes par la force brute vers un paradigme plus large de supersensibilisation.
- Les quatre étapes de la cognition multimodale sont : perception sémantique, cognition des événements en continu, cognition spatiale implicite en 3D et modélisation prédictive du monde.
- Les benchmarks actuels testent principalement les premières étapes de la cognition multimodale, offrant une couverture limitée de la cognition spatiale.
- Pour faire avancer la cognition multimodale, les auteurs présentent VSI-SUPER, un benchmark en deux parties : VSR et VSC.
- Les performances sur VSI-SUPER restent limitées malgré l'échelle des données, indiquant que l'échelle seule n'est pas suffisante pour progresser dans ce domaine.
- La voie à suivre est d'utiliser un prédicteur auto-supervisé du prochain cadre latent qui utilise

## Summary

Dans cet article, les auteurs argumentent que le progrès vers une véritable intelligence multimodale nécessite un changement de systèmes réactifs axés sur les tâches et de longs contextes par la force brute vers un paradigme plus large de supersensibilisation. Ils définissent la  comme quatre étapes au-delà de la compréhension uniquement linguistique : la perception sémantique (nommer ce qui est vu), la cognition des événements en continu (maintenir la mémoire à travers des expériences continues), la cognition spatiale implicite en 3D (inférer le monde derrière les pixels) et la modélisation prédictive du monde (créer des modèles internes qui filtrent et organisent l'information). Les benchmarks actuels testent principalement les premières étapes, offrant une couverture limitée de la cognition spatiale et ne mettant que rarement les modèles au défi de manière à nécessiter une véritable modélisation du monde. Pour faire avancer la , les auteurs présentent VSI-SUPER, un benchmark en deux parties : VSR (rappel spatial visuel à long terme) et VSC (comptage spatial visuel continu). Ces tâches nécessitent des entrées vidéo arbitrairement longues mais résistent à l'expansion du contexte par la force brute. Ensuite, ils testent les limites d'échelle des données en créant VSI-590K et en entraînant Cambrian-S, obtenant une amélioration absolue de +30% sur VSI-Bench sans sacrifier les capacités générales. Cependant, les performances sur VSI-SUPER restent limitées, indiquant que l'échelle seule n'est pas suffisante pour la . Les auteurs proposent alors la  comme voie à suivre, présentant une preuve de concept dans laquelle un prédicteur auto-supervisé du prochain cadre latent utilise la surprise (erreur de prédiction) pour stimuler la mémoire et segmenter les événements. Sur VSI-SUPER, cette approche surpasse largement les baselines propriétaires leaders, montrant que la  exige des modèles qui non seulement voient mais anticipent également, sélectionnent et organisent l'expérience.