Présentation de journal club sur « Mamba: Linear-Time Sequence Modeling with Selective State Spaces », chaque point avec son passage de l’article

Un exemple réel : ce que vous obtenez

15 diapositives pour un exposé de 20 minutes · « Mamba: Linear-Time Sequence Modeling with Selective State Spaces »

• Chaque point avec son passage de l’article
• Les travaux antérieurs et ce qui a suivi, forces et limites énoncées par les auteurs
• Où en est l’article : publié, corrigé, nouvelle version
• 4 questions difficiles à préparer
• Vue présentateur, PowerPoint, Beamer et un lien à partager

Les premiers résultats

1. Mamba : modélisation des séquences en temps linéaire par espaces d’état sélectifs
2. Contexte et question Les modèles récurrents compressent le contexte ; leur efficacité dépend de la qualité de cette compression.
3. Pourquoi abandonner l’invariance temporelle La copie sélective impose de mémoriser certains jetons malgré des espacements aléatoires.
4. Sélection et architecture Les paramètres du SSM deviennent dépendants de l’entrée pour contrôler les interactions séquentielles.
5. Calcul adapté au matériel Le calcul combine fusion des noyaux, balayage parallèle et recalcul.
6. Dispositif expérimental et comparabilité Le protocole couvre tâches synthétiques, langage, ADN et audio.
7. Résultats synthétiques et langage Le rappel associatif généralise au million de jetons, environ 4000 fois la longueur d’entraînement.
8. ADN et audio : bénéfice du contexte Sur HG38, la perplexité de Mamba diminue avec le contexte jusqu’à un million de positions.
9. Comparaison avec H3 et apport mécanistique Le bloc Mamba obtient des performances proches de H3, avec une architecture simplifiée.
10. Message principal et frontières La contribution associe sélection dépendante du contenu et calcul récurrent efficace.

5 autres résultats masqués

Voir un exemple complet, expliqué pas à pas →