# Log Neural Controlled Differential Equations: The Lie Brackets Make a Difference

**Authors:** Benjamin Walker, Andrew D. McLeod, Tiexin Qin, Yichuan Cheng, Haoliang Li, Terry Lyons  
**arXiv:** [2402.18512](https://arxiv.org/abs/2402.18512)  
**Date:** 2024-02-28  
**Summary page:** https://www.summarizepaper.com/fr/paper/2402.18512v1/

## Key points

- Le champ vectoriel d'une équation différentielle contrôlée décrit la relation entre un chemin de contrôle et l'évolution d'un chemin de solution.
- Les équations différentielles contrôlées neuronales traitent les données de séries temporelles comme des observations d'un chemin de contrôle, paramétrisent le champ vectoriel d'une CDE en utilisant un réseau neuronal, et utilisent le chemin de solution comme un état caché en évolution continue.
- Les Log-NCDEs sont une méthode novatrice et efficace pour entraîner les NCDEs, basée sur la méthode Log-ODE issue de l'étude des chemins rugueux permettant d'approximer la solution d'une CDE.
- Les Log-NCDEs atteignent une précision moyenne plus élevée sur l'ensemble de test que les NCDEs, NRDEs et deux modèles à la pointe de la technologie : S5 et l'unité récurrente linéaire.

## Summary

Le champ vectoriel d'une équation différentielle contrôlée (CDE) décrit la relation entre un chemin de contrôle et l'évolution d'un chemin de solution. Les équations différentielles contrôlées neuronales (NCDE) traitent les données de séries temporelles comme des observations d'un chemin de contrôle, paramétrisent le champ vectoriel d'une CDE en utilisant un réseau neuronal, et utilisent le chemin de solution comme un état caché en évolution continue. Leur formulation les rend robustes aux taux d'échantillonnage irréguliers, ce qui en fait une approche puissante pour modéliser des données du monde réel. S'appuyant sur les équations différentielles rugueuses neuronales (NRDE), nous introduisons les Log-NCDEs, une méthode novatrice et efficace pour entraîner les NCDEs. Le composant central des Log-NCDEs est la méthode Log-ODE, un outil issu de l'étude des chemins rugueux permettant d'approximer la solution d'une CDE. Sur une gamme de benchmarks de classification multivariée de séries temporelles, il est démontré que les Log-NCDEs atteignent une précision moyenne plus élevée sur l'ensemble de test que les NCDEs, NRDEs et deux modèles à la pointe de la technologie : S5 et l'unité récurrente linéaire. La Figure 1 présente un diagramme schématique d'un Log-NCDE. Les cercles colorés représentant les observations de données sont des échantillons irréguliers issus d'une série temporelle. La ligne violette représentant la réponse du système est une étiquette potentiellement variable dans le temps que l'on souhaite prédire. Le logarithme-signature des observations de données est pris sur chaque intervalle [ri, ri+1], puis combiné avec les crochets itérés de Lie de fθ pour produire un champ vectoriel. Un solveur d'équations différentielles est utilisé pour déplacer l'état caché le long du champ vectoriel et une application linéaire lψ donne la prédiction du Log-NCDEs. Enfin, une fonction de perte L(·,·) est utilisée pour mettre à jour les paramètres fθ. En résumé, cette étude propose une approche innovante pour entraîner des NCDEs appelée Log-NCDEs qui se montre plus performante que plusieurs autres modèles sur divers benchmarks en matière de classification multivariée des séries temporelles.