# Weight-Parameterization in Continuous Time Deep Neural Networks for Surrogate Modeling

**Authors:** Haley Rosso, Lars Ruthotto, Khachik Sargsyan  
**arXiv:** [2507.22045](https://arxiv.org/abs/2507.22045)  
**Date:** 2025-07-29  
**Summary page:** https://www.summarizepaper.com/fr/paper/2507.22045v1/

## Key points

- Les modèles d'apprentissage profond en temps continu, comme les équations différentielles ordinaires neuronales (ODE), sont prometteurs pour la modélisation de systèmes physiques complexes.
- Un défi majeur est l'apprentissage de poids variant dans le temps expressifs mais stables, surtout sous contraintes computationnelles.
- Ce travail explore des stratégies de paramétrisation des poids qui limitent l'évolution temporelle des poids à un sous-espace de dimension réduite engendré par des fonctions de base polynomiales.
- Les expériences montrent que les paramétrisations Legendre produisent une dynamique d'entraînement plus stable, réduisent le coût computationnel et atteignent une précision comparable voire meilleure que les paramétrisations monomiales et les modèles de poids non contraints.
- Le choix de la base dans la paramétrisation temporelle des poids est crucial, et l'utilisation de bases polynomiales orthogonales offre un bon compromis entre expressivité du modèle et efficacité d'entraînement.

## Summary

Les modèles d'apprentissage profond en temps continu, tels que les équations différentielles ordinaires neuronales (ODE), offrent un cadre prometteur pour la modélisation de substitution de systèmes physiques complexes. Un défi central dans l'apprentissage de ces modèles réside dans l'apprentissage de poids variant dans le temps expressifs mais stables, notamment sous contraintes computationnelles. Ce travail explore des stratégies de paramétrisation des poids qui contraignent l'évolution temporelle des poids à un sous-espace de dimension réduite engendré par des fonctions de base polynomiales. Nous évaluons à la fois les bases polynomiales monomiales et Legendre au sein des architectures ODE neuronales et des réseaux résiduels (ResNet) selon les paradigmes d'entraînement discretiser-puis-optimiser et optimiser-puis-discretiser. Les résultats expérimentaux sur trois problèmes benchmarks haute dimension montrent que les paramétrisations Legendre produisent une dynamique d'entraînement plus stable, réduisent le coût computationnel et atteignent une précision comparable voire meilleure que les paramétrisations monomiales et les modèles de poids non contraints. Ces conclusions mettent en lumière le rôle du choix de la base dans la paramétrisation temporelle des poids et démontrent que l'utilisation de bases polynomiales orthogonales offre un compromis favorable entre expressivité du modèle et efficacité d'entraînement. Ce travail est partiellement soutenu par le Laboratoire National Sandia Directed Research and Development (LDRD) sous contrat DE-AC04-94AL85000.