Hdr Année : 2019

Étude probabiliste de modèles neuronaux de mémoire associative et d’algorithmes utilisés en physique statistique et data science

Résumé

Ce document est une synthèse de mes travaux de recherche. Je vais présenter les résultats obtenus et publiés depuis 2005. Mon intérêt pour le modèle de mémoire associative de Hopfield, qui a fait l’objet de ma thèse de doctorat, a été le point de départ de la majorité des articles que j’ai publiés avec mes coauteurs. J’ai regroupé mes travaux en quatre parties, selon les thèmes de recherche abordés. Dans chacune de ces parties, je présente les modèles étudiés et une synthèse des articles publiés. Les démonstrations peuvent être consultées dans les articles cités, joints à ce document. Dans le première partie, je présente les résultats sur des extensions du modèle de Hopfield. Les travaux portent sur la capacité de stockage, qui est influencée par les carac- téristiques du modèle : loi et propriétés de dépendance des messages mémorisés, structure du graphe modélisant le réseau de neurones. Nous nous sommes également beaucoup intéressés avec mes coauteurs à la capacité de stockage d’autres modèles de mémoire as- sociative, les modèles d’Amari, de Willshaw, de Gripon et Berrou, de Hopfield et Krotov, et nous avons proposé des variantes pour ces modèles et leur dynamique. La seconde partie est consacrée au système de télécommunication CDMA, pour lequel nous étudions la capacité (i.e. le nombre maximal d’utilisateurs possible) en fonction des algorithmes de décodage utilisés. Nous nous sommes en particulier intéressés aux algorithmes de décodage par filtre adapté et aux méthodes de suppression d’interférences HD-PIC et SD-PIC. Nous avons mis en évidence une analogie entre ce modèle et le modèle de Hopfield, ainsi qu’avec une variante du modèle de Hopfield proposée par Amari et Yanai. Grâce à un principe de déviations modérées pour des sommes de variables faiblement dépendantes que nous avons établi, nous avons démontré des résultats annoncés par Amari et Yanai pour leur modèle de mémoire associative et nous avons pu analyser le comportement du modèle CDMA dans le cas de l’application d’une étape de l’algorithme de suppression d’interférences SD-PIC. Dans la troisième partie, nous nous intéressons aux algorithmes stochastiques de type Monte Carlo par chaine de Markov. L’algorithme de Metropolis-Hastings est utilisé no- tamment en physique mathématique pour générer des échantillons de lois de probabilité complexes, mais peut avoir un temps de convergence exponentiel. Des variantes ont été proposées pour accélérer la convergence, dont les méthodes de swapping et simulated tempering, et nous nous sommes intéressés à ces algorithmes dans le cas du modèle de Hopfield. Nous avons pu traiter le cas où le modèle stocke deux images, généralisant ainsi le cas connu du modèle de Curie Weiss à un modèle désordonné en montrant un temps de convergence polynomial pour l’algorithme du swapping. Nous avons également étudié ces algorithmes dans le cas du modèle de Blume-Emery-Griffiths et mis en évidence sur cet exemple l’influence de la nature des transitions de phase du modèle sur la vitesse de convergence des algorithmes. Enfin, la dernière partie de cette synthèse concerne des travaux récents en lien avec les réseaux de neurones à apprentissage profond. Le modèle de Hopfield m’a naturellement amené à m’intéresser à d’autres types de réseaux de neurones, en particulier les réseaux de neurones structurés en couches qui sont utilisés en apprentissage statistique supervisé pour des applications en régression non linéaire et en classification. Ainsi, dans le cadre de travaux communs avec Matthias Löwe et Vincent Gripon, nous avons proposé une méthode de classification adaptée aux réseaux de neurones de type Deep learning dans le cadre de technique de transfert d’apprentissage.
Fichier principal
Vignette du fichier
hdrVermet_Franck.pdf (699) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04949466 , version 1 (15-02-2025)

Identifiants

  • HAL Id : tel-04949466 , version 1

Citer

Franck Vermet. Étude probabiliste de modèles neuronaux de mémoire associative et d’algorithmes utilisés en physique statistique et data science. Mathématiques [math]. Université de bretagne occidentale; Ecole doctorale MathSTIC, 2019. ⟨tel-04949466⟩
0 Consultations
0 Téléchargements

Partager

More