Les mathématiques derrière ChatGPT

Orateur : Borjan Geshkovski

Résumé : Derrière les chatbots comme ChatGPT ou le Chat se cachent de grands réseaux de neurones entraînés sur des quantités massives de données, appelés Transformers. Il se trouve que ces réseaux peuvent être interprétés comme des systèmes de particules en interaction, où les mots jouent le rôle de particules et les couches du réseau celui du temps. Cette interprétation met en évidence des liens féconds entre ces réseaux et des modèles de gaz comme le modèle de Coulomb, des systèmes d’oscillateurs comme celui de Kuramoto, ainsi que de nombreuses questions de combinatoire (empilement compact), contribuant ainsi à mieux comprendre pourquoi ces modèles fonctionnent.

Retransmission (a priori) : https://www.ihp.fr/fr/live-0