Vous êtes à la recherche d’une offre de post-doctorat ? Vous aimeriez le faire dans un laboratoire d’une grande École d’ingénieur ? Vous rêveriez de participer à de vrais programmes de recherche ?
L’Institut Henri Fayol, École des Mines de Saint-Étienne, vous offre l’opportunité de réaliser un post-doctorat dans son département Informatique et systèmes intelligents (ISI), rattaché au Laboratoire d’informatique, de modélisation et d’optimisation des systèmes (LIMOS, UMR 6158), qui portent la thématique de l’IA soutenable, sous l’angle du coût calcul de l’apprentissage et de l’analyse d’impact environnemental d’un système d’IA.
Ce poste s’inscrit dans le réseau d’excellence ENFIELD, qui réunit trente partenaires européens autour de travaux pour une IA de confiance et verte (European Lighthouse to Manifest Trustworthy and Green AI.
Les modèles de langage et autres modèles fondationnels basés sur des réseaux de neurones profonds sont devenus incontournables en quelques années. Cependant, dès l’introduction de l’architecture Transformer dans la littérature s’est posée la question du coût calcul de ces modèles. Leur grande capacité à généraliser tient principalement au fait qu’ils possèdent un très grand nombre de paramètres configurables, comparés à leurs prédécesseurs. Or, on peut observer empiriquement que les progrès effectués depuis 2012 en apprentissage statistique s’accompagnent d’une croissance exponentielle du coût calcul nécessaire au développement d’un modèle…
La mission principale consistera à concevoir une méthode d’analyse statique (avant exécution) pour estimer le coût calcul d’un modèle d’apprentissage implémenté à partir d’une bibliothèque de calcul vectoriel comme PyTorch, TensorFlow ou NumPy. La méthode devra prendre en compte des paramètres de taille de données, de taille de modèle mais aussi de caractéristiques matérielles comme la taille de mémoire disponible et le nombre de processeurs disponibles en parallèle.
Le ou la post-doc aura par ailleurs pour mission de coanimer les échanges scientifiques entre partenaires d’ENFIELD, qui se structurent de façon matricielle en piliers (Green AI, Adaptive AI, Human-Centric AI et Trustworthy AI) et en domaines d’application (Energy, Healthcare, Manufacturing et Space). Chaque pilier et chaque domaine d’application est associé à un groupe de travail susceptible d’échanger avec les autres.
Date limite de candidature : 8 mai 2024
PROFIL :
- Diplôme de niveau Bac+8 en intelligence artificielle, mathématiques appliquées ou génie logiciel
Le post-doc comprend les activités suivantes :
- Revue des modèles disponibles sur Hugging Face, des modèles développées à l’IMT et des modèles développés par les partenaires d’ENFIELD,
- Conception d’un indicateur de coût calcul pour ces modèles (par exemple en nombre de FLOP),
- Développement d’un outil d’analyse statique pour fournir des estimations de coût calcul à partir de code (par exemple, à partir des fonctions de la bibliothèque PyTorch),
- Participation aux groupes de travail d’ENFIELD,
- Participation aux actions de la communauté scientifique Data&IA de l’Institut Mines-Télécom.