L’Institut Henri Fayol a été honoré de participer à la soutenance de thèse de M. Lucas Grativol-Ribeiro.
Ce 5 novembre 2024, Guillaume Muller, enseignant chercheur à l’Institut Fayol a participé comme co-encadrant au jury de thèse de M. Lucas Grativol-Ribeiro à IMT Atlantique, Brest. La thèse est intitulée « Compression de réseaux de neurones dans le contexte de l’apprentissage fédéré et des appareils de périphérie ».
Le jury était composé de :
Jean-François NEZAN, Président, Professeur des Universités, INSA Rennes
Frédéric PETROT, Rapporteur, Professeur des Universités, Grenoble INP
Van-Tam NGUYEN, Rapporteur, Professeur, Télécom Paris
Stefan DUFFNER, Examinateur, Maître de conférences, INSA Lyon
Matthieu ARZEL, Directeur, Professeur, IMT Atlantique
Virginie FRESSE, Co-Directrice, Maître de conférences, Télécom Saint-Étienne
Mathieu LÉONARDON, Encadrant, Maître de conférences, IMT Atlantique
Guillaume MULLER, Encadrant, Maître de conférences, Mines Saint-Étienne
Erwan PIRIOU, Invité, System and embedded software engineer, CEA LIST
Résumé
Les approches traditionnelles centralisées de l’apprentissage automatique exigent la collecte de grands ensembles de données, contenant souvent des informations privées. Cela a conduit à une appréhension croissante concernant la sécurité des données, incitant au développement de nouvelles réglementations, telles que le GDPR, pour protéger la vie privée des utilisateurs. En réponse à ces défis, l’apprentissage fédéré a été développé comme une alternative prometteuse, permettant un cadre d’entraînement collaboratif et décentralisé. Différentes entités peuvent participer à l’entraînement fédéré d’un modèle d’apprentissage automatique sans partager leurs données. Cette technique est particulièrement précieuse pour des domaines comme la santé, où la sensibilité et la rareté des données rendent difficile l’entraînement de modèles à grande échelle.
Cette thèse aborde les défis consistant à rendre l’apprentissage fédéré à la fois efficace et accessible, en se concentrant sur des dispositifs avec des contraintes matérielles diverses. L’apprentissage fédéré, en améliorant la confidentialité des données, présente des problèmes tels que l’hétérogénéité matérielle et les coûts de communication. Ce travail explore comment les techniques de compression de modèles, comme l’élagage et la quantification, peuvent être utilisées pour réduire les coûts de communication tout en maintenant les performances du modèle. De plus, nous étudions comment les modèles d’apprentissage par peu d’exemple peuvent être déployés efficacement sur des dispositifs à contraintes matérielles, offrant des perspectives pour réduire les coûts de l’apprentissage fédéré.
La première contribution de cette thèse se concentre sur la réduction de la taille des messages dans l’apprentissage fédéré pour minimiser l’utilisation d’énergie et de bande passante. Cette méthode intègre l’élagage des poids de faible magnitude avec l’encodage par entropie, réalisant une réduction de 50% de la taille des messages avec moins de 1% de perte en précision. En élaguant les plus petits poids basés sur les valeurs absolues avant de transmettre les messages, cette approche simplifie le processus de compression et permet aux participants d’adapter l’élagage à leurs jeux des données. Le résultat est une réduction significative des besoins en bande passante tout en préservant les performances du modèle.
La deuxième contribution introduit l’application de l’adaptation de bas rang (LoRA) dans l’apprentissage fédéré pour réduire les coûts de communication sans se reposer uniquement sur les techniques traditionnelles de compression de modèles. La méthode proposée, appelée FLoCoRA, intègre des adaptateurs LoRA dans le cadre de l’apprentissage fédéré, démontrant que de petits modèles de vision peuvent être entraînés à partir de zéro. Notre méthode réduit la taille des messages jusqu’à 4,8 fois avec une perte de précision négligeable. De plus, une technique de quantification affine compresse davantage les tailles de messages de 18,6 à 37,3 fois. Cette méthode gèle les paramètres du modèle original et ne met à jour que les adaptateurs LoRA pendant l’entraînement, réduisant les coûts de communication de l’apprentissage fédéré.
La troisième contribution présente une chaîne de co-conception de modèles d’apprentissage par peu d’exemples sur une plate-forme FPGA pour la classification d’objets avec des contraintes temps réel, avec des extensions possibles pour l’apprentissage fédéré. Ce système fournit une solution open-source pour la conception, l’entraînement et le déploiement de modèles d’apprentissage profond sur des dispositifs FPGA à faible consommation, atteignant une faible latence (30 ms) et une consommation d’énergie (6,2 W) sur une carte PYNQ-Z1. Cette méthode aborde le défi de la rareté des données, permettant aux modèles de bien généraliser même lorsque certains participants ne peuvent pas intégrer à l’apprentissage fédéré en raison de contraintes matérielles. En exploitant l’apprentissage par peu d’exemples sur des FPGA, le système assure une flexibilité pour les exemples encore non vus et constitue également un candidat pour déployer un modèle fédéré pour l’inférence.
Toutes nos félicitations à Lucas Grativol-Ribeiro.
Illustration : “Designed by Freepik” http://www.freepik.com/