Kenneth Ezukwoke, ancien doctorant au laboratoire LIMOS, qui a brillamment soutenu sa thèse de doctorat intitulée : « Modèles probabilistes à base de graphes intégrés à une architecture de langage de grande taille pour la prise de décision dans l’analyse des défaillances: Application à l’industrie des semi-conducteurs 4.0 » en septembre dernier, signe un article intitulé « Big GCVAE: decision-making with adaptive transformer model for failure root cause analysis in semiconductor industry » dans la revue Journal of Intelligent Manufacturing. Cet article est coécrit en collaboration avec Anis Hoayek, Mireille Batton-Hubert, Xavier Boucher, enseignants chercheurs à Mines Saint-Etienne et membres du LIMOS et Pascal Gounet et Jérôme Adrian de STMicroelectronics, Grenoble.
Résumé :
Les grands modèles de langage pré-entraînés (LLM) ont fait l’objet d’une attention particulière dans le domaine du traitement du langage naturel (NLP), notamment pour les tâches de résumé de texte, de génération et de réponse aux questions. Le succès des LM peut être attribué au mécanisme d’attention introduit dans les modèles Transformer, qui ont surpassé les modèles de réseaux neuronaux récurrents traditionnels (par exemple, LSTM) dans la modélisation des données séquentielles. Dans cet article, nous exploitons des modèles de langage causal pré-entraînés pour la génération de triplets d’analyse de défaillance (FATG); il s’agit alors de générer la séquence d’étapes d’analyse de défaillance la plus adaptée à l’identification des causes profondes de la défaillance observée sur des semi-conducteurs. En particulier, une analyse comparative avancée de divers modèles de transformateur pour cette tâche (FATG) montre que le transformateur BERT-GPT-2 (Big GCVAE) proposé utilisant un autoencodeur variationnel contrôlable généralisé (GCVAE), présente des performances accrues de la génération de l’espace latent informatif. Ce dernier permet le désenchevêtrement des facteurs latents plus adapté. Plus précisément, nous observons que le réglage précis du transformateur BERT-GPT2 sur la fonction perte du GCVAE produit une représentation optimale en réduisant le compromis entre la perte de reconstruction et la divergence KL, ce qui favorise la génération des FAT (FATG) significatifs, diversifiés, cohérents à ceux labelisés par avis d’experts.