Du 16 au 18 mai 2022, se sont tenues les journées de l’Optimisation à HEC Montréal au Canada.
A cette occasion, Rodolphe Le Riche, chercheur CNRS à Mines de Saint-Etienne (au Laboratoire d’Informatique, de Modélisation et d’Optimisation des Systèmes, LIMOS) était invité à présenter sous le titre « Which Gaussian Process for Bayesian Optimization? » ses travaux portant sur l’utilisation des processus Gaussiens pour l’optimisation, une des spécialités du Département Génie mathématique et industriel de l’Institut Fayol.
En guise d’introduction, et dans un souci de vulgarisation, Rodolphe Le Riche propose une parabole narrant l’histoire d’un « personnage », l’inspecteur BO (pour Bayesian Optimization). A travers les manies de cet inspecteur, ce sont des méthodes mathématiques qui sont présentées. Elles ont notamment été développées pendant les thèses de David Gaudrie et Adrien Spagnol, réalisées dans notre Ecole Doctorale SIS et co-encadrées par Rodolphe. Notons également la contribution comme co-auteur de Victor Picheny, un ancien élève de Mines Saint-Etienne, maintenant Directeur Scientifique de l’entreprise SecondMind à Cambridge.
Conférenciers pléniers et les organisateurs de la conférence (de gauche à droite : Andreas Wächter, Northwestern University, USA ; Rodolphe Le Riche, CNRS LIMOS / EMSE ; Léo Liberti, CNRS LIX Ecole Polytechnique ; Sara Séguin et Sébastien Le Digabel, GERAD, Montreal, Canada ; Claudia Alejandra Sagastizábal, Unicamp, Brazil).
Résumé :
Bayesian Optimization (BO) is a popular approach to the global optimization of costly non-convex functions in moderate dimension.
BO is based on Gaussian processes that are iteratively learned and serve as a model to control the exploration-exploitation trade-off through an acquisition criterion.
Much of the recent research on BO has focused on new acquisition criteria and the specialization to specific problems (e.g., uncertain or multi-fidelity contexts).
In this talk, on the contrary, we consider a standard black-box single objective problem and a standard acquisition criterion, the expected improvement.
The focus is the Gaussian process (GP) and how it can be modified to improve the optimization.
Three directions for progress are discussed: the trend of the GP, the adaptation to higher dimension by a linear embedding, and the collaboration between a global and a local GP through a trust-region mechanism.