Les systèmes de production d'eau chaude sont des composants essentiels dans les bâtiments résidentiels,
fournissant de l'eau chaude pour diverses utilisations et impactant de manière significative la consommation
d'énergie globale. Le contrôle de ces systèmes est complexe en raison de leur utilisation dans différents
foyers, chacun ayant des besoins variés et des conditions de production d'eau chaude différentes, nécessitant
ainsi une approche centrée sur l'utilisateur. Un contrôle efficace doit équilibrer plusieurs objectifs
contradictoires, tels que la minimisation des coûts énergétiques tout en garantissant le confort des utilisateurs.
De plus, ces systèmes fonctionnent dans des conditions incertaines, influencées par la fluctuation de la
demande, les variations de température extérieure et la dégradation des équipements au fil du temps. Les
méthodes de contrôle traditionnelles négligent souvent ces complexités, entraînant des stratégies énergivores
et une surproduction d'eau chaude pour éviter l'inconfort.
Cette thèse explore les stratégies de contrôle optimal pour la gestion des systèmes de production d'eau
chaude en utilisant l'apprentissage par renforcement. L'objectif est de développer des stratégies de contrôle
adaptatives et généralisables pour ces systèmes, en répondant aux principaux défis de leur gestion et en
améliorant les méthodes d'apprentissage par renforcement existantes.
Tout d'abord, ce travail propose un environnement d'apprentissage adapté à l'apprentissage par
renforcement qui reproduit les conditions réelles et les comportements des utilisateurs, permettant le
développement efficace et en toute sécurité de stratégies de contrôle par un mécanisme essai-erreur. Plutôt
que de proposer une approche universelle, ce travail introduit de nouvelles méthodes d'apprentissage par
renforcement multi-objectif pour apprendre des stratégies de contrôle adaptées aux besoins spécifiques de
différents foyers. Dans une seconde étape, ce travail utilise le méta-apprentissage par renforcement pour
améliorer l'adaptabilité de ces stratégies, leur permettant de se généraliser à des contextes variés et de
minimiser l'impact des écarts entre les simulations et les conditions réelles sur les performances. Enfin, ce
travail aborde la prise de décision sous incertitudes liées à la forte variabilité des environnements
d'apprentissage, en développant des stratégies de contrôle sensibles au risque qui quantifient et intègrent les
incertitudes dans le processus d'apprentissage. Globalement, cette thèse vise à améliorer l'utilisation de
l'apprentissage par renforcement pour le contrôle des systèmes dynamiques, en fournissant des solutions
robustes et adaptatives pour les systèmes de production d'eau chaude dans des contextes variés.
Mots clés : Commande optimale, Apprentissage par renforcement, Apprentissage par renforcement multi-
objectif, Méta-apprentissage, Quantification d'incertitudes, Systèmes de production d'eau chaude, Réponse à
la demande.

Le jury sera composé de :

- AMINI Massih-Reza, Professeur, Université de Grenoble Alpes, Rapporteur
- Chanel Caroline, Professeure, ISAE-SUPAERO, Rapporteuse
- PAPADAKIS Panagiotis, Maître de conférences, IMT Atlantique, Examinateur
- PREUX Philippe, Professeur, Université de Lille, Examinateur
- BATTON-HUBERT Mireille, Professeure, Mines Saint-Etienne, Directrice de thèse
- LECOEUCHE Stéphane, Professeur, IMT Mines Alès, Directeur de thèse
- BOONAERT Jacques, Maître de conférences, IMT Nord Europe, Co-encadrant
- VUILLAUME François, Ingénieur, FV-EI, Invité.