Apprentissage par renforcement

Ce cours vise à introduire les concepts, algorithmes et applications de l'apprentissage par renforcement (Reinforcement Learning - RL), une branche clé de l'intelligence artificielle. À l'issue de ce module, les étudiants seront capables de :

• Comprendre les bases théoriques du RL, incluant les processus de décision markoviens (MDP).
• Implémenter et analyser les principaux algorithmes de RL.
• Intégrer des concepts de RL dans le cadre d’une usine digitale, notamment pour l’automatisation et l’optimisation des systèmes industriels.
• Concevoir des simulations et des prototypes démontrant l’usage du RL dans des environnements de production.

Ce cours d’apprentissage par renforcement (RL), intégré à l’UE "Maîtriser et développer l’usine digitale", a pour objectif de former les étudiants à l’utilisation de l’intelligence artificielle pour résoudre des problèmes d’optimisation et de prise de décision dans un environnement industriel. L’apprentissage par renforcement est une méthode d’IA qui permet à un système d’apprendre par essais et erreurs pour atteindre un objectif, en s’appuyant sur des concepts tels que les récompenses, les états, et les actions. Ce cours introduit ces concepts, les algorithmes de base (comme le Q-learning) et leurs applications industrielles :

• Gestion des flux.
• Optimisation énergétique.
• Maintenance prédictive.

Conçu comme un prolongement naturel des compétences acquises en première et en deuxième année, ce cours met l’accent sur la pratique (codage en Python, simulations avec OpenAI Gym) pour permettre aux étudiants de relier les quelques aspects théoriques à des cas vu dans les cours en Génie industriel.

Avec un volume de 10h40, il combine des séances théoriques, des démonstrations et un projet final où les étudiants développeront un algorithme et rédigeront un rapport technique. Ce projet mettra en avant leur capacité à utiliser le RL pour résoudre des problématiques industrielles réelles.

Pour suivre ce cours, les étudiants doivent maîtriser les bases suivantes :

Mathématiques et Modélisation

1. 1. Probabilités et statistiques : comprendre les concepts de probabilités conditionnelles et d’espérances.
   2. Algèbre linéaire : manipulation des matrices et vecteurs, nécessaires pour les calculs dans les algorithmes de RL.

Optimisation : notions de base sur les problèmes d’optimisation.

Programmation

• • • Compétences en Python : savoir manipuler des bibliothèques scientifiques comme NumPy, Matplotlib et Pandas.

Familiarité avec les bibliothèques de machine learning : introduction à TensorFlow, PyTorch ou scikit-learn (niveau débutant).

Notions en Intelligence artificielle

• Connaissances de base en apprentissage supervisé et non supervisé : être capable de différencier les grandes approches de l’IA.
• Compréhension des concepts fondamentaux de la data science et de la gestion des données.

Connaissances en Génie Industriel

• Compréhension des processus industriels et des systèmes de production.
• Expérience avec des outils de modélisation et simulation industrielle (par exemple, AnyLogic, Arena).

Le contrôle des connaissances

Pour ce cours, l'évaluation repose sur un rendu final qui comprendra deux composantes principales :

Code source (50%)

• Les étudiants doivent développer un programme fonctionnel mettant en œuvre un ou plusieurs algorithmes d’apprentissage par renforcement (par exemple, Q-learning, Deep Q-Learning).
• Le code devra être annoté, clair, et capable de démontrer l'application à une problématique liée à l'usine digitale (par exemple, gestion des flux, optimisation énergétique, ...).
• Des outils tels que Python avec les bibliothèques OpenAI Gym, TensorFlow ou PyTorch devront être utilisés.

Rapport technique (50%)

• Un rapport d’environ 20 pages, structuré comme suit :
• Introduction : Présentation du sujet traité, problématique industrielle ciblée, et objectifs.
• Démarche méthodologique : Description des étapes de développement, choix des algorithmes, et mise en œuvre technique.
• Résultats : Analyse des performances du modèle, graphiques et résultats obtenus (par exemple, convergence des récompenses, efficacité des actions).
• Discussion : Limites du modèle, perspectives d'amélioration, et possibles applications à grande échelle dans une usine digitale.
• Conclusion : Résumé des contributions et des apprentissages du projet.

• Annexes : Inclure le code source  et toute documentation complémentaire.

Contenus du cours et répartition horaire

1. Introduction à l’apprentissage par renforcement (30 min)

• Rappel : comparaison entre apprentissage supervisé, non supervisé et par renforcement.
• Terminologie clé : agents, états, actions, récompenses, politiques, fonctions de valeur.

2. Théorie de base et modèles mathématiques (40min)

• Processus de décision markovien (MDP).
• Notions de récompense immédiate et cumulée.
• Fonction de valeur et fonction Q.

3. Méthodes d’apprentissage par renforcement (50min)

• Apprentissage par essai-erreur : exploration vs exploitation.
• Algorithmes classiques : Q-learning,
•  Deep Q-Learning (DQN).

5. Atelier pratique en Python (8h40)

• Introduction à des bibliothèques courantes (OpenAI Gym, TensorFlow/PyTorch).
• Implémentation d’un algorithme Q-Learning sur un jeu et un exemple industriel simplifié.
• Travail en groupe : conception d’un projet sur une thématique laissée au choix simulant une application RL.

Méthodes pédagogiques

Cours magistraux : Introduction des concepts théoriques.
Démonstrations et études de cas : Exploration des applications industrielles.
Travaux pratiques : Mise en œuvre des algorithmes et des simulations.

Bibliographie indicative

• Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction. MIT Press.
• François-Lavet, V., et al. (2018). An Introduction to Deep Reinforcement Learning. Foundations and Trends in Machine Learning.
• Documentations
  • Site officiel OpenAI Gym : https://www.gymlibrary.dev
  • Articles scientifiques d'application industriel avec le code : reproduction des résultats avec modifications des contraintes.