Offre de stage : Apprentissage par renforcement argumentatif

Sujet

L’apprentissage par renforcement [SB18] permet à des agents autonomes d’apprendre à prendre des décisions dans des environnements complexes. Le stage s’inscrit dans le développement d’un apprentissage par renforcement social, où les agents peuvent apprendre non seulement de leur propre expérience, mais également en observant et en échangeant des arguments avec d’autres agents.

Le projet s’intéresse plus particulièrement à l’apprentissage par renforcement argumentatif, dans lequel les agents peuvent échanger des arguments, explications ou justifications concernant leurs décisions. L’objectif est d’étudier comment un agent peut exploiter les arguments d’un autre, notamment en situation de désaccord, et comment ces échanges peuvent conduire à une amélioration des décisions individuelles ou collectives.

Le stage consistera à proposer un cadre inspiré de la théorie interactionniste du raisonnement [MS11] pour l’apprentissage automatique. Cette approche considère le raisonnement comme un moyen de justifier, argumenter les décisions prises en amont, dans le but de convaincre un autre agent. L’agent se compose de deux blocs : un bloc de décision et un bloc d’argumentation chargé de générer et d’évaluer les arguments. Dans le cadre de ce stage, la génération d’un argument s’effectuera via des méthodes d’explicabilité, méthodes initialement orientées utilisateurs, prévues pour comprendre le choix d’une décision effectuée par un modèle d’apprentissage automatique [MLW+24]. Une attention particulière sera portée au mécanisme permettant à un agent d’intégrer un argument et, le cas échéant, de modifier sa politique de décision.

Le cadre sera d’abord étudié sur un problème de classification d’images MNIST [LC98]. Il sera ensuite adapté à un problème d’apprentissage par renforcement dans lequel deux agents peuvent prendre des décisions différentes face à un même état et échanger des justifications.

Objectifs du stage

  • Proposer une architecture basée sur PettingZoo [TBG+21] pour modéliser le problème d’apprentissage par renforcement argumentatif.
  • Évaluer cette architecture sur un problème de classification d’images MNIST, en s’appuyant sur des méthodes d’explicabilité de type carte de saillance [SVZ13] pour la génération d’arguments.
  • Évaluer cette architecture sur un problème d’apprentissage par renforcement avec des états représentés par des images.
  • Comparer expérimentalement l’apprentissage argumentatif à l’apprentissage individuel afin d’étudier l’impact des interactions sociales sur l’amélioration des politiques.

Profil de candidat souhaité

  • Connaissances en apprentissage automatique, notamment en apprentissage supervisé et apprentissage par renforcement.
  • Expérience en programmation Python.
  • Autonomie et capacité de travail en équipe, de rédaction, de synthèse.
  • Des compétences en développement collaboratif (utilisation de GIT, tests unitaires, documentation…) sont un plus, même si elles pourront être acquises pendant le stage.

Encadrement

Le stage sera encadré par Léo Saulières, Meritxell Vinyals et Régis Sabbadin (MIAT, INRAE, Toulouse), dont les sujets de recherche gravitent autour de l’apprentissage par renforcement.

Information pratiques

  • Lieu d’accueil : INRAE Occitanie-Toulouse, MIAT, chemin de Borde-Rouge, Castanet-Tolosan
  • Rémunération : ~690 Euros par mois
  • Date de début : mars ou avril 2027
  • Durée souhaitée : 5 à 6 mois
  • Modalité pour postuler : envoyer CV et lettre de motivation à leo.saulieres@inrae.fr

Références

[LC98] Yann LeCun and Corinna Cortes. The mnist database of handwritten digits. http ://yann.lecun.com/exdb/mnist/, 1998.

[MLW+24] Melkamu Mersha, Khang Lam, Joseph Wood, Ali K Alshami, and Jugal Kalita. Explainable artificial intelligence : A survey of needs, techniques, applications, and future direction. Neuro- computing, 599 :128111, 2024.

[MS11] Hugo Mercier and Dan Sperber. Why do humans reason ? Arguments for an argumentative theory. Behavioral and Brain Sciences, 34(2) :57–74 ; discussion 74–111, April 2011.

[SB18] Richard S Sutton and Andrew G Barto. Reinforcement learning : An introduction. MIT press, 2018.

[SVZ13] Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks : Visualising image classification models and saliency maps. arXiv preprint arXiv :1312.6034, 2013.

[TBG+21] J. K. Terry, Benjamin Black, Nathaniel Grammel, Mario Jayakumar, Ananth Hari, Ryan Sullivan, Luis S. Santos, Clemens Dieffendahl, Caroline Horsch, Rodrigo Perez-Vicente, Niall Williams, Yashas Lokesh, and Praveen Ravi. Pettingzoo : Gym for multi-agent reinforcement learning. In Advances in Neural Information Processing Systems (NeurIPS), volume 34, pages 15032–15043, 2021.