Offre de stage : Apprentissage par renforcement pour la simulation de développement du système racinaire
Sujet
L’amélioration de l’efficacité d’utilisation de l’azote par les cultures constitue un enjeu agronomique, économique et environnemental majeur. La dépendance aux engrais azotés représente en effet un coût important pour les exploitations et contribue aux émissions de gaz à effet de serre ainsi qu’aux pertes d’azote vers les sols, les eaux et l’atmosphère. Dans ce contexte, améliorer la capacité des plantes à exploiter les ressources azotées disponibles constitue un levier important pour maintenir les performances des cultures tout en réduisant les apports d’engrais. L’architecture du système racinaire joue un rôle central dans cette capacité, en déterminant la manière dont la plante explore le sol et accède aux ressources. Or, le développement racinaire est un processus dynamique et plastique, qui s’adapte notamment à la distribution spatiale et temporelle du nitrate. La plante doit ainsi arbitrer entre l’exploration de nouvelles zones du sol et l’exploitation des ressources localement disponibles. Comprendre et simuler ces stratégies d’adaptation constitue donc un enjeu scientifique important pour mieux caractériser le développement racinaire et identifier des stratégies permettant une acquisition plus efficace de l’azote.
Le stage propose d’étudier le développement du système racinaire comme un problème de décision séquentielle partiellement observable (POMDP), en mobilisant l’apprentissage par renforcement (AR) [SB18]. Le système racinaire sera considéré comme un agent interagissant avec un environnement correspondant au sol, et prenant des décisions de développement en fonction de son état et des ressources disponibles. Le problème sera formalisé et implémenté dans un environnement de simulation reposant sur l’interface Gymnasium [TKB+26], permettant de représenter la croissance du système racinaire ainsi que la distribution spatiale des nitrates dans le sol. L’objectif sera notamment de déterminer dans quelle mesure l’AR permet de simuler l’adaptation de l’architecture racinaire à des sols présentant différentes distributions de nitrate. Le projet s’appuiera sur un modèle déterministe d’allocation des ressources afin de définir une fonction de récompense représentant le compromis entre le bénéfice lié à l’acquisition de nitrate et le coût de la croissance racinaire [GRC+24]. Un modèle de ‘deep reinforcement learning’, basé par exemple sur PPO [SWD+17], sera développé et entraîné dans un environnement simulé.
Le modèle sera ensuite évalué à partir de données expérimentales de développement racinaire d’Arabidopsis, disponibles au format RSML et acquises toutes les six heures. Les architectures racinaires simulées seront comparées aux observations expérimentales selon plusieurs caractéristiques, notamment le nombre, la longueur et la ramification des racines.
À l’issu du stage, le modèle pourra permettre de générer des architectures racinaires simulées dans différentes configurations de sol et de fournir ainsi des données complémentaires aux observations expérimentales pour explorer différentes hypothèses sur les stratégies d’adaptation du système racinaire.
Objectifs du stage
- Formaliser le développement racinaire comme un problème de décision séquentielle partiellement observable (POMDP).
- Développer un environnement de simulation reposant sur l’interface Gymnasium représentant la croissance racinaire et la distribution spatiale du nitrate.
- Implémenter et entraîner des algorithmes d’apprentissage par renforcement.
- Comparer les stratégies apprises à des stratégies de référence, notamment aléatoires et heuristiques.
- Valider les architectures simulées sur des données expérimentales RSML d’Arabidopsis.
Profil de candidat souhaité
- Connaissances en apprentissage par renforcement.
- Expérience en programmation Python.
- Autonomie et capacité de travail en équipe, de rédaction, de synthèse.
- Des compétences en développement collaboratif (utilisation de GIT, tests unitaires, documentation…) sont un plus, même si elles pourront être acquises pendant le stage.
Encadrement
Le stage sera encadré par Meritxell Vinyals, Anne Goelzer, Léo Saulières (MIAT, INRAE, Toulouse) et Sandrine Ruffel (IPSIM, INRAE, Montpelier) dont les sujets de recherche gravitent autour de l’apprentissage par renforcement, la modélisation deterministe, la biologie des systèmes et la biologie végétale.
Information pratiques
- Lieu d’accueil : INRAE Occitanie-Toulouse, MIAT, chemin de Borde-Rouge, Castanet-Tolosan
- Rémunération : ~690 Euros par mois
- Date de début : mars ou avril 2027
- Durée souhaitée : 5 à 6 mois
- Modalité pour postuler : envoyer CV et lettre de motivation à meritxell.vinyals@inrae.fr
Références
[GRC+24] Anne Goelzer, Loïc Rajjou, Fabien Chardon, Olivier Loudet, and Vincent Fromion. Resource allocation modeling for autonomous prediction of plant cell phenotypes. Metabolic Engineering, 83 :86–101, 2024.
[SB18] Richard S. Sutton and Andrew G. Barto. Reinforcement learning - an introduction, 2nd Edition. MIT Press, 2018.
[SWD+17] John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, and Oleg Klimov. Proximal policy optimization algorithms. arXiv preprint arXiv :1707.06347, 2017.
[TKB+26] Mark Towers, Ariel Kwiatkowski, John Balis, Gianluca De Cola, Tristan Deleu, Manuel Goulao, Kallinteris Andreas, Markus Krimmel, Arjun Kg, Rodrigo Perez-Vicente, et al. Gymnasium : A standard interface for reinforcement learning environments. Advances in Neural Information Processing Systems, 38, 2026.