Mimoun Mohamed
La parcimonie, qui se caractérise par un faible nombre de composantes non nulles, est une propriété essentielle dans des domaines tels que le traitement du signal, l’apprentissage automatique, les statistiques et la compression de données. En effet, elle est souvent utilisée pour réduire la complexité des modèles, améliorer la généralisation et faciliter l’interprétation des résultats. Cependant, elle est généralement difficile à obtenir en pratique, car il est complexe de déterminer quelles composantes doivent être nulles. Cela est dû à la non-convexité et non-différentiabilité des problèmes de parcimonie en norme ℓ₀, ce qui rend difficile la recherche de solutions exactes.
Dans mes travaux, j’ai cherché à développer une méthode offrant des capacités d’exploration plus étendues que celles de l’état de l’art, afin de sortir des minima locaux sans recourir à une relaxation. La méthode proposée repose sur l’utilisation de l’estimateur direct (de l’anglais «Straight-Through Estimator» ou «STE»).
Je vais présenter deux contributions liées à cette méthode: Une première dans le cadre de la reconstruction de supports parcimonieux dans le cas linéaire (MOHAMED, MALGOUYRES et al. ICML 2024). Ainsi qu’une extension de cette approche dans le cadre de la factorisation de matrices en produit de matrices creuses (MOHAMED, EMIYA et al. ICASSP 2025) afin de remplacer les matrices denses dans les réseaux de neurones, réduisant ainsi leurs complexités spatiales et temporelles.