Contexte
Les questions d’explicabilité et de confiance s’inscrivent dans l’objectif plus général d’obtenir une “IA de confiance” (trustworthy AI). L’avènement des réseaux de neurones, s’il a permis de grande avancées dans de nombreux domaines de l’IA, a aussi remis sur le devant de la scène le besoin soit de fournir des garanties sur les prédictions fournies, soit de les assortir d’une quantification d’incertitude qui ait du sens. Il est en effet courant de voir des réseaux de neurones et d’autres modèles donner une confiance irraisonnée à des prédictions manifestement fausses, par exemple sous le coup d’attaques adversariables. Cela a remis au coeur de l’IA d’anciennes problématiques qu’étaient la quantification d’incertitude ou encore la certification des modèles. Sans que cela soit équivalent, il est aussi parfois nécessaire de pouvoir fournir des explications. Ces besoins sont particulièrement criants pour des applications sensibles comme le diagnostic médical, ou économiquement importante comme la détection d’anomalies dans les procédés industriels.Plusieurs pistes de recherche liées à ces besoins trouvent naturellement leurs places au sein du GDR IA:
- le besoin dans certains contextes de fournir des explications permettant à une interaction de nature collaborative ou ”contestative” de se tenir, ce qui nécessite d’avoir des explications réllement adapatées à l’utilisateur (qui peut avoir des profils très variés);
- le besoin de considérer des modèles d’incertitudes riches, incluant à la fois les approches ensemblistes/logiques et les approches statistiques. De nombreux résultats récents (et moins récents) indiquent que la considération des seules probabilités est insuffisant pour fournir des quantification d’incertitudes ayant de fortes garanties statistiques. L’utilisation de tels modèles est une des spécificité des membres du GDR;
- le besoin de certifier que les modèles fournis par l’IA puissent fonctionner dans des domaines de validités spécifiés, par exemple quand les conditions de fonctionnement sont susceptibles d’évoluer (transfert des cas simulés ou réalisés en environnement contrôlés vers un environnement ouvert/réel/non-contrôlés). Cette certification peut naturellement se faire via des approches logiques ou utilisant des contraintes;
- le besoin de gérer de manière aussi transparente et robuste que possible l’apparition de conflits et d’incohérence au sein de certains modèles, qu’ils soient de nature plus symbolique ou plus numérique;
- le besoin de fournir des explications avec garanties et adaptées à l’interlocuteur.
Perspectives et Défis
- Les méthodes d’explication les plus utilisées (LIME, SHAP) sont de nature heuristique. Plus récemment, des approches basées sur méthodes formelles, à base d’encodage en PLNE ou SAT, ont été proposées. Quel est le périmètre d’application de ces méthodes, et quid du passage à l’échelle?
- La plupart des méthodes d’explication ne permettent pas à l’utilisateur de contester la décision. Comment prendre en compte l’aspect dialectique des explications? et quel lien peut on mettre avec les mécanismes d’apprentissage?
- Comment définir les domaines de validités des modèles (e.g., sous quelles perturbations un réseau de neurones doit-il continuer à fonctionner?) et comment s’assurer que le modèle soit valide dans ce domaine?
- Traditionnellement, la performance du système (c’est-à-dire la précision) est considérée comme la principale mesure lors de l’utilisation d’un modèle d’IA. Mais cette métrique est loin d’être suffisante pour refléter la fiabilité des systèmes d’IA. Divers aspects devraient être pris en compte pour améliorer la fiabilité des systèmes d’IA et augmenter la confiance des utilisateurs, y compris, mais sans s’y limiter, leur robustesse, l’équité algorithmique, l’explicabilité et la transparence. Quels critères, démarche mettre en place pour mesurer et évaluer ces aspects?
- Au-delà de la quantification d’incertitude via des outils mathématiques, comment communiquer cette incertitude à l’utilisateur ou encore éliciter les besoins de l’utilisateur en terme de ceritfication ou quantification d’incertitudes?
- Comment mélanger explicabilité et prise en compte de l’incertitude dans les modèles d’IA? Comment s’assurer que les explications soient elle aussi robuste (qu’une explication valide le reste dans un certain périmètre)