IA explicable : ouvrir la boîte noire pour comprendre les décisions

Un algorithme refuse un prêt bancaire. Un autre trie des milliers de candidatures avant qu'un recruteur n'en lise une seule. Un troisième signale une anomalie sur une radiographie pulmonaire. Dans les trois cas, une question simple se pose et reste trop souvent sans réponse : pourquoi ce résultat plutôt qu'un autre ? Pendant longtemps, les modèles de machine learning les plus performants — forêts aléatoires profondes, réseaux de neurones à des dizaines de couches — ont fonctionné comme des boîtes noires : on observe ce qui entre, on observe ce qui sort, mais le raisonnement intermédiaire reste opaque même à ses concepteurs. L'IA explicable, ou XAI (eXplainable Artificial Intelligence), est le champ de recherche et d'ingénierie qui s'attaque à ce problème : rendre lisibles les mécanismes de décision d'un système, sans sacrifier ses performances.

Ce n'est pas une lubie académique. C'est une nécessité pratique dès qu'une décision automatisée touche la vie de quelqu'un — un refus de crédit, un diagnostic médical, une évaluation de risque judiciaire. C'est aussi, de plus en plus, une obligation réglementaire : le RGPD européen encadre depuis 2018 les décisions automatisées ayant un effet significatif sur les personnes, et le règlement européen sur l'intelligence artificielle, entré en vigueur en 2024, impose progressivement des exigences de transparence aux systèmes à haut risque. Cet article propose un tour d'horizon complet du domaine : ses fondations conceptuelles, ses techniques phares (LIME, SHAP, Grad-CAM, explications contrefactuelles), ses cas d'usage réels, ses limites documentées, et son cadre juridique. L'objectif : donner à un lecteur non spécialiste les repères nécessaires pour comprendre ce que « rendre l'IA explicable » signifie concrètement, et ce que cela ne signifie pas.

Pourquoi la boîte noire pose problème

Pour saisir l'enjeu de l'explicabilité, il faut d'abord comprendre pourquoi les modèles de machine learning modernes sont devenus opaques. Un modèle statistique simple — une régression linéaire, un arbre de décision peu profond — reste lisible : on peut littéralement tracer les règles qui mènent à chaque prédiction. Mais les modèles qui dominent aujourd'hui pour leur performance brute — réseaux de neurones profonds, ensembles d'arbres de type gradient boosting, grands modèles de langage — combinent des millions, parfois des milliards de paramètres dans des interactions non linéaires. Aucun humain ne peut suivre ce calcul « à la main », et même les concepteurs du modèle ne savent pas toujours dire, pour une prédiction donnée, quelle combinaison de facteurs l'a produite.

Ce phénomène a un nom dans la littérature : le compromis performance-interprétabilité. Historiquement, l'idée reçue voulait que les modèles les plus précis soient nécessairement les plus complexes, donc les moins lisibles, et que les modèles interprétables (arbres courts, règles simples, régressions) paient leur transparence d'une perte de précision. Cette intuition a structuré des décennies de pratique : on choisissait un modèle opaque quand la performance primait, un modèle transparent quand la justification comptait plus que le dernier point de précision.

Le problème, c'est que cette hiérarchie s'effondre précisément dans les situations où elle compterait le plus : les décisions à enjeux élevés. Un système de notation de crédit, un algorithme d'évaluation du risque de récidive, un outil de tri de CV — tous ces cas combinent deux exigences difficilement conciliables avec l'opacité : la nécessité d'une précision élevée, et l'obligation de justifier chaque décision individuelle auprès de la personne concernée.

L'affaire COMPAS, un cas d'école

L'exemple le plus souvent cité dans la littérature académique est celui de COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), un outil propriétaire utilisé par plusieurs tribunaux américains pour estimer le risque de récidive d'un prévenu. En 2016, l'organisation de journalisme d'investigation ProPublica a analysé plus de 10 000 dossiers dans le comté de Broward, en Floride, et a mis au jour un déséquilibre marquant : parmi les personnes qui n'ont finalement pas récidivé, les prévenus noirs étaient près de deux fois plus susceptibles d'être classés à tort comme « à haut risque » que les prévenus blancs (45 % contre 23 % de faux positifs).

Ce qui rend le cas COMPAS particulièrement instructif pour notre sujet, ce n'est pas seulement le résultat statistique — largement débattu depuis, la société éditrice ayant apporté des contre-arguments méthodologiques sérieux sur la définition même de l'équité utilisée. C'est que l'algorithme reposait sur plus d'une centaine de variables saisies manuellement, dans un modèle propriétaire qui ne pouvait être audité que de l'extérieur, sans accès à sa logique interne. Impossible, dans ces conditions, de vérifier une erreur de saisie, une donnée manquante mal traitée, ou un biais structurel caché dans les corrélations apprises. L'opacité n'était pas seulement un problème éthique abstrait : elle empêchait matériellement toute vérification.

Le vrai problème de COMPAS n'était pas seulement statistique — c'était que sa nature propriétaire et opaque interdisait toute vérification indépendante des erreurs de données ou des biais du modèle.

Une discipline née d'un besoin militaire et civil

L'IA explicable n'est pas une réaction récente à ChatGPT ou aux grands modèles de langage. Le terme, employé dès les années 2000, et la discipline structurée doivent beaucoup à un programme de recherche lancé par la DARPA, l'agence de recherche avancée du Pentagone, en 2015. Après une année d'étude préparatoire, l'agence a formalisé son appel à propositions en août 2016, et le programme de recherche à proprement parler s'est déroulé de 2017 à 2021.

L'objectif affiché du programme XAI de la DARPA était de produire une nouvelle génération de techniques de machine learning capables de conserver un haut niveau de performance prédictive tout en permettant à un utilisateur humain de comprendre, de faire confiance de façon appropriée, et de gérer efficacement les systèmes d'IA qui prenaient alors une place croissante dans des domaines sensibles — transport, sécurité, médecine, finance, défense. Le programme distinguait trois défis complémentaires : développer des modèles intrinsèquement plus explicables, concevoir des interfaces d'explication réellement efficaces pour l'utilisateur final, et comprendre les exigences psychologiques qui rendent une explication utile plutôt que décorative.

Le bilan publié à la clôture du programme, en 2021, est nuancé mais utile : certaines approches ont produit des avancées techniques solides, notamment sur les modèles de vision par ordinateur et de classification ; d'autres défis, en particulier la conception d'explications réellement adaptées à la psychologie humaine, se sont révélés plus difficiles que prévu. Cette rétrospective a posé un constat qui structure encore le champ aujourd'hui : produire une explication techniquement correcte est une chose, produire une explication qu'un humain comprend et utilise à bon escient en est une autre, largement plus délicate.

Interprétabilité et explicabilité : une distinction qui compte

Dans le langage courant, « interprétable » et « explicable » sont souvent utilisés comme synonymes. La littérature scientifique les distingue pourtant, et cette distinction n'est pas un point de vocabulaire mais un choix de méthode aux conséquences concrètes.

Un modèle interprétable est un modèle dont le fonctionnement interne est, par construction, suffisamment simple pour être compris directement par un humain : un arbre de décision peu profond, une régression logistique à quelques variables, un système de règles. On n'a pas besoin d'outil supplémentaire pour comprendre pourquoi il produit tel résultat — le modèle *est* son explication.

Un modèle rendu explicable, en revanche, reste une boîte noire complexe (réseau de neurones profond, ensemble d'arbres) à laquelle on adjoint, après coup, un outil qui approxime ou éclaire son comportement — sans changer le modèle lui-même. C'est le principe de méthodes comme LIME ou SHAP, que nous détaillons plus loin : elles n'ouvrent pas la boîte noire, elles en dessinent un plan approximatif depuis l'extérieur.

Cette distinction a donné lieu à un débat de fond dans la communauté scientifique, porté notamment par la chercheuse Cynthia Rudin, de l'université Duke. Dans un article influent publié dans Nature Machine Intelligence en 2019, elle défend une thèse tranchée : pour les décisions à enjeux élevés (justice, santé, crédit), il vaut mieux concevoir dès le départ des modèles nativement interprétables plutôt que de chercher à expliquer après coup des boîtes noires. Son argument central est que les méthodes d'explication post-hoc peuvent donner une impression de compréhension sans offrir de garantie que l'explication reflète fidèlement ce que le modèle a réellement calculé — un risque qu'elle juge particulièrement préoccupant quand des vies ou des libertés sont en jeu.

Cette position ne fait pas l'unanimité — dans de nombreux contextes, les modèles nativement interprétables n'atteignent pas la performance des modèles complexes, et l'explication post-hoc reste le seul outil disponible sur les modèles déjà déployés. Mais elle a eu le mérite de poser une question que le champ ne peut plus ignorer : une explication qui ne reflète pas fidèlement le raisonnement du modèle est-elle une explication, ou une justification de façade ?

LIME et SHAP : les deux méthodes phares de l'explication post-hoc

Concrètement, comment « explique »-t-on un modèle boîte noire sans le modifier ? Deux méthodes, publiées à un an d'intervalle, dominent aujourd'hui la pratique : LIME et SHAP.

LIME : approximer localement par un modèle simple

LIME (Local Interpretable Model-agnostic Explanations) a été proposée en 2016 par Marco Tulio Ribeiro, Sameer Singh et Carlos Guestrin, dans un article resté célèbre sous le titre « Why Should I Trust You? ». L'idée de fond est élégante : même si un modèle complexe se comporte de façon très non linéaire à l'échelle globale, on peut souvent l'approximer, localement, autour d'une prédiction précise, par un modèle beaucoup plus simple — typiquement une régression linéaire.

En pratique, LIME procède par perturbation : il génère de nombreuses variantes légèrement modifiées de l'exemple à expliquer, observe comment la prédiction du modèle boîte noire change en réponse à ces perturbations, pondère ces variantes selon leur proximité avec l'exemple original, puis ajuste un modèle interprétable sur cet échantillon pondéré. Le résultat est une explication locale : pour cette prédiction précise, ces quelques variables ont pesé dans ce sens et avec cette intensité. LIME ne prétend pas expliquer le modèle dans sa globalité — seulement son comportement au voisinage immédiat du cas étudié.

Les auteurs distinguent d'ailleurs deux formes de confiance que ce type d'explication peut établir : la confiance envers une prédiction donnée (l'utilisateur accepte-t-il d'agir sur la base de ce résultat précis ?) et la confiance envers le modèle dans son ensemble (l'utilisateur accepte-t-il de le déployer en production ?). LIME répond avant tout à la première question.

SHAP : une base théorique issue de la théorie des jeux

Un an plus tard, en 2017, Scott Lundberg et Su-In Lee publient SHAP (SHapley Additive exPlanations), qui s'appuie sur un concept plus ancien emprunté à la théorie des jeux coopératifs : les valeurs de Shapley, formalisées par Lloyd Shapley dans les années 1950 pour répartir équitablement le gain d'une coalition entre ses membres.

Appliquée au machine learning, l'idée consiste à traiter chaque caractéristique (feature) d'un exemple comme un « joueur » qui contribue, avec les autres, au résultat final du modèle — le « gain » à répartir. SHAP calcule, pour chaque caractéristique, sa contribution moyenne à la prédiction en considérant toutes les combinaisons possibles avec les autres caractéristiques. Le résultat présente une propriété mathématique précieuse, l'additivité : la somme des contributions de toutes les caractéristiques, plus une valeur de référence, redonne exactement la prédiction du modèle. Contrairement à LIME, dont l'approximation locale peut varier selon les paramètres de l'échantillonnage, SHAP offre des garanties théoriques de cohérence : si une caractéristique contribue davantage dans un modèle modifié, sa valeur SHAP ne peut pas diminuer.

SHAP peut produire des explications locales (pourquoi cette prédiction précise) comme des explications globales (quelles caractéristiques comptent en moyenne sur l'ensemble du jeu de données), ce qui en fait aujourd'hui l'outil le plus largement adopté dans l'industrie — de la détection de fraude à la tarification d'assurance en passant par le scoring de crédit.

Critère	LIME	SHAP
Principe	Approximation locale par un modèle simple	Répartition théorique des contributions (valeurs de Shapley)
Portée	Locale uniquement (une prédiction à la fois)	Locale et globale
Garanties théoriques	Aucune garantie formelle	Cohérence et additivité démontrées
Coût de calcul	Plus léger, approximatif	Plus lourd sur les gros modèles, exact ou quasi-exact
Année de publication	2016 (Ribeiro, Singh, Guestrin)	2017 (Lundberg, Lee)

Voir ce que le modèle regarde : Grad-CAM et l'imagerie médicale

Les méthodes tabulaires comme LIME et SHAP conviennent bien aux données structurées — un tableau de variables numériques ou catégorielles. Pour les modèles qui traitent des images, une autre famille de techniques s'est imposée : les cartes de saillance (saliency maps), dont la plus connue est Grad-CAM (Gradient-weighted Class Activation Mapping), proposée par Ramprasaath Selvaraju et ses coauteurs — diffusée en prépublication fin 2016, puis présentée à la conférence ICCV en 2017, référence habituellement retenue pour citer le papier.

Le principe : plutôt que de perturber l'entrée comme le fait LIME, Grad-CAM exploite les gradients qui circulent dans les dernières couches convolutives du réseau de neurones pour repérer quelles régions de l'image ont le plus contribué à la classification finale. Le résultat visuel est une carte thermique superposée à l'image d'origine, où les zones les plus « chaudes » indiquent les régions que le modèle a effectivement regardées pour prendre sa décision. Grand avantage pratique : la méthode s'applique sans réentraîner le modèle ni modifier son architecture, ce qui la rend utilisable sur des modèles déjà déployés.

Ce type de visualisation a trouvé un terrain d'application particulièrement parlant en imagerie médicale. Sur des radiographies thoraciques utilisées pour détecter une pneumonie, Grad-CAM permet de localiser les infiltrats pulmonaires qui ont motivé la classification, offrant au radiologue un point de vérification visuel immédiat. Sur des radiographies osseuses, des variantes de la technique ont aidé à repérer des fractures fines, réduisant le risque d'erreur diagnostique. Sur des scanners thoraciques utilisés pour le dépistage du cancer du poumon, des méthodes fondées sur les cartes de saillance accélèrent la détection de nodules en localisant précisément les zones suspectes.

L'intérêt clinique de ces cartes ne se limite pas à la pédagogie : elles servent de garde-fou. Un praticien peut vérifier que le modèle s'appuie effectivement sur une lésion visible plutôt que sur un artefact du cliché — un cadre métallique, une inscription, une marque d'appareil — un problème documenté à plusieurs reprises dans la littérature sur les modèles entraînés sans supervision suffisante de leurs zones d'attention. Quand la région mise en évidence coïncide avec un signe radiologique connu, la confiance dans la prédiction s'en trouve renforcée ; quand elle ne coïncide pas, c'est un signal d'alerte précieux, qui peut révéler que le modèle a appris une corrélation fortuite plutôt qu'un véritable indice clinique.

Il faut toutefois noter, par souci d'honnêteté scientifique, que ces méthodes gradient-based ne sont pas infaillibles : des travaux ont montré que certaines cartes de saillance manquent de robustesse — de légères variations dans les poids du réseau ou dans l'image d'entrée peuvent produire des cartes sensiblement différentes pour une même prédiction. C'est une limite active de recherche, pas un problème résolu.

Les explications contrefactuelles : « et si… »

Une autre famille d'approches, particulièrement adaptée aux décisions individuelles (crédit, recrutement, assurance), s'appuie sur le raisonnement contrefactuel. Le concept a été formalisé en 2017 (prépublication) par les juristes et chercheurs Sandra Wachter, Brent Mittelstadt et Chris Russell, dans un article paru en 2018 dans la Harvard Journal of Law & Technology (volume 31) qui reste une référence fréquemment citée à l'intersection du droit et du machine learning.

L'idée est intuitive et se passe pratiquement d'explication technique. Plutôt que de décortiquer le raisonnement interne du modèle — ce qui suppose souvent d'y avoir accès —, l'explication contrefactuelle répond à la question : « quel est le plus petit changement dans mes données d'entrée qui aurait produit un résultat différent ? ». Par exemple : « vous auriez obtenu ce prêt si vos revenus annuels avaient été supérieurs de 3 000 euros » ou « votre candidature aurait été retenue avec deux années d'expérience supplémentaires dans ce domaine ».

Ce type d'explication présente un double avantage. D'une part, il ne nécessite pas d'accéder à la logique interne du modèle — utile face à des systèmes propriétaires ou trop complexes pour être décrits en détail, ce que les auteurs appellent des explications « contrefactuelles inconditionnelles ». D'autre part, il est directement actionnable : il ne se contente pas de dire pourquoi une décision a été prise, il indique un chemin concret vers un résultat différent. C'est cette dimension pratique qui a rendu le concept particulièrement pertinent dans le contexte réglementaire européen, où ses auteurs le proposent comme une voie possible pour satisfaire les obligations d'information envers les personnes concernées par une décision automatisée.

Une explication contrefactuelle ne se contente pas de dire « pourquoi » : elle indique un chemin concret vers un résultat différent, sans jamais avoir besoin d'ouvrir la boîte noire.

Un exemple appliqué au secteur du crédit

Le secteur bancaire illustre bien l'intérêt pratique de cette approche. Un établissement de crédit qui refuse un dossier n'est pas tenu de dévoiler le détail complet de son modèle de scoring : la CJUE admet la protection du secret d'affaires, mais sous le contrôle d'une autorité ou d'un juge, qui arbitre à la personne concernée. En revanche, produire une explication contrefactuelle reste compatible avec la protection de la propriété du modèle : elle décrit le plus petit ajustement possible sur les variables qui appartiennent au demandeur (revenus, ancienneté professionnelle, taux d'endettement) sans jamais révéler la mécanique interne complète de la notation. C'est une façon de concilier deux impératifs souvent présentés comme contradictoires — la confidentialité industrielle du modèle et le droit d'information du client. Cette logique n'est d'ailleurs pas propre à l'Europe : aux États-Unis, la réglementation sur le crédit à la consommation impose depuis plusieurs décennies la délivrance d'un avis de refus détaillé (adverse action notice) qui énumère les facteurs principaux ayant motivé la décision, un mécanisme conceptuellement proche de l'explication contrefactuelle, bien qu'antérieur à la formalisation académique du terme.

La difficulté pratique, documentée par les chercheurs qui ont approfondi le sujet après l'article fondateur de 2017, tient à la pluralité des contrefactuels possibles. Pour un même refus de crédit, plusieurs chemins différents peuvent mener à une acceptation — augmenter les revenus, réduire l'endettement, allonger la durée du prêt — et le choix du chemin présenté à l'utilisateur n'est jamais neutre. Présenter systématiquement le changement le plus facile à obtenir pour l'organisme, plutôt que le plus pertinent ou le plus réaliste pour la personne, transformerait un outil de transparence en un exercice de communication convenu. C'est pourquoi les travaux les plus récents sur le sujet insistent sur la nécessité de proposer plusieurs contrefactuels plausibles plutôt qu'un seul, et de les choisir en tenant compte de ce qui est réalistement modifiable par la personne concernée.

Le cas particulier des grands modèles de langage

Les grands modèles de langage (LLM) comme ceux qui alimentent les assistants conversationnels posent un défi d'explicabilité spécifique, différent des modèles de classification classiques. Deux pistes ont été explorées, et toutes deux ont révélé des limites instructives.

La première piste a consisté à examiner les poids d'attention des transformers — le mécanisme qui permet au modèle de « pondérer » l'importance de chaque mot du contexte lors de la génération. L'intuition semblait naturelle : si un mot reçoit un poids d'attention élevé, c'est qu'il compte davantage dans la décision. Un article influent publié en 2019 par Sarthak Jain et Byron Wallace, intitulé « Attention is not Explanation », a nuancé sérieusement cette intuition. À travers une série d'expériences sur plusieurs tâches de traitement du langage, les auteurs ont montré que les poids d'attention appris sont fréquemment décorrélés des mesures d'importance calculées par gradient, et qu'il est possible de trouver des distributions d'attention très différentes qui produisent pourtant des prédictions équivalentes. Leur conclusion, prudente mais claire : les modules d'attention standards ne devraient pas être traités comme des explications fiables du raisonnement du modèle. Ce travail a depuis suscité des réponses nuancées de la communauté, qui ont montré que la conclusion dépend fortement du contexte et de la tâche — mais le message de fond, appelant à la prudence, a durablement marqué le champ.

La seconde piste, plus récente et propre aux modèles dits « de raisonnement », consiste à demander au modèle d'exposer sa chaîne de raisonnement (chain-of-thought) avant de produire sa réponse finale — une approche qui améliore d'ailleurs souvent la qualité de la réponse elle-même. La question qui se pose alors est celle de la fidélité : ce raisonnement affiché reflète-t-il réellement le calcul interne qui a produit la réponse, ou n'est-il qu'une narration plausible produite après coup ? Des travaux de recherche menés notamment par Anthropic ont étudié cette question en modifiant délibérément la chaîne de raisonnement affichée (2023), puis en glissant des indices dans la question pour voir si le raisonnement les avouait (2025). Les résultats montrent une variation importante selon les tâches : parfois le modèle s'appuie fortement sur son raisonnement affiché, parfois il l'ignore largement, ce qui suggère que le texte de raisonnement produit par un modèle ne doit pas être pris, par défaut, comme une transcription fidèle de son fonctionnement interne.

Ce constat n'invalide pas l'intérêt des chaînes de raisonnement — elles restent utiles pour structurer la réflexion du modèle et, dans de nombreux cas, elles corrèlent effectivement avec le résultat produit. Mais il invite à la même prudence méthodologique que pour l'attention : une explication produite par un modèle, aussi convaincante et bien rédigée soit-elle en apparence, n'est pas automatiquement une preuve de son raisonnement réel. C'est un rappel utile, qui prolonge directement le débat lancé par Cynthia Rudin sur la fidélité des explications post-hoc.

Un raisonnement affiché par un modèle de langage, aussi détaillé et cohérent soit-il, reste un texte généré — pas automatiquement une transcription fidèle de ce qui s'est réellement passé dans le calcul.

Le cadre réglementaire : du RGPD à l'AI Act

L'explicabilité n'est plus seulement une préoccupation technique ou éthique : elle est devenue, en Europe, une exigence juridique dont la portée se précise au fil des textes.

Le RGPD et le « droit à l'explication »

Le Règlement général sur la protection des données, entré en application en 2018, encadre à son article 22 les décisions fondées exclusivement sur un traitement automatisé — y compris le profilage — qui produisent des effets juridiques ou affectent significativement une personne. Le texte accorde à la personne concernée le droit de ne pas être soumise à une telle décision dans certaines conditions, ainsi que le droit d'obtenir une intervention humaine, d'exprimer son point de vue et de contester la décision.

L'expression « droit à l'explication », largement popularisée dans les débats publics, ne figure pas telle quelle à l'article 22 lui-même : elle se déduit plutôt de la combinaison de plusieurs articles du règlement (13 à 15), qui imposent aux responsables de traitement de fournir des « informations utiles concernant la logique sous-jacente » à la décision automatisée. Les juristes s'accordent aujourd'hui à décrire cette obligation plus précisément comme un droit à une information significative sur la logique du système, plutôt qu'un droit à une explication technique exhaustive de son fonctionnement interne — une nuance importante, mais qui n'enlève rien à l'exigence de fond : une personne affectée par une décision automatisée doit pouvoir en comprendre les grandes lignes.

L'AI Act et les systèmes à haut risque

Le règlement européen sur l'intelligence artificielle, entré en vigueur en 2024, va plus loin pour une catégorie précise de systèmes : ceux classés « à haut risque » — recrutement, notation de crédit, systèmes éducatifs, dispositifs médicaux fondés sur l'IA, entre autres. Son article 13 impose que ces systèmes soient conçus et développés de manière à garantir un niveau de transparence suffisant pour permettre aux utilisateurs professionnels d'interpréter les sorties du système et de les utiliser de façon appropriée.

Concrètement, cela se traduit par des obligations de documentation détaillée — objectif du système, indicateurs de performance, limites connues, instructions d'utilisation claires — et par une exigence de traçabilité qui permet, en cas de dommage, de reconstituer les facteurs ayant conduit à une décision donnée. La majorité des dispositions relatives aux systèmes à haut risque devaient initialement entrer en application le 2 août 2026, mais le Conseil et le Parlement européens ont acté au printemps 2026, dans le cadre du paquet de simplification dit « omnibus », un report de ce calendrier : le règlement « omnibus » sur l'IA, adopté en 2026, fixe l'échéance au 2 décembre 2027 pour les systèmes autonomes de l'annexe III, et au 2 août 2028 pour l'IA intégrée à des produits déjà réglementés (annexe I). Ce délai supplémentaire donne aux organisations concernées plus de temps pour adapter leurs systèmes existants, mais la direction est fixée sans ambiguïté : l'opacité totale ne sera plus une option légale pour les usages les plus sensibles de l'IA en Europe.

Cette convergence entre RGPD et AI Act dessine un principe cohérent, que l'on retrouve d'ailleurs dans d'autres juridictions sous des formes voisines (les obligations de « notification de refus » dans le crédit à la consommation américain, par exemple, imposent depuis longtemps de motiver un refus de prêt) : plus une décision automatisée pèse lourd dans la vie d'une personne, plus l'obligation d'explication qui l'accompagne doit être substantielle.

Ce que l'explicabilité ne résout pas (encore)

Il serait malhonnête de présenter l'IA explicable comme un problème résolu. Le champ progresse vite, mais plusieurs limites structurelles méritent d'être posées clairement, dans l'esprit de rigueur qui doit accompagner toute technologie encore jeune.

D'abord, la question de la fidélité revient comme un fil rouge : une explication post-hoc, qu'elle vienne de LIME, de SHAP ou d'une chaîne de raisonnement générée par un LLM, est une approximation du comportement du modèle, pas une lecture directe de son mécanisme interne. Deux méthodes d'explication appliquées au même modèle et au même exemple peuvent produire des résultats sensiblement différents — un phénomène documenté sous le nom de « désaccord entre explicateurs », qui interroge la robustesse de ces outils quand ils sont utilisés seuls, sans esprit critique.

Ensuite, il existe un risque de théâtre de la conformité : produire une explication pour satisfaire une obligation réglementaire, sans que cette explication n'améliore réellement la compréhension ni ne permette de corriger une erreur du système. Une carte de saillance esthétiquement convaincante mais non vérifiée par un expert du domaine, ou un résumé de « facteurs d'influence » généré automatiquement sans contrôle de cohérence, peuvent donner une fausse impression de transparence — c'est précisément le risque que dénonçait Cynthia Rudin en 2019, et qui reste d'actualité.

Enfin, il y a un vrai défi d'ergonomie cognitive, identifié dès le programme de la DARPA : une explication techniquement correcte n'est utile que si son destinataire — souvent un professionnel non spécialiste du machine learning, parfois une personne sans formation technique du tout — peut réellement s'en servir pour prendre une meilleure décision ou contester la décision du système. Traduire une valeur SHAP en une phrase compréhensible pour un client de banque, ou une carte de saillance en un jugement clinique fiable pour un radiologue, reste un travail de conception d'interface à part entière, distinct du travail purement algorithmique.

Ce que cela change pour qui déploie ou utilise l'IA

Au-delà de la théorie, ces éléments se traduisent en recommandations concrètes pour quiconque conçoit, déploie ou évalue un système d'IA dans un contexte à enjeux.

Pour les décisions à impact fort et répétitif — scoring de crédit à grande échelle, tri automatisé de candidatures — privilégier, quand la performance le permet, des modèles nativement interprétables plutôt que des boîtes noires accompagnées d'explications post-hoc. C'est la recommandation centrale du courant porté par Cynthia Rudin, et elle reste pertinente chaque fois que l'écart de performance avec un modèle complexe est faible.

Pour les systèmes déjà en production sur des modèles complexes, combiner plusieurs méthodes d'explication plutôt que de se fier à une seule : croiser une explication SHAP avec une vérification humaine ciblée, ou une carte Grad-CAM avec l'avis d'un expert du domaine, réduit le risque de sur-confiance dans une explication isolée et potentiellement trompeuse.

Pour les équipes produit et conformité, ne pas confondre documentation technique et explication utile. Un rapport de 40 pages sur l'architecture d'un modèle ne satisfait ni l'esprit du RGPD ni celui de l'AI Act si la personne concernée par une décision individuelle ne peut pas, à partir de ce document, comprendre les facteurs qui l'ont affectée. L'explication doit être calibrée pour son destinataire final, pas pour un auditeur technique.

Pour les utilisateurs de systèmes conversationnels avancés, garder à l'esprit que le raisonnement affiché par un modèle — aussi détaillé et convaincant soit-il — n'est pas une garantie de transparence totale sur son fonctionnement interne. C'est un indice utile, pas une preuve.

Une discipline mature, un chantier permanent

L'IA explicable n'est plus un champ de recherche naissant : dix ans après le lancement du programme de la DARPA, elle dispose d'un arsenal de méthodes éprouvées — LIME et SHAP pour les données tabulaires, Grad-CAM et ses variantes pour la vision par ordinateur, les explications contrefactuelles pour les décisions individuelles actionnables — et d'un cadre réglementaire de plus en plus précis en Europe, entre RGPD et AI Act. Ces outils ont déjà changé des pratiques concrètes : un radiologue peut vérifier qu'un modèle regarde la bonne lésion, un candidat à un crédit peut savoir quel changement améliorerait son dossier, un auditeur peut documenter la logique d'un système avant sa mise en production.

Mais la discipline reste, par construction, un chantier permanent plutôt qu'un problème clos. La distinction entre modèles nativement interprétables et boîtes noires expliquées après coup structure toujours le débat scientifique. La question de la fidélité — une explication reflète-t-elle vraiment ce qui s'est passé dans le modèle, ou raconte-t-elle une histoire plausible ? — traverse aussi bien les méthodes classiques comme LIME que les chaînes de raisonnement des modèles de langage les plus récents. Et la meilleure explication technique du monde ne sert à rien si elle n'est pas conçue pour son destinataire réel.

La bonne posture, pour qui travaille avec l'IA aujourd'hui, n'est donc ni la méfiance systématique envers les systèmes complexes, ni la confiance aveugle dans une explication produite automatiquement. C'est une évaluation au cas par cas : quel est l'enjeu de la décision, quelle méthode d'explication est disponible et adaptée, et surtout, cette explication permet-elle réellement à la personne concernée de comprendre, de vérifier ou de contester ce qui a été décidé pour elle. Ouvrir la boîte noire n'est jamais un geste unique et définitif — c'est une pratique à entretenir, décision après décision.

Sources

Cet article s'appuie sur des sources techniques, académiques et réglementaires publiques et vérifiables :

• Ribeiro, M. T., Singh, S., Guestrin, C., « "Why Should I Trust You?": Explaining the Predictions of Any Classifier » (LIME) — arXiv 1602.04938.
• Lundberg, S. M., Lee, S.-I., « A Unified Approach to Interpreting Model Predictions » (SHAP) — arXiv 1705.07874.
• Selvaraju, R. R. et al., « Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization » — arXiv 1610.02391.
• Gunning, D. et al., « DARPA's explainable AI (XAI) program: A retrospective » — Applied AI Letters, Wiley.
• Jain, S., Wallace, B. C., « Attention is not Explanation » — arXiv 1902.10186.
• Wachter, S., Mittelstadt, B., Russell, C., « Counterfactual Explanations Without Opening the Black Box » — arXiv 1711.00399, Harvard Journal of Law & Technology.
• Rudin, C., « Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead » — arXiv 1811.10154, Nature Machine Intelligence.
• ProPublica, « How We Analyzed the COMPAS Recidivism Algorithm » — propublica.org.
• Information Commissioner's Office (UK), « Rights related to automated decision making including profiling » — ico.org.uk.
• Artificial Intelligence Act, « Article 13: Transparency and Provision of Information to Deployers » — artificialintelligenceact.eu.
• Anthropic, « Reasoning models don't always say what they think » — anthropic.com.
• Conseil de l'Union européenne, « Artificial Intelligence: Council and Parliament agree to simplify and streamline rules » (report des obligations « haut risque » de l'AI Act au 2 décembre 2027) — consilium.europa.eu.