Pourquoi la « boîte noire » est un problème pour les décisions à enjeu élevé

Une IA qui recommande un candidat sans qu'on puisse dire pourquoi n'est pas seulement difficile à faire confiance : c'est, selon une partie de la recherche en apprentissage automatique, un choix de conception à éviter dès qu'une décision affecte réellement une personne.

Deux démarches qu'on confond souvent

Cynthia Rudin, chercheuse en machine learning, a publié dans Nature Machine Intelligence un article de synthèse largement discuté dans le champ de l'IA responsable (Rudin, 2019, Nature Machine Intelligence, 1(5), 206-215). Sa thèse centrale : pour les décisions à enjeu élevé — elle cite notamment la santé et la justice pénale comme domaines où ce problème s'est déjà posé concrètement — il vaut mieux construire dès le départ des modèles nativement interprétables, plutôt que de développer des modèles « boîte noire » et de leur ajouter, après coup, une couche d'explication approximative.

Elle distingue à ce titre deux démarches qu'on confond souvent : expliquer une boîte noire, c'est-à-dire produire une justification a posteriori qui peut elle-même être incomplète ou trompeuse, et construire un modèle interprétable par nature, où la logique de la décision est directement lisible. Pour les usages à fort enjeu pour les personnes concernées, elle plaide pour la seconde approche.

Le recrutement est une décision « à enjeu élevé »

Une décision de recrutement — être retenu ou écarté d'un processus — a un impact direct et significatif sur la vie d'une personne. Elle relève, à ce titre, précisément du type de décision que Rudin qualifie de « à enjeu élevé ». Un système qui trie ou classe des candidatures sans que le recruteur puisse retracer les critères ayant conduit à un classement donné pose donc un problème qui dépasse la seule commodité d'usage : il fragilise la capacité du recruteur à assumer, expliquer et au besoin corriger la décision finale.

Une différence de conception, pas seulement de discours

Concevoir un système de présélection en gardant cette exigence à l'esprit suppose que chaque étape du classement puisse être reliée à des critères identifiables et consultables par le recruteur — et non reconstituée après coup pour rassurer l'utilisateur. C'est une différence de conception, pas seulement de discours : l'explicabilité doit être une propriété du système, pas une justification ajoutée en aval d'une décision déjà prise.

La position de Clarentia

Chez Clarentia, chaque classement de candidat produit par nos agents IA reste relié à des critères identifiables que le recruteur peut consulter et remettre en question — l'explicabilité est pensée comme une propriété du système dès sa conception, pas comme une justification ajoutée après coup.

Source citée

Rudin, C. (2019). Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nature Machine Intelligence, 1(5), 206-215.