Hello world!

Cette opacité a des conséquences très concrètes. D’abord, elle peut engendrer une perte de confiance chez ceux qui dépendent de la décision. Imaginez un patient à qui l’on annonce : « L’IA a détecté un risque élevé de rechute de votre maladie. » Si ni le médecin ni le système ne peuvent expliquer quels signaux ont conduit à cette alerte, le patient est en droit de s’inquiéter : sur quoi se fonde-t-on pour lui prédire cela ? De même, si un candidat apprend que son CV a été écarté par un algorithme de recrutement sans qu’aucune raison ne lui soit fournie, il ressent une frustration légitime : la machine sait quelque chose sur lui qu’elle ne dévoile pas. Dans tous ces cas, il y a un déséquilibre de connaissance : la machine « sait » (ou du moins décide), et l’humain subit sans comprendre.

Un autre exemple frappant a été celui d’une carte de crédit gérée par algorithme, où des couples ont constaté que l’épouse recevait une limite de crédit bien inférieure à celle de son mari pourtant au profil financier similaire ; incapables d’obtenir une explication claire de la part de l’entreprise sur ce dysfonctionnement, ils se sont heurtés à la boîte noire du système de scoring. Là encore, un soupçon s’installe : l’algorithme contiendrait-il un biais sexiste ? Impossible de le savoir immédiatement faute de transparence.

Ensuite, l’opacité complique la correction des erreurs et des biais. Si un système d’IA se trompe, comment identifier l’étape fautive ou le paramètre problématique dans des milliers de couches neuronales ? Par exemple, on a découvert que certains systèmes de reconnaissance d’images confondaient des brouilleurs d’images avec des objets réels, ou que des algorithmes de crédit étaient biaisés contre certaines minorités (par exemple un système prédictif judiciaire qui surévaluait le risque de récidive des personnes issues de minorités) – mais comprendre pourquoi ils commettaient ces erreurs a nécessité de longues enquêtes techniques. La célèbre controverse autour d’un algorithme de justice prédictive aux États-Unis (qui attribuait des risques de récidive plus élevés aux prévenus afro-américains) illustre comment l’opacité a pu cacher un biais majeur jusqu’à ce qu’une analyse externe le mette en lumière. Sans accès à la logique interne, on navigue à l’aveugle pour améliorer le système. En somme, la boîte noire nous place devant une décision efficace mais inexplicable : nous devons soit lui faire confiance aveuglément, soit renoncer à en saisir les rouages.

Enfin, l’opacité soulève un problème de responsabilité. Si une erreur grave survient (diagnostic erroné, accident provoqué par un véhicule autonome, décision injuste en justice prédictive), qui blâmer ? L’algorithme, qui n’est qu’un outil ? Le programmeur, qui ne comprend pas pleinement le comportement de son propre système ? Ou l’utilisateur, qui est pourtant placé devant un fait accompli inexplicable ? Sans transparence, la responsabilité se dilue, et il devient ardu d’apprendre des erreurs pour éviter qu’elles ne se reproduisent. Là où un raisonnement humain fautif peut être analysé et corrigé, une boîte noire fautive reste mystérieuse, ce qui complique la redevabilité des technologies.