L’intelligence artificielle, ses biais et les nôtres

Pourquoi la machine réveille nos démons

Rémy Demichelis

© Éditions du Faubourg, 2024 Le Code de la propriété intellectuelle interdit les copies ou reproductions destinées à une utilisation collective. Toute représentation ou reproduction intégrale ou partielle faite par quelque procédé que ce soit, sans le consentement de l’éditeur, est illicite.

L’intelligence artificielle, ses biais et les nôtres

Pourquoi la machine réveille nos démons

Rémy Demichelis

La bibliographie complète de cet ouvrage est disponible via le QR code ci-dessous :

« So, it was just about numbers for you ? »

Lacie, Black Mirror, saison 3, épisode 1

Introduction

Introduction

Incompréhension, colère, désarroi. Lacie voulait prendre l’avion pour être présente au mariage de son amie richissime et très populaire qu’elle n’avait pas vue depuis des lustres, une « 4,6 ». Mais la jeune femme apprend à l’aéroport que son vol est annulé. L’hôtesse lui annonce qu’il reste une place sur un autre départ. Cependant Lacie vient de passer bêtement sous la barre fatidique des 4,2 étoiles, le seuil plancher pour bénéficier du siège sur ce vol. Elle est maintenant à 4,183… Impossible de déroger à la règle : Lacie ne pourra pas être à temps au mariage de son amie. « Appelez votre putain de responsable ! » lâche-t-elle, excédée. Un agent de sécurité intervient, la sanction tombe sur-le-champ : sa mauvaise conduite lui fait perdre un point pendant vingt-quatre heures, et chaque évaluation négative qu’elle recevra comptera double. Puis le vigile dit à Lacie, avec un grand sourire : « Veuillez sortir de l’aéroport immédiatement. »

Cette scène de l’épisode « Chute libre¹ » (« Nosedive ») de la série Black Mirror est devenue paradigmatique de notre ère connectée, un topos de la critique des technologies. La note dont il est question dans cette fiction est un « crédit social » : tout le monde peut attribuer jusqu’à cinq étoiles à chaque personne qu’il ou elle rencontre afin d’évaluer la qualité des interactions. Les appréciations sur les réseaux sociaux sont aussi prises en compte. On n’en saura pas beaucoup plus sur son fonctionnement, mais l’idée est suffisamment intuitive à notre époque pour qu’elle se passe d’explications – plusieurs régions chinoises utilisent déjà différents systèmes de crédits sociaux similaires².

« Chute libre » ne présente pas l’usage de l’intelligence artificielle (IA, ou AI en anglais) de façon classique, avec des robots humanoïdes ou des ordinateurs sarcastiques (comme C-3PO dans Star Wars ou Bender dans Futurama). À l’aéroport, une personne bien humaine applique la règle. Pourtant, elle incarne ce qu’est un algorithme : si le voyageur possède une note supérieure à 4,2, alors il peut avoir un siège dans l’avion. Sinon, il n’en aura pas. Et au suivant ! Nous comprenons ceci : que la formule soit exprimée en langage mathématique, informatique, ou en langage naturel, c’est-à-dire celui de tous les jours, ne change rien. Un algorithme est un modèle qui permet de prendre une information en entrée et d’en fournir une autre en sortie. Le flux d’informations dans « Chute libre » est représenté par la file de passager·es au guichet. L’algorithme est personnifié par l’hôtesse qui exécute les règles d’enregistrement. Et c’est ce qui nous trouble le plus, ce caractère mécanique et inébranlable dans l’application des règles, comme un automate. Les opérations sont organisées en chaîne avant d’arriver à un résultat.

Telle était vaguement l’idée exposée par le savant persan dont le patronyme a donné le terme « algorithme »³ : Muhammad Ibn Musa al-Khwarizmi⁴. Il ne formalisa toutefois pas la notion, et il fallut attendre plusieurs siècles avant qu’elle le soit, avec le mathématicien britannique Alan Turing. Celui-là même qui déchiffra la machine Enigma ayant servi aux nazis à envoyer des messages codés durant la Seconde Guerre mondiale, et dont l’histoire a marqué d’innombrables esprits grâce au film Imitation Game⁵. Turing est l’auteur d’un article paru en 1937 qui fit date pour la définition qu’il donne de la notion d’algorithme, ou plutôt de « machine calculante » : « Le comportement d’un ordinateur à chaque moment est déterminé par les symboles qu’il observe et son “état d’esprit” à ce moment⁶. »

Le vocable « état d’esprit » désigne ici la règle à laquelle l’algorithme doit faire appel en fonction de l’information entrante : pour l’hôtesse de Black Mirror, il s’agit d’accepter ou de refuser un voyageur, de l’orienter vers la porte B ou la porte C, d’inviter la cliente à changer de ton, d’appeler la sécurité, etc.

Pendant longtemps, l’intelligence artificielle a été dominée par des algorithmes aux règles explicites, dont l’implication logique est la forme paradigmatique : « Si…, alors… » Elle trouve son incarnation électronique avec le thermostat : « S’il fait moins de 19 °C, alors allumer le chauffage. » Cette méthode fut durablement privilégiée par les informaticien·nes et est parfois désignée sous les termes d’« approche cognitiviste » ou d’« IA symbolique ». Elle consiste à créer un ensemble de règles censées reproduire des facultés cognitives humaines. Elle s’est déployée grâce aux « systèmes experts » avec lesquels des spécialistes humains écrivaient une à une les règles, et elle trouva des applications en médecine ou dans la justice⁷. Les défenseurs de l’IA symbolique considéraient qu’il n’était « pas nécessaire de construire des logiciels qui imitent le cerveau », mais que « l’intelligence en général pouvait être entièrement capturée par le bon type de programme symbolique⁸ ».

Quelques avancées fondamentales ont toutefois permis de développer des réseaux dits de neurones artificiels. Ceux-ci reproduisent grossièrement les cellules de notre cerveau et sont aujourd’hui organisés en couches successives (ou profondes). Nous parlons dans ce cas d’apprentissage « profond ». Au cours des années 1980-1990, les neurones artificiels ont trouvé des applications commerciales pour la lecture automatique de chiffres manuscrits⁹, sur des enveloppes dans les centres de tri postal ou sur les chèques (reconnaissance optique de caractères). Ces systèmes fonctionnent en ajustant automatiquement leurs paramètres selon les informations en entrée, le but étant de bien s’entraîner pour arriver au meilleur paramétrage possible.

Toutefois, les réseaux de neurones artificiels ont un problème : il n’est pas possible de comprendre comment ils arrivent à leurs résultats. Par exemple¹⁰, dans un système de lecture optique de lettres, que signifie le chiffre 42 au neurone 6938 ? Cela ne parle à personne. Ou peut-être à quelques geeks, car il y a une petite anecdote derrière le chiffre 42 qui permet de comprendre pourquoi on ne comprend pas. Dans le film H2G2 : le Guide du voyageur galactique, tiré de l’imagination de l’écrivain britannique Douglas Adam, une population d’êtres très intelligents construisent un ordinateur surpuissant afin de trancher la question du sens de la vie par un savant calcul¹¹. Deux jeunes représentants demandent à l’immense machine « la réponse à la vie, à l’univers et à tout le reste ». Mais l’ordinateur explique alors qu’il va devoir réfléchir pendant sept millions et demi d’années… Sept millions et demi d’années plus tard, la population se réunit en grande pompe pour écouter la réponse à la vie, à l’univers et à tout le reste. Alors, l’ordinateur déclare : « La réponse à la grande question de la vie, de l’univers et de tout le reste est… 42. » Bien évidemment, cette réponse ne plaît pas du tout à l’auditoire qui se dévisage, interloqué. Elle ne nous satisfait pas non plus lorsque nous ouvrons le capot d’un réseau de neurones artificiels, car nous savons que cela ne signifie rien. À quoi renvoie 42 ? Qu’est-ce que cela veut dire ? La population du film H2G2 interroge l’ordinateur, qui n’apporte pas plus d’informations, si ce n’est que la question a été mal posée.

Dans un système d’IA de lecture optique, le chiffre 42 ne correspond pas à un code couleur, à une nuance de gris, mais au résultat d’une opération effectuée sur le code couleur (ce qu’on appelle l’input, soit une entrée de données dans un système informatique) pour que la machine puisse l’assembler avec les résultats des autres neurones et en tirer le nom d’une lettre ou d’un chiffre. L’IA symbolique, au contraire, porte bien son nom, car elle manipule des symboles, parfois écrits en toutes lettres et qui sont identifiés à des concepts. Même si une couleur n’est pas appelée « red », mais désignée par #FF0000, ce code peut être remplacé par le terme « rouge » en langage naturel, sans aucune ambiguïté. Un système opaque tel qu’un réseau de neurones formels est ainsi appelé « boîte noire », car son explication n’est pas simple, voire impossible, et ce n’est pas une question de complexité des calculs (qui peuvent être très simples). Parfois, un infime changement dans les informations en entrée suffit à modifier totalement la réponse en sortie et donne une erreur flagrante. Ce problème du manque d’interprétabilité n’a pas été fondamentalement résolu. Même si quelques techniques ont été développées pour servir de béquilles à notre compréhension, elles reposent sur des estimations. Quoi qu’il en soit, cela n’a pas freiné la recherche. Au contraire, les réseaux de neurones artificiels sont devenus si performants à partir de 2012 qu’ils dominent maintenant le débat académique et médiatique¹².

Mais avant de connaître l’explosion à laquelle nous avons assisté, les IA dites « connexionnistes » devaient encore résoudre un problème de taille, littéralement : c'était la quantité de données nécessaires à l’apprentissage. Les réseaux de neurones ont besoin de très nombreux exemples dans la phase d’entraînement pour inférer automatiquement la meilleure manière d’ajuster leurs paramètres. L’arrivée d’Internet, et particulièrement du Web 2.0 au cours des années 2000, a permis d’accumuler de grandes masses de données, le big data (les « mégadonnées », en français). Il serait hasardeux de tenter une définition quantitative de cette notion, car il n’y a pas de seuil strict. Il s’agit d’une quantité de données si importante que leur lecture est impossible pour un humain.

Que l’on parle d’IA symbolique ou connexionniste, on dit souvent que la machine « digère » l’information, au même sens que nous l’entendons pour les êtres vivants : une chose en entrée, une en sortie, une entité au milieu pour procéder à la digestion. La définition d’un algorithme est tellement simple qu’on a vite fait de l’assimiler à un être humain. Ce n’est pas un hasard. L’objectif de Turing dans son article était bien de concevoir une machine capable d’effectuer « toutes les opérations incluses dans celles utilisées pour le calcul d’un nombre », qu’elles soient réalisées par un humain ou par une machine. Cela relève de l’anthropomorphisme. La machine a néanmoins la réputation d’être fiable, fonctionnelle en permanence, là où le prétendu « animal rationnel » est d’humeur inégale, subit ses émotions, des tendances parfois inconscientes. Cette opposition est toutefois largement remise en cause par des contre-preuves empiriques : la machine souffre elle aussi de biais, voire de préjugés.

J’ai commencé à m’intéresser sérieusement à l’intelligence artificielle en 2018, quand j’ai eu la chance de décrocher un contrat pour couvrir le secteur au quotidien Les Échos en tant que journaliste spécialisé. Je n’avais de « spécialisé » que le titre, car mon ignorance était encore grande sur le sujet qui englobe les algorithmes informatiques et plus particulièrement aujourd’hui l’apprentissage automatique. J’arrivais dans la rédaction avec l’idée que je m’apprêtais à couvrir un sujet politiquement neutre et passionnant. L’avenir allait me donner tort et raison. La discipline commençait alors à s’agiter après la publication d’ouvrages critiques envers les usages de la technologie, tels que Weapons of Math Destruction de Cathy O’Neil¹³. La limpidité de l’écriture et les talents de vulgarisation de l’auteure laissaient comprendre que toute formule mathématique peut s’exprimer dans la langue du quotidien, qu’il s’agisse de classer les universités ou de calculer le risque d’insolvabilité, voire les probabilités de récidive de détenus. Elle prenait une position forte et éloignée de ce que vendaient encore les grands acteurs des nouvelles technologies : « Les modèles, malgré leur réputation d’impartialité, sont le reflet d’une idéologie et d’objectifs bien précis¹⁴ », écrivait-elle. Le cœur de son propos consistait à dire que, du fait des biais constitués par les orientations politiques prises au fil de l’histoire, les algorithmes peuvent reproduire et renforcer les préjugés présents dans nos sociétés sans que nous y prenions garde. Rétrospectivement, la lecture de Weapons of Math Destruction semble avoir éveillé toute une génération¹⁵.

Peu de temps après, et comme le craignait déjà O’Neil, j’ai appris qu’un outil de justice prédictive utilisé aux États-Unis, baptisé Compas et censé estimer le risque de récidive de certains prévenus, intégrait un biais contre les personnes noires. Celles-ci étaient plus sévèrement jugées que les personnes blanches qui, elles, s’en sortaient bien mieux, même celles qui finissaient effectivement par commettre un nouveau délit. Cette information a été révélée par le média en ligne ProPublica en 2016 et a donné lieu à une controverse entre l’entreprise et les journalistes, tandis que plusieurs chercheur·es se sont aussitôt emparé·es du sujet. Le logiciel ne demandait à aucun moment leur couleur de peau aux individus, mais parvenait à reconstruire des profils sociologiques en croisant les données, en l’occurrence des réponses à un questionnaire. Prenons la question suivante : « Un de vos parents est-il déjà allé en prison ? » Si une réponse affirmative constitue un facteur aggravant, alors on comprend que, comme les personnes noires sont en proportion plus susceptibles d’être dans cette situation aux États-Unis, elles encourent une note plus sévère. Il devenait donc évident, au fil des discussions, que la seule manière de corriger ce biais aurait été d’introduire un autre biais, un « contre-biais », en incluant la couleur de peau dans les calculs. Ce qui aurait été un cas de discrimination avérée à l’encontre… des personnes blanches. Conclusion : dans tous les cas, un biais aurait fini par apparaître et c’est bien ce que commençaient à souligner une poignée d’informaticien·nes.

Beaucoup ont fini par se rendre à l’évidence que ni les êtres humains ni les machines n’échappent aux biais, même si nous ne comprenons pas toujours pourquoi cela relève d’une condition de possibilité de la connaissance. La problématique à laquelle il faut répondre aujourd’hui est donc celle de la nécessité : pourquoi des outils en apparence neutres manifestent-ils nécessairement des biais ? Plus encore : à partir de quand deviennent-ils mauvais ? Les sciences de l’informatique se heurtent à des enjeux éthiques qu’elles n’avaient pas l’habitude d’affronter. Charge à nous de comprendre la mécanique à l’œuvre. Mais déjà, qu’entend-on par « éthique » ?

L’éthique est une branche de la philosophie qui cherche à connaître la justice et/ou la vie bonne. On la distingue en général de la morale, mais la nuance tend à disparaître aujourd’hui. Pour la tradition, l’éthique est plus attachée à la recherche et à la définition de principes ou de valeurs, dans l’attente explicite ou implicite d’une justice ou d’une vie bonne. Elle sous-entend donc qu’une discussion rationnelle met en place le processus définitionnel. La morale, quant à elle, s’attache davantage aux devoirs d’une façon plus dogmatique, dans le sens où certains principes moraux peuvent se passer de justification rationnelle. La morale suggère spontanément une « morale religieuse », des Tables de la loi (« Tu ne déroberas point »). Le terme d’éthique évoque, dans notre tradition philosophique issue de la Grèce antique, Aristote et son ouvrage L’Éthique à Nicomaque¹⁶, une œuvre où l’attitude de l’homme¹⁷ demande une capacité d’adaptation à certaines situations, selon des vertus qu’il faut nommer et définir (prudence, tempérance, etc.).

Cependant, les deux termes se rapportent à la communauté et à ses habitudes. Éthique vient du grec êthos qui désigne la « coutume » ou l’« usage » et semble se distinguer de phusis, la « nature ». Le terme de morale, quant à lui, vient du latin moralis, c’est-à-dire « relatif aux mœurs ». Mores renvoie lui-même à mos, qui compte parmi ses acceptions « désir », « volonté », « caractère », mais aussi et surtout « usage » et « coutume ». Autrement dit, d’un point de vue étymologique, l’éthique et la morale se confondent en ce qu’elles traduisent toutes deux ce qui se fait dans la communauté. La morale serait pourtant plus « naturelle » – dans la nature des choses. Cela va dans le sens des nuances que nous avons déjà énoncées, mais il est de plus en plus rare de distinguer les deux termes. D’autant que la philosophie s’attache fondamentalement au discours, au dialogue, à la raison, bref au logos. Elle est donc forcément amenée à ne pas se laisser convaincre trop rapidement par des préceptes moraux sous prétexte de leur naturalité. Cet aspect discursif et la référence (constatée dans les deux termes) à la « communauté » doivent nous amener également à penser l’éthique comme politique : elle prête à débat sur la place publique. Il ne s’agit pas à proprement parler de philosophie politique, toutefois, car l’éthique ne s’attache pas à la définition d’une Constitution ou des institutions qui doivent régler la vie en société.

Il est d’usage aujourd’hui de distinguer trois tendances au sein de l’éthique et, s’il faut choisir, nous nous réclamons de celle dite « des vertus ». Celle-ci repose, comme son nom l’indique, sur des vertus, qu’elles soient discutées et présentées pour elles-mêmes (comme les vertus aristotéliciennes) ou qu’elles relèvent de valeurs manifestées par des personnes exemplaires – des personnes de grande(s) valeur(s). La systématisation n’est pas sa préoccupation principale, mais davantage la capacité de répondre avec justesse à chaque situation. L’éthique des vertus s’oppose à l’éthique déontologique (sans lien avec le monde professionnel), qui s’attache à des principes moraux desquels il n’est pas acceptable de déroger. Pour cette dernière, il s’agit d’aboutir à la théorie la plus satisfaisante possible, quelle que soit la situation. L’abstraction y est donc beaucoup plus présente. Enfin, le conséquentialisme est la troisième grande école de pensée. Selon lui, les actions morales doivent être guidées par l’évaluation de leurs conséquences. L’exemple paradigmatique est l’utilitarisme, qui recherche le plus grand bonheur pour le plus grand nombre, au détriment, s’il le faut, de quelques-uns. Ces trois théories sont loin d’être aussi caricaturales, et leur mise en opposition n’est pas toujours évidente.

L’éthique possède plusieurs branches applicatives, parmi lesquelles l’éthique des technologies, d’où jaillissent encore d’autres bourgeons, dont celui qui nous intéresse particulièrement pour notre enquête : l’éthique de l’IA. On parle parfois plus généralement d’éthique de l’informatique (en anglais, computing ethics) en tant qu’« ensemble de principes, de standards et de processus cherchant à prévenir les préjudices dans le développement, l’implémentation et les conséquences des technologies de l’informatique¹⁸ ».

Cette définition donne clairement à l’éthique de l’informatique une orientation morale, axée sur des « principes ». Elle omet au demeurant de souligner le caractère discursif de cette discipline, certainement car il est sous-entendu qu’elle doit s’inscrire dans les sciences modernes, donc dans un débat purement rationnel, c’est-à-dire désidéologisé. Si l’éthique de l’informatique est bien ce que nous visons dans notre travail, nous adopterons toutefois la notion d’éthique de l’IA, qui caractérise mieux les enjeux que nous voulons souligner, sans différencier le descriptif et le prescriptif. Car l’éthique de l’IA désigne également un mouvement dont le centre de gravité rassemble aujourd’hui des auteur·es à la jonction du féminisme, de la sociologie et des Black studies¹⁹. L’éthique de l’IA se concentre sur une critique des technologies principalement en ce qu’elles portent atteinte à certaines catégories de la population historiquement lésées, en particulier les femmes et les individus dits racisés, souvent dans une perspective intersectionnelle²⁰. L’histoire, notamment celle du patriarcat ou du colonialisme, représente un aspect essentiel de la compréhension des mécaniques à l’œuvre dans certaines technologies. Car les systèmes d’IA reproduisent ou accentuent trop souvent des préjugés inhérents à nos sociétés en court-circuitant les barrières que nous avions établies ou en révélant celles qui nous manquent. Un des aspects de notre propos est que cette éthique parachève ce que nous nommons « le tournant interprétatif de l’IA²¹ ».

L’idée que nous sommes marqués par notre histoire et qu’elle transparaît en permanence, parfois malgré nous, avait déjà été exprimée au xxe siècle par le penseur allemand Hans-Georg Gadamer dans un tout autre contexte que celui des nouvelles technologies, celui de la philosophie et spécifiquement celle qui s’intéresse à l’interprétation. Gadamer ne parlait alors pas de biais, mais de « préjugés » et disait qu’on ne peut pas y échapper parce qu’ils sont nécessaires à la connaissance. De la sorte, il reconsidère le terme de préjugé et lui en retire l’écorce du préjudice qu’il instille dans les esprits à chaque fois qu’il est employé. Le préjugé n’est jamais qu’un « jugement porté avant l’examen définitif²² ». Or, nous sommes en permanence amenés à porter de tels jugements, ou plus précisément à les présupposer. Nous anticipons tout le temps le comportement des objets ou des personnes qui évoluent dans notre environnement. Cela non seulement en fonction de ce que nous savons individuellement d’eux, mais aussi selon le contexte et nos attentes implicites, influencées par notre tradition, notre histoire. L’histoire est même l’assise qui alimente nos préjugés et qui participe in fine à notre conception du monde, sans laquelle nous ne parviendrions pas à avancer ni même à produire un jugement, conscient ou non. Cela ne veut pas dire, selon nous, que tout aspect de la tradition est justifié ou justifiable, mais qu’il faut être attentif à son poids. Cette prise de conscience est d’autant plus importante qu’elle est la première des conditions pour ne pas subir nos préjugés et être de meilleures personnes. L’acte d’interprétation invoque la tradition et nous permet ainsi de mettre l’accent là où les usages nous avaient habitués à détourner le regard. La tradition est alors susceptible de réveiller ce qu’elle avait oublié et de trouver le chemin d’un horizon nouveau, ou plutôt perdu.

L’approche de Gadamer n’expulse pas l’expérience ni l’expérimentation scientifique du champ de la connaissance, mais elle instaure que l’une et l’autre ne sauraient être pensées, et donc connues, sans les concepts hérités de la tradition. Cette dernière offre les ressources pour interpréter le vécu. Mais ce vécu lui-même n’est jamais entièrement nu, il nous est toujours donné vêtu des habits que lui prêtent nos coutumes.

Pour comprendre à quelles conditions les biais sont mauvais, le philosophe états-unien contemporain Michael Walzer nous paraît être une ressource essentielle. Même s’il ne s’intéresse pas à cette notion et encore moins à l’IA, Walzer développe une théorie des sphères de justice très pertinente pour penser les nouvelles technologies. Pour lui, notre société est organisée en différentes sphères de justice (argent, éducation, famille, loisirs, religion, etc.), selon les interprétations collectives que nous donnons à chacune d’elles. Le philosophe explique que des problèmes surgissent lorsqu’une sphère prend trop de place sur une autre et devient ainsi tyrannique en essayant d’y imposer ses règles – nous disons plus modérément qu’une situation d’injustice apparaît. Or, le travail de l’IA est justement de mettre en relation des sphères autrefois séparées. Les systèmes de scoring visant à attribuer un crédit, par exemple, ou les logiciels de ressources humaines fonctionnent au risque de reproduire des biais, de retrouver des règles écrites ou non qui nous paraissent choquantes ou condamnables, comme écarter les femmes d’un recrutement parce qu’elles pratiquent l’équitation et non le foot. Dans ce cas, on assiste à un empiètement de la sphère des loisirs sur la sphère professionnelle qui s’appuie sur (et reproduit un) biais sexiste en matière de sélection des candidat·es.

Mais le tournant interprétatif va beaucoup plus loin et relève aussi d’un abandon progressif des systèmes symboliques. Il parachève un mouvement engagé avec le développement du « connexionnisme » dans les années 1980. Car cette technologie ne repose plus sur des règles formelles, mais statistiques, avec les réseaux de neurones artificiels que nous avons évoqués. Dès lors, elle crée une ambiguïté qui n’existait pas auparavant et laisse toujours de la place à l’incertitude, donc à l’interprétation. Pourtant les biais appellent une explication : personne n’a envie de se retrouver avec un algorithme sexiste ou raciste. Tel est parfois le cas, sans que cela soit forcément intentionnel – même si ce n’est jamais totalement innocent, nous y reviendrons. Il convient donc d’interpréter le mieux possible les résultats de la machine pour essayer de débusquer ses biais. Ce sera d’ailleurs bientôt une obligation pour les systèmes « à haut risque », avec la mise en place du nouveau règlement européen dit « AI Act²³ ».

Plus encore, l’explosion des logiciels d’IA générative accentue le tournant interprétatif. ChatGPT, Midjourney ou Sora ont pour tâche d’interpréter les instructions de l’utilisateur pour produire le résultat demandé, qu’il s’agisse de textes, d’images ou de vidéos. L’humain n’utilise plus un langage formel pour interagir avec l’outil, il ne code plus, il lui parle directement pour lui dire ce qu’il attend. L’ordinateur doit donc interpréter le langage dit « naturel », celui de tous les jours, celui qui laisse place à d’innombrables ambiguïtés, mais aussi à de formidables potentialités et des finesses infinies. Comme tout ne peut pas être exprimé, il faut que la machine imagine ce que l’on attend d’elle, il faut qu’elle aille au-delà de l’instruction pour essayer de viser juste. Elle risque ainsi de retomber dans les préjugés de nos sociétés – et elle n’y manque pas.

Je vous propose maintenant d’entrer dans ce voyage techno-philosophique, de prendre ce tournant interprétatif, de nous attaquer à des concepts difficiles et qui font peur : ceux de biais, de préjugés, de connaissance. Je vous propose de lever les yeux sur ce black mirror et d’affronter l’image qu’il nous renvoie, pour ne plus subir de « tremblement devant la puissance²⁴ ».

Chapitre 1

Des biais indésirables

Des biais cognitifs et culturels

Qui n’a jamais fait cette expérience d’interpréter instantanément une image pour lui donner un certain angle, une certaine logique ? L’exemple le plus simple auquel nous pouvons penser est ce cube aux faces incolores et aux traits pleins, dit « cube de Necker », pour lequel il est impossible de déterminer le premier plan (Figure 1). Selon l’angle d’approche que nous choisissons, nous verrons une face ou l’autre devant. La perspective se fige toutefois dès que nous remplaçons quelques traits pleins par des pointillés et tout le monde comprend alors que ceux-là représentent les côtés cachés.

FIGURE 1. CUBE DE NECKER

Les illusions d’optique constituent un formidable champ d’exploration de nos présupposés sur le monde. Voici un autre exemple (Figure 2) : un cylindre se dresse sur un damier et semble y projeter son ombre. La question est de savoir si la case B, dans l’obscurité, est de la même couleur que la case A, dans la lumière. Tout porte à croire que non : la case B semble blanche tandis que la case A paraît noire. Pourtant, nous nous trouvons dupés en découvrant (Figure 3) qu’elles sont bien de la même couleur grise. Notre cerveau a interprété l’image afin de lui donner une certaine cohérence. La puissance de cette illusion d’optique est si forte qu’il est impossible de s’en défaire sans modifier le dessin. C’est comme si un biais cognitif surpuissant nous empêchait de le voir autrement, tel qu’il devrait nous apparaître, tel qu’il est.

FIGURE 2.

ÉCHIQUIER D’ADELSON

FIGURE 3.

ÉCHIQUIER D’ADELSON-SOLUTION

Cette figure est utilisée en ouverture du livre édifiant et trop peu connu en France Blindspot: Hidden Biases of Good People, dans lequel les psychologues Mahzarin Banaji et Anthony Greenwald s’attachent à montrer que des personnes tolérantes et ouvertes d’esprit ne sont pas exemptes de biais discriminatoires²⁵. Banaji et Greenwald sont à l’origine d’une expérience qui s’est avérée particulièrement perturbante pour les sujets qui y ont participé. Au cours de cet exercice, il fallait associer rapidement des mots à une catégorie parente et des pronoms à un genre (Figure 4). L’objectif était de savoir si certaines notions étaient plus ou moins vite rangées correctement selon que la catégorie était du côté féminin ou masculin : un procédé connu en psychologie sociale sous le nom de « test d’association implicite », de l’anglais implicit association test (ou IAT). Il s’agit de déceler des associations mentales (comme des stéréotypes) qui ne sont pas toujours rapportées verbalement par les participant·es. Par exemple, si nous voulons constituer deux tas d’un jeu de cartes, il sera facile de mettre les cœurs et les carreaux (rouges) ensemble et les piques avec les trèfles (noirs). Tandis que si nous souhaitons rassembler les cœurs avec les piques et les carreaux avec les trèfles, la tâche paraîtra plus compliquée. Car nous réunissons plus aisément les couleurs entre elles. Dans le cas où les tas sont bicolores, la classification demande une meilleure acuité visuelle et un effort intellectuel plus poussé, mais il est si léger que nous n’en avons pas forcément conscience. La question était donc, pour Banaji et Greenwald, de savoir s’il en allait de même pour les sexes et diverses notions de la vie quotidienne. Or, « les données provenant de l’IAT genre-carrière indiquent que 75 % environ des participants masculins montrent un stéréotype automatique de genre homme = travail et femme = famille. Les devançant de peu, 80 % des femmes sont concernées par le même biais²⁶. »

FIGURE 4. TEST D’ASSOCIATION IMPLICITE (BUREAU)

Dans le test d’association implicite proposé par Banaji et Greenwald, une catégorie était située à gauche d’un écran associée à un genre grammatical, et une autre catégorie associée au genre opposé. Le mot à classifier apparaissait au milieu. Concrètement, le mot « bureau » devait être rangé avec la catégorie « carrière », qui pouvait se trouver soit à droite avec « masculin », soit à gauche avec « féminin ». Les sujets de l’expérimentation devaient donc répondre « gauche » ou « droite ». Dans le même temps, des pronoms comme « il » ou « elle » venaient s’intercaler sur l’écran, eux aussi à ranger. La même opération était répétée avec d’autres champs lexicaux, comme celui de la « famille », avec des termes comme « enfants ». Dans la mesure où les noms communs ne sont pas genrés en anglais, il n’y avait théoriquement pas de confusion possible. Pourtant, le temps de latence observé était supérieur lorsqu’il s’agissait de ranger des univers traditionnellement masculins avec des pronoms féminins, et inversement²⁷.

Les catégories qui subissent le préjugé, en l’occurrence les femmes, ne sont en effet pas exemptes de biais et peuvent tout à fait être amenées à les reproduire, voire à les renforcer. Ce résultat a été constaté même pour des personnes qui se montraient ouvertes d’esprit, celles-là mêmes qui ne voulaient pas restreindre les hommes et les femmes à la place que la société leur attribue. La conclusion a donc été que les stéréotypes de genre agissent également chez celles et ceux qui disent ne pas y être soumis (ce sont les « biais cachés des bonnes personnes », comme l’indique le sous-titre du livre). Un biais sexiste constituerait – bon gré mal gré – la cause de l’accélération de la catégorisation chez les sujets qui se sont prêtés à l’expérience.

Certaines personnes se sont dites troublées par les résultats qu’elles avaient obtenus, et cela peut se comprendre. Pourtant, nul ne devrait être étonné : nous savons intimement que nous sommes pleins de biais et d’habitudes, et que nos us et coutumes influencent notre comportement. Si nous nous rendons à un mariage, par exemple, nous savons quelles attitudes adopter, qu’il convient de féliciter les mariés, de leur offrir un cadeau, de ne pas s’endormir pendant la cérémonie. Nous savons que la mariée sera en blanc ou, si elle décide de porter une autre robe, qu’elle fera alors preuve d’originalité (avez-vous remarqué que je n’ai pas parlé de « robe » lorsque j’ai dit qu’elle sera « en blanc » ? Pourtant vous ne l’imaginiez sûrement pas autrement). Au-delà des biais cognitifs qui nous permettent de comprendre rapidement le monde, d’interpréter différemment deux cases de même couleur sur un damier, nous sommes aussi pétris de biais culturels. Ceux-là nous permettent d’appréhender notre société, d’évoluer dans le monde humain – un monde éminemment culturel, justement.