Titre original : Weapons of Math Destruction.
How Big Data Increases Inequality and Threatens Democracy.

Copyright © 2016 by Cathy O’Neil

© Les Arènes, Paris, 2018,
pour la traduction française.

Les Arènes

27 rue Jacob, 75006 Paris

Tél. : 01 42 17 47 80

arenes@arenes.fr

www.arenes.fr

À tous ceux que l’on donne perdants

PRÉFACE

Impossible de ne pas remarquer Cathy O’Neil ! Son style, son regard malicieux et son charisme font effet dès la première rencontre, et ne cessent d’impressionner. Ton joyeux, propos graves, elle incarne la rigueur et l’engagement tout à la fois.

Cathy est aussi parfaitement légitime. Elle connaît bien les algorithmes pour les avoir pratiqués, conçus, vérifiés des années durant. Formée en géométrie algébrique et arithmétique, elle maîtrise tout aussi tout autant le monde des concepts et des équations. Revenue des hedge funds, elle a une conscience aiguë du monde de la finance algorithmique internationale. Engagée dans le mouvement Occupy Wall Street, elle est très au fait de la politique. Enfin, comme ancienne directrice d’un programme de formation de journalistes, le monde des médias lui est familier. Cette combinaison rare de talents rend sa contribution aux débats précieuse quand il s’agit de mêler politique, algorithmique et information des citoyens.

En 2016, Cathy lâcha une véritable bombe : Weapons of Math Destruction. Sous sa couverture jaune flamboyant, avec son logo morbide, c’était un concentré explosif qui devint immédiatement emblématique. Derrière le jeu de mots, auquel aucune traduction ne pourra rendre pleinement justice, le concept d’« armes de destruction mathématiques » annonçait l’angle nouveau qu’adoptait l’ouvrage : un courant de contestation de la mathématisation du monde, basé non sur l’idéologie ou sur les émotions, mais sur la dénonciation étayée des ravages massifs que ces outils peuvent produire.

Pour moi comme pour tant d’autres, la lecture de ce brûlot fut un coup de tonnerre. Chapitre après chapitre, Cathy O’Neil analysait des situations dans lesquelles l’intelligence artificielle avait un effet néfaste, parce qu’utilisée à mauvais escient, sans réflexion éthique, sans garde-fous, ou sans contrôle suffisamment rigoureux. L’ampleur des dégâts était annoncée sans détour par le sous-titre : « Comment le traitement des données accroît les inégalités et menace la démocratie ».

Pour Cathy O’Neil, les coupables ne sont pas tant des acteurs que des systèmes pervers, dans des secteurs aussi divers que l’éducation, la justice, l’enseignement supérieur, les banques, le crédit, la planification des horaires de travail. Sous sa plume défilent des schémas opaques, non régulés, non contestables, opérant à grande échelle, justifiant la formule « destruction massive ».

Quand le gouvernement m’a chargé d’une mission sur l’intelligence artificielle, j’ai relu avec attention ce livre explosif, pour en incorporer les enseignements dans mon rapport. Et quand la mission est arrivée à son terme, j’ai invité Cathy à participer à la restitution, à discuter directement avec le Président Emmanuel Macron, et à partager son expérience et ses conseils avec un public aussi large que possible.

Car une chose est certaine : pour mettre fin aux mauvais usages de l’intelligence artificielle, il ne faut pas les cacher, ou se bercer de l’illusion qu’ils seraient réservés aux autres : il faut, au contraire, en tirer parti et en parler. Profiter de ce que les États-Unis, moins méfiants que les pays européens, ont déjà essuyé les plâtres avec des expérimentations instructives. En parler aussi pour convaincre nos concitoyens que tous ces problèmes ont bien été identifiés et que les pouvoirs publics ne seront pas naïfs, mais vigilants. Et si les pouvoirs publics baissent un jour la garde, ce sera à nous de les réveiller !

Certains chapitres m’ont été particulièrement précieux : le catastrophique algorithme de notation automatique des enseignants, qui aggrave les inégalités qu’il prétend corriger ; les effets pervers de la police prédictive, qui tend à renforcer la frustration et la défiance précisément là où c’est déjà le plus difficile ; les procédures automatiques d’attribution de crédit, incrustant pernicieusement les biais déjà pratiqués par les humains ; la faculté de manipuler les masses via les réseaux sociaux. Il y a dans tout cela de quoi faire réfléchir les lecteurs loin au-delà des considérations algorithmiques : car l’intelligence artificielle, dans sa mise en œuvre, reflète nos valeurs, notre société, notre âme parfois.

Malgré tout cela, Cathy et moi-même gardons l’espoir que demain, bien encadrée, l’intelligence artificielle pourra nous apporter aide et progrès inouïs !

La chercheuse française Laurence Devillers, grande pourfendeuse des dérives de l’IA, se plaît à dénoncer les méfaits de ce qu’elle appelle la « fée Clochette », cet algorithme qui simule une compagne attentionnée pour célibataires en mal de tendresse. Cathy O’Neil, quant à elle, incarne une fée Clochette bien humaine, la voix de la conscience qui nous incite à ne pas céder aux facilités, à la fascination de la technologie, et de n’utiliser celle-ci que dans des conditions de rigueur et d’éthique incontestables. Elle est bien décidée à ne pas baisser les bras, et à faire porter sa voix autant qu’il le faut pour que nous puissions conserver notre humanité.

Écoutez-la attentivement.

Cédric Villani

INTRODUCTION

Quand j’étais enfant, j’avais pour habitude d’observer la circulation par la vitre, dans la voiture, et d’étudier les chiffres sur les plaques d’immatriculation. Je réduisais chaque plaque à des éléments fondamentaux, en me servant des nombres premiers qui la composaient. 45 = 3 × 3 × 5. C’est ce qu’on appelle la factorisation, et c’était mon passe-temps favori. Les nombres premiers intriguaient tout particulièrement la mathématicienne en herbe que j’étais.

Cet amour des mathématiques a fini par devenir une passion. À 14 ans, je suis partie en stage de mathématiques pour l’été et suis rentrée en serrant un Rubik’s Cube sur ma poitrine. Les mathématiques m’offraient un refuge bien ordonné, à l’abri de la confusion du monde réel. Elles nous propulsaient vers l’avant, élargissant le champ des connaissances démonstration après démonstration. Et je pouvais y apporter ma contribution. Je me suis inscrite en mathématiques à l’université, et j’ai poursuivi jusqu’au doctorat. Ma thèse portait sur la théorie algébrique des nombres, un domaine de recherche qui trouvait son origine dans toutes ces factorisations que j’avais effectuées enfant. J’ai finalement été nommée professeur adjoint au Barnard College, qui partageait son département de mathématiques avec celui de l’université Columbia.

Puis j’ai complètement bifurqué. J’ai quitté mon poste et je suis partie travailler comme analyste quantitatif chez D. E. Shaw, l’un des principaux fonds spéculatifs du pays. En abandonnant l’université pour la finance, je suis passée de la théorie abstraite à la pratique. Nos opérations sur les nombres se traduisaient en milliers de milliards de dollars, qui circulaient d’un compte à l’autre. Au départ, j’étais à la fois enthousiaste et épatée de travailler dans ce nouveau laboratoire – l’économie mondiale. Mais à l’automne 2008, un peu plus d’un an après mon arrivée, tout s’est brusquement effondré.

Le krach financier a révélé avec la plus grande clarté que les mathématiques, mon refuge de toujours, étaient non seulement intimement mêlées aux problèmes du monde, mais alimentaient également nombre d’entre eux. En récitant leurs formules magiques, les mathématiciens s’étaient rendus complices de la crise de l’immobilier, de la chute d’institutions financières majeures, de la montée du chômage. Grâce aux extraordinaires pouvoirs que je vénérais tant, les mathématiques s’étaient associées à la technologie pour décupler le chaos et le malheur, conférant une ampleur et une efficacité redoutables à des systèmes que je savais désormais défectueux.

Si nous avions fait preuve de lucidité à ce stade, nous aurions tous pris un peu de recul pour comprendre le mauvais usage qui en avait été fait, et comment empêcher à l’avenir une catastrophe similaire. Au lieu de cela, dans le sillage de la crise, les nouvelles techniques mathématiques suscitèrent plus d’engouement que jamais, gagnant davantage de secteurs. Vingt-quatre heures sur vingt-quatre et sept jours sur sept, elles brassaient des pétaoctets d’informations, extraites pour l’essentiel des médias sociaux ou des sites de commerce en ligne. Et elles cessèrent de se focaliser uniquement sur les mouvements des marchés financiers mondiaux, pour s’intéresser de plus en plus aux individus. Les mathématiciens et les statisticiens étudiaient nos désirs, nos déplacements et notre pouvoir d’achat. Ils prédisaient le niveau de confiance que l’on pouvait nous accorder et calculaient notre potentiel en tant qu’étudiants, travailleurs, amants ou criminels.

C’était l’économie du «  Big Data1 », et elle promettait des gains spectaculaires. Un programme informatique pouvait parcourir en une ou deux secondes des milliers de curriculum vitæ ou de demandes de prêt, et les trier bien soigneusement, avec en tête de liste les meilleurs candidats. Non seulement une telle méthode faisait gagner du temps, mais elle était aussi présentée et vendue comme équitable et objective. Il n’était plus question d’individus pétris de préjugés fouillant parmi des monceaux de documents, mais de simples machines qui manipulaient des chiffres impartiaux. Autour de 2010, les mathématiques commencèrent à s’immiscer comme jamais auparavant dans les affaires humaines, recevant un accueil très favorable du public.

Mais je sentais venir les ennuis. Les applications mathématiques qui alimentaient l’économie des données reposaient sur des choix, eux-mêmes faits par des personnes faillibles. Certains de ces choix procédaient sans nul doute des meilleures intentions possible. Pour autant, nombre des modèles utilisés encodaient justement les préjugés, les malentendus et les partis pris humains au cœur des systèmes informatiques qui régissaient de plus en plus nos vies. Telles des divinités mystérieuses, ces modèles mathématiques étaient opaques, leurs rouages, invisibles de tous, sauf des plus grands prêtres en la matière : les mathématiciens et les informaticiens. Leurs verdicts, fussent-ils nuisibles ou erronés, étaient sans appel et ne souffraient aucune discussion. Et ils avaient tendance à punir les plus défavorisés et les opprimés, tout en rendant les riches encore plus riches.

J’ai trouvé un nom pour désigner ces modèles nocifs : ce sont des Armes de Destruction Mathématique, ou ADM en abrégé. En voici un exemple, dont je soulignerai tout du long les caractéristiques destructrices.

Comme c’est souvent le cas, tout était parti d’un objectif louable. En 2007, le nouveau maire de Washington D.C., Adrian Fenty, avait résolu d’améliorer les écoles les moins performantes de sa ville. Il avait du pain sur la planche : à cette époque, à peine un lycéen sur deux parvenait jusqu’au bac, et 8 % seulement des élèves de troisième obtenaient la moyenne en mathématiques. Fenty embaucha Michelle Rhee, championne de la réforme éducative, et lui confia le nouveau et puissant poste de recteur des écoles de Washington.

De l’avis général, les élèves n’apprenaient pas correctement parce que les professeurs faisaient mal leur travail. En 2009, Rhee lança donc un plan visant à écarter les enseignants les moins performants. C’est la tendance qui prévaut actuellement à travers tous les États-Unis dans les districts scolaires en difficulté, et du point de vue d’un concepteur de systèmes, le raisonnement s’avère tout à fait sensé : évaluer les enseignants, se débarrasser des pires et placer les meilleurs là où ils peuvent être le plus utiles. Dans le jargon des experts en données, cela a pour effet d’«  optimiser  » le système scolaire et, selon toute vraisemblance, d’assurer aux enfants de meilleurs résultats. À l’exception des «  mauvais  » professeurs, qui pourrait s’y opposer  ? Rhee élabora un outil d’évaluation baptisé IMPACT et, dès la fin de l’année scolaire 2009-2010, le district scolaire de Washington renvoya tous les enseignants dont le score se situait parmi les 2 % les plus bas. À la fin de l’année suivante, 5 % supplémentaires des effectifs, soit 206 enseignants, furent mis à la porte.

Sarah Wysocki, institutrice de l’équivalent du CM2, ne semblait avoir aucune raison de s’inquiéter. Elle n’enseignait à la MacFarland Middle School que depuis deux ans, mais recevait déjà d’excellents avis de la part de son directeur et des parents d’élèves. L’une de ces appréciations louait sa prévenance à l’égard des enfants  ; une autre saluait en elle «  l’une des meilleures enseignantes que j’aie rencontrées  ».

Pourtant, au terme de l’année scolaire 2010-2011, Wysocki obtint un score déplorable lors de son évaluation IMPACT. Le problème venait d’un nouveau système de notation, connu sous le nom de « modèle de la valeur ajoutée2 », qui prétendait mesurer son efficacité dans l’enseignement des compétences mathématiques et linguistiques. Ce score, généré par un algorithme, comptait pour moitié de son évaluation globale et l’emportait sur les appréciations positives de l’administration et de la collectivité. Les administrateurs du district scolaire n’eurent d’autre choix que de la renvoyer, et avec elle 205 autres enseignants qui avaient reçu un score IMPACT inférieur au seuil minimal.

Cela ne ressemblait ni à une chasse aux sorcières, ni à un règlement de comptes. La démarche du district de Washington relevait même d’une certaine logique. Après tout, les administrateurs d’une école pouvaient très bien apprécier des enseignants lamentables, admirant davantage leur façon d’être ou leur prétendu dévouement. De mauvais enseignants pouvaient sembler performants. À l’instar de nombreux autres districts, celui de Washington allait donc réduire au minimum ces critères d’appréciation humains – et donc subjectifs – et accorder plus d’attention à des scores fondés sur les résultats concrets des élèves : leur réussite en maths et en lecture. Les chiffres parleraient d’eux-mêmes, promettaient les responsables de l’académie. Ils seraient plus justes.

Bien entendu, Wysocki les trouva au contraire horriblement injustes, et voulut savoir d’où ils provenaient. «  Je pense que personne n’y comprenait rien  », m’a-t-elle avoué plus tard. Comment un bon enseignant pouvait-il obtenir des scores aussi déplorables  ? Que mesurait vraiment ce modèle de valeur ajoutée  ?

Elle finit par apprendre que c’était assez compliqué. Le district de Washington avait engagé le cabinet de conseil Mathematica Policy Research, de Princeton, pour concevoir le système d’évaluation. Le défi pour Mathematica consistait à mesurer les progrès des élèves de l’académie en question, puis à calculer quelle part de leur amélioration ou de leur régression était imputable aux enseignants. Naturellement, c’était tout sauf facile. Les chercheurs savaient bien que de nombreuses variables, depuis le milieu socioéconomique jusqu’aux conséquences des troubles d’apprentissage, pouvaient affecter les résultats des élèves. Les algorithmes devaient prendre en compte ce type de paramètres différentiels, d’où leur grande complexité.

Réduire le comportement, les performances et le potentiel des êtres humains à des algorithmes n’est certes pas une mince affaire. Pour comprendre les difficultés auxquelles se heurtait Mathematica, imaginez une fillette de 10 ans habitant un quartier pauvre du sud-est de Washington D.C. Une fois l’année scolaire terminée, elle passe le test standard de fin de primaire. Et puis la vie suit son cours. Elle rencontre peut-être des problèmes dans sa famille ou des soucis d’argent. Elle est peut-être amenée à changer sans arrêt de logement, ou s’inquiète pour un grand frère aux prises avec la justice. Peut-être aussi est-elle complexée par son poids ou terrorisée par un ou une camarade de classe qui la brutalise. Quoi qu’il en soit, elle passe l’année suivante un autre test standard, conçu cette fois-ci pour les élèves de sixième.

Si l’on compare les résultats des deux tests d’un élève, les scores devraient normalement rester stables ou, avec un peu de chance, s’améliorer. Si à l’inverse les résultats de la fillette dégringolent, l’écart entre sa performance et celle des élèves qui ont réussi est d’autant plus flagrant.

Mais dans quelle mesure cet écart est-il dû à l’enseignant  ? Difficile de le savoir, et les modèles utilisés par Mathematica n’ont que peu de chiffres pour affiner la comparaison. Dans les entreprises du Big Data comme Google, en revanche, les chercheurs réalisent en permanence quantité de tests et suivent des milliers de variables. Ils peuvent faire passer du bleu au rouge la police de caractères d’une publicité, soumettre chaque version à 10 millions de personnes et observer celle qui suscite le plus grand nombre de clics. Cette remontée d’information leur permet d’affiner leurs algorithmes et d’en ajuster le fonctionnement. Même si j’ai beaucoup de reproches à adresser à Google – nous y reviendrons par la suite –, ce type de test fait un usage efficace des statistiques.

Vouloir calculer l’impact qu’une personne peut exercer sur une autre au cours d’une année scolaire se révèle bien plus complexe. «  Il y a tellement de facteurs en jeu dans l’apprentissage et l’enseignement qu’il serait très difficile de tous les mesurer  », explique Wysocki. D’un point de vue statistique, chercher à noter l’efficacité d’un enseignant en analysant les résultats aux tests de vingt-cinq à trente élèves à peine apparaît en outre assez douteux, voire ridicule. Au vu de la quantité de choses qui sont susceptibles de mal se passer au cours de l’année, l’échantillon s’avère beaucoup trop restreint. Si l’on devait analyser les enseignants avec la rigueur statistique d’un moteur de recherche, il faudrait en réalité les tester sur des milliers ou même des millions d’élèves sélectionnés de façon aléatoire. Les statisticiens comptent sur le nombre pour compenser les exceptions et les anomalies (et les ADM, comme nous le verrons, ont précisément tendance à punir les individus qui font exception).

Autre facteur crucial de réussite, les systèmes statistiques ont besoin d’un «  feed-back  », d’une remontée d’information qui puisse les alerter lorsqu’ils s’égarent : en somme, les statisticiens se servent des erreurs pour éprouver leurs modèles et les rendre plus performants. Si Amazon, du fait d’une corrélation erronée, se mettait à conseiller aux adolescentes des ouvrages sur l’entretien des pelouses, les clics s’effondreraient et on modifierait alors l’algorithme jusqu’à ce qu’il tombe juste. Faute de feed-back, un moteur statistique peut au contraire continuer de produire des analyses erronées et préjudiciables, sans jamais apprendre de ses erreurs3.

Nombre des ADM dont je parlerai dans ce livre, y compris le modèle de valeur ajoutée en vigueur dans le district de Washington, se comportent de la sorte. Elles définissent leur propre réalité et l’utilisent ensuite pour justifier leurs résultats. Ce type de modèle s’autojustifie et s’autoperpétue  ; il est extrêmement destructeur, mais surtout très courant.

Quand le système d’évaluation de Mathematica désigne Sarah Wysocki et 205 autres enseignants comme incompétents, ceux-ci sont congédiés. Mais comment les administrateurs du district de Washington peuvent-ils savoir s’ils ont bien fait  ? En réalité, c’est impossible. Le système lui-même a déterminé que ces personnes étaient incompétentes, c’est donc comme cela qu’elles sont considérées. 206 «  mauvais  » enseignants écartés. Ce simple chiffre semble à lui seul démontrer l’efficacité du modèle mesurant la valeur ajoutée. Il purge le district scolaire de ses enseignants médiocres. Au lieu de rechercher la vérité, le score en vient à l’incarner, et à l’imposer.

Nous avons là l’un des exemples de cercle vicieux d’une ADM. Nous verrons beaucoup d’autres de ces effets boomerang tout au long de ce livre. Les employeurs utilisent par exemple de plus en plus les scores de crédit4 pour évaluer de potentielles recrues – le raisonnement étant que les candidats qui règlent leurs factures sans délai seront davantage enclins à arriver à l’heure au travail et à respecter les règles. Or, il existe en réalité quantité de gens responsables et d’excellents travailleurs qui subissent des coups durs et voient leur score de crédit chuter. Mais la corrélation présumée entre une mauvaise note de solvabilité et de mauvaises performances professionnelles laisse moins de chances à ceux qui ont un score faible de trouver du travail. Le chômage les pousse vers la pauvreté, ce qui dégrade encore leur score et rend d’autant plus difficile l’obtention d’un emploi. C’est une spirale infernale. Et les employeurs ne sauront jamais combien d’employés de qualité ils ont laissé échapper en se focalisant ainsi sur les scores de crédit. À cause des ADM, beaucoup d’hypothèses dommageables sont camouflées par les mathématiques et ne sont ni vérifiées en pratique, ni remises en cause.

Voilà qui met en évidence une autre caractéristique des ADM : leur tendance à punir les pauvres. Cela est dû notamment au fait qu’elles sont conçues pour évaluer de vastes quantités de personnes. Ces modèles se spécialisent dans la gestion des masses et ne coûtent pas cher : c’est ce qui fait une partie de leur attrait. Les riches, à l’inverse, bénéficient souvent d’un traitement de faveur, puisqu’il est personnalisé. Un cabinet d’avocats prestigieux ou un collège privé élitiste auront bien plus recours à des recommandations personnelles et à des entretiens en tête à tête qu’une chaîne de restauration rapide ou qu’un district scolaire en milieu urbain à court d’argent. Les privilégiés, nous le constaterons maintes fois, sont plus volontiers pris en charge par des êtres humains, et le bas peuple, par des machines.

L’impossibilité pour Wysocki de trouver quelqu’un capable d’expliquer son score exécrable est également révélatrice. Les verdicts des ADM tombent comme des diktats énoncés par les démiurges algorithmiques. Le modèle lui-même est une boîte noire, il renferme un secret industriel farouchement gardé, et des consultants comme Mathematica en profitent pour facturer plus cher leurs services. Cela sert aussi un autre but : si on laisse les personnes évaluées dans l’ignorance, l’idée est qu’elles chercheront moins à déjouer le système. Elles devront simplement travailler dur, suivre les règles, et prier pour que le modèle enregistre et tienne compte de leurs efforts. Quand les informations sont cachées, il est aussi plus difficile de mettre en doute un score, voire de le contester.

Pendant des années, les enseignants de Washington se plaignirent de l’aspect arbitraire des scores et réclamèrent des éclaircissements sur les paramètres de leur calcul. «  C’est un algorithme, c’est très complexe  » fut la seule réponse qu’ils obtinrent. Beaucoup n’eurent pas le courage d’insister. Les mathématiques intimident, hélas, un grand nombre de gens. Une professeure de mathématiques du nom de Sarah Bax continua cependant d’assaillir le recteur du district, Jason Kamras, un de ses anciens collègues, pour obtenir les renseignements demandés. Après plusieurs mois de tergiversations, Kamras la pria d’attendre la publication imminente d’un rapport technique. «  Comment justifiez-vous d’évaluer les gens selon un barème que vous êtes incapable d’expliquer  ?  », lui rétorqua Bax. Mais telle est la nature des ADM. On sous-traite l’analyse à des codeurs et à des statisticiens. Et la règle en vigueur est de laisser parler les machines.

Sarah Wysocki avait bien conscience que les résultats de ses élèves lors des tests devaient peser lourdement dans la balance de l’algorithme en question. C’est cela qui finit par lui mettre la puce à l’oreille. Avant d’entamer ce qui devait être sa dernière rentrée à la MacFarland Middle School, elle s’aperçut avec plaisir que ses futurs CM2 avaient étonnamment bien réussi leur test de fin d’année de CM1. Au sein de la Barnard Elementary School, dont sortaient beaucoup d’entre eux, 29 % des enfants avaient été classés «  niveau supérieur  » en lecture. Soit cinq fois plus que la moyenne de ce district scolaire.

Quand les cours débutèrent, Sarah constata cependant qu’un grand nombre de ses élèves avaient du mal à lire, même lorsqu’il s’agissait de phrases simples. Bien plus tard, des enquêtes menées par le Washington Post et USA Today révélèrent que les tests standard de quarante et une écoles du district, y compris Barnard, comportaient une importante proportion de réponses raturées. Un taux élevé de rectifications indique souvent une plus grande probabilité de tricherie. Dans certaines écoles, jusqu’à 70 % des classes étaient suspectées.

Quel rapport avec les ADM  ? Plusieurs éléments. D’une part, les algorithmes d’évaluation des enseignants constituent un puissant outil de modification comportementale. Ils ont été conçus pour cela et font office à la fois de carotte et de bâton dans les écoles de Washington. Si leurs élèves trébuchaient lors du test, les enseignants savaient que leur emploi était menacé. D’où une forte motivation pour s’assurer de leur réussite, surtout au moment où la crise économique frappait si durement le marché du travail. En revanche, si leurs élèves obtenaient de meilleurs résultats que les autres, les enseignants et membres de l’administration pouvaient recevoir une prime allant jusqu’à 8 000 dollars. Ces puissantes incitations s’ajoutant aux preuves réunies – le nombre important de réponses raturées et les scores anormalement élevés –, on était tenté de soupçonner que les enseignants de CM1 – soit par peur, soit par cupidité – avaient bel et bien falsifié les copies de leurs élèves.

Il est donc tout à fait concevable que ceux de Sarah Wysocki aient débuté l’année scolaire avec des scores artificiellement gonflés. Dans ce cas, leurs résultats l’année suivante montreraient une chute de la progression en CM2 – et donc que leur institutrice n’était pas assez performante. Voilà ce qui lui était arrivé, Sarah en était persuadée. Cette explication cadrait avec les observations des parents, de ses collègues et de son directeur, qui témoignaient de ses réelles qualités d’enseignante. Elle permettait de démêler l’imbroglio. Sarah Wysocki avait de solides arguments à faire valoir.

Mais impossible de faire appel contre un modèle mathématique du type ADM. C’est aussi cela, leur terrifiant pouvoir. Ils n’écoutent pas. Ils ne plient pas. Ils restent non seulement insensibles au charme, aux menaces et aux flatteries mais aussi à toute logique – même lorsqu’on a de bonnes raisons de mettre en doute les données qui alimentent leurs conclusions. Certes, s’il devient évident que des systèmes automatisés se trompent de manière embarrassante et systématique, les programmeurs se remettront à l’ouvrage et ajusteront les algorithmes. Mais la plupart du temps, les programmes livrent des verdicts inébranlables et les êtres humains qui les utilisent ne peuvent que hausser les épaules, en se disant justement : «  Que peut-on y faire  ?  »

Et c’est précisément la réponse que Sarah Wysocki finit par obtenir de la part de son district scolaire. Jason Kamras expliqua plus tard au Washington Post que les ratures «  suggéraient  » l’existence d’un problème et qu’il se pouvait que les chiffres au sein de sa classe de CM2 aient été erronés. Mais les preuves n’étaient pas concluantes. Il affirma que Wysocki avait été traitée de façon équitable.

Voyez-vous le paradoxe  ? Un algorithme analyse une multitude de statistiques et en tire la probabilité que telle ou telle personne pourrait être une mauvaise recrue, un emprunteur à risque, un terroriste ou un enseignant déplorable. De cette probabilité, on extrait un score qui peut bouleverser l’existence d’un individu. Or, quand l’individu en question cherche à se défendre, les indices qu’il présente «  suggérant  » un problème ne suffisent pas. Ses arguments doivent être imparables. Alors que l’on n’exige pas de justifications de la part des ADM lorsque leur verdict tombe, les individus qui en sont victimes doivent en revanche fournir des preuves infaillibles de leur dysfonctionnement : le niveau d’exigence est donc très déséquilibré.

Passé le choc de son licenciement, Sarah Wysocki ne resta pas plus de quelques jours sans emploi. Quantité de gens, à commencer par son directeur, pouvaient la recommander, et elle décrocha très vite un poste dans une académie aisée du nord de la Virginie. Du fait d’un modèle extrêmement discutable, une école pauvre avait ainsi perdu une bonne enseignante, au profit d’une école riche qui ne renvoyait pas les siens en fonction des scores de leurs élèves.

***

À la suite de la crise des subprimes, et de l’effondrement de l’immobilier qui en découla, je pris conscience de la prolifération des ADM dans le milieu bancaire et du danger qu’elles faisaient peser sur notre économie. Début 2011, je quittai mon poste au sein du fonds spéculatif qui m’employait. Plus tard, après m’être reconvertie comme experte en données, je rejoignis une jeune pousse du commerce en ligne. Je bénéficiai là d’un point de vue privilégié et constatai que des légions d’autres ADM étaient à l’œuvre dans tous les secteurs d’activité imaginables, et que nombre d’entre elles exacerbaient les inégalités et punissaient les individus. Elles étaient au cœur d’une économie des données totalement débridée.

Pour informer le public, je lançai un blog baptisé Math-Babe. J’avais comme objectif de mobiliser mes collègues mathématiciens contre l’utilisation de statistiques approximatives et de modèles biaisés, qui généraient leurs propres boucles de rétroaction aux effets délétères. Les experts en données furent tout particulièrement attirés par mon blog, et m’avertirent de la propagation des ADM à de nouveaux domaines. Mais au milieu de l’année 2011, avec la naissance du mouvement Occupy Wall Street dans le sud de Manhattan, je compris que nous avions un travail à mener auprès du grand public. Des milliers d’individus s’étaient réunis pour réclamer justice et prise de responsabilité sur le plan économique. Or, lorsqu’ils étaient interrogés, les «  occupants  » semblaient souvent tout ignorer de certaines problématiques fondamentales liées au monde de la finance. Ils n’avaient de toute évidence jamais lu mon blog (même si je me dois d’ajouter qu’il n’est pas nécessaire de comprendre tous les détails d’un système pour savoir qu’il a échoué).

Il me fallait faire un choix : soit les critiquer, soit me joindre à eux. Je décidai de les rejoindre, et me retrouvai très vite à animer les réunions hebdomadaires de l’Alternative Banking Group à l’université Columbia (New York), où nous débattions de réformes financières. Ce faisant, j’en vins à réaliser que mes deux expériences hors du milieu universitaire, l’une dans la finance, l’autre dans la science des données, m’avaient offert une fabuleuse occasion d’accéder aux technologies et à la culture qui sous-tendent les ADM.

Des modèles mathématiques mal conçus contrôlent aujourd’hui les moindres aspects de l’économie, depuis la publicité jusqu’à la gestion des établissements pénitentiaires. Ces ADM partagent de nombreuses caractéristiques avec le modèle de valeur ajoutée qui a fait dérailler la carrière de Sarah Wysocki dans les écoles publiques de Washington. Opaques, jamais remises en cause et comptables de rien, elles opèrent sur une échelle qui leur permet de trier, de cibler ou d’«  optimiser  » des millions de personnes. En confondant leurs conclusions avec la réalité du terrain, la plupart génèrent des boucles de rétroaction néfastes.

Il existe néanmoins une distinction importante entre le modèle de valeur ajoutée utilisé par un district scolaire et une ADM qui cible des candidats potentiels pour un prêt sur salaire à taux exorbitant. L’un et l’autre génèrent un gain différent. Pour le district scolaire en question, c’est une sorte de monnaie d’échange politique, l’impression de résoudre des problèmes. Pour les entreprises, c’est un gain beaucoup plus ordinaire : l’argent. Beaucoup de compagnies qui emploient ces algorithmes véreux voient dans l’afflux de trésorerie la preuve que leurs modèles fonctionnent. Il suffit de se mettre à leur place pour le comprendre. Quand elles bâtissent des systèmes statistiques pour trouver des clients ou manipuler des emprunteurs désespérés, l’augmentation de leurs bénéfices semble indiquer qu’elles sont sur la bonne voie, et que le logiciel remplit donc sa tâche. Le problème vient de ce que les profits concrets finissent par suppléer ou générer leur propre vérité. Nous verrons maintes fois resurgir cette dangereuse confusion.

Cela se produit particulièrement lorsque les experts en données finissent par perdre de vue ceux qui se trouvent à l’autre extrémité de la transaction. Ils admettent qu’un programme traitant de grandes quantités d’informations est condamné à se méprendre sur un certain pourcentage d’individus, à les classer dans les mauvais groupes et à leur refuser un emploi ou la chance d’acquérir la maison de leurs rêves. Mais en règle générale, les personnes qui manient les ADM ne s’attardent pas sur ces erreurs. Leur «  feed-back  » à elles, c’est le gain financier, qui est aussi leur motivation. Leurs systèmes sont conçus pour engloutir toujours plus de données, affiner leurs outils d’analyse et rapporter ainsi toujours plus d’argent. Les investisseurs se repaissent bien entendu de ces profits et financent très généreusement les entreprises qui conçoivent les ADM.

Quid des victimes  ? Un expert travaillant dans l’une de ces entreprises pourrait vous répondre qu’aucun système statistique ne saurait être parfait. Ce sont des dommages collatéraux. Et souvent, à l’image de Sarah Wysocki, on estime qu’elles sont sans valeur et peuvent être sacrifiées. Oubliez-les un instant, vous dirait-il peut-être, et concentrez-vous plutôt sur tous ces gens qui obtiennent des suggestions utiles grâce aux systèmes de recommandation sur Internet, ou qui trouvent la musique qu’ils aiment sur Deezer, l’emploi idéal sur LinkedIn, voire l’amour de leur vie sur Meetic. Songez donc à quelle échelle stupéfiante on se situe, et ne tenez pas compte des imperfections.

Le Big Data possède beaucoup d’apôtres, mais je n’en fais pas partie. Ce livre s’orientera résolument dans la direction opposée, et se focalisera sur les dégâts infligés par les ADM et les injustices qu’elles perpétuent. Nous étudierons des exemples funestes touchant à des moments critiques de l’existence : entrer à l’université, emprunter de l’argent, purger une peine de prison, ou trouver et conserver un emploi. Tous ces aspects de la vie sont de plus en plus contrôlés par des modèles tenus secrets, qui assènent des punitions arbitraires.

Bienvenue dans le côté obscur du Big Data.

1. « Big Data » signifie littéralement « mégadonnées ». Né en 1997, le terme désigne la quantité gigantesque de données générées chaque jour par des utilisateurs du monde entier, et qui a suscité une problématique nouvelle ces dernières années : le stockage, la gestion et la protection des informations privées (toutes les notes sont de l’éditeur, sauf indication contraire).

2. Le value-added model est appliqué à l’enseignement aux États-Unis. En comparant les résultats scolaires d’un groupe d’élèves d’un même niveau une année sur l’autre, on évalue les progrès d’un professeur dans l’enseignement d’une matière donnée.

3. Phénomène que l’auteur appelle « feedback loop », ou « boucle de rétroaction ».

4. Aux États-Unis, les scores de crédit sont attribués aux sociétés ou individus en fonction de leur historique de crédit : rapidité des remboursements, dépassement des plafonds, nombre de crédits demandés, etc.

LES MÉCANISMES
D’UNE BOMBE

Qu’est-ce qu’un modèle ?

C’était en 1946, par un chaud après-midi d’août. Lou Boudreau, joueur-entraîneur de l’équipe de base-ball des Indians de Cleveland, passait une journée épouvantable. Dans le premier des deux matchs à l’affiche, Ted Williams, peut-être à l’époque le plus grand batteur, avait presque à lui tout seul anéanti son équipe. Il avait réussi trois home runs1 et rapporté huit points. Les Indians s’étaient finalement inclinés onze à dix.

Boudreau devait réagir. Lors du second match, quand Williams se présenta au poste de batteur pour la première fois, les joueurs des Indians se positionnèrent. Boudreau, habituellement au poste d’arrêt-court, alla prendre la place traditionnellement occupée par le deuxième base, et le deuxième base se positionna en retrait dans le champ intérieur droit. Le troisième base se décala sur sa gauche, dans la zone de l’arrêt-court. Boudreau, peut-être en désespoir de cause, faisait manifestement pivoter toute sa défense pour tenter de faire sortir les tirs impeccables de Ted Williams.

En d’autres termes, il réfléchissait à la manière d’un expert en données. Il avait analysé les paramètres bruts du problème, tirés pour l’essentiel de son observation : Ted Williams frappait habituellement sa balle en direction du champ droit. Il s’était donc adapté… et la manœuvre avait fonctionné. Ses défenseurs interceptèrent ensuite bien plus souvent les foudroyants coups en flèche de Williams (même s’ils ne pouvaient rien contre les home runs qui leur filaient au-dessus la tête).

Si vous assistez aujourd’hui à un match de la Major League de base-ball, vous constaterez que la stratégie de défense est désormais d’aborder pratiquement tous les joueurs de la même façon que Ted Williams. Alors que Boudreau s’était contenté d’observer dans quelle direction Williams avait coutume de frapper, les entraîneurs savent maintenant précisément à quel endroit chaque joueur a envoyé chacune de ses balles au cours de la dernière semaine, du dernier mois, tout au long de sa carrière, face à des lanceurs gauchers, lorsqu’il a déjà manqué deux fois auparavant, et ainsi de suite. Ces historiques leur permettent d’analyser la situation et de calculer le positionnement correspondant à la plus grande probabilité de réussite. Ce qui suppose parfois de déplacer les joueurs très loin de leur position initiale sur le terrain.

Modifier sa défense n’est que l’une des facettes d’une problématique beaucoup plus vaste : quelles mesures les équipes peuvent-elles prendre pour avoir le maximum de chances de gagner ? Dans leur quête de réponses, les statisticiens du base-ball ont examiné chaque variable susceptible d’être quantifiée et lui ont attribué une valeur. Combien vaut un double comparé à un simple ? À quel moment est-il intéressant – si ça l’est jamais – d’amortir un tir pour faire avancer un joueur de la première à la deuxième base ?

Les réponses à toutes ces questions sont assemblées et combinées sous forme de modèles mathématiques. Ce sont, pour le monde du base-ball, des univers parallèles qui dessinent chacun un canevas complexe de probabilités. Ils intègrent toutes les relations mesurables entre chaque élément de ce sport, des différents types de buts jusqu’aux joueurs eux-mêmes. L’objectif est de dérouler différents scénarios pour chaque phase critique du jeu, à la recherche des combinaisons optimales. Si les Yankees remplacent leur lanceur actuel par un droitier, quelle probabilité supplémentaire ont-ils d’éliminer le puissant batteur des Angels, Mike Trout ? Et quel en sera l’impact global sur leurs chances de victoire ?

Le base-ball constitue un espace idéal pour la modélisation mathématique prédictive. Comme l’a écrit Michael Lewis dans son best-seller de 2003, Moneyball, ce sport a de tout temps attiré les passionnés de données. Il y a de cela plusieurs dizaines d’années, les fans se plongeaient dans les statistiques inscrites au dos des cartes à collectionner, analysant la fréquence des home runs de Carl Yastrzemski ou comparant le nombre total de strikeouts2 de Roger Clemens et de Dwight Gooden. Mais à partir des années 1980, des statisticiens sérieux ont pris l’initiative d’étudier ce que ces chiffres, et avec eux toute une avalanche d’informations nouvelles, signifiaient vraiment : comment ils se traduisaient en victoires, et comment les dirigeants d’équipes pouvaient obtenir le maximum de réussite en dépensant le moins possible.

Le terme « moneyball » sert désormais de raccourci pour désigner toute démarche statistique dans des domaines longtemps régis par l’instinct. Mais le base-ball demeure une étude de cas idéale – et fournit un bon exemple d’alternative aux modèles toxiques, ou ADM, qui envahissent tant d’aspects de notre existence. L’honnêteté des modèles utilisés dans le base-ball résulte en partie de leur transparence. N’importe qui peut accéder aux statistiques et comprendre plus ou moins comment elles sont interprétées. Le modèle d’une équipe pourra certes accorder plus de valeur aux auteurs de home runs, tandis qu’une autre leur en attribuera un peu moins, car les batteurs puissants ont souvent tendance à se faire éliminer. Mais dans les deux cas, le nombre de home runs et de strikeouts est visible de tous.

Le base-ball a également pour lui sa rigueur statistique. Ses gourous disposent d’un immense volume de données, dont la quasi-totalité concerne directement les performances des joueurs. Elles s’avèrent en outre extrêmement pertinentes en regard des résultats qu’ils s’efforcent de prédire. Aussi évident que cela puisse paraître, nous verrons tout au long de ce livre que les créateurs d’ADM manquent en revanche souvent d’informations relatives aux comportements qui les intéressent directement. Ils leur substituent alors des données indirectes, ou supplétives3. Ils établissent des corrélations statistiques entre le code postal ou les caractéristiques linguistiques d’un individu, et la probabilité qu’il rembourse un emprunt ou fasse correctement son travail. Ces corrélations sont discriminatoires, et pour certaines illégales. La plupart du temps, les modèles utilisés dans le base-ball n’emploient pas de données supplétives ; ils exploitent des renseignements appropriés comme le nombre de balles, le nombre de renvois de balle ratés, ou réussis.

L’élément le plus déterminant est qu’il arrive de nouvelles statistiques chaque année, issues en moyenne de douze à treize matchs quotidiens entre avril et octobre. Les statisticiens peuvent comparer les résultats de ces rencontres aux prédictions de leurs modèles, et voir où ils se sont trompés. Peut-être avaient-ils prédit qu’un lanceur de relève gaucher concéderait beaucoup de coups sûrs aux batteurs droitiers – alors qu’il les a au contraire écrasés. Il leur faut dans ce cas ajuster leur modèle et rechercher également d’où vient leur erreur. Son nouveau lancer « en tire-bouchon » a-t-il eu un impact sur ses statistiques ? Lance-t-il mieux en nocturne ? Quels que soient les enseignements qu’ils en tirent, ils peuvent réinjecter ces informations dans le modèle et ainsi l’affiner. C’est de cette manière que les modèles dignes de confiance fonctionnent. Ils entretiennent un va-et-vient permanent avec les réalités de tout ordre qu’ils essaient de comprendre ou de prédire. Quand les conditions changent, les modèles doivent eux aussi changer.

L’idée même d’envisager une comparaison entre le modèle du base-ball, avec ses milliers de variables en constante évolution, et celui utilisé pour évaluer les enseignants des écoles de Washington semble étrange. Le premier modélise toute une discipline sportive dans ses moindres détails, en procédant à des mises à jour continuelles. Le second, empreint de mystère, semble s’appuyer majoritairement sur une poignée de résultats aux tests de passage dans les classes supérieures d’une année sur l’autre. Peut-on réellement parler de modèle ?

La réponse est oui. Un modèle n’est après tout rien de plus que la représentation abstraite d’un processus quelconque, qu’il s’agisse d’un match de base-ball, de la chaîne d’approvisionnement d’une compagnie pétrolière, des actions menées par un gouvernement étranger, ou de la fréquentation d’une salle de cinéma. Qu’il soit mis en œuvre dans un programme informatique ou dans notre cerveau, le modèle exploite ce que nous savons pour prédire des réponses à diverses situations. Nous avons tous dans la tête des milliers de modèles. Ils nous disent à quoi s’attendre et orientent nos décisions4.

Voici l’exemple d’un modèle informel que j’utilise au quotidien. Mère de trois enfants, je m’occupe de la cuisine – mon mari, pauvre de lui, est incapable de se rappeler qu’il faut mettre du sel dans l’eau des pâtes. Tous les soirs, quand je m’attelle à la préparation du repas familial, je modélise intérieurement et intuitivement l’appétit de chacun. Je sais que l’un de mes fils adore le poulet (mais déteste les hamburgers), alors qu’un autre mangera uniquement les pâtes (avec un supplément de parmesan râpé). Mais je dois aussi considérer que l’appétit varie d’un jour sur l’autre, et que mon modèle risque donc d’être pris au dépourvu en cas de changement. Une certaine part d’incertitude reste inévitable.

Pour alimenter mon modèle de préparation des repas, j’utilise les informations dont je dispose à propos de ma famille, les ingrédients que j’ai sous la main ou que je sais pouvoir obtenir, ainsi que l’énergie, le temps et mon degré d’ambition. Le résultat est donc ce que je décide de préparer, et comment. J’évalue ma réussite à l’aune de la satisfaction que manifestent mes proches une fois le repas terminé, des quantités qu’ils ont mangées, et de la qualité diététique des aliments. Observer comment le repas est accueilli et à quel point il est apprécié me permet de mettre à jour mon modèle pour la fois suivante. Ces mises à jour et ces ajustements en font ce que les statisticiens appellent un « modèle dynamique ».

Au fil des années, je dois dire non sans fierté que je suis devenue assez douée pour la préparation de nos repas familiaux. Mais que se passerait-il si nous nous absentions, mon mari et moi, pendant une semaine, et que je devais expliquer mon système à ma mère pour qu’elle me remplace ? Ou si une amie, qui a elle aussi des enfants, souhaitait connaître mes méthodes ? C’est à ce moment-là que j’entreprendrais de formaliser mon modèle, en lui conférant un caractère beaucoup plus systématique et, d’une certaine façon, mathématique. Et si j’en avais le courage, je pourrais même le coder dans un logiciel.

Ce programme contiendrait idéalement tous les choix d’aliments possibles, leur valeur nutritionnelle et leur coût, ainsi qu’une base de données complète des goûts de ma famille, avec les préférences et les aversions de chacun. J’aurais néanmoins du mal à rassembler de mémoire la totalité de ces informations. J’ai des tonnes de souvenirs, dans lesquels je vois quelqu’un reprendre deux fois des asperges ou éviter soigneusement les haricots verts. Mais ils sont tout embrouillés et difficiles à formaliser en une liste exhaustive.

La meilleure solution consisterait à améliorer le modèle au fil du temps, en saisissant tous les jours de nouvelles données sur ce que j’aurais acheté et cuisiné, et en notant les réactions de chaque membre de la famille. J’y intégrerais aussi certains paramètres ou certaines contraintes. Je pourrais par exemple limiter les fruits et légumes aux produits de saison et n’autoriser les friandises qu’au compte-gouttes, juste assez pour éviter une rébellion. J’ajouterais également un certain nombre de règles : untel apprécie la viande, un autre aime manger du pain avec les pâtes, un autre encore boit beaucoup de lait et tient absolument à tartiner de Nutella tout ce qui lui tombe sous la main.

Si je faisais de ce travail l’une de mes grandes priorités, j’obtiendrais peut-être au bout de plusieurs mois un excellent modèle. J’aurais converti le système de gestion alimentaire que j’ai dans la tête, mon modèle informel interne, en un modèle externe formalisé. En créant ce modèle, j’étendrais mon pouvoir et mon influence sur le monde. J’aurais réussi à mettre au point une version automatisée de moi-même dont les autres pourraient se servir, même quand je ne suis pas là.

Il y aurait cependant toujours des erreurs, car les modèles sont par nature des simplifications. Aucun ne peut embrasser toute la complexité du monde réel ni toutes les nuances de la communication humaine. On laisse inévitablement de côté certaines informations utiles. Je pourrais ainsi avoir négligé d’indiquer à mon modèle que les règles sur la malbouffe sont moins strictes lors des anniversaires, ou que les carottes ont plus de succès crues que cuites.

Lorsqu’on crée un modèle, il faut tout d’abord choisir les données que l’on juge pertinentes pour l’alimenter. Ce faisant, nous simplifions donc le monde réel à une sorte de modèle réduit facile à comprendre, et dont on déduit des actions et des faits essentiels. Nous attendons de ce modèle qu’il accomplisse une seule et unique tâche et nous résignons au fait qu’il puisse agir de temps à autre comme une machine désorientée, comportant d’importants angles morts.

Ces angles morts sont parfois sans conséquence. Quand on lui demande un itinéraire, Google Maps modélise l’environnement en une succession de routes, de tunnels et de ponts. Il ne s’occupe pas des bâtiments, parce qu’ils sont sans rapport avec la tâche demandée. Quand un logiciel d’avionique guide un appareil, il modélise le vent, la vitesse de l’avion, et la piste d’atterrissage, mais laisse bien évidemment de côté les rues, les tunnels, les bâtiments ou les passants.

Les angles morts d’un modèle reflètent les jugements et les priorités de ses concepteurs. Si les choix opérés dans Google Maps ou dans un logiciel d’avionique paraissent clairs et évidents, d’autres sont bien plus problématiques. Le modèle de la valeur ajoutée utilisé dans les écoles de Washington, pour en revenir à cet exemple, évalue principalement les enseignants sur la base des scores obtenus par leurs élèves lors des tests de fin d’année, sans regarder s’ils les font participer en cours, s’ils s’emploient à améliorer certaines compétences spécifiques, s’ils savent gérer une classe, ou s’ils aident les enfants en cas de difficultés personnelles ou familiales. Ce modèle se montre excessivement simpliste, et sacrifie une perception juste et profonde des situations sur l’autel de l’efficience. Mais du point de vue de l’administration, il offre un outil efficace permettant de débusquer des centaines d’enseignants apparemment médiocres, fût-ce au risque d’en méjuger certains.

On voit ici que les modèles, malgré leur réputation d’impartialité, sont le reflet d’une idéologie et d’objectifs bien précis. En supprimant la possibilité de consommer des friandises à chaque repas, j’ai imposé mon idéologie au modèle culinaire. On le fait sans hésiter, sans même réfléchir. Nos propres valeurs et nos propres désirs influencent nos choix, des données que nous décidons de recueillir jusqu’aux questions que nous posons. Les modèles sont un ensemble d’opinions inséré dans un système mathématique.

Dire qu’un modèle fonctionne ou pas est également affaire d’opinion. L’une des composantes clés de tout modèle, qu’il soit formalisé ou non, réside en définitive dans sa conception du succès. Il s’agit là d’un point important sur lequel nous reviendrons en explorant le sombre univers des ADM. Il faut à chaque fois se demander non seulement qui a conçu le modèle, mais aussi ce que cette personne (ou cette entreprise) cherche à accomplir. Si le gouvernement nord-coréen élaborait un modèle pour composer les repas de ma famille, par exemple, il pourrait l’optimiser afin de nous maintenir juste au-dessus du seuil de la famine, à moindre coût, et en fonction des réserves alimentaires disponibles. Nos préférences compteraient peu, voire pas du tout. À l’opposé, si la conception du modèle était confiée à mes enfants, le succès se mesurerait peut-être à la présence de crème glacée à tous les repas. Mon propre modèle s’efforce d’associer un soupçon nord-coréen de gestion des ressources, le bonheur de mes enfants, tout en incluant mes priorités en matière de santé, de commodité, de diversité et de développement durable. Il est en conséquence beaucoup plus complexe. Mais il n’en demeure pas moins le reflet de ma propre réalité. Un modèle conçu pour aujourd’hui fonctionnera en outre un peu moins bien demain. S’il n’est pas constamment mis à jour, il finira par se périmer. Les prix évoluent, au même titre que les préférences des individus. Un modèle conçu pour un enfant de 6 ans ne fonctionnera pas avec un adolescent.

C’est également vrai pour nos modèles internes. Un moment de gêne est vite arrivé lorsque des grands-parents rendent visite à leur petite-fille qu’ils n’ont pas vue depuis longtemps. La fois précédente, ils avaient recueilli des informations sur ce qu’elle savait, ce qui la faisait rire, les émissions de télé qu’elle aimait, et avaient créé (de façon inconsciente) un modèle relationnel spécifiquement adapté à cette fillette de 4 ans. En la retrouvant un an plus tard, ils risquent quelques heures d’inconfort, car leur modèle ne sera plus à jour. Thomas le petit train est semble-t-il passé de mode. Il leur faudra un peu de temps pour réunir de nouvelles données à propos de l’enfant et ajuster leur modèle.

Cela ne veut pas dire qu’un modèle rudimentaire est nécessairement un mauvais modèle. Il en existe de très efficaces qui ne s’appuient que sur une seule variable. Le modèle le plus courant pour détecter un incendie dans un logement ou un bureau se borne à évaluer une seule variable : la présence de fumée. C’est en général suffisant. Les concepteurs de modèles rencontrent en revanche des problèmes – ou nous les font subir ! – lorsqu’ils appliquent aux êtres humains des schémas aussi simples que celui d’un détecteur de fumée.

Au niveau individuel, le racisme peut s’envisager comme un modèle prédictif, opérant au sein de milliards de cerveaux à travers le monde. Il repose sur des données erronées, incomplètes ou généralisées. Qu’elles soient le résultat d’expérience ou de rumeurs, ces données indiquent que certains types d’individus ont un mauvais comportement. Il en résulte la prédiction binaire que toutes les personnes de même origine se comporteront de manière identique.

Il va sans dire que les individus qui adoptent une pensée raciste ne consacrent guère de temps à dénicher des informations fiables pour éprouver leur modèle défectueux. Une fois ce modèle transformé en conviction intime, il s’enracine définitivement dans leur esprit. Il génère des hypothèses pernicieuses mais les met rarement à l’épreuve, se contentant au contraire d’alimenter le modèle en données qui semblent confirmer et renforcer les préjugés de départ. Le racisme est par conséquent le plus bâclé de tous les modèles prédictifs. Il est alimenté par des données collectées de façon approximative et par des corrélations fallacieuses, renforcé par les injustices institutionnelles et pollué par un biais de confirmation5. Curieusement, il fonctionne donc de façon assez similaire aux ADM que je décrirai dans ce livre.

***

En 1997, Duane Buck, un Afro-Américain reconnu coupable de meurtre, fut présenté devant un jury populaire du comté de Harris, au Texas. Buck avait tué deux personnes, et les jurés devaient décider s’il serait condamné à mort ou à la prison à perpétuité avec possibilité de libération conditionnelle. La procureure requérait la peine capitale, faisant valoir que si Buck était libéré, il risquait de tuer à nouveau.

L’avocat de Buck appela comme témoin un expert psychologue du nom de Walter Quijano, qui n’arrangea pas le moins du monde les affaires de son client. Ayant étudié les taux de récidive dans le système carcéral texan, Quijano fit référence aux origines de Buck et lors de son contre-interrogatoire, la procureure sauta sur l’occasion.

« Vous avez établi que le… le facteur racial, le fait d’être noir, augmentait pour diverses raisons assez complexes la dangerosité des individus. Est-ce exact ? », lui demanda-t-elle.

« Oui », répondit Quijano. La procureure insista sur ce témoignage dans son réquisitoire, et le jury condamna Buck à la peine de mort.

Trois ans plus tard, le procureur général du Texas, John Cornyn, découvrit que le psychologue avait fourni des témoignages similaires, fondés sur un argument racial, dans six autres procès ayant abouti à la peine capitale – la plupart d’entre eux alors qu’il était employé par le ministère public. Cornyn, qui serait élu sénateur en 2002, ordonna de nouvelles audiences non discriminatoires pour les sept détenus. « Il n’est pas normal, déclara-t-il dans un communiqué de presse, que l’on permette à la notion de race d’entrer en considération dans notre système pénal. […] Les citoyens du Texas attendent et méritent un système qui garantisse à tous la même impartialité. »

Les six prisonniers concernés obtinrent de nouvelles audiences mais leur condamnation fut confirmée. Selon les conclusions du tribunal, le témoignage préjudiciable de Quijano n’avait pas été décisif. Buck ne fut jamais réentendu, du fait peut-être que la question raciale avait été soulevée par son propre témoin. Il est encore aujourd’hui dans le couloir de la mort.

Indépendamment de son évocation explicite lors d’un procès, la question raciale constitue de longue date un facteur majeur dans la détermination des peines. Une étude de l’université du Maryland a montré que dans le comté de Harris, dont fait partie la ville de Houston, les procureurs étaient trois fois plus enclins à réclamer la peine de mort pour des prévenus afro-américains, et quatre fois plus pour des Hispaniques, que pour des Blancs déclarés coupables des mêmes faits. Cette tendance n’est pas propre au Texas. D’après l’American Civil Liberties Union (Union américaine pour les libertés civiles), les peines infligées aux hommes noirs dans le système fédéral sont près de 20 % plus longues que pour les Blancs convaincus de crimes similaires. Et bien qu’ils représentent seulement 13 % de la population, les Noirs représentent aux États-Unis 40 % de la population carcérale.

On pourrait donc penser que des outils de calcul de risque entièrement informatisés et alimentés par des données pourraient réduire l’influence des préjugés et favoriser un traitement plus équitable en matière de condamnation pénale. C’est dans cet espoir que les tribunaux de vingt-quatre États se sont tournés vers ce qu’on appelle des « modélisations du récidivisme ». Elles aident les juges à évaluer le danger posé par chaque condamné, et sont synonymes de progrès à bien des égards. Elles assurent une plus grande cohérence des peines, qui sont moins impactées par les humeurs et partis pris des magistrats. Elles permettent également de réaliser des économies, en réduisant légèrement la durée moyenne d’incarcération (l’hébergement d’un détenu coûte en moyenne 31 000 dollars par an, et deux fois plus dans des États dispendieux comme le Connecticut ou celui de New York).

La question est cependant de savoir si l’on a bien éliminé les préjugés humains ou si on les a simplement camouflés sous la technologie. Les nouveaux modèles de prédiction du récidivisme sont complexes et fondés sur les mathématiques, mais ils renferment tout un tas d’hypothèses dont certaines sont chargées d’a priori. Et tandis que les propos de Walter Quijano ont été transcrits dans les minutes du procès, permettant leur lecture et leur contestation ultérieure devant la cour, les mécanismes d’un modèle de prédiction du récidivisme sont eux dissimulés au sein d’algorithmes, uniquement intelligibles pour une petite élite.

L’un des modèles les plus prisés, baptisé LSI-R, comporte un long questionnaire que l’on fait remplir au prisonnier. L’une des questions – « De combien de condamnations avez-vous déjà fait l’objet ? » – se rapporte directement au risque de récidive. D’autres présentent elles aussi un lien évident : « Quel rôle d’autres personnes ont-elles joué dans le crime commis ? Drogues et alcool y ont-ils été pour quelque chose ? »

Mais à mesure que le questionnaire se poursuit, fouillant de plus en plus profondément dans la vie de l’individu, on imagine sans mal que les détenus issus d’un milieu privilégié répondront d’une certaine manière et ceux des quartiers défavorisés d’une autre. Demandez à un criminel ayant grandi dans une banlieue aisée « Quelle est la première fois où vous avez eu affaire à la police ? » et il pourrait bien n’avoir aucun incident à signaler, hormis celui qui l’a mené en prison. Les jeunes hommes noirs, en revanche, auront sans doute été arrêtés des dizaines de fois, même quand ils n’avaient rien à se reprocher. Alors que les hommes blancs et d’origine latino-américaine âgés de 14 à 24 ans représentaient seulement 4,7 % de la population de la ville, une étude réalisée en 2013 par l’Union pour les libertés civiles de New York a montré qu’ils totalisaient 40,6 % des contrôles avec fouille spontanée. Plus de 90 % des individus interpellés étaient innocents. Les autres avaient peut-être consommé de l’alcool avant l’âge autorisé ou s’étaient fait prendre avec un joint de cannabis. Et contrairement à la plupart des enfants de familles fortunées, cela leur avait valu des problèmes. Si des « relations » précoces avec la police constituent un indice de récidivisme, les pauvres et les minorités ethniques semblent donc présenter bien plus de risques.

Les questions sont loin de s’arrêter là. On demande également aux détenus si leurs amis et leurs proches ont un casier judiciaire. Là encore, posez cette question à un condamné élevé au sein de la classe moyenne, et la réponse aura nettement plus de chances d’être négative. Certes, le questionnaire évite de demander l’origine éthnique des gens, puisque la loi l’interdit. Mais compte tenu de la masse de détails fournie par chaque prisonnier, la seule question illégale devient presque superflue.

Depuis son invention en 1995, des milliers de détenus ont été soumis au questionnaire LSI-R. Les statisticiens en ont exploité les résultats pour concevoir un système dans lequel les réponses fortement corrélées au récidivisme pèsent davantage et comptent pour plus de points. Une fois qu’ils ont répondu au questionnaire, les détenus sont classés selon trois niveaux de risque – élevé, moyen ou faible –, en fonction du nombre de points accumulés. Dans certains États, comme celui de Rhode Island, ces tests servent uniquement à cibler ceux qui obtiennent un score élevé, afin qu’ils suivent un programme de lutte contre la récidive durant l’incarcération. Mais ailleurs, notamment dans l’Idaho et le Colorado, les magistrats utilisent ces scores pour décider de la peine prononcée.

C’est injuste. Le questionnaire révèle dans quel environnement l’individu inculpé est venu au monde et a été éduqué, et comporte aussi des renseignements sur sa famille, son quartier et ses amis. Ces détails ne devraient pas intervenir dans une procédure criminelle, ni dans la détermination d’une peine. De fait, si un procureur cherchait à nuire à un prévenu en mentionnant le casier judiciaire de son frère ou le taux de criminalité élevé de son quartier, un avocat digne de ce nom s’écrierait : « Objection, votre honneur ! » Et un juge sérieux la lui accorderait. C’est la base de notre système juridique. Nous sommes jugés pour ce que nous faisons, pas pour ce que nous sommes. Et bien que l’on ignore l’importance exacte attachée à ces paramètres dans le test, il n’est pas normal qu’ils aient le moindre poids.

Beaucoup feraient remarquer que les systèmes statistiques comme le LSI-R sont efficaces pour jauger du risque de récidive – ou du moins plus précis que les suppositions aléatoires d’un juge. Mais même en mettant de côté, ne serait-ce qu’une seconde, la question cruciale de l’équité, on se trouve néanmoins entraîné dans la pernicieuse boucle de rétroaction propre aux ADM. Un individu classé, de par son score, dans la catégorie « à haut risque » aura de grandes chances d’être au chômage et de venir d’un quartier où nombre de ses amis et de ses proches auront eu des démêlés avec la justice. À cause en partie de ce score élevé, il écope d’une peine plus longue et passe davantage d’années en prison entouré d’autres criminels – ce qui augmente la probabilité d’une nouvelle condamnation. On le relâche finalement au cœur du même quartier défavorisé, lesté désormais d’un casier judiciaire qui rend d’autant plus difficile l’obtention d’un emploi. S’il commet un autre crime, la modélisation du récidivisme pourra se prévaloir d’un nouveau succès. Mais c’est en réalité le modèle lui-même qui alimente un cycle malsain et qui contribue à entretenir cette réalité. Cette caractéristique constitue la signature d’une ADM6.

Nous avons analysé trois sortes de modèles dans ce chapitre. Ceux utilisés dans le base-ball sont en majorité sains. Transparents et continuellement mis à jour, leurs hypothèses aussi bien que leurs conclusions sont claires et visibles de tous. Ces modèles se nourrissent de statistiques tirées du sport en question, et non de données de remplacement. Les joueurs qui font l’objet d’une telle modélisation comprennent en outre le processus et partagent l’objectif visé : remporter les compétitions (ce qui ne signifie nullement qu’un grand nombre d’entre eux n’iront pas discuter leur évaluation au moment de signer leur contrat : « J’ai été sorti deux cents fois, d’accord, mais regardez combien de home runs j’ai à mon actif ! »).

De mon point de vue, il n’y a assurément rien à redire au second modèle que nous avons évoqué, à savoir mon modèle de préparation des repas familiaux. Si mes enfants devaient mettre en doute les hypothèses qui le sous-tendent, aussi bien économiques que diététiques, je serais on ne peut plus ravie de les éclairer en argumentant. Et bien qu’il leur arrive de râler face à une assiette de légumes verts, ils admettraient sans doute, en insistant un peu, que nous partageons les mêmes objectifs de commodité, d’économie, d’alimentation saine et de qualité gustative – auxquels leurs modèles personnels, qu’ils seront libres d’élaborer quand ils commenceront à acheter leur propre nourriture, attribueraient néanmoins peut-être un poids différent.

Je me dois d’ajouter qu’il est fort peu probable que mon modèle connaisse une diffusion à grande échelle. Je vois mal une chaîne d’hypermarchés, le ministère de l’Agriculture américain ou n’importe quelle autre institution d’ampleur adopter mon application et l’imposer à des centaines de millions de personnes, à l’image de certaines des ADM dont nous allons parler. Mon modèle est au contraire inoffensif, et ce d’autant plus qu’il a peu de chances de sortir un jour de mon cerveau pour être codifié.

Il en va tout autrement de l’exemple de la récidive, qui clôt ce chapitre. Celui-ci dégage des relents familiers et néfastes. Livrons-nous donc à un rapide exercice de taxinomie des ADM, afin de voir où il se range.

Première question : même si le sujet a conscience d’être modélisé ou qu’il connaît la finalité du modèle, a-t-on affaire à un modèle opaque, voire invisible ? La plupart des détenus à qui l’on fait remplir des questionnaires obligatoires ne sont pas stupides. A minima, ils suspectent que les renseignements fournis seront utilisés à leurs dépens, pour les contrôler durant leur détention et peut-être les garder plus longtemps enfermés. Ils connaissent les règles du jeu. Mais c’est aussi le cas de l’administration pénitentiaire. Aussi passe-t-elle sous silence le véritable objectif du questionnaire LSI-R. Sinon, elle le sait bien, beaucoup de prisonniers tenteront de le déjouer en fournissant des réponses qui les feront passer pour des citoyens exemplaires le jour de leur sortie. Les détenus sont donc laissés autant que possible dans l’ignorance, et on ne leur communique pas le résultat du test : leur taux de risque de récidive.

Ils sont loin d’être les seuls. Les modèles opaques et invisibles sont légion, tandis que les modèles transparents font figure d’exception. On nous modélise en tant qu’acheteurs, en tant que (sur)consommateurs de télévision, en tant que patients, candidats à un prêt – y compris dans le cadre d’applications numériques auxquelles nous souscrivons gaiement – mais tout cela est invisible à nos yeux. Même quand de tels modèles sont correctement utilisés, leur opacité peut provoquer un sentiment d’injustice. Si un ouvreur vous annonçait, à l’entrée d’un concert en plein air, que les dix premières rangées de sièges vous sont interdites, vous trouveriez peut-être cela insensé. En revanche, si on vous expliquait que ces dix premières rangées sont réservées aux spectateurs en fauteuil roulant, cela changerait la donne. La transparence est un élément déterminant.

Pourtant, beaucoup d’entreprises s’efforcent par tous les moyens de dissimuler les résultats de leurs modèles, voire le fait même qu’ils existent. Elles se justifient souvent en objectant que l’algorithme utilisé relève d’une « recette secrète » vitale pour leur activité. C’est leur propriété intellectuelle et elle doit être défendue, mobilisant au besoin des légions d’avocats et de lobbyistes. Dans le cas de géants du Web comme Google, Amazon et Facebook, ces algorithmes sur mesure et ajustés avec précision valent à eux seuls des centaines de milliards de dollars. Les ADM constituent par principe d’impénétrables boîtes noires. Il n’en est donc que plus ardu d’offrir une réponse définitive à la seconde question : le modèle agit-il contre l’intérêt du sujet ? En un mot, est-il déloyal ? A-t-il pour effet de nuire ou de détruire des vies ?

Sur ce plan-là, le LSI-R mérite à nouveau largement la qualification d’ADM. Ceux qui l’ont mis au point dans les années 1990 y voyaient sans doute un outil qui garantirait l’efficience et l’impartialité de la justice pénale. Il pourrait aussi contribuer à infliger des peines plus légères aux criminels non dangereux, ce qui se traduirait par un gain de liberté pour eux et par d’énormes économies pour le contribuable américain, qui règle chaque année une facture de 70 milliards de dollars pour financer le système carcéral. Mais puisqu’il juge le détenu sur la base de détails qui seraient irrecevables devant un tribunal, ce questionnaire est injuste. Bien qu’il puisse profiter à beaucoup de monde, il est vecteur de souffrance pour d’autres.

Cette boucle de rétroaction néfaste y est pour beaucoup. Comme nous l’avons vu, les modèles utilisés pour déterminer les peines dressent le profil d’un individu en fonction de sa situation personnelle, encourageant de fait la perpétuation d’un environnement qui justifie leurs hypothèses de départ. Cette boucle destructrice se répète indéfiniment, rendant le modèle de plus en plus injuste.

La troisième question concerne la capacité ou non d’un modèle à s’étendre de manière exponentielle. Comme le dirait un statisticien : peut-il changer d’échelle ? Ce n’est pas une chicane de mathématicien : si les ADM (à l’origine de simples nuisances localisées) peuvent devenir de véritables tsunamis, capables de définir notre existence et d’en fixer les limites, c’est bien à cause de leur échelle. Comme nous l’observerons par la suite, les ADM qui se développent aujourd’hui dans les secteurs des ressources humaines, de la santé et de la banque, pour ne citer que ceux-là, sont rapidement en train d’établir des normes généralisées qui exercent une autorité proche de celle de la loi. Si l’algorithme d’une banque vous attribue par exemple le profil d’un emprunteur à haut risque, le monde entier vous traitera comme un mauvais payeur – même si cela découle d’un horrible malentendu. Et quand ce modèle change d’échelle, à l’instar de celui des scores de crédit, toute votre vie s’en trouve alors affectée – qu’il s’agisse d’obtenir un appartement, un emploi, ou une voiture pour aller de l’un à l’autre.

En termes d’échelle, la modélisation du récidivisme a un potentiel croissant. Aux États-Unis, elle est d’ores et déjà appliquée dans la majorité des États et le LSI-R en constitue l’outil le plus courant, utilisé au moins dans vingt-quatre d’entre eux. Au-delà du LSI-R, les établissements pénitentiaires abritent un marché dynamique et foisonnant pour les experts du Big Data. Le système pénal regorge de données, d’autant que le droit à la vie privée d’un détenu est encore moins protégé que celui du reste de la population. Dans les institutions pénitentiaires, connues pour leur indigence, le phénomène de la surpopulation et leur caractère souvent inefficace, coûteux et inhumain, le besoin d’améliorations est criant. Qui refuserait une solution bon marché comme celle-ci ?

Dans le paysage politique polarisé que nous connaissons aujourd’hui, la réforme pénale fait figure d’exception : c’est une question sur laquelle progressistes et conservateurs parviennent à trouver un terrain d’entente. Début 2015, les frères Charles et David Koch, conservateurs, se sont alliés avec un groupe de réflexion progressiste, le Center for American Progress, afin de promouvoir une réforme des prisons et de faire baisser la population carcérale. Mais je crains que leur effort bipartite, comme de multiples initiatives similaires, ne soit quasiment assuré de déboucher sur une solution alimentée par des données, dont tout le monde semble louer l’efficience et la prétendue équité. Notre époque est ainsi faite. Même si d’autres ADM supplantent le modèle du LSI-R, le système pénitentiaire a toutes les chances de représenter pour ces dernières un incubateur puissant et à grande échelle.