JEAN-FRANÇOIS
BONNEFON

LA VOITURE
QUI EN
SAVAIT
TROP

L’INTELLIGENCE
ARTIFICIELLE A-T-ELLE
UNE MORALE ?

Prolongez l’expérience avec la newsletter de Cogito
sur www.humensciences.com

« Le Code de la propriété intellectuelle n’autorisant, aux termes des paragraphes 2 et 3 de l’article L122-5, d’une part, que les “copies ou reproductions strictement réservées à l’usage privé du copiste et non destinées à une utilisation collective” et, d’autre part, sous réserve du nom de l’auteur et de la source, que “les analyses et les courtes citations justifiées par le caractère critique, polémique, pédagogique, scientifique ou d’information”, toute représentation ou reproduction intégrale ou partielle, faite sans consentement de l’auteur ou de ses ayants droit, est illicite (art. L122-4). Toute représentation ou reproduction, par quelque procédé que ce soit, notamment par téléchargement ou sortie imprimante, constituera donc une contrefaçon sanctionnée par les articles L 335-2 et suivants du Code de la propriété intellectuelle. »

ISBN : 978-2-3793-1041-6

Dépôt légal : octobre 2019

© Éditions humenSciences / Humensis, 2019
170 bis, boulevard du Montparnasse, 75014 Paris
Tél. : 01 55 42 84 00
www.humensciences.com

1

UN THRILLER
TECHNOLOGIQUE

Parfois, la science ressemble à un roman d’espionnage. En menant les recherches que je décris dans ce livre, j’ai quelquefois eu l’impression d’être un personnage de thriller technologique. Je ne parle pas d’espionnage entre scientifiques. C’est vrai, parfois, les chercheurs s’épient et se jaugent, échangent des rumeurs les uns sur les autres. Et les laboratoires dissimulent leurs progrès pour ne pas être pris de vitesse par leurs concurrents ; lesquels ne s’embarrassent pas toujours de scrupules pour emprunter une idée entendue lors d’une conférence, ou inconsidérément révélée à une heure tardive, après quelques verres, lorsque la prudence se relâche. Ces choses-là sont rares, mais tous les chercheurs ont au moins une histoire de ce genre à raconter. Cependant, il n’est pas question de ça ici.

Autre similitude entre la recherche et les films d’espionnage, un projet scientifique se mène un peu comme une mission d’infiltration. Un problème de recherche constitue un endroit stratégique, dont il faut percer les défenses pour s’en rendre maître. Cela nécessite un plan d’attaque et une équipe. Les membres d’un tel commando de recherche n’ont pas tous la même expérience, ni tous la même spécialité. Chacun et chacune a son domaine d’expertise propre et des talents différents. Reconnaître cette complémentarité, en faire le meilleur usage, et respecter le jugement de ses équipiers sont des conditions essentielles pour mener à bien tout projet – comme pour une action en territoire ennemi.

Enfin, comme dans tout bon roman d’espionnage, il ne faut pas faire entièrement confiance à celui qui raconte. L’histoire d’un projet scientifique est souvent floue ; les dates, les lieux et les idées se mélangent. Qui a pensé à telle piste le premier ? De qui est venue l’idée qui a sauvé le projet ? Peu importe, en fait. Un projet scientifique est la propriété de toute une équipe, et les idées des uns se construisent avec les idées des autres. L’un peut en avoir eu l’idée initiale, et l’autre l’avoir fait progresser. Mais lorsqu’il faut raconter l’histoire d’un projet, les souvenirs de celui qui raconte ne sont pas toujours exacts. Gardez ceci à l’esprit en lisant l’histoire que je vais vous raconter. Je suis un narrateur qui s’arrange parfois avec la réalité. Je n’invente rien de toutes pièces, mais je ne dis pas tout, et je suis souvent amené à composer avec des souvenirs déformés.

Au cœur de ce livre, réside une technologie révolutionnaire : la conduite autonome. Pourtant, ce n’est pas de technologie dont je vais parler, mais de morale. La voiture sans conducteur nous oblige à poser des questions nouvelles, à une échelle inédite. Les deux grandes promesses des voitures autonomes, comme on les appelle aussi, sont de polluer moins et d’avoir moins d’accidents. Elles ne pourront pas toutefois éviter tous les accidents. Ce simple constat a des conséquences vertigineuses, parce que nous allons devoir choisir à quoi ressembleront les accidents qui ne pourront être évités. Je m’explique : combien d’accidents mortels allons-nous autoriser ces voitures à avoir ? Avec quelle répartition des victimes ? Accepterions-nous que les passagers des véhicules autonomes n’aient quasiment plus d’accidents mortels, mais que les piétons et les cyclistes continuent à être tués avec la même régularité qu’aujourd’hui ? Et si une voiture autonome se trouve dans la situation dramatique où elle a le choix entre sacrifier son passager ou écraser un piéton, que doit-elle faire ? Et s’il s’agit de deux, de trois ou de quatre piétons ? Et si ce piéton est un enfant ?

Toutes ces questions sont nouvelles parce que, jusqu’ici, les humains conduisaient les voitures. Il aurait été insensé d’ordonner à des conducteurs humains de tuer moins de cyclistes, ou de se sacrifier pour sauver un groupe de piétons. Les automobilistes n’ont pas la capacité d’analyser, en une fraction de seconde, toutes les conséquences de leurs actions, et ils ne peuvent pas être programmés à l’avance. Les voitures sans conducteur, si. En fait, elles doivent même être programmées à l’avance. Et leur programmation peut changer. Si nous pensons que trop de cyclistes sont tués sur les routes, nous ne pouvons pas changer le comportement des conducteurs du jour au lendemain. Mais, dans un futur pas si éloigné, nous pourrons en une nuit, mettre à jour le code des voitures autonomes pour les rendre plus prudentes lorsqu’elles passent à proximité des cyclistes.

Tout ceci va nous amener à faire des choix dont nous nous serions bien passés. Personne n’a envie de se demander s’il vaut mieux qu’une voiture écrase trois adultes ou deux enfants. Mais, dès lors qu’un véhicule sans conducteur est capable de compter les piétons sur la route et de distinguer les adultes des enfants, nous devons lui dire quoi faire le jour où il sera face à ce choix dramatique. Nous devons inventer une nouvelle morale, non pas à destination des conducteurs humains, qui, comme je l’ai dit, ne peuvent de toute façon pas faire des choix lucides en situation d’accident, mais pour les machines, qui en savent assez pour les faire. Plus les voitures sans conducteur auront le pouvoir d’éviter les accidents, plus elles auront la tâche de choisir les accidents qu’elles ne peuvent éviter. J’ai écrit ce livre pour éclairer ce territoire moral nouveau, peuplé de voitures qui en savent trop pour être livrées à elles-mêmes.

2

DUBAÏ, MAI 2015

Les chercheurs ont l’habitude des hôtels bon marché : il ne faut pas gaspiller l’argent public, qui sert à financer leurs déplacements. J’ai ainsi dormi dans d’innombrables chambres minuscules, parfois sans salle de bain ; une fois même dans une pièce aveugle dépourvue de la moindre fenêtre, dans un sous-sol, à proximité d’une ligne de métro dont les vibrations régulières me donnaient l’impression de dormir dans un sous-marin.

Le jour où commence cette histoire, la situation est très différente. Je suis invité pour une semaine à l’institut Masdar de l’université Khalifa d’Abu Dhabi, et mes hôtes ont bien fait les choses. Je suis logé dans un luxueux hôtel de Dubaï : le genre d’endroit où l’on boit des cocktails dans une piscine à débordement, avec vue sur le golfe Persique.

Les recherches de cet institut Masdar portent surtout sur l’énergie et l’environnement, sujets sur lesquels je ne suis pas compétent ; mais l’institut abrite également une équipe de robotique et d’intelligence artificielle, avec laquelle je suis venu travailler. Notre projet consiste alors à faire coopérer des robots et des humains dans des situations où ces derniers ont du mal à coopérer entre eux. Un robot socialement astucieux pourrait susciter et maintenir la confiance de son partenaire humain, aussi bien et même mieux qu’un autre être humain – c’est du moins ce que nous espérons. Ce projet s’est révélé particulièrement passionnant, et je continue aujourd’hui encore à en explorer les ramifications¹. Mais il est ici accessoire par rapport à l’histoire que je raconte dans ce livre. Le plus important est que mon séjour à l’institut Masdar m’a permis de monter pour la première fois dans une voiture sans conducteur.

Le campus de l’institut dispose en effet d’un service de voitures autonomes programmées pour se déplacer d’un bâtiment à un autre, ce qui évite aux visiteurs de marcher sous le soleil de plomb des Émirats. Ces voitures se déplacent lentement, le long d’un trajet fixé à l’avance, et freinent souvent sans raison apparente, mais cela n’enlève rien à la nouveauté de l’expérience : pour la première fois, je me déplace dans un véhicule individuel sans chauffeur, ni volant. La recherche est souvent faite de hasards. Ici, le hasard a voulu que, quelques semaines plus tôt, lors d’une conférence à Amsterdam, une idée fugace me soit venue à propos des voitures sans conducteur. Cette pensée n’avait aucun lien avec la conférence elle-même. J’étais à Amsterdam pour parler d’une tout autre question : quand nous voyons le visage de quelqu’un, sommes-nous capables de prédire correctement si nous pouvons lui faire confiance² ?

J’avais profité de l’occasion pour déjeuner avec plusieurs chercheurs américains et européens travaillant, eux aussi, sur la question. Le repas avait été un peu tendu, car nous avions des désaccords scientifiques importants. Rien de personnel toutefois, et la conversation était donc devenue plus légère sur le chemin de retour du restaurant. C’est alors que, sur une impulsion, j’ai demandé à l’un de mes collègues si les voitures sans conducteur devraient être programmées pour tuer. Imaginez qu’un véhicule autonome se trouve dans une situation où l’accident est impossible à éviter et qu’il lui faut choisir entre deux groupes de victimes. Par exemple, un enfant ou bien cinq adultes, un homme ou une femme, une personne âgée ou un couple. Comment doit-il être programmé ? Qui doit-il sauver et, autrement dit, qui doit-il tuer ?

Cette idée n’est pas née de nulle part. Je m’intéresse depuis des années à la psychologie morale, c’est-à-dire à l’étude des processus mentaux qui nous permettent de décider qu’une action est moralement acceptable ou qu’une autre ne l’est pas. Or, la psychologie morale fait un usage immodéré de ce que l’on appelle le problème du tramway. C’est une expérience de pensée qui vise à faire réfléchir à la légitimité morale de sacrifier une personne innocente, quand cela entraîne des conséquences globalement positives³. Dans sa forme simplifiée, le problème se présente comme ceci : imaginez qu’un tramway est sur le point d’écraser cinq personnes, et que la seule solution pour les sauver soit de l’aiguiller sur une autre voie, où se trouve une personne qui n’aura pas le temps de l’éviter. Est-il moralement acceptable de rediriger le tramway et de tuer cette personne, sauvant par là les cinq autres ?

Il existe d’infinies variations de ce problème du tramway, et c’est ce qui en fait la beauté⁴. En modifiant minutieusement le problème, encore et encore, les psychologues parviennent à trianguler les facteurs qui guident le jugement moral et à comprendre pourquoi nous arrivons à des jugements différents. Ainsi, les hommes trouvent en moyenne plus acceptable que les femmes de sacrifier une vie pour en sauver plusieurs⁵. Est-ce à dire qu’ils seraient plus rationnels, plus enclins à surmonter leurs émotions au moment de prendre une décision difficile ? Non. Ils sont juste plus violents. Ou, pour le dire plus prudemment, ils éprouvent en moyenne moins d’aversion à l’idée de causer activement des blessures corporelles⁶. C’est pour cette même raison que les psychopathes, eux aussi, trouvent moralement plus acceptable de tuer une personne pour en sauver plusieurs⁷. Ils ne sont pas guidés par une philosophie de vie qui justifierait la violence quand elle œuvre pour le bien du plus grand nombre. Ils sont seulement plus à l’aise avec la violence, quelles qu’en soient les conséquences.

Quand les psychologues utilisent le problème du tramway, ils ne prétendent pas que cette situation soit réaliste, ou que tout un chacun soit susceptible d’y être confronté un jour. Je ne connais personne qui se soit trouvé face à la décision de diriger un tramway vers une ou cinq personnes, ni personne qui se soit trouvé sur l’une de ces voies, à la merci de la décision d’un conducteur de tramway ! L’idée qui m’avait si soudainement traversé l’esprit à Amsterdam est que les voitures sans conducteur apportaient une lumière nouvelle, et plutôt sinistre je dois l’admettre, à ce vieux problème du tramway, mais surtout qu’elles le rendaient un peu plus réaliste. Donner à un véhicule sans conducteur le pouvoir de choisir ses victimes dans une situation d’accident, c’est un peu comme donner au tramway le pouvoir de décider s’il va tuer une personne ou cinq. Et comme il y a beaucoup plus de voitures que de tramways, et que nous sommes bien plus souvent sur la trajectoire d’une voiture que sur une voie de tramway, alors… nous pourrions tous, un jour, être soumis à la décision prise en une fraction de seconde par l’algorithme de l’automobile. Autrement dit, nous pourrions tous un jour être tués ou sauvés par une machine.

Je ne savais pas (encore) si cette hypothèse de recherche était intéressante. Les chercheurs ont sans arrêt des idées, qu’ils n’ont jamais le temps d’explorer. Alors ils les testent d’abord sur leurs collègues, n’importe quand et n’importe où, en réunion, en conférence, autour d’un café… Et leurs collègues prennent rarement des gants. Parfois, ils détruisent complètement l’idée en quelques phrases. D’autres fois, ils affichent une moue silencieuse qui signifie : « Aucun intérêt. » C’est cette moue que j’ai vue apparaître sur le visage de mon collègue à Amsterdam, lorsque j’ai essayé sur lui mon idée, en regagnant le centre de conférence, après notre déjeuner. Cette histoire aurait donc dû s’arrêter là : de nombreux projets scientifiques meurent ainsi, tués dans l’œuf par une réaction dubitative. Mais c’était sans compter sur Iyad Rahwan.

3

LE RIRE DE MERLIN

Iyad Rahwan est un scientifique unique en son genre. Il a grandi en Syrie, à Alep, et a obtenu un doctorat en informatique en Australie. Il s’est rapidement imposé dans un domaine bien particulier de l’intelligence artificielle : les réseaux d’argumentation⁸. Cette notoriété précoce aurait pu lui assurer une carrière tranquille, mais Iyad ne goûte guère la tranquillité. Il aime la science qui bouscule, qui déstabilise, qui ne se laisse pas facilement mettre dans une case. Il casse les codes, comme on dit.

Les projecteurs se sont braqués sur lui après sa participation à plusieurs défis lancés par l’agence de recherche militaire Darpa et le département de la sécurité intérieure américaine. Ces défis relèvent de la mission impossible : trouver 10 ballons rouges dispersés n’importe où aux États-Unis⁹ ; reconstituer une page de carnet déchiquetée en centaines de petits morceaux¹⁰ ; ou bien encore repérer en moins de douze heures cinq individus cachés dans autant de villes différentes (Bratislava, Londres, New York, Stockholm, Washington D.C.) avec, comme unique point de départ, une photo de chacun d’eux¹¹. La technique d’Iyad consiste à utiliser le pouvoir des réseaux sociaux pour organiser une coopération à grande échelle. En encourageant des milliers d’inconnus à se lancer dans l’aventure et à recruter les membres de leur réseau, Iyad se trouve à la tête d’une armée d’informateurs. Grâce à cette technique, l’équipe menée par Iyad a pu localiser trois des cinq « cibles » en moins de douze heures, et gagner ainsi le dernier défi. Iyad a d’autres talents, comme celui (sans pareil) de savoir juger du potentiel d’un projet ou d’une personne. Pour l’anecdote, Iyad est aussi l’un des hommes les plus élégants que je connaisse, à tout point de vue : allure, manières, intellect. Toujours parfaitement vêtu et d’une exquise courtoisie, il est tout simplement l’alter ego syrien de George Clooney dans le film Ocean’s Eleven.

Mais revenons à Dubaï, en mai 2015. C’est Iyad qui m’a invité à lui rendre visite à l’institut Masdar. Après une journée de travail sur nos robots coopératifs, nous roulons vers Dubaï et échangeons des idées sur les nouveaux projets que nous pourrions commencer. J’ai soudainement envie de lui parler de mon idée sur les voitures sans conducteur, qui a si peu impressionné mon collègue à Amsterdam : « Et si une voiture sans conducteur ne pouvait éviter l’accident et qu’elle devait opter entre deux groupes de victimes, comment devrait-elle choisir ? »

Dans mon souvenir, Iyad rit. Ce n’est pas un rire poli, une façon de passer à autre chose. C’est plutôt « le rire de Merlin ». Dans la légende arthurienne, Merlin a tendance à rire d’une façon qui semble inexplicable ou cruelle. Il rit de voir sa mère pleurer lorsqu’elle est menacée du bûcher ; il rit en croisant un pauvre homme qui mendie assis sur le sol. Merlin rit parce qu’il voit plus loin que les autres ; parce qu’il sait que sa mère sera sauvée, et qu’un trésor est enterré aux pieds du pauvre homme. Iyad, lui, rit avec délice, parce qu’il a compris, mieux et plus vite que moi, l’intérêt et l’étendue du problème, et qu’il se réjouit du travail qui nous attend.

Ce travail commence par ce que nous appelons, nous scientifiques, le passage en revue de la littérature. Au début, un projet de recherche est une idée dont les termes sont encore très vagues. Ce jour-là, Iyad et moi partons de l’idée qu’une voiture sans conducteur pourra un jour se trouver en situation de dilemme moral, mais nous ne savons pas encore quel dilemme, ni la question précise à laquelle nous devons répondre. Voulons-nous mesurer les préférences des citoyens ? Le caractère effrayant de ces dilemmes ? La légitimité des constructeurs automobiles pour les résoudre ? De multiples directions s’offrent à nous. Avant d’en choisir une, il nous faut analyser le contenu de toutes les revues scientifiques susceptibles de contenir une recherche sur ce sujet. Ce travail permet en particulier de ne pas s’engager dans une direction qui a déjà été explorée par d’autres.

Le passage en revue de la littérature n’est pas le moment que je préfère : il faut absorber chaque jour une tonne d’informations, avec la crainte de passer à côté d’une publication essentielle. Par exemple, les psychologues et les économistes n’emploient pas le même vocabulaire, y compris lorsqu’ils parlent de la même chose. Le passage en revue d’une littérature axé sur le vocabulaire des psychologues risque de laisser de côté des articles importants écrits par des économistes. C’est pour cela qu’un scientifique se méfie lorsque son passage en revue de la littérature ne détecte que peu de publications. La raison la plus probable pour n’avoir rien trouvé est qu’il ou elle n’a pas cherché là où il fallait !

Dans notre cas, pourtant, notre passage en revue de la littérature scientifique reste résolument vide. Nous ne trouvons aucune publication sur les choix moraux des voitures sans conducteur. Certes, il existe un nombre faramineux d’articles sur le problème du tramway. Mais, dans tous, la question est de savoir s’il est acceptable pour un humain de sacrifier une vie pour en sauver plusieurs. Or, rien ne laissait supposer que ces recherches sur les choix humains puissent être directement transposables aux machines.

La littérature scientifique semble donc silencieuse sur les dilemmes moraux des voitures sans conducteur. En revanche, nous réalisons vite que cette idée est déjà dans l’air. Elle est en particulier mentionnée par plusieurs blogs juridiques ou philosophiques. Leurs auteurs abordent le problème de différentes manières, mais un même thème revient souvent : celui du sacrifice du passager. Imaginez-vous à bord d’une voiture sans conducteur qui roule sur une route de montagne, à flanc de falaise. Au détour d’un virage, vous vous trouvez brusquement devant un groupe d’enfants au milieu de la route. La seule solution pour ne pas les écraser est de donner un grand coup de volant et de vous balancer du haut de la falaise – ce qui vous tuera à coup sûr. Est-ce que la voiture doit ainsi vous sacrifier ?

Cet aspect de la question n’a jamais été étudié dans les problèmes de tramway. Il est vrai qu’il comporte plusieurs éléments nouveaux : le sacrifice personnel, mais aussi le caractère programmé de ce sacrifice. Les usagers des voitures autonomes seraient-ils réellement prêts à circuler avec cette épée de Damoclès au-dessus de leur tête ? Accepteraient-ils d’acheter une voiture programmée pour les tuer, si les circonstances l’exigeaient ? À ce stade de notre réflexion, nous nous retrouvons face à trop de paramètres et trop d’interrogations. Il faut commencer à découper le problème en une série de questions plus simples ; en d’autres termes, définir un programme d’expériences. Et pour cette mission, nous avons besoin d’Azim.

4

LES BONNES
QUESTIONS

Les espions savent que, pour comprendre ce que les autres pensent, il faut leur poser « les bonnes questions ». Les psychologues le savent aussi. C’est d’autant plus vrai quand il s’agit de sujets compliqués : si je veux comprendre vos intuitions sur la bioéthique ou la régulation des plateformes financières, mes questions devront être précises, claires et rigoureuses. Elles devront écarter tout risque d’incompréhension ou de malentendu, et ne pas vous guider insidieusement vers une réponse.

En psychologie expérimentale, choisir les bonnes questions et comment les poser est l’un des aspects du design de l’expérience. Une étape délicate et cruciale, car une étude mal conçue est inutile : ses résultats ne peuvent rien vous apprendre. En psychologie, les meilleurs concepteurs d’expériences sont un peu des artistes : ils ont un savoir-faire technique sophistiqué, mais aussi de la créativité et l’intuition des questions à poser. Ils sont des experts dans l’art de faire dire aux gens ce qu’ils pensent vraiment.

Iyad est un scientifique brillant, mais il n’a pas été formé à l’expérimentation. De mon côté, je sais concevoir une expérience, mais ce n’est pas ce que je fais de mieux… ni ce que je préfère. Quand nous avons commencé à travailler ensemble, quelques années plus tôt, nous avons vite compris qu’il nous fallait trouver un nouvel équipier, un vrai spécialiste de la psychologie expérimentale. La chance nous a souri, et nous avons rencontré Azim Shariff. Azim est le meilleur expérimentateur de nous trois. J’en suis même venu à adopter une règle simple : si Azim veut faire une expérience d’une certaine façon et moi d’une autre, c’est moi qui ai tort ; et nous économiserons du temps et de l’argent si je l’admets tout de suite.

Canadien au nom arabe et aux parents indiens, Azim est un homme plein de charme et d’humour. Il est le plus jeune de nous trois (trente-quatre ans seulement), et apparemment le plus séduisant, puisque l’épouse d’Iyad l’a surnommé « professeur Beau Gosse¹² ». Son début de carrière a été météorique, et ses travaux sur la psychologie expérimentale de la religion sont rapidement devenus une référence mondiale. Azim pense vite, séduit vite et roule vite. Le jour où il a rencontré Iyad pour la première fois, Azim a loué une voiture pour rejoindre Dubaï depuis Abu Dhabi. Un réglage malheureux faisait biper la voiture à chaque fois qu’il enfonçait l’accélérateur, ce qui arrive souvent quand on fait 140 kilomètres en ligne droite, à travers le sable. La solution d’Azim pour ne plus entendre ce bip sonore et désagréable ? Pousser à fond la stéréo de la voiture pendant tout le trajet et dévaler le désert musique hurlante.

Toutefois, Azim n’est pas une tête brûlée. Au contraire, son rôle est souvent de nous ramener sur Terre, de nous rappeler à la réalité. Iyad est un visionnaire : quand il pense à un nouveau projet, il en imagine tout de suite la version parfaite où tout s’est passé de la meilleure des façons possibles. Moi, je suis un narrateur : quand je réfléchis à un projet, j’imagine les belles visualisations que je pourrais tirer des données, les phrases percutantes que je trouverais pour expliquer l’importance des résultats. Autant dire qu’Iyad et moi pouvons facilement perdre la tête dans les étoiles, à contempler un projet de rêve dont nous n’avons parlé que cinq minutes. Azim, lui, est plus réaliste : il voit les verrous, les difficultés, les voies de garage. Il nous met en garde contre tout ce qui pourrait mal se passer, voire être fatal au projet. Il n’hésite pas non plus à calmer nos élans d’enthousiasme et à mettre en doute l’intérêt de la dernière idée qui nous a enflammés.

Cette fois-ci, pourtant, Azim n’a aucune réserve. Comme nous deux, il est instantanément convaincu que nous devons, toutes affaires cessantes, nous consacrer entièrement aux dilemmes moraux des voitures sans conducteur. Nous voilà donc tous les trois, à l’été 2015, avec une interrogation : comment les gens veulent-ils que les voitures choisissent qui tuer, quand elles ne peuvent pas sauver tout le monde ? Nous commençons à échanger des idées, par e-mail ou par visioconférence – ce qui n’est pas si pratique : je suis en France, Azim en Californie, et Iyad fait la navette entre Dubaï et Boston, car il vient d’accepter un poste de chercheur au M.I.T. Nous jonglons sans arrêt avec les fuseaux horaires pour trouver un moment où nous sommes tous les trois disponibles et raisonnablement éveillés. Heureusement, Azim est un oiseau de nuit et nous tire souvent d’affaire en acceptant de « skyper » à 1 heure du matin. Nous ne perdons pas seulement du temps à caler nos rendez-vous : nous en passons également beaucoup à discuter de ce qui s’avérera une fausse piste. En effet, durant les premières semaines, nous sommes convaincus que le plus important est de comparer ce que les individus pensent des voitures autonomes et des conducteurs humains : veulent-ils une morale pour les machines et une autre pour les humains ?

Pour les psychologues que nous sommes, Azim et moi, cette question a quelque chose d’automatique. Nous savons énormément de choses sur la façon dont les gens jugent la moralité des autres et notre réflexe est de nous appuyer sur cette connaissance. C’est un réflexe de scientifique : on part de ce que l’on connaît, on change une chose (ici, on transforme un conducteur humain en voiture sans conducteur) et on observe l’impact de ce changement. Mais cette approche ne fonctionne pas. Vous vous souvenez, le dilemme du tramway peut être adapté aux voitures sans conducteur, mais il n’a pas de sens pour les conducteurs humains. Je vais vous dire pourquoi.

Premièrement, les humains n’ont que peu de chances de s’apercevoir qu’ils sont en situation de dilemme. Avec un peu d’imagination, on peut accepter qu’une voiture sans conducteur traite les informations suffisamment vite pour réaliser qu’un accident est imminent, que toutes les trajectoires feront des victimes, mais que certaines en feront plus, et d’autres moins. Il est peu plausible qu’un humain puisse faire cette analyse en moins d’une seconde. C’est ce que je réponds quand on me demande (et cela arrive souvent) si on connaît la fréquence des dilemmes moraux sur la route. On l’ignore, parce qu’il faudrait que les conducteurs soient capables de les détecter !

Notez que ceci n’est pas totalement impossible. Il existe des cas connus d’automobilistes qui se sont trouvés confrontés à un tel dilemme et qui ont eu le temps de faire un choix. En 1999, en Floride, un conducteur s’est trouvé face à deux adolescents, l’un ayant commencé à traverser la rue, l’autre encore sur le trottoir¹³. Le conducteur a compris que freiner ne suffirait pas et raconte avoir eu le temps de faire un choix : continuer tout droit et heurter l’un des adolescents, ou donner un coup de volant et heurter l’autre. Il a choisi de continuer tout droit, et le choc a tué le jeune garçon qui traversait la rue. Le conducteur décrit ce choix comme le plus difficile de sa vie. Dix-sept ans plus tard, il dit en garder des séquelles psychologiques. N’aurait-il pas été préférable, dans ce cas, que la voiture choisisse à sa place ?

Il existe une deuxième raison qui fait que le dilemme du tramway a peu de sens pour les conducteurs humains : même si nous étions capables de détecter que nous sommes en situation de dilemme, il est fort douteux que nous serions capables de décider à l’avance de notre réaction. Nous pourrions, vous et moi, nous installer dans de confortables fauteuils et avoir une longue discussion philosophique sur ce que nous ferions dans ce cas de figure, mais à quoi bon ? Nous savons que si cela nous arrivait, nous serions les esclaves de nos réflexes, plutôt que les maîtres de notre décision. Nous ne pouvons pas nous programmer à l’avance ; et c’est cela la différence critique. Mais nous pouvons programmer les voitures sans conducteur, et cela signifie que nous devons réfléchir soigneusement à leur programmation.