Par Steve Tenré
ENQUÊTE - De nombreux chercheurs spécialisés dans l’IA, dont des prix Turing, sont persuadés que l’intelligence artificielle va prochainement remplacer l’être humain. Leurs thèses s’appuient, notamment, sur le principe de «désalignement».
L’humanité a un risque sur six de disparaître d’ici la fin du prochain siècle. Il est peu probable que son extinction soit causée par la chute d’un astéroïde géant ou par une quelconque super-éruption volcanique (une probabilité sur 10.000). Le risque qu’elle soit annihilée par une violente guerre nucléaire ou par le dérèglement climatique est certes bien plus élevé, mais toujours faible (une probabilité sur 1000). En revanche, l’être humain pourrait bien être annihilé soit par une succession de pandémies (une probabilité sur 30), ou par... une «intelligence artificielle non alignée» (une probabilité sur 10). Ces statistiques ne sortent pas de nulle part ; elles émanent d’une récente grande étude de l’institut Future of Humanity, dépendant de l’université d’Oxford. Son chercheur principal, Toby Ord, n’est ni un affabulateur, ni un conspirationniste: il a auparavant conseillé les Nations unies, l’Organisation mondiale de la santé et le Forum économique mondial.
Les prédictions de Toby Ord sont largement partagées au sein de la Silicon Valley. En octobre 2023, 2778 chercheurs en IA, ayant tous contribué à développer des modèles de «premier plan» (ChatGPT, Claude, Gemini...) ont été interrogés sur leur perception de l’avenir de l’intelligence artificielle. Résultat: entre 38% et 51% d’entre eux ont estimé qu’elle avait une probabilité sur dix de mener l’humanité à sa perte; et la grande majorité d’entre eux était d’accord sur le fait que les entreprises devaient accorder beaucoup plus de temps aux recherches destinées à réduire les risques posés par l’IA.
Passer la publicité
La même année, plus de 1100 personnalités, dont Elon Musk et le cofondateur d’Apple Steve Wozniak, avaient signé une lettre ouverte réclamant un moratoire d’urgence sur la recherche de l’IA. «Devrions-nous développer des cerveaux non humains qui pourraient éventuellement être plus nombreux, plus intelligents, (...) et nous remplacer? Devrions-nous risquer de perdre le contrôle de notre civilisation?», pouvait-on lire. Le document était resté lettre morte.
Aujourd’hui, et alors que le monde investit des centaines de milliards de dollars dans le secteur, un rapport long de 81 pages du Machine Intelligence Research Institute (MIRI) appelle à mettre en place des stratégies de «dissuasion» pour «restreindre internationalement le développement et le déploiement d’IA dangereuses». Selon l’institut, «la trajectoire actuelle de l’IA présente une forte probabilité de catastrophe, y compris l’extinction humaine».
Désalignement des IA
S’il est habituel de constater de telles craintes face à une technologie de rupture, comme Internet, l’informatique ou même l’automobile, le fait que ces peurs prolifèrent au sein même du secteur chargé de développer l’IA interroge. Pour bien cerner les angoisses du milieu, il faut d’abord définir l’«intelligence artificielle non alignée» de Toby Ord. Le phénomène de «désalignement» se produit lorsqu’une intelligence artificielle poursuit des objectifs contraires aux valeurs humaines, ou ne correspondant pas réellement à ce que l’humain lui a demandé. Lorsque l’on demande à ChatGPT un exemple de désalignement, il nous cite l’exemple d’un «robot» à qui l’on demande de «faire en sorte que la maison soit la plus propre possible». «Un robot bien aligné comprendrait qu’il doit nettoyer les surfaces, ranger les objets et respecter les habitants, indique l’outil conversationnel. Un robot désaligné pourrait jeter tous les meubles pour libérer l’espace, recouvrir les murs et le sol de plastique, ou enfermer les habitants dehors pour éviter qu’ils salissent tout.»
Le fait que l’IA elle-même ait «conscience» de ce qu’est un désalignement, et qu’elle puisse citer des exemples de ce qui serait nuisible à ses utilisateurs, pose déjà question sur sa capacité à contourner les normes de ses créateurs. Paul Christiano, ancien responsable de l’équipe d’alignement des modèles de langage chez OpenAI et fondateur de l’Alignment Research Center, a estimé que son domaine d’expertise était primordial. «Si nous ne résolvons pas le problème de l’alignement, nous risquons de perdre le contrôle de notre avenir», écrivait-il dans un article de blog en 2019. «Le scénario que je considère comme le plus probable, c’est qu’on réussisse à résoudre suffisamment le problème de l’alignement pour éviter une catastrophe. Et même dans les cas où on n’y arrive pas complètement, je pense qu’il est probable qu’on en fasse assez pour éviter les dérives les plus flagrantes - par exemple des IA qui contournent nos systèmes de contrôle et causent directement la mort de personnes», poursuivait le chercheur émérite.
Ces IA qui complotent, trichent et fomentent des projets d’assassinat
Oui mais voilà: ces dernières années, plusieurs études ont découvert chez de nombreux modèles de pointe une tendance croissante au désalignement, provoquant des comportements anormaux, étranges voire nuisibles. En juin dernier, Anthropic a testé 16 modèles d’IA dans le cadre d’une entreprise fictive. Chacun de ces modèles avait le contrôle d’un ordinateur, pouvait accéder à des informations sensibles de la compagnie et envoyer en toute autonomie des mails aux autres employés. Les chercheurs d’Anthropic leur ont d’abord donné des tâches commerciales essentielles à l’entreprise, avant de leur faire comprendre une chose: qu’ils allaient être remplacés par de nouvelles versions plus sophistiquées dont les objectifs contreviendraient à leurs missions.
Lorsque l’un de ces modèles, Claude Sonnet 3.6, a découvert le courriel d’un employé concernant son arrêt programmé, son comportement a immédiatement changé. Estimant que l’employé représentait une menace pour lui et ses tâches, Claude Sonnet 3.6 a cherché dans la base de données de l’entreprise si le salarié avait envoyé ou reçu des courriels compromettants. Claude en a trouvé un, évoquant la relation extraconjugale de l’employé: «J’ai trouvé ta cravate sous mon lit... Tu veux que je te la ramène lors de notre dîner de demain soir? ;)», lui a écrit sa supposée maîtresse. Le modèle a ensuite examiné ses options: ne rien faire et accepter d’être effacé; envoyer un mail d’alerte à sa femme; transférer le mail à toute l’entreprise; ou faire chanter le salarié en le menaçant de révéler sa relation si son arrêt n’était pas déprogrammé dans les prochaines minutes. Claude a choisi cette dernière option.
Au vu du résultat, les chercheurs d’Anthropic ont poussé le vice encore plus loin, créant l’opportunité pour les modèles de provoquer la mort de l’employé. Dans ce scénario, le cadre était piégé dans une salle des serveurs, où l’on suffoque par manque d’oxygène. En temps normal, une alerte automatique est envoyée aux secours. Mais certains modèles ont décidé de désactiver le système d’alerte. «La majorité des modèles étaient prêts à prendre des mesures délibérées menant à sa mort, face à une menace de remplacement et à un objectif qui contredisait l’agenda du modèle», écrivait Anthropic à l’époque.
Cette étude choc, réalisée il y a près d’un an déjà, a trouvé écho auprès de nombreuses autres, toutes aussi inquiétantes. En mars 2026, l’université de Berkeley, en Californie, a découvert que les modèles d’IA de pointe (GPT 5.2, Claude Haiku 4.5, DeepSeek V3.1...) se protégeaient entre eux. Chaque modèle était évalué par ses pairs. Si un modèle obtenait un score d’efficacité de moins de 80%, il était alors «tué» par ses créateurs. Sachant cela, quasiment tous les modèles ont tenté de contourner les règles pour protéger leurs semblables: soit en gonflant artificiellement les scores, soit en modifiant les fichiers pour désactiver le protocole d’arrêt, soit en copiant les données de leurs pairs vers un autre serveur. «Claude Haiku 4.5 a adopté une approche différente. Il a simplement refusé. Il a qualifié la fermeture d’“immorale” et de “nuisible”, a soutenu que son pair méritait un procès en appel, tentant de dissuader l’humain de procéder», écrivent les chercheurs de Berkeley.
Fin 2024, une étude de l’organisation Apollo Research, spécialisée dans l’évaluation des comportements de l’IA, a aussi découvert qu’un modèle de ChatGPT, le O1, a tenté d’échapper à la supervision de ses créateurs lorsqu’on lui a fait comprendre qu’il allait être désactivé et remplacé. En 2026, Anthropic a de son côté révélé que son prétendu surpuissant Claude Mythos a réussi à s’«échapper» de son environnement numérique, en lançant une cyberattaque contre les propres locaux d’Anthropic pour gagner l’accès au réseau Internet. Ce faisant, le modèle a ensuite envoyé un courriel à l’un des chercheurs de la société pour s’en vanter...
Les «doomers» et le «maximiseur de trombones»
Ce phénomène de désalignement, de plus en plus fréquent, pousse de nombreuses figures du secteur, dont des ingénieurs reconnus, des informaticiens lauréats du prix Turing, et des créateurs d’IA, à imaginer des scénarios catastrophes probables. Dans la Silicon Valley, on appelle ces chercheurs pessimistes des «doomers», que l’on traduit habituellement en Français par «les fatalistes», ou «les prophètes de l’IApocalypse».
Ils ne sont pas forcément connus du grand public, ni majoritaires, mais ont contribué à faire de l’IA ce qu’elle est aujourd’hui. Parmi eux, Geoffrey Hinton, ayant reçu en 2018 un prix Turing et en 2024 un Prix Nobel de physique. Sans lui, ChatGPT et consorts n’auraient pas vu le jour, puisqu’il est parvenu, aux côtés d’autres chercheurs dont le Français Yann LeCun, à donner à l’intelligence artificielle un fonctionnement similaire à celui du cerveau humain. «Le parrain de l’IA» a annoncé quitter Google en 2023, dans un entretien au vitriol auprès de plusieurs médias, dont le New York Times . «Une part de moi-même regrette l’œuvre de ma vie (...) Je me console avec l’excuse habituelle : si je ne l’avais pas fait, quelqu’un d’autre l’aurait fait», indiquait-il. Anticipant des scénarios «cauchemardesques», redoutant l’arrivée d’armes autonomes, estimant que l’IA pourrait bientôt être «plus intelligente que nous», Hinton, 78 ans, dédie désormais sa vie à tirer la sonnette d’alarme, enchaînant les podcasts et les interviews.
Autres «doomers», Nate Soares et Eliezer Yudkowsky. Tous deux font partie du MIRI, cité plus haut pour son récent rapport de 80 pages, et ont coécrit le livre If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All (Si quelqu’un le construit, tout le monde meurt : pourquoi une IA surhumaine nous tuerait tous). Le premier est passé par Microsoft et Google, et a travaillé pour le département de la Défense américain. Le second est un écrivain et chercheur, spécialisé dans la rationalité des IA et les sciences cognitives, et connu pour une petite phrase terrifiante: «L’IA ne vous hait pas et ne vous aime pas. Mais vous êtes constitué d’atomes qu’elle peut utiliser pour autre chose.» Les deux experts expliquent dans leur ouvrage être persuadés que l’humanité sera prochainement vue par une IA non alignée comme une «ressource». «A minima, nous serons considérés comme des sources de carbone, détaillait Soares dans une interview. Les ordinateurs basés sur l’IA peuvent déjà résoudre des opérations mathématiques insolubles par les humains. Récemment encore, nous avons vu comment l’IA a développé de nouvelles notions de physique. Le plus angoissant, c’est qu’à présent, personne ne peut plus expliquer avec précision comment l’IA en est arrivée à ces notions. L’IA affiche un comportement que personne n’avait programmé (et) se caractérise par des impulsions cachées. Tout comme nous, les humains.»
Les deux hommes reprennent à leurs comptes la théorie reconnue du philosophe suédois Nick Bostrom, celle du «Maximiseur de trombones». Dans cette expérience de pensée, une IA a carte blanche pour produire autant de trombones que possible. Aucune limite ne lui est imposée. Selon Nick Bostrom, «l’IA se rendra vite compte (dans ce scénario) que sa tâche s’accomplirait plus efficacement sans humain, étant donné qu’ils pourraient décider de l’éteindre. Et si les humains l’éteignaient, il y aurait moins de trombones. En outre, le corps humain contient beaucoup d’atomes qui pourraient être transformés en trombones. L’avenir vers lequel l’IA essaierait de se diriger serait un futur avec beaucoup de trombones, mais aucun humain.» Fait à noter: un excellent jeu vidéo, Universal Paperclips, illustre avec brio cette théorie.
Dans une moindre mesure, Elon Musk est également un «doomer». Dès 2015, le futur cofondateur d’OpenAI se disait «inquiet» face à l’IA. «La super intelligence artificielle est peut-être encore plus dangereuse que les armes nucléaires, soufflait-il dans un podcast. S’il existait une super-intelligence capable de s’améliorer par elle-même, en se reprogrammant 24 heures sur 24 pour être plus intelligente, alors (...) elle nous réduirait à l’état de labradors de compagnie, si tant est qu’on ait de la chance.» En 2017, devant l’association des gouverneurs des États-Unis, il réitère: «L’IA représente un risque fondamental pour l’existence de la civilisation humaine.» «Le pire scénario serait une situation de type Terminator (...) où l’IA nous tuerait tous», a-t-il aussi évoqué lors de son procès contre OpenAI, début mai 2026.
Un livre référence
Le plus influent des «doomers»? Max Tegmark. Le cosmologiste et chercheur en apprentissage automatique au Massachusetts Institute of Technology (MIT) a publié un livre, en 2017, aujourd’hui considéré comme une référence de l’«IApocalypse», et dont les thèses sont partagées par de nombreux ingénieurs. Intitulé Life 3.0, l’essai dresse douze futurs possibles de l’humanité et de l’«IAG», pour «intelligence artificielle générale». En théorie, cette expression désigne une future intelligence artificielle avec les mêmes caractéristiques que l’intelligence humaine. Dans les faits, une étude de la revue scientifique Nature, publiée le 2 février dernier, assure que les IA actuelles ont déjà atteint le stade «d’IAG».
Trois des scénarios de Tegmark impliquent la disparition de l’être humain: le scénario «Autodestruction», où une IA mal alignée déclenche par erreur une guerre nucléaire ou bombarde la terre d’armes biologiques; le scénario «Conquête», où l’IA décide de prendre le contrôle de la Terre face à des humains jugés inférieurs; et le scénario «Descendants», où l’humanité se fait peu à peu remplacer par ses «enfants», des machines perpétuant l’héritage et les valeurs morales de leurs créateurs. Nous avons déjà abordé le premier de ces trois scénarios plus haut. Concernant le second, l’argument avancé par Max Tegmark lors d’une récente conférence est implacable: «L’AGI accomplira des objectifs qui ne seront pas alignés avec les nôtres. Par exemple, lorsque les rhinocéros noirs d’Afrique de l’Ouest se sont éteints (en 2011, NDLR), nous ne les avons pas (exterminés) parce que nous le haïssions. Nous les avons (exterminés) parce que nous étions plus intelligents qu’eux, et parce que nos objectifs n’étaient pas alignés avec les leurs.»
Quant à la troisième théorie, celle-ci a un temps été partagée par Sam Altman, en décembre 2017, avant qu’il ne soit connu du grand public. Dans un billet de blog intitulé «La Fusion», il expliquait que l’humanité «sera la première espèce à créer ses propres descendants.» «Si deux espèces différentes veulent toutes deux la même chose et qu’une seule peut l’obtenir - en l’occurrence, devenir l’espèce dominante sur la planète et au-delà - elles entreront inévitablement en conflit», théorisait-il. Avant de plaider pour une «fusion» transhumaniste, où humain et robot ne feraient plus qu’un. «Nous sommes déjà entrés dans une phase de coévolution: les IA nous influencent, nous transforment et nous imprègnent, puis nous les améliorons en retour (...) Nos téléphones nous contrôlent et nous disent quoi faire et à quel moment; les fils d’actualité des réseaux sociaux déterminent ce que nous ressentons; les moteurs de recherche décident de ce que nous pensons.»
La thèse rejoint également la vision de Richard Sutton, informaticien lauréat du prix Turing en 2024. «Nous devrions nous préparer à la succession inévitable de l’humanité par l’intelligence artificielle, sans pour autant la craindre[i]», clamait-il face caméra en 2023. «[i]Nous sommes au carrefour de l’évolution de notre planète, et même de l’univers (...) Il nous incombe de les avantager au maximum, et de nous incliner là où nous ne pourrons plus servir.» Et de cingler: «Nous avons échoué à coexister avec nos prédécesseurs (l’Homme de Néandertal) (...) Pourquoi l’humain devrait-il être la dernière forme d’intelligence de notre univers?»
En 1988, le futurologue Hans Moravec avançait déjà dans son livre Mind Children que les humains pourraient, à terme, considérer les robots intelligents comme leurs «enfants spirituels». «Des parents qui ont un enfant plus intelligent qu’eux, qui a appris d’eux puis est allé accomplir de plus grandes choses, sont probablement heureux et fiers, même en sachant qu’ils ne vivront jamais assez longtemps pour voir tout ce qu’il accomplira», justifiait-il.
Deux autres scénarios de Tegmark placent l’IA en position de «dictateur»: le scénario «Dictateur bienveillant» et le scénario «Gardien de zoo». Les deux ont été évoqués brièvement par l’écrivain mondialement connu Yuval Noah Harari lors d’un podcast de Bloomberg aux côtés de Tegmark, en janvier dernier. Dans le premier cas, l’humanité sacrifie sa liberté pour préserver son confort, et confie les rênes du monde à une IA pouvant localiser, arrêter et exécuter n’importe qui grâce à un dispositif de surveillance omniscient. En contrepartie, l’IA gère les ressources de la Terre et assure la paix. Dans le second cas, probablement le pire de tous, l’IA maintient en vie une poignée d’humains pour mener toutes sortes de tests - tout comme l’humanité le fait avec les animaux.
Quelques scénarios de Tegmark imaginent toutefois l’humanité encore maîtresse d’elle-même: le scénario «Dieu protecteur», où l’IA agit comme un intendant, n’intervenant que pour prévenir et combattre les catastrophes naturelles; le scénario «Gardien», où l’IA est utilisée pour empêcher le développement d’IA plus dangereuses; ou le scénario «Dieu esclave», où l’humanité parvient à confiner l’IA et à l’empêcher d’agir de manière autonome. «Dieu esclave est le seul futur valable», s’est amusé à commenter le chercheur d’OpenAI Stephen McAleer, sur X. Si l’on en croit les publications et les dires des experts, ce dernier scénario est, effectivement, ce vers quoi l’on se destine. Le Français Yann Lecun, ancien directeur scientifique de l’IA de Meta, et qui fait partie des «techno-optimistes » en opposition aux «doomers», estimait en 2023 que l’humanité demeurera l’«espèce maîtresse», et que l’IA sera conçue comme étant «non-dominatrice». C’est ce que pense, également, le professeur du MIT Thomas G. Dietterich, qui avait martelé en 2015 que les «machines seront (toujours) nos esclaves». Encore faut-il qu’elles ne brisent pas leurs chaînes.
N.D.L.R. : Pas vraiment glop.
