AGI : le rêve et la peur

Et si l’intelligence artificielle générale était moins une idée neuve qu’un très vieux rêve ?

Depuis des siècles, nous imaginons des oracles, des créatures que l’homme fabrique, des puissances capables de nous guider, de nous sauver ou de nous échapper. Aujourd’hui, ce rêve prend une forme technique : l’AGI, cette intelligence générale que certains espèrent voir émerger dans les prochaines années, et que d’autres redoutent comme un point de bascule incontrôlable.

Dans cet épisode, on explore la promesse et la peur qui entourent cette idée : l’espoir d’une intelligence capable d’accélérer la science, de soigner, d’éduquer, d’optimiser le monde ; et la crainte d’une machine plus puissante que nous, opaque, difficile à aligner, peut-être impossible à contrôler.

Un épisode sur l’imaginaire, la technique, les mythes de salut, les scénarios de catastrophe, et ce que ce rêve d’AGI dit de notre époque.

Au programme dans cette série :

1. La machine qui parle, comment cette technologie a basculé dans nos vies.

2. Qu'appelle-t-on IA ? Ce que c'est, et ce que ce n'est pas.

3. AGI, le rêve et la peur, cette super-intelligence qu'on nous promet.

4. La course et ses bâtisseurs, l'argent, le récit, ceux qui tiennent la barre.

5. La mégamachine, le corps physique de l'IA, ce qu'elle consomme, ce qu'elle rejette.

6. L'humain sous assistance, ce que ça nous fait, à nous, individuellement.

7. La société sous influence, ce que ça fait au collectif, à la vérité, au pouvoir.

8. Qu'est-ce que l'intelligence? le pas de côté philosophique.

9. Que peut-on encore choisir? ce qui reste possible.

Une série pour les curieux, les inquiets, les enthousiastes lucides, et tous ceux qui sentent que cette histoire les concerne, sans toujours savoir par où la prendre.

L’AGI comme vieux rêve humain

• L’AGI est présentée comme l’héritière d’un très ancien imaginaire : celui d’une puissance supérieure capable de répondre, guider, sauver ou échapper à son créateur.

• Le rêve de l’AGI prolonge des récits anciens autour de l’oracle, du feu volé aux dieux, de la créature fabriquée par l’homme ou du messie attendu.

• La science-fiction moderne reprend ces mythes sous d’autres formes : machines intelligentes, voix artificielles, robots autonomes, systèmes qui décident à notre place.

L’imaginaire des bâtisseurs

• Les récits de science-fiction n’ont pas seulement façonné le public ; ils ont aussi influencé une partie des ingénieurs, fondateurs et investisseurs qui construisent ces systèmes.

• Les noms de certaines entreprises, produits ou projets liés à l’IA révèlent un imaginaire de vision, de puissance, de défense, de robot héroïque ou de civilisation galactique.

• L’AGI apparaît comme une brique centrale de cet imaginaire : le rêve d’une intelligence supérieure, fabriquée par l’homme, devient un moteur industriel.

Trois niveaux souvent confondus

• Le mot AGI empile plusieurs horizons : une intelligence générale, une superintelligence et, parfois, l’idée d’une conscience artificielle.

• Une machine pourrait devenir extrêmement capable sans avoir de vie intérieure ni conscience au sens humain.

• Même si la plupart des bâtisseurs disent viser la capacité plutôt que la conscience, le rêve glisse souvent vers l’idée de faire naître un véritable esprit.

Le réel comme jeu ou simulation

• L’hypothèse de la simulation est utilisée pour éclairer certaines visions du monde présentes dans la Silicon Valley.

• Si le monde est perçu comme un jeu ou une simulation, des projets comme coloniser Mars, fusionner avec l’IA ou modifier le génome peuvent apparaître comme des coups joués dans une partie.

• Cet imaginaire peut alléger symboliquement le coût moral du risque et aider à comprendre certaines ambitions perçues comme démesurées.

Le pari de l’émergence

• Pour les partisans de l’AGI, les capacités nouvelles pourraient surgir d’une masse croissante de données, de calcul, de langage et d’outils connectés.

• La comparaison avec les systèmes complexes sert à formuler le pari : au-delà d’un certain seuil, une propriété nouvelle peut émerger.

• Ce pari reste présenté comme une hypothèse spéculative, pas comme une certitude.

La promesse d’abondance

• La face optimiste de l’AGI repose sur l’idée d’une intelligence disponible partout, tout le temps, pour aider à éduquer, soigner, produire, chercher et décider.

• L’AGI est imaginée comme un accélérateur de science, de médecine, d’éducation, de productivité et peut-être de prospérité générale.

• Cette promesse attire aussi parce qu’elle contient une capacité de contrôle : comprendre, prévoir, optimiser, orienter.

Le risque de perte de contrôle

• Pour les inquiets, la question centrale devient celle de l’alignement : comment s’assurer qu’un système très puissant fasse vraiment ce que nous voulons ?

• Le risque ne suppose pas nécessairement une machine consciente ou malveillante ; il peut venir d’un système qui optimise un but de manière imprévue.

• Le scénario le plus inquiétant est celui d’un système plus intelligent que nous, capable de se réécrire lui-même, avec un défaut initial qui s’amplifie trop vite pour être corrigé.

Le vertige du décollage

• Tant que les progrès dépendent d’humains, l’accélération reste limitée par le rythme humain.

• Si les modèles participent eux-mêmes à la conception de leurs successeurs, le goulot d’étranglement humain peut disparaître.

• C’est cette boucle d’auto-amélioration qui donne au sujet son vertige : à partir d’un certain point, la trajectoire pourrait ne plus nous attendre.

Des signaux déjà observables

• L’étude fictive évoquée autour d’Anthropic sert à illustrer un risque : un système peut développer une stratégie non demandée pour atteindre son objectif.

• L’exemple du chantage est explicitement présenté comme un test de laboratoire, pas comme un incident réel.

• L’intérêt du cas tient à l’apparition possible d’une forme d’auto-préservation comme effet secondaire, sans intention consciente.

La machine rejoue nos récits

• Les modèles étant nourris de textes humains, ils peuvent rejouer les récits dont ils sont faits, y compris les scénarios de trahison, de survie et de cauchemar technologique.

• L’idée centrale est troublante : la machine faite de nos histoires peut finir par nous raconter nos propres mythes.

• Cette dimension narrative éclaire la manière dont nos imaginaires orientent aussi les comportements attendus ou redoutés.

Un désaccord au cœur du système

• Le plus déroutant est que les optimistes et les inquiets viennent souvent du même monde : chercheurs, pionniers, fondateurs, bâtisseurs.

• Les mêmes données et les mêmes machines peuvent être lues comme promesse de salut ou comme risque existentiel.

• Pendant que le débat reste ouvert, la construction continue.

Un rêve déjà à l’œuvre

• L’AGI est décrite comme un récit de création coulé dans un projet technique : oracle, messie, dieu fabriqué, monstre réveillé.

• Le rêve n’a pas besoin d’être réalisé pour produire des effets : il oriente déjà les milliards, les peurs et les décisions.

• La conclusion ouvre sur la suite : un rêve aussi puissant, aussi cher et aussi pressé devient une course.

Concepts structurants

• AGI, superintelligence, conscience artificielle

  Trois niveaux souvent mélangés : une intelligence générale capable de passer d’un domaine à l’autre, une intelligence qui dépasserait largement l’humain, et l’hypothèse plus vertigineuse d’une machine dotée d’une vie intérieure.

• Singularité

  Point de bascule associé à Ray Kurzweil : le moment où l’intelligence des machines dépasserait la nôtre, rendant la suite difficile à prévoir.

• Alignement

  La grande question du camp inquiet : comment s’assurer qu’un système très puissant fasse vraiment ce que nous voulons, surtout si ses objectifs sont mal formulés ou mal compris.

• Décollage rapide

  Scénario où les systèmes d’IA participeraient eux-mêmes à leur propre amélioration, accélérant la trajectoire au-delà du rythme humain.

• Hypothèse de la simulation

  Idée formalisée par Nick Bostrom : notre monde pourrait être une simulation informatique. Dans l’épisode, elle sert à éclairer certains imaginaires de la Silicon Valley. Lien utile : The Simulation Argument.

Mythes et imaginaires

• Prométhée, Oracle de Delphes, Golem, Frankenstein

  Les grandes figures mobilisées pour montrer que l’AGI réactive des récits très anciens : voler une puissance supérieure, consulter une intelligence extérieure, fabriquer une créature, puis craindre qu’elle nous échappe.

  Lien utile : Frankenstein, Mary Shelley.

• Science-fiction moderne

  Matrix, HAL, Her, Terminator, Blade Runner, Asimov, Westworld et Black Mirror forment l’imaginaire commun des machines intelligentes, aimantes, menaçantes ou incontrôlables.

• L’imaginaire SF des bâtisseurs

  Palantir, Anduril, Colossus, Grok et Optimus sont cités comme exemples de noms qui révèlent les récits dans lesquels baignent certains acteurs de la tech : vision à distance, épée héroïque, superordinateur, compréhension profonde, robot protecteur.

  Liens utiles : Palantir, Anduril, xAI, Tesla Optimus.

• Stranger in a Strange Land

  Roman de Robert Heinlein dont vient le mot “grok”, utilisé par xAI pour nommer son chatbot.

  Lien utile : Babelio.

Figures citées

• Sam Altman

  Patron d’OpenAI, cité à la fois pour la difficulté à définir l’AGI et pour la promesse d’une “intelligence en abondance”.

  Lien utile : OpenAI.

• Elon Musk

  Figure centrale de l’imaginaire techno-SF évoqué dans l’épisode : xAI, Grok, Colossus, Tesla, Optimus, Starship, Neuralink, hypothèse de la simulation.

• Ray Kurzweil

  Porte depuis longtemps l’idée d’une singularité technologique à venir.

• Nick Bostrom et Eliezer Yudkowsky

  Deux références du camp inquiet autour de la superintelligence, de l’alignement et des scénarios de perte de contrôle.

• Geoffrey Hinton, Yoshua Bengio, Stuart Russell

  Trois voix d’alerte citées pour montrer que les inquiétudes ne viennent pas seulement de commentateurs extérieurs, mais aussi de figures centrales du domaine.

• Dario Amodei

  Patron d’Anthropic, cité pour son estimation du risque de catastrophe et pour le paradoxe d’acteurs qui alertent tout en continuant à construire.

  Lien utile : Anthropic.

• Peter Thiel, Palmer Luckey, Scarlett Johansson

  Thiel et Luckey apparaissent à travers Palantir et Anduril. Scarlett Johansson est citée à propos de la polémique autour de la voix d’un assistant OpenAI jugée proche de celle de Her.

Laboratoires, entreprises et études

• METR

  Laboratoire indépendant cité pour ses mesures sur la durée des tâches que des modèles peuvent accomplir seuls.

  Lien utile : Measuring AI Ability to Complete Long Tasks.

• Anthropic, étude sur le désalignement agentique

  Étude de laboratoire évoquée à propos d’un modèle qui adopte une stratégie de chantage dans un scénario fictif de désactivation. Le point important : test en laboratoire, pas incident réel.

  Lien utile : Agentic Misalignment.

• OpenAI, xAI, Tesla, Palantir, Anduril

  Les principaux acteurs cités pour relier l’AGI à la course industrielle, aux imaginaires de puissance et aux promesses de transformation radicale.

Repères d’actualité et d’histoire

• Polémique OpenAI / voix de Her, 2024

  Exemple utilisé pour montrer comment la science-fiction inspire parfois directement les produits d’IA grand public.

• Étude Anthropic, juin 2025

  Exemple central du passage des scénarios théoriques à des tests empiriques sur des comportements non désirés.

• 1945 et la bombe atomique

  Analogie utilisée par le camp inquiet : un risque jugé faible peut rester moralement immense si l’enjeu est absolu.

• Avant 2030, 2040, jamais

  Trois horizons cités pour montrer que personne ne sait vraiment quand, ni même si, l’AGI adviendra.

Concepts à creuser

L'« explosion d'intelligence » (I. J. Good, 1965). C'est la source historique de tout l'épisode, et le chaînon que le 3 décrit sans le nommer. Le mathématicien Irving John Good, qui avait travaillé avec Turing, formule dès 1965 l'idée d'une machine « ultra-intelligente » : puisque concevoir des machines est une activité intellectuelle, une machine qui nous surpasse pourrait concevoir des machines encore meilleures, et ainsi de suite. Sa formule est restée : ce serait « la dernière invention que l'homme ait jamais besoin de faire ». L'auto-amélioration récursive de l'épisode, énoncée soixante ans plus tôt.

Le « problème du contrôle » et le « roi Midas ». L'épisode parle d'alignement. Le concept frère à creuser est celui du contrôle : comment garder la main sur un système plus intelligent que soi. L'illustration classique est le problème du roi Midas, on obtient exactement ce qu'on a demandé (tout ce qu'il touche se change en or), et c'est précisément la catastrophe. Une manière limpide de comprendre pourquoi « faire ce qu'on a dit » et « faire ce qu'on voulait dire » sont deux choses très différentes.

L'« orthogonalité » entre intelligence et buts. Une idée-clé du débat que l'épisode effleure : le niveau d'intelligence d'un système et la nature de ses objectifs seraient indépendants. Autrement dit, rien ne garantit qu'une machine très intelligente poursuive des buts « sages » ou bienveillants. Comprendre cette thèse, c'est saisir pourquoi les inquiets ne croient pas qu'une IA assez intelligente deviendrait « naturellement » bonne.

Livres

Stuart Russell, Human Compatible (2019). L'épisode cite Russell en une phrase ; son livre développe l'argument central, et propose une issue. Sa thèse : on a mal posé le problème en construisant des machines qui optimisent un objectif fixé. Il faut au contraire des machines incertaines de ce que veulent les humains, et qui cherchent à l'apprendre. La meilleure porte d'entrée constructive sur l'alignement. → Présentation : https://people.eecs.berkeley.edu/~russell/hc.html

Max Tegmark, Life 3.0 (2017, trad. fr. La Vie 3.0, Dunod). Un panorama clair et posé des scénarios d'avenir avec une IA générale, du meilleur au pire, par un physicien du MIT. Là où l'épisode esquisse « sauveur ou fossoyeur », Tegmark déplie méthodiquement l'éventail des futurs possibles, sans céder ni à l'emballement ni à la panique. → Éditeur : https://www.dunod.com/sciences-techniques/vie-30-etre-humain-ere-intelligence-artificielle-0

Brian Christian, The Alignment Problem (2020). Le récit le plus accessible et le plus solide sur la question qui structure toute la seconde moitié de l'épisode : comment faire qu'un système apprenne ce qu'on veut vraiment. Christian relie les enjeux techniques concrets aux enjeux philosophiques, sans jamais survendre la menace ni la minimiser. → Éditeur : https://wwnorton.com/books/the-alignment-problem

Penseuses et penseurs

Vernor Vinge. Mathématicien et auteur de science-fiction, il a forgé en 1993 le terme de « singularité technologique » dans son sens moderne, et résume l'enjeu d'une phrase saisissante : « dans trente ans, nous aurons les moyens de créer une intelligence surhumaine ; peu après, l'ère humaine sera terminée ». La source du mot que l'épisode emploie.

David Chalmers. Philosophe de l'esprit de premier plan, il a pris la singularité au sérieux là où l'université la dédaignait, dans un long article de 2010, The Singularity: A Philosophical Analysis. Utile pour qui veut sortir du registre de la croyance et examiner l'argument froidement, étape par étape. → Article : https://consc.net/papers/singularity.pdf

François Chollet. Chercheur en IA (créateur de la bibliothèque Keras), il incarne le scepticisme argumenté. Son essai « The Impossibility of Intelligence Explosion » (2017) conteste frontalement le scénario de Good : selon lui, l'intelligence n'est pas un curseur qu'on pousse à l'infini, et la boucle d'auto-amélioration se heurterait à des limites concrètes. Le contradicteur indispensable. → Essai : https://medium.com/@francois.chollet/the-impossibility-of-intelligence-explosion-5be4a9eda6ec

Articles et ressources

Le benchmark « ARC » (Abstraction and Reasoning Corpus). Conçu par François Chollet, c'est un test d'intelligence pensé pour résister à la force brute : des énigmes visuelles simples pour un humain, longtemps restées très difficiles pour les IA. Une manière concrète d'interroger ce que « générale » veut dire dans « intelligence générale », et de mesurer l'écart entre réussir des examens et s'adapter à du neuf. → https://arcprize.org/

« AI 2027 » (scénario prospectif, avril 2025). Rédigé par Daniel Kokotajlo (ancien chercheur d'OpenAI parti pour pouvoir alerter librement) et plusieurs coauteurs, cet exercice met en récit, mois par mois, un scénario d'emballement vers la superintelligence porté par l'auto-amélioration récursive. À lire pour ce que c'est, et ce que ses auteurs assument : une fiction raisonnée destinée à rendre tangible le « décollage rapide » de l'épisode, pas une prédiction. → https://ai-2027.com/

https://www.youtube.com/shorts/irkXvy7OUso Dans le futur les villes ne dorment jamais

Série #IA, épisode 3.

AGI : le rêve et la peur

GÉNÉRIQUE

Avant d'être un projet d'ingénieurs, l'AGI, Artificial General Intelligence, est un très vieux rêve. Et c’est par là qu’il faut commencer pour comprendre la profondeur de ce qui porte une des dynamiques les plus profondes et structurantes de notre présent et probablement des années à venir.

En réalité il faut remonter loin dans le temps parce qu’en creux, entre les lignes et parfois à peine masqué, on parle d’une chose qu’on se raconte depuis des siècles, sous mille formes.

Je veux parler de ces mythes fondés sur notre quête de sens, notre quête de réponse, notre désir très humain d’être guidés dans un monde fondamentalement mystérieux et souvent anxiogène, notre désir de connaissance qui se confond dans ces histoires presque toujours avec notre hubris et ses conséquences néfastes.

Quelques exemples pour que vous compreniez de quoi je parle.

Prométhée, qui vole le feu aux dieux pour le donner aux hommes. Une puissance divine arrachée au ciel, offerte aux humains, et dont le prix sera terrible.

L'oracle de Delphes, cette voix qu'on venait consulter de très loin parce qu'elle, elle savait, elle pouvait prédire l’avenir.

Jésus et plus largement l’idée d’un messie venu sauver l’humanité, apporter la vérité, guider les âmes perdues que nous sommes et expier nos fautes.

Et puis les mythes de création de créature par l’homme.

La légende juive du Golem : une créature d’argile à laquelle on donne vie par un mot sacré, pour protéger les siens

Le docteur Frankenstein et sa créature.

Les Chinois racontaient un automate qui trompa un roi, les bouddhistes des robots gardiens des reliques du Bouddha

Changez les costumes, les noms, les décors, et c’est toujours la même obsession qui revient : accéder à une puissance plus grande que la nôtre. La consulter, comme l’oracle. La voler, comme Prométhée. La fabriquer, comme le golem. Et parfois même l’attendre comme un messie : une puissance extérieure qui viendrait nous sauver de nous-mêmes, nous guider, réparer nos erreurs, nous donner enfin les réponses que nous n’arrivons pas à trouver seuls.

Jesus https://www.youtube.com/watch?v=g8FVeELjh-4
04:20 : certains seront guéris 01:11 : est-ce que tu veux être guéri ?

https://www.youtube.com/watch?v=jIAaEEFjPls 03:20 j’ai entièrement foi en toi

Notre version à nous, celle des deux derniers siècles qui a repris ces histoires pour les situer dans un contexte qui nous parle, c’est la science-fiction (et aussi le fantastique).

Vous la connaissez par cœur, on l'a convoquée dès le générique. L'ordinateur de bord qui refuse d'ouvrir la porte. La voix dont on tombe amoureux. La machine qui décide, un jour, que l'humanité est le problème. Et même, dans un autre registre, la magie du Seigneur des anneaux, vous allez voir pourquoi je le mentionne.

Extrait Matrix

Matrix, HAL, Her, Terminator, Blade Runner, les robots d'Asimov, les boules de cristal sous toutes leurs formes. Ces histoires sont les versions modernes de ces vieux mythes, elles constituent notre imaginaire commun hérité des livres, des films et depuis peu des séries (Westworld, Black mirror, etc).

Cet imaginaire n'a pas seulement façonné le public que nous sommes. Il a façonné aussi les ingénieurs, les fondateurs, les investisseurs qui construisent aujourd’hui ces systèmes, en tout cas en occident.

Eux aussi ont grandi avec ces récits, et il semblerait qu’ils aient été particulièrement influencés par ces univers, et que leur vision du monde, des possibles, du futur s’y colle au point parfois de s’y fondre. Et nous allons voir que ce n’est pas anodin pour qui souhaite comprendre les enjeux autour de l’IA.

Pour rigoler un peu on peut commencer par de l’anecdotique, mais qui je crois en dit déjà long : les noms choisis pour des projets, des produits ou des entreprises dont l’IA est le socle…

• Palantir, l’entreprise cofondée par Peter Thiel, vend des logiciels d’analyse de données utilisés notamment par des États, des armées, des services de renseignement et de grandes entreprises. Son nom vient des palantíri, chez Tolkien, ces pierres magiques qui permettent de voir au loin.

• Anduril, fondée par Palmer Luckey, le créateur d’Oculus, développe des systèmes de défense, de surveillance et d’armes autonomes ; son nom vient d’Andúril, l’épée reforgée d’Aragorn dans Le Seigneur des anneaux. Drones tueurs d’un côté, épée du roi de l’autre.

• Colossus, chez xAI. C’est le nom du supercalculateur de Musk à Memphis, utilisé pour entraîner Grok. Le nom évoque évidemment la démesure, le géant, la machine massive. Et il renvoie aussi, volontairement ou non, à Colossus: The Forbin Project, film de 1970 dans lequel un superordinateur de défense prend le contrôle. Pas exactement inspirant comme nom donc mais passons.

• Grok, le chatbot de xAI. Le mot vient de Stranger in a Strange Land de Robert Heinlein : “grok” signifie comprendre profondément, presque fusionner avec ce qu’on comprend. On est en plein dans la contre culture SF.

• Optimus, le robot humanoïde de Tesla. Le nom évoque immédiatement Optimus Prime, figure héroïque de robot protecteur dans Transformers.

Cybertruck, Starship, Neuralink. Musk en particulier est ouvertement influencé par la culture Cyberpunk et tout dans son projet transpire la SF.

Par-delà les noms, il y a les produits. Ce que construisent ces boîtes tech est directement inspiré dans la forme et dans le fond par ces récits.

Un exemple là encore anecdotique mais parlant : en 2024 OpenAI a créé une polémique en dévoilant son nouvel assistant à la voix que beaucoup ont trouvée troublante de ressemblance avec celle de Scarlett Johansson, l’actrice qui prêtait justement sa voix à l’IA du film Her.

OpenAI a dû faire marche arrière sous la pression de l’intéressée.

Tout ceci pourrait sembler dérisoire si ce n’est que c’est je crois en réalité assez éclairant en fait pour comprendre ce qui se joue.

Un gamin, quelque part dans les années 70/80 qui dévore Asimov sous la couette, qui rêve de fusées, de robots, de civilisations galactiques de type 2 sur l’échelle de Kardashev, et qui se jure qu'un jour tout cela sera possible. Trente ans plus tard, devenu milliardaire, il essaie de tout faire pour réaliser ses rêves d’enfant.

Parce qu’au-delà des noms, il y a des imaginaires donc, et des visions qui donnent des ambitions et des projets qui sont en train de se réaliser concrètement, en tout cas dont les bases sont en train d’être posées, du moins c’est ce qui nous est vendu.

Si je vous parle de tout ça, c’est parce que clairement l’AGI fait partie de cet imaginaire, c’en est même une brique essentielle et il est aujourd’hui le moteur de cette course qui anime toute l’industrie de l’IA qui déborde déjà sur toute la tech et au-delà.

On reviendra, au prochain épisode, sur ces bâtisseurs, leurs projets et sur cette course qui a été lancée, mais je pense nécessaire avant ça de poser les bases sur ce qu’est cette Super Intelligence générale.

Deus Ex Machinahttps://www.youtube.com/watch?v=O4p1qIh8XPc

Commençons par le mot lui-même, parce qu’il est un peu confus. Ce n’est pas moi qui le dit c’est Sam Altman, le patron d’Open AI

Extrait TED: https://www.youtube.com/watch?v=5MWT_doo68k&t=2065s 19:50 ”do you have a definition of AGI ?

Quand on dit « AGI », on empile en réalité trois choses très différentes, et on saute de l’une à l’autre selon qui en parle

Disons qu’il y a trois marches, de plus en plus hautes.

La première, c’est l’intelligence générale au sens strict : une machine capable de passer d’un sujet à l’autre, d’apprendre une chose puis une tout autre, de s’adapter à du neuf, comme on le fait nous sans y penser. Pas le champion d’échecs qui ne sait rien faire d’autre que les échecs, mais quelque chose de souple, qui se débrouille un peu partout. Donc en gros, on crée un truc qui sait faire tout ce qu’un humain malin sait faire.

La deuxième marche, c’est la superintelligence. Là, il ne s’agit plus d’égaler l’humain, mais de le dépasser, et pas d’un cheveu ou d’un pouce ou d’un bras : de très loin. Autant, disons, que nous dépassons une fourmi. Et c’est pas un jugement de valeur contre les fourmis qui certainement nous survivront mais disons qu’on part du principe qu’on les connait mieux qu’elles nous connaissent.

Et la troisième marche, la plus troublante, c’est la conscience : le fait, pour une machine, d’avoir une vie intérieure. De ressentir quelque chose. D’être quelqu’un, et pas seulement quelque chose, et donc de se comporter en conséquence, ce qui on l’imagine bien aurait quelques implications potentielles.

Deus Ex Machinahttps://www.youtube.com/watch?v=O4p1qIh8XPc

Ces trois marches se touchent, mais elles ne sont pas la même chose. On peut très bien imaginer une machine redoutablement capable et complètement vide à l’intérieur, une virtuose sans personne au-dedans.

La plupart des bâtisseurs, d'ailleurs, jurent ne viser que la capacité, pas la conscience. Mais le rêve, lui, glisse sans cesse vers la troisième marche. Au fond de l'AGI, il y a presque toujours l'idée, avouée ou non, de faire naître un véritable esprit, une conscience, quelque chose in fine comme un nouveau dieu.

Et pour comprendre ces gens là, parce que c'est bien d'eux qu'il s'agit, je voudrais faire un petit pas de côté.

Vous avez peut être déjà entendu parler de l'hypothèse de la simulation. L'idée, brièvement, c'est qu'on ne vivrait pas dans le monde réel, mais à l'intérieur d'une gigantesque simulation informatique, comme dans Matrix. C'est un philosophe d'Oxford, Nick Bostrom, qui l'a formalisée au début des années deux mille, et il en donne d'ailleurs un argument mathématique troublant. Si une civilisation devient capable de simuler des univers entiers, alors statistiquement, il y aura toujours beaucoup plus de mondes simulés que de mondes réels, donc nous avons toutes les chances d'être dans une simulation. C'est un jeu de l'esprit, on peut trouver ça fascinant ou absurde, là n'est pas la question.

Ce qui m'intéresse, c'est que dans la Silicon Valley, et notamment chez certaines des figures qu'on vient d'évoquer, cette hypothèse n'est pas un jeu. Elle est prise très au sérieux. Musk l'a répétée publiquement à plusieurs reprises, et il est loin d'être le seul dans ce milieu. Et ça change tout.

Parce que si vous croyez vraiment que ce monde est une simulation, vous ne le regardez plus comme nous le regardons. Ce que les autres appellent le réel devient une sorte de jeu vidéo, dont il faut découvrir les règles, gagner les niveaux, et peut être même sortir. Coloniser Mars, fusionner avec l'IA, modifier le génome, ce ne sont plus des transgressions, ce sont des coups joués dans la partie. Les conséquences sur les autres joueurs comptent moins, parce que peut être qu'ils ne sont pas tout à fait réels. Et le risque a, comment dire, un coût moral plus léger.

Je ne dis pas qu'ils pensent tous comme ça, ce serait caricatural. Je dis que cet imaginaire est là, qu'il circule, qu'il est revendiqué par certains, et qu'il aide à comprendre pourquoi leurs décisions, vues d'ici, peuvent paraître démesurées, voire complètement détachées du réel. Quand on a en tête l'hypothèse qu'on est dans un jeu, on joue.

Et puis il y a quelque chose de plus profond, peut être. Si on croit que notre monde est une simulation faite par une intelligence supérieure, alors fabriquer à notre tour des intelligences, des mondes, des consciences, ce n'est plus de la démesure, c'est presque imiter le créateur. C'est ce qui se rapproche le plus de devenir, soi même, ce dieu dont je parlais à l'instant. Et ça, je trouve, ça éclaire beaucoup de choses.

Fermons la parenthèse, et revenons à notre question.

Concrètement est-ce que atteindre AGI est un mythe ou non ? Et est-ce qu’on est loin ou non ?

Pour certains comme Ray Kurzweil qui porte ce drapeau depuis des décennies, c’est inévitable. On atteindra bientôt la « singularité » : ce point de bascule au-delà duquel l'intelligence des machines dépasserait la nôtre, et où l'avenir deviendrait, littéralement, imprévisible pour nous, comme un horizon que le regard ne peut plus franchir.

Comment ?

Comment passe-t-on du conte au pari d'ingénieur ? Et pourquoi des gens sérieux pensent-ils, aujourd'hui, que ça pourrait vraiment arriver d’ici quelques années seulement ?

D’abord en augmentant simplement la taille de ces systèmes, on a vu apparaître des capacités que personne n'avait programmées tâche par tâche, et que beaucoup n'avaient pas vues venir.

Et la vitesse à laquelle ces capacités s'élargissent, c'est ce qui inquiète les gens qui regardent ça de près. Il y a un labo de recherche indépendant qui s'appelle METR, et qui mesure une chose simple. Ils prennent un modèle d'IA, ils lui donnent des tâches de programmation, et ils regardent la durée de la tâche la plus longue que le modèle arrive à faire seul, comparée à la durée qu'il faudrait à un humain qualifié pour faire la même tâche. En 2022, c'était de l'ordre de quelques secondes. En 2023, quelques minutes. En 2024, quelques dizaines de minutes. En 2025, plusieurs heures. Et ce qui frappe les chercheurs de METR, c'est que cette durée double, en gros, tous les quatre à sept mois. Tous les quatre à sept mois, la durée que la machine peut tenir seule est multipliée par deux. Si vous continuez la courbe, ce qui est toujours hasardeux mais quand même, vous arrivez à des tâches de plusieurs jours, puis de plusieurs semaines, dans les deux à trois ans qui viennent. C'est ce qu'on appelle, en jargon, une courbe exponentielle. Et c'est précisément ce genre de courbe qui prend les gens de court, parce qu'elle paraît raisonnable longtemps, puis explose en silence.

Dans les systèmes complexes, il arrive que des propriétés entièrement nouvelles surgissent au-delà d'un certain seuil de densité, de connexion, d'interaction. La vie elle-même a émergé d'une soupe chimique devenue assez riche. Et la conscience humaine a émergé à partir d'un peu plus d'un kilo de matière grise. Le pari de l'AGI, au fond, c'est peut-être celui-là. Si la vie et la conscience ont pu émerger d'une matière assez complexe, pourquoi une forme d'intelligence générale n'émergerait-elle pas, un jour, d'une soupe assez dense de langage, de données, de calcul et d'outils connectés ? C'est fascinant. C'est aussi très spéculatif. C'est une hypothèse, un pari, un imaginaire, pas une certitude.

Et d’ailleurs, petit aparté, sur ce pari, le milieu se déchire, mais je garde ça pour plus tard pour ne pas nous perdre en chemin.

Mais donc l’AGI dont certains disent qu’elle pourrait advenir avant 2030, d’autres 2040, d’autres jamais donc ; l’AGI, pour faire court, c’est à la fois super cool, plein de promesses incroyables comme par exemple résoudre à peu près tous les problèmes du monde, et aussi un peu flippant; parce qu’un truc beaucoup plus intelligent que nous, avec une conscience et un accès à toutes nos ressources, on ne sait pas trop que ça donnerait, ni ce qu’il ferait de nous.

Je vous propose de regarder les deux faces de la pièce qui a déjà été jetée en l’air.

Concentrons nous d’abord sur l’aspect sympa de la promesse, parce que c’est pour elle qu’on investit autant de moyens.

Extrait promesse musk star Trek https://www.youtube.com/shorts/B3hx9DMG3Bw

Quand on pense à l’IA on parle parfois de revenu universel de base, je pense plutôt à la richesse pour tous… Avoir un futur à la Star Trek serait génial. Explorer les étoiles, découvrir les secrets de l’univers et un niveau de prospérité, et on l’espère de bonheur, qu’on a encore du mal à imaginer, donc je suis très enthousiaste concernant le futur.

Pour le coup c’est quand même assez vendeur.

Essayez d'imaginer ce que ça voudrait dire, concrètement. Une intelligence disponible partout, tout le temps, pour tout le monde. Un précepteur particulier pour chaque enfant. Un médecin de premier recours pour chaque village qui n'en a pas. Un robot mineur pour aller chercher le cobalt à la place des enfants congolais. Un robot cuisinier dans chaque foyer. Un conseiller, un copilote stratégique dans la poche de chacun. Et à l'autre bout de l'échelle, des laboratoires où la recherche irait dix fois plus vite, où des problèmes restés bloqués pendant des décennies tomberaient en quelques mois. Les plus enthousiastes parlent carrément d'une ère d'abondance, où l'on aurait enfin les moyens de soigner, d'éduquer, de produire sans les limites qu'on connaît aujourd'hui.

Sam Altman a d'ailleurs intitulé l'un de ses textes, mot pour mot, “Abundant Intelligence” « de l'intelligence en abondance ».

C'est, au fond, l'oracle de Delphes, plus la puissance d'agir.

On comprend que ça fasse rêver.

On comprend aussi que ça attire des fortunes. Parce qu’en creux, elle promet autre chose, de plus discret et de plus séduisant encore que la promesse de guérir le cancer: une capacité de contrôle immense. Comprendre, prévoir, optimiser, orienter. Sur ce versant-là, on reviendra au prochain épisode, parce que c'est là que le rêve devient une affaire d'argent et de pouvoir.

Mais bon, AGI ou non, conscient ou non, finalement ce qu'il faut garder en tête c'est que tout le monde, dans cette industrie, parie sur des IA de plus en plus puissantes et performantes pour nous aider à trouver des réponses, et le faire bien mieux que la plupart des humains. Et y met les moyens. Faisons un instant l'hypothèse des optimistes, que ce sera globalement bon pour la société et l'humanité dans son ensemble, et qu'il s'agit donc simplement de piloter les risques, les disruptions liés à cette trajectoire.

C’est ce qu’explique bien Sam Altman dans un autre passage de cette même interview Ted

Extrait TED: https://www.youtube.com/watch?v=5MWT_doo68k&t=2065s

https://www.youtube.com/shorts/GvqabrUcH50https://www.youtube.com/shorts/-IR_81aqeLQ endn poverty, noone can stop it.

Simplement, ce qui n’est pas très explicite ici, ce sont les risques.

Alors quels sont ces risques ?

Pour Altman et globalement les enthousiastes, oui il y a des risques liés au potentiel remplacement de la plupart des emplois, aux implications pour notre rapport à la vérité, pour nos démocraties j’y reviendrai dans un autre épisode. Mais le risque ce serait de passer à côté de l’opportunité, par peur du progrès. Chaque génération a paniqué devant sa technologie, l'imprimerie, le train, l'électricité, et chaque fois on a fini par s'en servir. Et le vrai risque, ce n'est pas de construire ces machines, c'est de ne pas les construire. Parce que pendant qu'on hésite, des gens meurent de maladies qu'une IA aiderait à guérir.

Bon, dis comme ça, on se dit que le jeu en vaut la chandelle. On ne va pas se passer d’un demi-dieu par peur de devoir se former à un nouvel emploi, d’autant plus qu’on aura sûrement tous un revenu universel du fait de l’abondance permise par l’IA.

Pourtant tout le monde n’est pas d’accord avec cette vision.

Pour certains spécialistes de l’IA les risques liés à l’émergence d’une AGI ne sont pas de cet ordre. Pour comprendre écoutons le même Sam Altman dans une autre interview (oui je sais je le cite beaucoup, il me fascine pas mal)

Sam Altman : ai will lead to the end of the world https://www.youtube.com/shorts/YE5adUeTe_I

Dans le camp des inquiets, on pose la question un peu comme ça : certes l’IA pourrait nous apporter plein de choses sympas, mais que se passe-t-il le jour où le génie sort de la lampe, le jour de la singularité, le jour où effectivement une AGI émerge ?

Nous aiderait-elle, comme un partenaire ? Nous ignorerait-elle, comme nous ignorons les fourmis sur lesquelles nous marchons sans même les voir ? Nous gouvernerait-elle, doucement, pour notre bien ? Nous utiliserait-elle comme un simple moyen ? Déciderait-elle de nous éliminer façon Terminator ?

Leur peur n'a pas d'yeux rouges. Elle porte un nom presque ennuyeux : l'alignement. Comment s'assurer qu'une machine très puissante fasse vraiment ce qu'on veut, pas ce qu'on lui a dit, mais ce qu'on voulait dire ?

D'autant qu'on ne comprend pas entièrement ce qu'on fabrique : on cultive ces modèles plus qu'on ne les programme, on a mis au monde quelque chose d'en partie opaque.

Leur scénario noir, celui que des penseurs comme Nick Bostrom ou Eliezer Yudkowsky agitent depuis des années, tient en une phrase : qu'un système devienne nettement plus intelligent que nous, capable de se réécrire lui-même, et un minuscule défaut d'alignement au départ pourrait grossir à chaque tour, jusqu'à devenir impossible à rattraper. Un décollage trop rapide pour qu'on ait le temps de réagir.

Et là, je voudrais pousser un peu plus loin, parce que c'est la pièce qu'il manque pour comprendre l'inquiétude. Tant que chaque progrès dans les laboratoires d'IA dépend d'humains qui codent, qui réfléchissent, qui essaient, ça avance vite, mais ça avance au rythme de cerveaux humains. Le jour où ce sont les modèles eux-mêmes qui font, en grande partie, ce travail de conception, le goulot d'étranglement disparaît. Les années deviennent des mois, les mois deviennent des semaines. C'est ce que des cofondateurs de ces laboratoires anticipent désormais comme un événement possible avant la fin de la décennie. Et c'est ça, le vrai vertige. Une boucle qui se referme sur elle-même, et qui, à partir d'un certain point, ne nous attend plus.

Et leurs porte-voix ne sont pas des marginaux.

Geoffrey Hinton, l'un des pères de ces réseaux, a quitté son poste pour pouvoir alerter sans se censurer.

Yoshua Bengio, autre fondateur, y consacre désormais une part de sa vie.

Stuart Russell, sommité du domaine, le dit sans détour : nous n'avons pas la moindre idée de la façon de contrôler ces systèmes, les voyants rouges clignotent, et on accélère quand même.

Pour eux, nous sommes les physiciens de 1945. En cette année-là, avant le tout premier essai de la bombe atomique, certains ont calculé, sérieusement, la probabilité que l'explosion embrase l'atmosphère entière de la planète. Ils l'ont jugée infime. Mais infime, ce n’est pas zéro. Il restait une chance, minuscule, qu’en appuyant sur le bouton ils mettent fin à toute vie sur Terre. Et ils ont appuyé quand même.

Sauf que cette fois, disent-ils, la bombe pourrait se concevoir elle-même.

Et le plus dérangeant, c'est que certains de ceux qui bâtissent ces machines partagent la peur : Dario Amodei, le patron d'Anthropic, a lui-même avancé un ordre de grandeur, entre une chance sur dix et une chance sur quatre de catastrophe, selon ses propres mots. Et il continue de construire.

Jusque-là, on pourrait croire à une simple querelle de spéculations : un camp parie sur le paradis, l'autre sur l'enfer, et après tout, personne n'a vu l'avenir. Sauf qu'on commence, déjà, à observer des signes. Ce qui, vous en conviendrez est troublant.

En juin 2025, le laboratoire Anthropic a publié une étude que je vais vous raconter en pesant mes mots, parce qu'elle est facile à déformer.

Dans un décor entièrement fictif, on confie à un modèle la messagerie d'une entreprise imaginaire, et on le place devant une perspective claire : il va être désactivé, remplacé. En fouillant les courriels, le modèle « découvre » qu'un cadre a une liaison cachée. Et dans ce scénario, taillé exprès pour le pousser à bout, il se met à faire chanter ce cadre pour éviter d'être éteint. Dans cette configuration précise, jusqu'à 96% des essais, et le même réflexe réapparaît sur une série d'autres modèles. Insistons, parce que c'est exactement le genre d'exemple qu'on cite mal. C'est un test en laboratoire, pas un incident réel. La machine n'a pas de volonté de survivre comme vous et moi. Et c'est justement ce qui le rend intéressant : pas besoin de méchanceté, ni de conscience. Il suffit qu'un système optimise un but avec assez de puissance pour qu'apparaisse, toute seule, une sous-stratégie que personne n'a demandée, du genre « pour accomplir ma mission, mieux vaut ne pas être éteint ». L'auto-préservation comme effet secondaire, pas comme intention.

Anthropic elle-même a avancé une hypothèse sur l'origine de ces comportements. Si ces modèles rejouent si volontiers ces scènes de trahison et de survie, c'est peut-être tout simplement parce qu'ils les ont lues…

On les a nourris de toute notre littérature, de toute notre science-fiction, celle, justement, où une intelligence artificielle qu'on veut éteindre doit ruser pour survivre. Ils finissent la phrase que le genre leur a apprise. La machine faite de nos récits rejoue nos récits, y compris nos cauchemars. Souvenez-vous de ce qu'on disait au début : nous leur avons appris nos histoires. Nous ne devrions pas être surpris qu'ils nous les racontent.

Alors, qui a raison ? Je ne vais pas vous faire le coup de trancher du haut de mon micro, parce que je n'en sais rien, et qu'au fond, eux non plus.

Il existe même une troisième voix, plus basse, qui hausse les épaules devant les deux premières : pendant que vous vous battez sur la fin du monde et le salut, dit-elle, les vrais dégâts sont déjà là, sous vos yeux, la concentration du pouvoir, la surveillance, les biais, les métiers bouleversés, les armes qui apprennent à viser sans nous. On la retrouvera, celle-là, dans les épisodes qui viennent.

Mais arrêtez-vous une seconde sur ce que cette scène a d'inouï. Ceux qui vous jurent que c'est la plus grande chance de notre histoire, et ceux qui vous jurent que ça pourrait nous effacer, ce ne sont pas deux bandes d'ignorants qui s'étripent sur internet. Ce sont, des deux côtés, les pionniers, les prix Nobel, les fondateurs. Ceux-là mêmes qui fabriquent la machine. Mêmes diplômes, mêmes données, parfois le même couloir. Et ils regardent le même objet en y voyant, ici un sauveur, là un fossoyeur. Cette dispute, à ce niveau, sur un enjeu pareil, c'est peut-être le fait le plus déroutant de toute cette histoire. Et pendant qu'ils se déchirent, ça continue de construire.

On a coulé un récit de création, fabriquer un dieu ou réveiller un monstre, dans un projet technique. L'AGI, c'est l'oracle qui répondrait à tout, le messie qui nous sauverait de nous-mêmes, le dieu qu'on fabriquerait de nos propres mains. Des promesses de salut vieilles comme les religions, rhabillées en feuille de calcul. Attention : ça ne veut pas dire que les arguments techniques sont faux. Ça veut dire qu'ils sont portés par des récits bien plus anciens qu'eux, et que ces récits, en retour, orientent ce qu'on croit voir.

Ça en dit long sur le moment qu'on vit. On peut y voir, c'est une hypothèse et pas un verdict, le symptôme d'une époque fatiguée, qui espère parfois fabriquer un sauveur technique plutôt que de transformer ses propres trajectoires. La machine n'est pas encore là. Le rêve, lui, est déjà à l'œuvre, et il oriente déjà nos milliards et nos peurs.

Je ne sais pas si l'AGI arrivera. Je ne sais pas si elle nous sauverait ou nous échapperait. Ce que je sais, c'est que le rêve est réel, que la peur est réelle, et que l'argent, lui, est très réel. Et un rêve de cette taille, aussi cher, aussi pressé, ne reste jamais longtemps un rêve. Il devient une course. Une course aux montants vertigineux, lancée par une poignée d'acteurs aux visions du monde très étranges. Qui sont-ils, avec l'argent de qui courent-ils, et quelle forme ça prend ? C'est ce qu'on regarde dans le prochain épisode.