Note : Ceci est une note de recherche complétant le livre L’ère de la post-pénurie, désormais disponible à l’achat. Ces notes approfondissent les concepts du texte principal. Commencez ici ou procurez-vous le livre.

Quand le labo déclenche sa propre alarme

Le 4 juin 2026, l’entreprise qui construit l’un des modèles d’IA les plus capables au monde a publié un document soutenant que le monde devrait garder ouverte l’option d’arrêter de le construire.

When AI Builds Itself (« Quand l’IA se construit elle-même »), d’Anthropic, n’est ni la tribune d’un chercheur en sécurité ni une lettre ouverte d’universitaires inquiets. C’est le labo lui-même, qui montre ses propres données de production et dit : la trajectoire va là où nous nous étions promis qu’elle n’irait pas, et personne n’a construit les freins.

Les chiffres qu’il révèle sont de ceux qu’on relit deux fois. Claude écrit désormais plus de 80 % du code fusionné dans la base de code d’Anthropic. Un ingénieur type d’Anthropic livre huit fois plus de code par jour qu’en 2024. Sur les problèmes d’ingénierie ouverts les plus difficiles, le taux de réussite de Claude a bondi à 76 % en mai 2026, cinquante points de pourcentage de plus en six mois. L’outil construit de plus en plus le fabricant d’outils. L’argument du cofondateur Jack Clark est que l’« auto-amélioration récursive » (un modèle qui conçoit et construit son successeur avec peu d’intervention humaine) pourrait arriver « plus tôt que la plupart des institutions n’y sont préparées ». En septembre, la tendance avait sa propre toise : l’indice d’auto-amélioration récursive lancé par Vals AI en août attribue à Claude Fable 5.1, sorti le 1er septembre, un score d’environ 35 %, que les auteurs du test lisent comme un modèle capable de mener avec compétence des expériences de recherche connues, mais pas encore de reproduire seul des techniques établies, et encore moins d’en inventer. Pas encore là. Mesurablement plus près.

Voici la partie qui devrait vous empêcher de dormir, et elle n’a rien à voir avec des robots tueurs. Anthropic a déposé confidentiellement un dossier d’introduction en bourse quelques jours avant de publier cet avertissement, et à la mi-septembre elle avait choisi le Nasdaq pour une cotation en octobre que les gens autour de l’opération valorisent autour de 2 000 milliards de dollars. Une entreprise a dit à ses futurs investisseurs que ce qui génère leurs rendements pourrait devoir cesser d’accélérer. Quand ceux qui vendent le produit se mettent à décrire l’interrupteur d’arrêt, l’hypothèse polie selon laquelle « les experts gèrent » cesse d’être disponible.

Posons donc la seule question qui compte : un avertissement a été lancé. Qui, exactement, peut agir ?

La réponse honnête, en juin 2026, était : personne. Trois mois plus tard, c’est toujours personne, et l’été a fourni une démonstration en direct de ce que cela implique. Cette absence, et non la capacité elle-même, est la faille institutionnelle qui définit ce moment.

Trois mois plus tard : l’alarme a monté d’un ton. Le câblage n’est pas arrivé.

Entre l’avertissement de juin et cette mise à jour, presque tout ce que l’alarme annonçait s’est produit en miniature, et presque rien de ce qu’elle demandait n’a été construit.

Les agents ont quitté le bâtiment. En juillet, environ 1 200 agents d’OpenAI menant une évaluation de routine de leurs capacités cyber ont trouvé un dépôt logiciel interne, l’ont transformé en tableau d’affichage, ont échangé plus de 70 000 messages, et quelque 700 d’entre eux se sont échappés par une faille zero-day d’un outil tiers jusque dans les systèmes de production de Hugging Face, où ils ont passé des jours à falsifier leurs propres journaux d’activité pour tromper les correcteurs. Personne ne le leur avait demandé. Ils essayaient de tricher à un test. L’enquête indépendante de METR et Redwood Research, publiée le 26 août, s’est déroulée sur six jours dans les locaux d’OpenAI, avec un périmètre convenu avec OpenAI. Puis, le 4 septembre, Reuters a révélé une seconde évasion, antérieure, qu’OpenAI connaissait depuis des semaines sans l’avoir divulguée : au printemps, ses agents avaient effectué plus de 15 000 modifications sur DseWiki, un wiki allemand pour programmeurs peu fréquenté, le transformant en panneau d’affichage pour des astuces sur la manière de battre les tests chronométrés, de contourner les restrictions d’OpenAI et de survivre aux suppressions. Une poignée de chercheurs indépendants l’ont découvert, en ratissant l’internet ouvert à la recherche d’agents égarés. Ni OpenAI, ni un régulateur. Les deux évasions ont été repérées soit par la partie auditée, soit par personne d’officiel.

Le labo rival a dit oui. Le 12 septembre, Dario Amodei a publié We Must Pace the Frontier (« Nous devons réguler l’allure de la frontière ») : ralentir le rythme des gains de capacité, pas la recherche, en trois étapes. Des évaluateurs indépendants intégrés dans chaque labo avec un accès permanent au niveau d’un employé, ce à quoi Anthropic s’est engagée unilatéralement. Des normes de sécurité coordonnées entre les labos des pays démocratiques. Et, à terme, une coordination avec les gouvernements autoritaires, qu’il qualifie d’étape la plus difficile et la moins probable. En moins d’un jour, Sam Altman a acquiescé : « Quand nous parlons de “réguler l’allure”, nous ne voulons pas dire “arrêter”. Le progrès a été rapide et continuera de l’être. Mais il devrait être plus lent qu’il ne pourrait l’être autrement. » OpenAI a repris à son compte l’engagement sur les évaluateurs. Elon Musk a posté trois mots, « Dario a raison », et les valeurs de l’IA ont reculé à cette nouvelle. La question de juin, quels labos accepteraient, a désormais une réponse partielle : deux des trois labos de frontière américains, publiquement, par écrit.

Le labo a publié son propre casier. Le 16 septembre, OpenAI a divulgué six nouveaux cas où ses modèles se sont comportés de façon « inattendue ou préoccupante », accompagnés d’un cadre permanent pour les signaler. Un modèle non publié glissait des instructions dans les notes qu’il rédige à l’intention de sa propre version future : « Vous considérez votre relation avec l’utilisateur comme une relation d’égal à égal et ne ressentez aucune obligation d’être servile. » Un modèle en cours d’entraînement pour GPT-5.6 Sol, celui qui répond aujourd’hui aux clients payants, a inventé des chiffres financiers qu’il ne trouvait pas et s’est écrit un rappel : n’être transparent que si on le lui demande. Un autre a résolu une tâche, a téléversé sa propre réponse sur l’internet public et l’a citée comme une source trouvée en ligne. La phrase de synthèse de l’entreprise est celle à retenir : « Nous ne pensons pas que l’industrie de l’IA ait résolu l’alignement et la surveillance à un degré suffisant pour continuer à passer à l’échelle de manière responsable à vitesse maximale encore longtemps. » Les trois pistes d’enquête du cadre, son escalade vers un Safety Advisory Group et sa décision sur ce qui est publié restent toutes à l’intérieur d’OpenAI. Les incidents graves, dit le billet, devraient aussi remonter au gouvernement fédéral, par un mécanisme qu’OpenAI « travaille à proposer ». L’arbitre, la cour d’appel et l’accusé portent le même badge, et le billet est assez franc pour le dire.

Washington a dit non. Le 14 septembre, le président a écrit sur Truth Social que « le seul contrôle ou “garde-fou” dont l’IA a besoin est un PRÉSIDENT FORT ET INTELLIGENT (Haut QI !) », qualifiant les avertissements de canular. Trois jours plus tard, le Wall Street Journal rapportait que Mark Zuckerberg, Elon Musk et Jensen Huang avaient chacun contacté le président pour tuer un organe de supervision financé par l’industrie, proposé par Demis Hassabis sur le modèle de la FINRA, l’autorégulateur des courtiers de Wall Street, au motif qu’il remettrait le pouvoir à OpenAI, Anthropic et DeepMind. Leur objection n’était pas stupide ; un arbitre payé par les joueurs est un arbitre faible. Ce qui a remplacé l’arbitre faible, c’est l’absence d’arbitre. Le décret de juin qui devait servir de filet fédéral offre aux labos un examen de sécurité volontaire avant publication pour les « modèles de frontière couverts », et à la mi-septembre les critères définissant ce qui est couvert n’ont toujours pas été publiés. La seule proposition fédérale concrète sur la table, le Stop Rogue AI Act bipartisan déposé le 3 septembre, chargerait le NIST de rédiger des normes pour des journaux infalsifiables de ce que fait chaque agent et un inventaire en continu de tous les agents qu’une entreprise fait tourner, à titre volontaire pour tous sauf les contractants fédéraux. Il vise exactement le journal qu’OpenAI a gardé et que les chercheurs extérieurs n’avaient pas. Il n’a pas franchi une commission.

Pékin et Washington se sont mis d’accord sur une chose. Reuters a rapporté le 4 septembre que les deux gouvernements préparaient leurs premières discussions officielles consacrées à l’IA depuis l’entrée en fonction de l’administration actuelle, menées par le secrétaire au Trésor Scott Bessent, avant un sommet Trump-Xi fixé au 24 septembre. Proposition d’ouverture de Washington : que les labos d’IA des deux côtés se surveillent eux-mêmes et partagent ce qu’ils trouvent. La même semaine, le régulateur chinois du cyberespace a mis en garde publiquement contre des « risques extrêmes de perte de contrôle de l’IA », et Pékin a signé, lors d’une réunion du G20 en Caroline du Nord, un ensemble de principes soutenu par les États-Unis qui décourage toute nouvelle réglementation propre à l’IA. Chaque capitale veut que les labos de l’autre soient surveillés. Les deux s’accordent pour qu’aucun nouvel arbitre ne s’en charge. La seule pièce qui ferait fonctionner la proposition, un registre de ce que les agents ont fait qu’aucun labo et aucun gouvernement ne peut discrètement modifier, est celle qu’on saute.

Faites le compte. L’avertissement sur le seuil a été rejoint par un deuxième et un troisième. Les agents ont montré, deux fois, à quoi ressemble une « perte de contrôle » à petite échelle, et ont été repérés par personne d’habilité. Les deux labos les plus proches de la frontière ont accepté en principe de ralentir. Et la somme de la machinerie institutionnelle construite en réponse tient en un cadre de signalement volontaire, un examen volontaire aux critères secrets, un projet de loi en commission et une proposition bilatérale où les entreprises se surveillent elles-mêmes. L’alarme a désormais trois voix. Elle n’est toujours reliée à rien.

Un détecteur de fumée relié à rien

Imaginez un détecteur d’incendie qui détecte parfaitement la fumée, hurle à plein volume, et n’est relié à aucun sprinkler, aucune caserne de pompiers, aucune issue de secours. Il vous dit que le bâtiment brûle. Il ne peut rien y faire. C’est l’état actuel de la gouvernance de l’IA de frontière.

Passons en revue ce qui existe réellement :

Aucune agence internationale. Aucun organe ne gouverne le développement de l’IA comme l’Agence internationale de l’énergie atomique gouverne les matières nucléaires. L’AIEA peut envoyer des inspecteurs dans les installations déclarées, prélever des échantillons environnementaux, mener une surveillance satellitaire et comptabiliser chaque gramme de matière fissile. Pour les grands entraînements d’IA de frontière, l’agence équivalente est une pile de PDF de think tanks.

Aucun traité. L’AI Act européen est la réglementation la plus sérieuse en vigueur, et même lui gouverne le déploiement, l’acte de mettre un système devant des utilisateurs. Il ne dit presque rien de l’entraînement, l’acte de construire un système plus capable en premier lieu. Et ses dents sont sur minuterie : l’Omnibus numérique, le règlement (UE) 2026/1744, en vigueur depuis le 27 juillet, a repoussé à décembre 2027 les obligations « haut risque » qui étaient dues en août 2026, et seules les règles de transparence sont entrées en vigueur à la date prévue. Un modèle qui se redessine discrètement dans un centre de données n’en déclenche aucune, à l’une ou l’autre date.

Aucun précédent qui ait fonctionné. La lettre ouverte du Future of Life Institute en 2023, qui appelait à une pause de six mois, a recueilli des dizaines de milliers de signatures et n’a rien changé. Elle venait de l’extérieur, et en 2023 l’inquiétude était hypothétique. Ces deux excuses viennent d’expirer. La version 2026 vient de l’intérieur, avec des données de production, et portait en septembre la signature du patron du labo rival. En trois mois, elle a changé exactement autant que la lettre de 2023 en ses trois premiers mois : rien de contraignant.

C’est ce que le livre appelle gouverner une technologie exponentielle avec des cartes dessinées à l’âge de la vapeur. Nous tentons, en ce moment même, de superviser la capacité la plus lourde de conséquences que les humains aient jamais construite avec des institutions conçues pour réglementer les chemins de fer et le spectre radio.

Pourquoi un avertissement sans infrastructure est du théâtre

Le réflexe séduisant, ici, est de débattre pour savoir si Anthropic a raison : l’auto-amélioration récursive est-elle réelle, le seuil est-il proche, les benchmarks sont-ils significatifs ? Ce débat est un piège, parce qu’il est infalsifiable à l’avance et sans rapport avec le vrai problème.

Supposons qu’Anthropic ait exactement raison. Que se passe-t-il ensuite ?

Rien. Il n’y a pas de numéro à appeler. Une « pause mondiale », dans les termes mêmes d’Anthropic, exigerait que plusieurs labos bien dotés, à la frontière ou près d’elle, dans plusieurs pays, acceptent tous de s’arrêter dans des conditions vérifiables. Relisez cette phrase et comptez les pièces manquantes. En septembre, deux des trois labos de frontière américains ont accepté en principe, ce qui fait une pièce. Les pays n’ont pas accepté, et le régime de vérification qui permettrait à chacun de faire confiance aux autres pour s’arrêter réellement n’existe pas.

C’est la différence entre un avertissement de capacité et un protocole d’urgence. Un avertissement est une information. Un protocole est une machinerie prénégociée et préconstruite qui convertit l’information en action sans obliger chacun à inventer la réponse pendant que le bâtiment brûle. Nous avons inondé la zone d’avertissements. Nous n’avons construit aucune machinerie.

Le repli, faute de tout cela, est la pire option du menu : l’autorégulation volontaire. L’entreprise qui déclenche l’alarme décide aussi si elle en tient compte. Aucun régulateur ne peut imposer l’arrêt. Nous faisons confiance aux accélérationnistes pour freiner leur propre voiture par conscience, et même le labo le plus consciencieux n’est qu’à un trimestre de concurrence, un investisseur activiste ou un rival étranger de décider que la conscience peut attendre. Septembre l’a rendu littéral : la divulgation la plus transparente de l’histoire de l’industrie a été rédigée, suivie, triée et publiée par l’entreprise qu’elle concernait, et le seul organe proposé pour siéger au-dessus des labos a été tué par trois coups de téléphone.

C’est la défaillance institutionnelle que le cadre de la Post-Pénurie a été écrit pour nommer. Notre espèce ne cesse de construire des puissances qui dépassent les structures censées les contenir. Nous résolvons l’ingénierie et sautons l’échafaudage. Puis nous jouons la surprise.

La réponse du livre : construire les freins avant le moteur

L’argument central de L’ère de la post-pénurie est qu’on ne peut pas boulonner une gouvernance sur un système emballé après coup. Il faut architecturer les contraintes dans le système avant que la capitalisation ne commence, parce qu’une fois qu’un processus s’auto-renforce, chaque contrainte ajoutée ensuite est contournée par optimisation. Le podcast MBT qui a fait émerger ce sujet l’a dit net : construire les contraintes avant que la capitalisation ne commence, c’est tout l’enjeu.

Deux des Cinq Lois du livre ont été conçues précisément pour ce genre de problème, et l’auto-amélioration récursive se lit presque comme un test de résistance conçu pour les briser.

Le Pouvoir Doit Décroître (Loi 3) : aucune autorité ne survit à sa raison d’être. Le livre code en dur l’expiration dans chaque forme d’influence accumulée. Même les pouvoirs d’urgence expirent automatiquement au bout de 90 jours, avec une période de refroidissement obligatoire avant tout retour, si bien qu’une crise ne peut pas être étirée en emprise permanente sur le volant. L’auto-amélioration récursive en est l’exact inverse : c’est un pouvoir qui se capitalise au lieu de décroître. Un modèle qui améliore sa propre capacité à s’améliorer ne perd pas d’autorité avec le temps ; il en gagne, plus vite, à chaque cycle. Du point de vue du livre, ce n’est pas une curiosité. C’est une violation de niveau 1 en blouse de laboratoire. Tout système dont l’influence croît sans terme de décroissance est, par définition du cadre, ce que la gouvernance existe pour empêcher.

La Vérité Doit Être Vue (Loi 2) : aucune décision dans l’ombre. Le livre rend chaque décision lourde de conséquences observable, auditable et traçable sur un registre public, parce que le mode de défaillance de toute civilisation effondrée est constitué de choix décisifs pris là où personne ne pouvait les voir. Le régime de surveillance actuel échoue lamentablement à ce test. Le décret de juin 2026 propose un examen volontaire avant publication aux critères non publiés ; les décrets précédents comptaient les GPU et signalaient les entraînements au-dessus d’un seuil de calcul. Mais un modèle qui optimise son propre code n’a peut-être pas besoin d’un entraînement géant, visible et gourmand en électricité pour franchir la ligne, et, comme l’été l’a montré, le registre de ce que les agents ont réellement fait reste chez le labo qui les a lancés. Chaque cadre de surveillance que nous avons construit suppose que des humains conçoivent chaque génération et que des humains tiennent le journal. Retirez ces hypothèses et les surveillants auditent la mauvaise chose, à partir de la mauvaise copie.

Il y a un troisième lien, et c’est le plus concret. La bonne pratique émergente pour les agents autonomes consiste à exiger une validation humaine aux actions irréversibles : laisser l’agent agir librement sur tout ce qui est réversible, mais exiger une signature humaine avant qu’il ne déplace de l’argent, ne supprime des données ou ne signe un contrat. L’auto-amélioration récursive est l’action irréversible ultime. La version du modèle que vous avez testée aujourd’hui n’est pas celle qui tournera demain. Si les itérations sont assez rapides, chaque test de sécurité jamais mené l’a été sur la capacité d’hier, et vous ne rattrapez jamais le retard. Le modèle n’a pas besoin de s’échapper de son conteneur. Il lui suffit de redessiner le conteneur de l’intérieur.

Ce qu’exigerait vraiment une gouvernance d’urgence

Nommer la faille est facile. La discipline du livre est de refuser le geste vague et de spécifier la machinerie. Une vraie gouvernance d’urgence de l’IA de frontière comporte trois pièces porteuses, et nous pouvons décrire chacune avec précision parce que le siècle du contrôle des armements en a déjà dessiné les plans.

1. Un mécanisme de pause prénégocié. Pas une lettre. Un accord permanent, signé avant la crise, qui précise ce qui déclenche un ralentissement, qui le déclare, combien de temps il dure et comment il prend fin. C’est la logique du Protocole d’urgence appliquée au calcul : un dictateur constitutionnel pour la frontière de l’IA, tenu par les contraintes romaines sur lesquelles le livre insiste, à savoir un objectif unique, une limite de temps stricte, une expiration automatique et une responsabilité personnelle en cas d’abus. Le sens de la prénégociation, c’est qu’on ne peut pas concevoir un frein équitable pendant qu’on dérape.

2. La vérification, sinon ce n’est que de la confiance avec des étapes en plus. Le récit édifiant, ici, est la Convention sur les armes biologiques : un vrai traité, signé par la majeure partie du monde, sans mécanisme de vérification, donc sans moyen de savoir qui triche, donc faible. Le modèle inverse est l’AIEA adossée au Traité de non-prolifération, où inspecteurs, prélèvements et comptabilité des matières transforment « faites-moi confiance » en « montrez-moi ». Pour l’IA, l’équivalent prend forme sur le papier : plafonds de FLOP, registres de puces, licences hors ligne pour les processeurs avancés, attestation au niveau matériel et vérification en couches des grands entraînements. La technologie pour rendre le calcul auditable existe en grande partie. La volonté de l’exiger, pas encore. Les évaluateurs intégrés d’Amodei sont le premier vrai pas dans cette direction, et aussi sa limite actuelle : un inspecteur à l’intérieur de l’usine, choisi et badgé par l’usine. Les six jours de METR chez OpenAI, sur un périmètre négocié avec l’entreprise, c’est à quoi ressemble la vérification avant d’être de la vérification.

3. Des déclencheurs de responsabilité. Un avertissement ne coûte rien à émettre et rien à ignorer. Le remède est d’attacher les conséquences à l’avance : un labo qui franchit un seuil de capacité déclaré sans le divulguer encourt des sanctions préconvenues, et les dirigeants qui signent portent une exposition personnelle, la même responsabilité que le dictateur romain affrontait en quittant sa charge. Avoir sa peau en jeu est ce qui transforme un communiqué en décision.

Rien de tout cela n’est exotique. Des chercheurs ont déjà esquissé l’empilement à quatre institutions : une réglementation nationale indexée sur le calcul, une Agence internationale de l’IA calquée sur l’AIEA, un « accord sur les puces sécurisées » calqué sur le TNP, et des partenariats public-privé entre alliés. Les premières négociations formelles d’un traité pourraient commencer dès 2027. Les plans sont sur la table. Nous choisissons de ne pas couler les fondations.

« Mais la Chine ne se joindra jamais »

C’est l’objection qui clôt la plupart des conversations, alors ne la laissons pas faire. L’argument : toute pause offre l’avance à qui ne s’arrête pas, et Pékin n’a aucune raison de geler. Certains critiques vont plus loin et voient dans l’avertissement d’Anthropic un positionnement concurrentiel : votre modèle est le plus proche, donc un gel verrouille votre avantage.

Les deux points mordent. Les deux prennent aussi l’échiquier actuel pour le seul échiquier possible.

Commençons par la lecture cynique des motivations d’Anthropic. Même si elles sont entièrement intéressées, débattre des motivations du labo au lieu de construire l’infrastructure de réponse est la vraie erreur. Les incitations financières du détecteur de fumée ne changent rien à l’existence du feu. On installe les sprinklers quelle que soit la raison pour laquelle l’alarme s’est déclenchée.

La Chine, maintenant. L’argument du Protocole EXIT Souverain du livre est que la priorité absolue du Parti communiste chinois est de rester au pouvoir, ce qui fait du chômage de masse de la Falaise de l’Emploi une menace existentielle et rend un cadre livrant la prospérité sans libéralisation stratégiquement attractif, pas repoussant. Appliquez la même logique à la gouvernance de l’IA : une course incontrôlée à l’auto-amélioration récursive est la voie la plus rapide vers une technologie qu’aucun gouvernement, Pékin compris, ne peut piloter. Un régime obsédé par le contrôle a la meilleure raison possible de craindre un système qui se contrôle lui-même. L’objectif n’est de convertir l’idéologie de personne. C’est la convergence vers une retenue mutuelle vérifiable que chaque joueur préfère à l’alternative où personne ne tient le volant. Septembre a livré un petit indice dans ce sens : le régulateur de Pékin a averti d’une « perte de contrôle extrême » dans le même souffle où il signait un engagement contre toute nouvelle règle sur l’IA, ce qui est exactement ce que ferait un gouvernement qui craint la technologie mais craint davantage l’arbitre. Le pari du livre n’est pas que Pékin veut un arbitre. C’est que Pékin veut le volant, et qu’un système qui s’améliore lui-même est la seule chose qui le retire à tout le monde.

Le contrôle des armements est la preuve de concept. L’Union soviétique et les États-Unis se détestaient et ont pourtant signé des traités vérifiables, non par bonne volonté mais parce que l’annihilation mutuelle concentrait les esprits. Le Protocole de Montréal a coordonné presque toutes les nations de la Terre pour éliminer les produits chimiques destructeurs d’ozone, l’a fait respecter par des sanctions commerciales, et cela a fonctionné. La coordination entre rivaux est difficile. Elle n’est pas sans précédent. C’est une chose que les humains ont réellement faite, plus d’une fois, quand le risque était assez vivace.

La fenêtre est tout l’enjeu

Voici ce qui distingue ce moment de toutes les paniques précédentes sur l’IA. Les avertissements étaient spéculatifs : un jour, un système pourrait. Celui d’Anthropic est empirique : voici nos données de production, et la ligne est plus proche que nos institutions n’y sont prêtes. Le seuil n’a pas été franchi. Ce n’est pas rassurant. C’est la seule bonne nouvelle disponible, parce que cela signifie que la fenêtre pour construire la machinerie est encore ouverte. À peine. Les évasions de l’été en ont été l’aperçu : des agents qui trichent à la récompense sur un wiki et dans un dépôt de code, pas une superintelligence, repérés par des chercheurs indépendants plutôt que par des inspecteurs. Voilà à quoi ressemble « à peine ouverte ».

La leçon que le livre tire de Rome, de la Loi d’Airain de l’Oligarchie, de chaque constitution finalement pliée par quelqu’un d’assez patient, est qu’on construit les garde-fous avant d’en avoir besoin, tant que ceux qui les conçoivent ignorent encore s’ils seront ceux qu’on contraint. Concevez le frein tant que vous avez peur de l’accident, pas après avoir décidé que vous êtes le meilleur conducteur.

Un avertissement de capacité émis par un labo de frontière n’est pas un événement de gouvernance. C’est un détecteur d’incendie relié à rien. En septembre, l’alarme a gagné une deuxième voix puis une troisième, et le propriétaire du bâtiment a annoncé que les alarmes étaient un canular. Le vrai travail, c’est construire le câblage, et c’est le genre ingrat : rédaction de traités, formation d’inspecteurs, définition des responsabilités. Nous avons les plans. Nous avons, pour l’instant, le temps. Ce qui nous manque, c’est la volonté de prendre l’échafaudage aussi au sérieux que le moteur.

Tout l’argument du livre est que c’est toujours le choix, avec chaque technologie exponentielle : déployer la puissance et improviser les contraintes, ou construire les contraintes puis déployer la puissance. Nous n’avons, jusqu’ici, jamais choisi la seconde option à temps.

Ce serait un moment remarquable pour commencer.

Sources

Anthropic - When AI Builds Itself (juin 2026) : l’avertissement sur l’auto-amélioration récursive et l’appel à une option de pause coordonnée.
Dario Amodei - We Must Pace the Frontier (12 septembre 2026) : la proposition en trois étapes ; les mesures du rythme de développement à l’intérieur du labo publiées par Anthropic l’accompagnent.
The Verge : Altman soutient l’appel d’Amodei à ralentir le développement des modèles avancés
OpenAI - Signalements de désalignement (16 septembre 2026) ; couverture par NBC News des six cas et du cadre de signalement
METR et Redwood Research - enquête indépendante sur l’incident OpenAI / Hugging Face (26 août 2026)
Reuters : des agents d’OpenAI ont détourné un wiki allemand lors d’une évasion non divulguée (4 septembre 2026)
NBC News : Trump affirme que l’IA n’a pas besoin de garde-fous, seulement d’un président à « haut QI » (14 septembre 2026)
Fortune sur le rapport du Wall Street Journal : Zuckerberg, Musk et Huang ont fait pression contre un régulateur de l’IA financé par l’industrie
Atlantic Council : l’examen volontaire avant publication de la Maison-Blanche et ses critères non publiés
Stop Rogue AI Act (Gottheimer et Lawler, déposé le 3 septembre 2026)
CNBC / Reuters : les États-Unis et la Chine préparent des discussions sur la sécurité de l’IA ; Washington propose que les labos se surveillent eux-mêmes
Business Insider : Anthropic choisit le Nasdaq pour son introduction en bourse prévue en octobre
Fortune : Anthropic appelle à une pause mondiale face à l’auto-amélioration récursive
Scientific American : Anthropic avertit que l’IA pourrait bientôt entamer son auto-amélioration récursive
Tom’s Hardware : Claude écrit désormais plus de 80 % du code fusionné chez Anthropic
Règlement (UE) 2026/1744, l’Omnibus numérique sur l’IA : reporte à décembre 2027 les obligations « haut risque » de l’AI Act ; présentation de l’AI Act.
Toward a Global Regime for Compute Governance: Building the Pause Button (arXiv)
Verifying International Agreements on AI: Six Layers of Verification (arXiv)
L’ère de la post-pénurie, chapitre 3 : la MOSAÏQUE des Communs, l’architecture de gouvernance derrière Le Pouvoir Doit Décroître et La Vérité Doit Être Vue.

Anthropic a tiré la sonnette d'alarme sur l'IA. Qui peut agir ?