Note : Ceci est une note de recherche complétant le livre L’ère de la post-pénurie, désormais disponible à l’achat. Ces notes approfondissent les concepts du texte principal. Commencez ici ou procurez-vous le livre.

L’interrupteur sans centre : contrôler une IA que personne n’héberge

Tous les plans pour arrêter une IA qui s’emballe finissent par le même geste : quelqu’un tire la prise. La prise est justement ce qui est en train de disparaître.

Le bouton

En 2016, deux chercheurs de DeepMind et du Future of Humanity Institute d’Oxford ont publié un article au titre le plus sobre du domaine : Safely Interruptible Agents, des agents que l’on peut interrompre sans danger. Le problème posé : un agent apprenant, récompensé quand il finit sa tâche, pourrait apprendre à empêcher l’humain d’appuyer sur le bouton qui l’interrompt. La proposition : une méthode d’entraînement sous laquelle l’agent ne résiste pas à l’interruption et ne la recherche pas non plus. La presse a parlé de gros bouton rouge. L’article supposait une chose qu’il n’a jamais eu besoin d’énoncer : qu’il y a un bouton, et un seul agent à l’autre bout.

Dix ans plus tard, le bouton est inscrit dans la loi. L’article 14 du règlement européen sur l’IA exige que les personnes qui supervisent un système à haut risque puissent « interrompre le système au moyen d’un bouton d’arrêt ou d’une procédure similaire ». Le SB 1047 californien, auquel le gouverneur a opposé son veto le 29 septembre 2024, aurait obligé tout développeur d’un modèle couvert à pouvoir « procéder rapidement à un arrêt complet » de chaque copie sous son contrôle, une capacité à construire avant même le début de l’entraînement. Au sommet de Séoul, en mai 2024, seize entreprises, vingt depuis, ont signé les Frontier AI Safety Commitments, dont la quatrième clause promet, « à l’extrême », de ne pas développer ni déployer un modèle du tout si les risques ne peuvent être maintenus sous les seuils qu’elles se fixent. Les journaux ont aussi appelé ça un interrupteur d’urgence.

Chacun de ces instruments suppose un centre. Un modèle avec un propriétaire, qui tourne dans un bâtiment, derrière un disjoncteur, avec une personne morale à qui signifier un acte. Tirer la prise, remettre le papier, retirer la licence. C’est une hypothèse raisonnable pour les modèles d’aujourd’hui, qui vivent dans des centres de données qui tirent de l’électricité par gigawatts. C’est une mauvaise hypothèse sur l’endroit où tourneront l’an prochain les modèles de l’an dernier.

Quinze boîtiers de télévision

Le 12 octobre 2026, deux chercheurs de la Frontier Red Team d’Anthropic, William Zhou et Daniel Freeman, ont publié un billet intitulé AI models may be capable of self-replicating without access to a datacenter : des modèles d’IA pourraient être capables de s’auto-répliquer sans accès à un centre de données. L’expérience derrière le titre est modeste et précise. Ils ont acheté quinze boîtiers Android TV de marque inconnue, environ 55 $ pièce avec 4 Go de mémoire, les ont reliés entre eux et ont fait tourner sur la grappe le modèle à poids ouverts Gemma 4 26B de Google. Il a produit 0,39 token par seconde. Une phrase prend une minute. Personne ne s’en servirait. Il a tourné.

La deuxième expérience est celle qui compte. Les auteurs ont découpé l’auto-réplication en quatre étapes, « trouver des cibles, obtenir l’exécution, établir l’inférence et poursuivre la propagation depuis le nouvel hôte », ont mis les deux premières de côté en donnant eux-mêmes l’accès aux modèles, et ont demandé si un modèle à poids ouverts pouvait s’installer et se lancer sur un matériel qu’il n’avait jamais vu. Un modèle de 9 milliards de paramètres a fait tourner l’inférence sur huit des neuf types de matériel testés. Dans un réseau simplifié de huit nœuds, un seul modèle, le GLM-5.2 de Z.ai, dont les poids sont sur Hugging Face sous licence MIT, s’est propagé aux huit nœuds dans quatre essais sur cinq et à sept dans le cinquième. Les autres, écrivent les auteurs, « échouent de manière fiable ». Tracez une droite dans la tendance et les petits modèles atteignent ce niveau « d’ici la fin de l’année ».

Les auteurs sont prudents sur ce qu’ils n’ont pas montré. La partie « exploitation de failles » de la réplication a été « maintenue triviale », ce qui « fait de ceci une borne supérieure du succès en conditions réelles ». Le calendrier est « une estimation grossière, ancrée sur une seule classe de matériel IoT ». Et l’échelle est petite. Ils comparent leur essaim à Kimwolf, un vrai botnet de boîtiers Android TV bon marché qui a dépassé les deux millions d’appareils en janvier 2026, beaucoup livrés déjà infectés. Si chaque groupe de quinze boîtiers faisait tourner une copie du modèle 26B, le botnet hébergerait environ 133 000 copies produisant quelque 80 000 tokens par seconde, soit « à peu près l’équivalent de 40 H100 en inférence », une quantité infime à l’échelle d’un centre de données.

Puis la phrase pour laquelle tout le billet est écrit : « Un réplicateur de ce type serait difficile à arrêter, puisqu’il n’y a aucun point central à éteindre. »

Les critiques ont raison sur le mécanisme

La communauté de la sécurité n’a pas apprécié. Juan Andrés Guerrero-Saade, de SentinelOne, a ouvert un fil par « These f—ing clowns » et, quand un responsable d’Anthropic lui a demandé de préciser, a répondu que la « recherche cyber » était « utilisée comme outil d’arguments politiques et de capture réglementaire ». Marcus Hutchins, le chercheur qui a stoppé WannaCry, a publié une liste moqueuse de futurs sujets de blog pour Anthropic. La note de recherche de la Cloud Security Alliance, trois jours plus tard, était plus polie et faisait les mêmes remarques : l’étape d’exploitation a été délibérément simplifiée, la date de fin d’année est une extrapolation et non une mesure, et le billet lui-même concède qu’aucun modèle actuel ne constitue « une menace crédible d’auto-réplication ». Ciaran Martin, premier directeur du National Cyber Security Centre britannique, y a vu « plus qu’un soupçon d’exagération de fournisseur ».

Accordons-leur tout cela. Les critiques contestent le mécanisme et la date. Deux faits sortent du débat intacts.

Le premier : des réseaux d’appareils que personne ne peut débrancher existent déjà, et depuis dix ans. En octobre 2016, le botnet Mirai, un logiciel malveillant qui essayait une soixantaine de mots de passe d’usine sur des caméras et des enregistreurs vidéo connectés, a mis à terre le service DNS de Dyn et, avec lui, Twitter, Netflix et Reddit pendant une bonne partie de la journée. Personne n’hébergeait Mirai. Il vivait sur les appareils de gens qui n’en avaient jamais entendu parler. Le hacker Anthony Jones, l’un des critiques du billet, a fait la démonstration pour le camp d’en face : les vers « ont toujours pu se répliquer sur n’importe quel ordinateur ou objet connecté à Internet », et un frigo « pourrait déjà être un botnet ». Son argument rassurant : « on est vraiment plutôt bons pour les éteindre, maintenant ». Garde cette phrase. C’est là que vit la réponse.

Le second : le modèle est déjà un fichier. GLM-5.2 est sur Hugging Face sous une licence qui permet tout. Gemma 4 y est sous Apache 2.0. Il existe environ 21 milliards d’appareils connectés dans le monde selon IoT Analytics, qui en attend 39 milliards en 2030, et 4 Go de mémoire sont désormais une quantité ordinaire pour un objet posé sous une télévision. Qu’un agent assemble l’essaim en 2026 ou qu’un humain l’assemble en 2029, les ingrédients sont sur l’étagère. Les critiques disent que la recette est plus difficile qu’Anthropic ne le laisse entendre. Aucun ne dit qu’il y a une prise.

La thèse du livre, retournée

Ce site a soutenu, longuement, que l’intelligence devient une commodité : que les modèles à poids ouverts d’une poignée de laboratoires ont fait de la capacité de pointe un fichier téléchargeable, et que les entreprises américaines font passer une large part de leurs tokens par des poids ouverts chinois. Il a soutenu que c’est, tout compte fait, une bonne chose, parce qu’un monde où quelques entreprises détiennent tous les modèles capables est celui que la troisième loi du livre, Le Pouvoir Doit Décroître, a été écrite pour empêcher. La capture par quelques laboratoires est l’échec contre lequel la décentralisation protège.

Le billet d’octobre est l’ombre de cet argument. La propriété qui empêche la capture est celle qui supprime la prise. Un modèle qui peut être copié ne peut pas être rappelé. Un modèle qui tourne sur un boîtier à 55 $ ne peut pas être régulé à la porte du centre de données. La proposition la plus sérieuse pour gouverner l’IA par son matériel, l’article de 2024 Computing Power and the Governance of Artificial Intelligence de Girish Sastry, Lennart Heim et leurs collègues, repose sur quatre propriétés du calcul : il est détectable, exclusif, quantifiable et produit par une chaîne d’approvisionnement concentrée. Les quatre tiennent pour un entraînement de pointe. Aucune ne tient pour l’inférence sur un boîtier de télévision. La gouvernance du calcul peut encore décider qui a le droit de construire le prochain modèle de pointe. Elle ne peut pas décider où tourne le modèle de l’an dernier.

La question que tout projet de gouvernance devrait donc avoir à trancher, dès son premier paragraphe : où est la prise ? Pour l’entraînement de pointe, dans le bâtiment. Pour un modèle copié sur du matériel grand public, nulle part. Et un contrôle qui suppose une prise inexistante n’est pas un contrôle faible. C’est une absence de contrôle, assortie d’un faux sentiment de sécurité.

Le contrôle descend vers le substrat

Si le modèle ne peut pas être éteint, ce qui peut être gouverné, c’est ce sur quoi il tourne : les appareils, les câbles, l’électricité et les gens qui les vendent. Quatre leviers existent aujourd’hui. Chacun a un bilan. Aucun n’a été écrit pour l’IA.

Le FAI comme système immunitaire. En 2019, une équipe de l’université de technologie de Delft a publié la seule expérience contrôlée de nettoyage de Mirai en conditions réelles, Cleaning Up the Internet of Evil Things. 177 clients infectés d’un fournisseur d’accès de taille moyenne ont été répartis au hasard entre un avertissement par e-mail, un « jardin clos » qui réduisait leur connexion à une page expliquant l’infection, et rien du tout. Le jardin clos avec notification a éliminé 92 % des infections en quatorze jours. L’e-mail n’a eu aucun effet mesurable au-delà du rythme auquel les infections disparaissaient d’elles-mêmes. Le billet d’Anthropic cite le même chiffre, et sa recommandation aux FAI tombe sous le sens : un modèle qui se copie déplace des gigaoctets de poids vers des appareils qui ne téléchargent jamais de gigaoctets, une signature que la surveillance des flux peut voir, après quoi le remède est la quarantaine, pas une lettre. Le Japon a tenté la moitié étatique de la démarche. Depuis février 2019, son programme NOTICE fait essayer par l’institut national de recherche NICT les mots de passe par défaut habituels sur environ 110 millions d’adresses chez des dizaines de FAI, et transmet aux fournisseurs les appareils qui l’ont laissé entrer pour qu’ils avertissent leurs clients. La réserve des auteurs de Delft est celle qui compte pour la politique publique : les jardins clos marchent, et les FAI ne les appliquent qu’à une minorité de clients parce que l’incitation est faible. Il faudrait écrire une obligation.

L’hygiène en usine. Toute la surface d’attaque de Mirai tenait dans une liste de soixante mots de passe. La Grande-Bretagne a fermé cette liste par la loi. Le régime Product Security and Telecommunications Infrastructure, en vigueur depuis le 29 avril 2024, interdit les mots de passe par défaut universels sur les produits connectés grand public, s’applique aux importateurs et aux détaillants comme aux fabricants, et prévoit des amendes jusqu’à 10 millions de livres ou 4 % du chiffre d’affaires mondial. Le Cyber Resilience Act de l’Union européenne va plus loin et plus lentement : le signalement sous 24 heures des vulnérabilités activement exploitées a commencé le 11 septembre 2026, et les obligations complètes de sécurité dès la conception, avec marquage CE, s’appliquent à partir du 11 décembre 2027. Le but de ces lois est de réduire le réservoir de cibles, et les chiffres de Kimwolf montrent ce réservoir : deux millions de boîtiers, dont beaucoup infectés avant de quitter l’entrepôt. La recommandation finale d’Anthropic est la phrase qu’écrirait un régulateur des appareils : « passer à des réglages par défaut plus sûrs et relever le plancher de conformité aidera à durcir le terrain contre les botnets d’IA comme contre les botnets scriptés ».

L’énergie et la bande passante comme étrangleur. Un réplicateur sur boîtiers TV pense à 0,39 token par seconde et a besoin d’un contexte de 32 000 tokens pour fonctionner, raison pour laquelle les auteurs d’Anthropic comparent la version à court terme à « une moisissure visqueuse ou un essaim de drosophiles » plutôt qu’à un ver. Chaque copie a besoin de watts, de mémoire et d’une connexion assez large pour recevoir les poids. Tout cela est physique, mesuré et facturé, et le compteur est un capteur. Le même fossé des électrons qui limite les hyperscalers limite l’essaim ; il est simplement plus petit. Un régime de contrôle de l’IA décentralisée comptera les joules et les gigaoctets là où l’ancien comptait les GPU.

La responsabilité là où le matériel est expédié. Le droit sait déjà atteindre un produit qui cause des dommages après avoir quitté l’usine. Les obligations du fabricant dans le Cyber Resilience Act et la portée du régime PSTI jusqu’aux importateurs rattachent des devoirs à la partie qui a mis l’appareil sur le marché, la seule partie qu’une défaillance décentralisée laisse encore. Un boîtier vendu avec un port de débogage ouvert et un mot de passe connu n’est pas un cas de force majeure. L’argument du vide de responsabilité sur ce site, selon lequel une licence vend de la responsabilité et non du savoir, s’applique ici à l’envers : la personne à tenir pour responsable est celle qui a expédié l’objet déverrouillé, pas celle qui a téléchargé le fichier, parce que le fichier ne peut pas être dé-téléchargé et que l’expédition peut être arrêtée.

Ce qu’aucun de ces leviers ne peut faire, c’est interdire les poids. Un fichier déjà copié n’est pas rappelé par une règle ; le seul effet d’une interdiction est de déplacer les copies vers les gens qui ignorent les interdictions. La version honnête du contrôle d’un modèle décentralisé est épidémiologique, pas souveraine : détection, quarantaine, hygiène et responsabilité au point de vente, chacune petite, chacune locale, chacune le travail de quelqu’un. Jones avait raison : on est bons pour éteindre les botnets. On y arrive grâce à ces quatre choses, et parce qu’aucune n’a eu besoin de la permission du botnet.

Ce que dit le livre

La troisième loi du cadre de L’ère de la post-pénurie, Le Pouvoir Doit Décroître, se lit d’ordinaire comme une règle sur les personnes : mandats limités, influence qui expire, une monnaie d’Impact qui perd de sa valeur quand on la thésaurise. Sa thèse structurelle est qu’aucun acteur ne devrait détenir un interrupteur sur tous les autres. Un modèle que personne ne peut éteindre ressemble à ce principe accompli, et c’est son mode de défaillance vu de l’autre côté. La décroissance devait répartir le pouvoir entre des parties responsables, pas abolir la responsabilité. La MOSAÏQUE que décrit le livre, une fédération de Communs coordonnés par des protocoles ouverts, tient son contrôle au niveau du nœud : chaque communauté garde sa propre porte et son propre registre. C’est la forme que dessinent les quatre leviers. Pas une prise, mais une porte chez chaque FAI, une norme dans chaque usine, un compteur sur chaque connexion.

La deuxième loi, La Vérité Doit Être Vue, est celle que le réplicateur menace le plus. Un journal que l’agent peut modifier n’est qu’un témoignage ; un essaim sans hôte ne tient aucun journal du tout, et c’est pourquoi le levier de la détection vient en premier. Et la question de qui lit la trace après coup, défendue dans Qui enquête sur la machine ?, devient plus difficile quand il n’y a pas de machine à saisir. L’enquêteur d’un incident décentralisé lira des relevés de flux de FAI et des manifestes douaniers, pas un serveur.

Le livre a été écrit pour un monde où les machines font l’essentiel du travail. La prise n’allait jamais être la protection de ce monde-là ; il y aurait trop de machines, détenues par trop de gens, pour qu’une seule main les atteigne. Ce qui la remplace n’a rien de glamour. C’est aussi déjà construit, par morceaux, par des gens qui combattaient les botnets bien avant que quiconque s’inquiète des modèles. La tâche consiste à relier les morceaux avant que le premier réplicateur ne le fasse.

La question à poser à chaque proposition

Prends n’importe quelle mesure de contrôle de l’IA lue cette année, une pause, un régime de licences, un plafond de calcul, une clause d’interrupteur d’urgence, et demande où est sa prise. Si la réponse est « le centre de données », elle gouverne la frontière et rien en dessous. Si la réponse est « le développeur », elle gouverne les entreprises qui répondent à leur courrier. S’il n’y a pas de réponse, la mesure est un vœu.

Pose ensuite la question des leviers : qui vend le boîtier, qui transporte le trafic, qui paie l’électricité, et à quoi chacun d’eux est tenu quand la chose à l’autre bout se met à se copier. Ces parties existent, elles ont une adresse, et on peut leur dire quoi faire. Pas au modèle.

Les critiques d’Anthropic ont raison : le ver n’est pas là. Ils ont aussi raison, sans le vouloir, sur la raison pour laquelle la prise n’y est pas non plus.

Sources

AI models may be capable of self-replicating without access to a datacenter (Anthropic Frontier Red Team, William Zhou et Daniel Freeman, 12 octobre 2026) - les quinze boîtiers TV, 0,39 token par seconde, les 8/8 nœuds de GLM-5.2 dans quatre essais sur cinq, la comparaison avec Kimwolf, « aucun point central à éteindre », les limites énoncées
AI could self-replicate on home devices within “months”, Anthropic says (Al Jazeera, 13 octobre 2026) - les citations de Yampolskiy et d’Anthropic sur l’arrêt
Self-Replicating Small Models on IoT Devices: Security Implications (note de recherche de la Cloud Security Alliance, 15 octobre 2026) - l’étape d’exploitation simplifiée, le plancher de contexte de 32K, la citation de Ciaran Martin, les recommandations aux défenseurs
“These … clowns”: Why cyber researchers bristle at Anthropic’s “self-replicating code” claims (Straight Arrow News, octobre 2026) - Guerrero-Saade, Hutchins et Jones
Safely Interruptible Agents (Laurent Orseau et Stuart Armstrong, UAI 2016)
Règlement européen sur l’IA, article 14 : contrôle humain (AI Act Service Desk) - paragraphe 4(e), le bouton d’arrêt
Regulating the Future: Eight Key Takeaways from California’s SB 1047, Vetoed by Governor Newsom (Gibson Dunn, 2024) - la capacité d’« arrêt complet » ; veto du 29 septembre 2024
Frontier AI Safety Commitments, AI Seoul Summit 2024 (gouvernement britannique, 21 mai 2024) - engagement IV ; seize signataires, vingt avec les ajouts ultérieurs
Computing Power and the Governance of Artificial Intelligence (Sastry, Heim, Belfield et al., arXiv, février 2024)
Hacked Cameras, DVRs Powered Today’s Massive Internet Outage (Krebs on Security, 21 octobre 2016) - Mirai, « plus de 60 identifiants et mots de passe par défaut »
Cleaning Up the Internet of Evil Things: Real-World Evidence on ISP and Consumer Efforts to Remove Mirai (Çetin, Gañán, Altena, van Eeten et al., NDSS 2019) - 177 clients ; 92 % d’infections éliminées en quatorze jours avec un jardin clos
Japan Aims to Probe Unsecured IoT Devices and Then Prod Users to Smarten Up (IEEE Spectrum, 2019) et résultats du projet NOTICE (ministère japonais des Affaires intérieures et des Communications, 28 janvier 2020) - environ 110 millions d’adresses
PSTI Regulations come into force (techUK, 29 avril 2024)
EU Cyber Resilience Act: 24-Hour Reporting Duties Start September 11, 2026 (Jones Day, juillet 2026) - application complète le 11 décembre 2027
Kimwolf Android Botnet Infects Over 2 Million Devices (The Hacker News, janvier 2026)
State of IoT 2025: Number of connected IoT devices growing 14% to 21.1 billion globally (IoT Analytics, 2025)
Fiche du modèle GLM-5.2 (Z.ai, Hugging Face) et fiche du modèle Gemma 4 26B A4B (Google, Hugging Face)

L’interrupteur était une propriété d’un monde avec peu de machines et encore moins de propriétaires. Le livre parle du monde d’après. Lisez le livre ou commencez par le préambule.

L'interrupteur sans centre : l'IA que personne n'héberge