Unscarcity
Connexion gratuite : Préambule (PDF, ebook & livre audio) + Accès au forum + Achats directs Connexion

Recherche Unscarcity

Les listes noires échouent quand la machine écrit l'inconnu

Une IA a écrit 16 génomes viraux fonctionnels introuvables dans la nature. Le filtre qui protège la synthèse d'ADN n'est qu'un catalogue du déjà-vu.

13 min de lecture 3037 mots Mis à jour août 2026 /a/screening-against-a-catalog-of-the-known

Note : Ceci est une note de recherche complétant le livre L’ère de la post-pénurie, désormais disponible à l’achat. Ces notes approfondissent les concepts du texte principal. Commencez ici ou procurez-vous le livre.

Les listes noires échouent quand la machine écrit l’inconnu

Tout dispositif de filtrage au monde est une liste de choses qui existent déjà. C’était une excellente idée, jusqu’au jour où fabriquer du neuf est devenu presque gratuit.


Seize choses qui n’avaient jamais existé

Le 6 août 2026, Science a publié un article du laboratoire de Brian Hie, à Stanford et à l’Arc Institute, sous un titre si plat qu’il se dessert lui-même : “Generative design of bacteriophages with genome language models”. Deux modèles de langage génomique, Evo 1 et Evo 2, ont été braqués sur le génome de ΦX174, un virus bien connu qui dévore E. coli et tient toute son existence dans 5 386 nucléotides et onze gènes. Les modèles ont été affinés sur 14 466 séquences de Microviridae, puis invités à en écrire d’autres.

Ils en ont écrit beaucoup. L’équipe a retenu 302 génomes candidats, en a synthétisé 285 avec succès, et 16 ont pris vie : des bactériophages infectieux, capables de traquer et de tuer E. coli. Plusieurs se sont montrés meilleurs que le modèle naturel. L’un d’eux, Evo-Φ69, a supplanté le ΦX174 sauvage jusqu’à atteindre 65 fois sa concentration de départ. Un cocktail des phages générés a éliminé des souches bactériennes qui avaient déjà développé une résistance à l’original — un résultat sincèrement enthousiasmant si l’antibiorésistance vous préoccupe, et elle devrait vous préoccuper.

Vient maintenant la phrase qui aurait dû ouvrir tous les articles de presse. Les conceptions viables comportaient entre 67 et 392 mutations inédites par rapport à tout ce que contenaient les données d’entraînement, pour une identité nucléotidique de 93,0 % à 98,8 % avec les séquences connues. Plusieurs passaient sous la barre des 95 % que les taxonomistes utilisent pour déclarer une nouvelle espèce. Ces seize organismes n’existaient pas. Ni dans un congélateur, ni dans une base de données, ni dans l’océan. Ils ont été écrits.

Mettez cela en regard de la façon dont nous surveillons cette technologie, et toute l’architecture émet un petit bruit gêné.


Le portail est une carte de bibliothèque

On ne commande pas un génome sur catalogue pour le voir apparaître. Quelqu’un doit synthétiser l’ADN. Cette étape est coûteuse, industrielle, concentrée chez un nombre restreint de fournisseurs : le meilleur point d’étranglement de toute la biosécurité. Toute la stratégie défensive repose dessus.

Et voici ce qui s’y passe : le fournisseur compare la séquence demandée à un jeu de référence de séquences préoccupantes, c’est-à-dire les génomes des pathogènes connus et les gènes des toxines connues. Correspondance proche, commande signalée. Aucune correspondance, commande expédiée.

C’est un contrôle de carte de bibliothèque. Il fonctionne exactement aussi bien que la bibliothèque est complète.

Deux choses aggravent le tableau. D’abord, aux États-Unis, ce contrôle n’est pas juridiquement obligatoire. Le cadre de criblage de la synthèse d’acides nucléiques de 2024 s’appuyait sur le levier du financement fédéral plutôt que sur la loi, et il a été abrogé par le décret présidentiel 14292 en mai 2025, lequel chargeait le bureau de la politique scientifique et technologique de le réviser ou de le remplacer. À la mi-2026, aucun texte de remplacement finalisé n’a été confirmé. Le portail est aujourd’hui tenu par des normes professionnelles et la bonne éducation d’un consortium industriel. À l’échelle mondiale, c’est plus mince encore : une revue de 2026 s’appuyant sur la carte mondiale de la synthèse d’ADN de l’IBBIS constate que seule une petite fraction des plus de 700 fournisseurs recensés dispose d’un mécanisme de criblage publiquement identifiable.

Ensuite, et c’est plus fondamental : même appliquée parfaitement et universellement, cette vérification vise la mauvaise cible. Dans une Perspective publiée dans le même numéro de Science, Thomas Inglesby et Moritz Hanke, du Johns Hopkins Center for Health Security, résument le décalage en une phrase : “la capacité de composer des génomes viraux par IA générative existe désormais ; la gouvernance capable de l’orienter en sécurité, non”. Ils plaident pour que le criblage devienne une obligation légale plutôt qu’une pratique volontaire — ce qui est manifestement juste, et manifestement insuffisant en soi. C’est leur second point qui porte la charge : il faut développer d’urgence des méthodes capables de repérer des conceptions réellement inédites, parce que les méthodes actuelles en sont incapables.

Un génome écrit par une machine est, par construction, la seule catégorie de chose qu’un catalogue de ce que la nature a produit ne peut pas contenir.


Le postulat du catalogue

Ôtez la biologie et vous découvrez un pari que fait discrètement presque tout dispositif de sécurité de la vie moderne.

Appelons-le le postulat du catalogue : l’ensemble des artefacts dangereux serait fini, déjà largement connu, et bon marché à recenser au regard du coût d’en créer un nouveau. Sous ce postulat, filtrer les artefacts contre une liste n’est pas seulement raisonnable, c’est la réponse efficiente. On dépense un peu pour tenir la liste à jour et on attrape presque tout, parce que presque tout ce qui se présente est la copie de quelque chose de déjà vu. La nouveauté est rare parce que la nouveauté coûte cher.

Les modèles génératifs sont une machine à rendre la nouveauté bon marché. C’est tout le produit, et le prix pour en faire tourner un est en chute libre depuis quatre ans. Dès l’instant où fabriquer un artefact inédit coûte moins cher que d’en ajouter un au catalogue, l’arithmétique s’inverse et la liste devient une formalité : une chose qu’on entretient, qu’on publie, qu’on cite dans ses documents de conformité, et sur laquelle on cesse discrètement de compter.

C’est le même effondrement que le livre suit ailleurs sous d’autres noms. Dans La prime à la vérifiabilité, l’argument était que les professions bâties sur une vérification coûteuse perdent pied dès qu’un vérificateur devient bon marché. Dans Migration de la valeur, que lorsqu’un intrant devient gratuit, l’argent déménage vers le complément resté rare. Les régimes de criblage sont la version gouvernementale de la même physique. Quand la génération s’effondre, le contrôle migre en amont, que quiconque l’ait prévu ou non.


Quelqu’un a déjà fait l’expérience

Inutile de prendre cela pour de la théorie. Onze mois avant l’article sur les phages, une équipe menée par Eric Horvitz, directeur scientifique de Microsoft, a publié le test grandeur nature dans Science. Ils ont pris 72 protéines préoccupantes, dont la ricine et la neurotoxine botulique, et se sont servis d’outils de conception de protéines par IA librement accessibles pour les « paraphraser » : 76 089 variants aux séquences d’acides aminés substantiellement réécrites, mais dont la structure et les sites actifs étaient préservés. Même fonction, autre orthographe.

Les logiciels de criblage attrapaient la quasi-totalité des originaux. Beaucoup de paraphrases sont passées comme une lettre à la poste. L’équipe a fait ce qu’il fallait : développer des correctifs avec les éditeurs de criblage et l’International Gene Synthesis Consortium avant de publier. Après correctifs, les outils laissaient encore filer environ 3 % des variants.

Trois pour cent ressemble à une erreur d’arrondi, jusqu’à ce qu’on se souvienne du dénominateur. Ce n’est pas un système où 97 % de couverture valent 97 % de sécurité : c’est un système où un adversaire qui génère des candidats en masse repart avec un gros paquet de tickets. Et le correctif a été calibré contre les paraphraseurs de 2025. Michael Cohen, de l’université de Berkeley, a nommé l’inconfort à voix haute dans MIT Technology Review : « On semble refuser d’admettre que, bientôt, il faudra battre en retraite depuis ce prétendu point d’étranglement. » Adam Clore, d’Integrated DNA Technologies — l’une des entreprises qui font justement ce criblage — a été plus direct sur la charge de maintenance : « Le correctif est incomplet, et l’état de l’art bouge. Mais ce n’est pas un coup unique. »

Voilà à quoi ressemble, vu de l’intérieur, la défense d’un catalogue contre un générateur. Vous ne résolvez pas un problème. Vous vous y abonnez.


Ceci n’est pas une histoire de biologie

Si la correspondance par référence ne tombait en panne qu’en biosécurité, ce serait un problème technique étroit pour une communauté technique étroite. Elle tombe en panne partout où elle est déployée, et les défaillances riment avec une telle précision qu’on peut les prédire.

Les logiciels malveillants. L’antivirus a commencé par la détection par signature — de la correspondance par référence sous un autre vocabulaire — et il a perdu cette bataille il y a trente ans face au code polymorphe. Le secteur s’est reconstruit autour de la détection comportementale, du bac à sable et de la réputation. Puis le coût de génération a rebaissé. Le 5 novembre 2025, le Threat Intelligence Group de Google décrivait PROMPTFLUX : un dropper en VBScript qui appelle l’API Gemini environ une fois par heure pour lui demander de réécrire son propre code source afin d’échapper à la détection par signature, puis enregistre la nouvelle version sur le disque. Il a été intercepté en phase de développement et n’a jamais démontré la capacité de compromettre un réseau. Ce n’est pas le sujet. Le sujet, c’est qu’un logiciel malveillant est désormais livré avec un abonnement à un générateur de nouveauté, et que la recommandation du GTIG aux défenseurs était de cesser de s’appuyer sur les signatures.

L’identité et la fraude. Les dispositifs de connaissance client, la vérification documentaire et les modèles antifraude sont entraînés sur des catalogues de schémas connus, de documents connus, de visages connus. La fraude par hypertrucage représente désormais 6,5 % de toutes les tentatives de fraude dans le monde, contre 0,1 % en 2022, selon les données de Sumsub. Gartner avait annoncé la fin de partie deux ans à l’avance : d’ici 2026, les attaques par hypertrucage contre la biométrie faciale feraient que 30 % des entreprises ne jugeraient plus fiables, prises isolément, les solutions de vérification et d’authentification d’identité. C’est un secteur entier qui déclasse publiquement son propre catalogue.

Trois domaines, trois communautés d’experts distinctes, une seule architecture, un seul mode de défaillance. La biosécurité ne traverse pas une crise inédite. Elle arrive, en retard et avec des enjeux bien plus lourds, là où l’antivirus était en 1995.


« Mais le taux de réussite était de 16 sur 302 »

La meilleure objection mérite une réponse franche. Jordi García Ojalvo, de l’université Pompeu Fabra, l’a formulée auprès du Science Media Centre : sur des milliers de génomes générés, seuls 16 se sont révélés viables ; chaque conception a dû être construite et testée en laboratoire, une par une ; et l’on imagine mal ces modèles produire des génomes fonctionnels clés en main. Un taux de réussite de 5 % exigeant une paillasse, des mois de travail et une vraie expertise n’est pas une menace de garage. Exact sur toute la ligne.

C’est aussi la mauvaise variable à surveiller. Les taux de réussite sont la chose la plus fiablement améliorable de l’apprentissage automatique ; c’est même la substance de la dernière décennie. Et l’argument ne dépend en réalité pas du tout du taux de réussite. Il dépend d’une seule asymétrie : le jeu de référence est fini et croît par curation humaine, tandis que l’ensemble généré est illimité et croît par calcul. Même à 1 % de réussite, un générateur capable de proposer un million de candidats s’est découplé de toute liste qu’un humain entretient. La défense n’a jamais été « la nouveauté est difficile ». Elle a toujours été « la nouveauté coûte cher », et c’est précisément cette phrase qui a cessé d’être vraie.

Notez au passage que la propre sauvegarde de l’équipe des phages était une liste noire d’un cran en amont. Les données d’entraînement d’Evo excluaient délibérément les virus infectant l’humain, les animaux et les plantes : le modèle ne peut pas écrire ce qu’il n’a jamais lu. C’est un garde-fou réel et méritoire, et c’est aussi un recensement : il ne vaut que contre les catégories que quelqu’un a pensé à retirer. Chaque couche de cette défense a la même forme.


Par quoi la remplacer

Le geste n’est pas d’allonger la liste. C’est de changer de question. Au lieu de demander ai-je déjà vu cet artefact ?, on demande des choses qu’un générateur ne peut pas rendre bon marché :

Filtrer la fonction, pas la séquence. En mai 2026, un consortium de trente auteurs a publié “Beyond sequence similarity: toward function-based screening of nucleic acid synthesis”, plaidant pour des filtres qui détectent « les séquences dont les propriétés moléculaires prédites indiquent une capacité à remplir des fonctions biologiques préoccupantes », quelle que soit leur ressemblance avec l’existant. La biophysique contraint ce que peut être une toxine fonctionnelle d’une façon que l’orthographe ne contraint pas. Autant utiliser pour prédire la capacité les mêmes modèles que l’adversaire utilise pour la générer.

Filtrer la capacité. Les synthétiseurs, les poids des modèles et le calcul nécessaire pour les faire tourner sont physiques, coûteux et dénombrables. C’est la couche qui reste rare quand les artefacts cessent de l’être — précisément pour cette raison, le contrôle y migre déjà, que nous l’ayons conçu ainsi ou non.

Filtrer la provenance. Demander non pas ce qu’est une chose, mais d’où elle vient et qui s’en porte garant. C’est l’inversion de la vérifiabilité appliquée à la sécurité, et la machinerie cryptographique permettant de le faire sans bâtir un appareil de surveillance existe déjà : les preuves à connaissance zéro prouvent l’attribut et ne révèlent rien d’autre.

Filtrer le client, et y attacher une responsabilité. Savoir qui commande, et faire en sorte que quelqu’un réponde juridiquement quand la commande n’aurait pas dû partir. Comme le soutient Le vide de responsabilité à propos des professions réglementées, un humain responsable est un garde-fou d’une autre nature qu’un garde-fou technique, et il se dégrade bien plus élégamment. Filtrer le client n’a rien de glamour. Cela se moque aussi complètement de la nouveauté de la séquence.

Chacun de ces gestes déplace le contrôle vers l’amont, loin de l’artefact et vers le tuyau. Ce qui fait apparaître le vrai problème.


La lecture post-pénurie

L’amont, c’est là que vivent les points d’étranglement, et les points d’étranglement ont des propriétaires.

Déplacez la sécurité du filtrage des sorties vers le contrôle de la capacité, et vous venez de confier un pouvoir discrétionnaire énorme à une poignée de fournisseurs de synthèse, de laboratoires d’IA et d’opérateurs de cloud. Personne ne les a élus. C’est exactement la bifurcation sur laquelle Migration de la valeur revient sans cesse, arrivée cette fois dans un domaine où le mauvais scénario n’est pas un trimestre décevant : quand une couche rare devient le point de contrôle de tout ce qui se trouve en aval, la gère-t-on comme un service public doté de règles publiées et d’une voie de recours, ou comme une autoroute à péage privée tarifée à qui en a le plus désespérément besoin ? La physique de la biologie générative ne tranche pas. La gouvernance, si — et la réponse américaine du moment, c’est un cadre abrogé et un remplaçant qui n’est jamais arrivé, pendant que la capacité qu’il était censé encadrer partait sous presse dans Science.

Cet écart, c’est l’argument du livre en miniature. Les institutions ne défaillent pas parce que les gens qui les peuplent seraient sots. Elles défaillent parce qu’elles ont été calibrées contre une courbe de coûts qui n’a plus cours, et les courbes de coûts vont plus vite que les textes de loi. Le cadre de 2024 était un travail compétent, conçu pour un monde où écrire un nouveau génome était plus difficile que d’en consulter un. Ce monde s’est terminé un jeudi d’août.

Le plus inconfortable, c’est que rien de tout cela ne plaide pour l’arrêt. Seize phages conçus qui viennent à bout de bactéries antibiorésistantes, c’est la bonne issue, l’issue du registre de La Fondation, la raison même pour laquelle l’abondance en biologie vaut la peine d’être construite. Supprimer la capacité coûterait plus de vies qu’elle n’en sauverait et, comme la littérature sur la gouvernance ne cesse de le constater, aucun mécanisme ne pourrait de toute façon l’imposer. Ce que cela plaide, c’est d’abandonner la fiction selon laquelle une liste des dangers d’hier constituerait une architecture de sécurité, et de payer pour la chose difficile : des filtres qui raisonnent sur la fonction, des points d’étranglement gérés comme des services publics redevables, une provenance vérifiable, et une partie nommée qui répond quand cela tourne mal.

Quand l’imprimerie a effondré le coût marginal de la page, la réponse institutionnelle a été une liste : l’Index Librorum Prohibitorum, énumération des titres interdits, publiée pour la première fois en 1559. C’était le meilleur outil disponible, et il était déjà obsolète à sa parution, parce que les presses produisaient des titres neufs plus vite que les commissions ne pouvaient les nommer — et parce que figurer sur la liste s’est révélé une publicité remarquable. Cinq siècles plus tard, nous rejouons le même coup face à une machine qui écrit des génomes. Mèche plus courte. Mode de défaillance nettement pire.


Articles connexes


Chaque institution sur laquelle vous comptez est un pari permanent sur ce qui restera cher. Ce livre parle de ce qui arrive quand ces paris cessent de payer, et de ce qu’il faut bâtir avant. Lisez le livre ou commencez par le préambule.

Partager cet article :