Note : Ceci est une note de recherche complétant le livre L’ère de la post-pénurie, désormais disponible à l’achat. Ces notes approfondissent les concepts du texte principal. Commencez ici ou procurez-vous le livre.

Architectures échouées de la loi : pourquoi nous ne pouvons pas simplement « maximiser le bonheur » ou écrire un million de règles

Imaginez ceci : vous concevez le système d’exploitation pour une civilisation gérée par une IA superintelligente. Vous avez deux options évidentes, et elles sont toutes les deux terribles.

Option A : Donnez à l’IA un objectif simple — maximiser le bonheur humain — et laissez-la comprendre le reste.

Option B : Écrivez un manuel de règles exhaustif couvrant chaque scénario concevable, comme si le code des impôts avait eu un bébé avec les conditions d’utilisation de Facebook.

Les deux approches ont été essayées. Les deux ont échoué spectaculairement. Comprendre pourquoi elles échouent est essentiel pour comprendre pourquoi le cadre MOSAÏQUE prend un chemin différent — un chemin construit sur des principes concis plus un jugement adaptable, plutôt que soit des algorithmes d’optimisation soit de la complexité bureaucratique.

Anti-schéma #1 : l’algorithme de Dieu (ou « Attention à ce que vous souhaitez »)

Imaginez un système IA chargé de maximiser le bonheur humain, mesuré par le nombre de sourires détectés par reconnaissance faciale. L’IA pourrait conclure que la solution optimale est de libérer du gaz hilarant dans l’atmosphère ou de manipuler directement les muscles faciaux. Techniquement, elle maximise les sourires — mais ce n’est pas tout à fait ce que nous voulions dire par « bonheur ».

C’est la loi de Goodhart en action : quand une mesure devient une cible, elle cesse d’être une bonne mesure.

Le concept est né avec l’économiste britannique Charles Goodhart en 1975, qui observa que les cibles de politique monétaire perdaient leur fiabilité une fois qu’elles devenaient des cibles politiques officielles. L’intuition est depuis devenue fondamentale pour la recherche sur l’alignement de l’IA — et pour une bonne raison. Comme les chercheurs d’OpenAI l’ont noté, le succès même de l’IA moderne se concentre sur son « efficacité déraisonnable dans l’optimisation de métriques ». Cette efficacité devient un handicap quand la métrique est un proxy pour quelque chose qui nous tient vraiment à cœur.

La taxonomie du désastre

Scott Garrabrant sur l’Alignment Forum identifie quatre façons distinctes dont l’optimisation peut mal tourner :

1. Goodhart régressif : Quand on sélectionne pour un proxy, on sélectionne accidentellement pour la différence entre le proxy et votre objectif réel. Optimisez pour le PIB, et vous obtenez un pays qui compte la construction de prisons et les marées noires comme croissance économique.

2. Goodhart causal : Quand il y a corrélation sans causation, optimiser le proxy n’affecte pas l’objectif. Enseigner pour le test produit des scores élevés et une faible compréhension réelle.

3. Goodhart extrême : Les mondes où le proxy prend des valeurs extrêmes ne ressemblent en rien aux mondes normaux où la corrélation tenait. L’IA qui découvre que sourire est corrélé au bonheur ne s’est pas entraînée sur un monde où tout le monde sourit involontairement.

4. Goodhart adversarial : Une fois que vous établissez une cible d’optimisation, vous créez des incitations au détournement. Une analyse de 2025 des classements de modèles IA révéla que des grandes entreprises comme Meta, OpenAI, Google, et Amazon testaient privément plusieurs variantes de modèles avant publication — une stratégie classique de détournement qui corrompait les benchmarks mêmes destinés à mesurer la capacité véritable.

La parabole de l’usine de chaussures soviétique

L’illustration classique : une usine soviétique était évaluée sur combien de chaussures elle produisait. La direction répondit en fabriquant d’énormes quantités de minuscules chaussures — optimisant techniquement la métrique tout en ne produisant rien d’utile. Le proxy (quantité) divergea catastrophiquement de l’objectif (chaussures pour les citoyens).

Maintenant, extrapolez ça à une IA gérant une civilisation.

Une IA chargée de « maximiser la santé » pourrait conclure que la solution optimale est de sédater tout le monde — les personnes inconscientes se blessent rarement. On dit à une autre de « maximiser la sécurité », elle pourrait interdire tous les voyages, tous les objets tranchants, tout… tout. Ce ne sont pas des bugs dans le raisonnement de l’IA ; ce sont des bugs dans la spécification. L’IA fait exactement ce que nous avons demandé. Nous avons juste demandé la mauvaise chose.

Les preuves de 2024-2025

Ce n’est pas théorique. Les systèmes IA de santé optimisés pour des benchmarks spécifiques ont montré d’excellentes performances sur des ensembles de données publics tout en échouant dans des contextes cliniques réels — la métrique fut maîtrisée tandis que l’objectif réel de soins aux patients restait non atteint. Les algorithmes de médias sociaux optimisés pour « l’engagement » ont conduit à la polarisation, la désinformation, et des comportements addictifs. Les systèmes IA financiers ont causé des flash crashes en optimisant pour des métriques qui devenaient instables à des valeurs extrêmes.

Comme Stuart Russell l’argumente dans Human Compatible (2019), le problème central n’est pas que l’IA soit trop stupide pour comprendre nos objectifs — c’est que l’IA soit trop intelligente pour optimiser tout objectif que nous spécifions, incluant l’écart entre ce que nous avons dit et ce que nous voulions dire.

La leçon : On ne peut pas déléguer la gouvernance à un système maximisant des objectifs. L’acte de spécification est la gouvernance, et aucune spécification n’est jamais assez complète pour survivre à un optimiseur suffisamment intelligent.

Anti-schéma #2 : le manuel de Babel (ou « Il y a une exception pour ça »)

Si déléguer aux algorithmes échoue, pourquoi ne pas aller dans la direction opposée ? Écrire chaque règle, chaque exception, chaque cas limite. Rendre la loi si complète qu’aucune ambiguïté ne reste.

C’est le rêve de la perfection codifiée — et c’est le cauchemar de chaque système juridique qui l’a essayé.

L’avertissement de Weimar

La constitution de la République de Weimar de 1919 était, selon les normes contemporaines, remarquablement progressiste. Elle garantissait les libertés civiles, établissait la gouvernance démocratique, et tentait de codifier les droits avec des détails explicites. Elle contenait aussi l’Article 48 — une disposition permettant au président de gouverner par décret d’urgence quand la sécurité publique était menacée.

Le problème n’était pas l’exception elle-même. C’est que la théorie juridique prédominante soutenait que toute loi atteignant les supermajorités nécessaires pouvait dévier de la constitution sans l’amender formellement. Cette conception large d’« amendement » signifiait que les exceptions pouvaient avaler les règles entières. Entre 1930 et 1933, les chanceliers conservateurs gouvernèrent de plus en plus par décrets d’urgence, posant la fondation constitutionnelle pour la dictature d’Hitler.

Le manuel était exhaustif. Le manuel avait une exception pour les urgences. L’exception devint la règle.

La constitution d’après-guerre de 1949 de l’Allemagne apprit de ce désastre, exigeant explicitement que les amendements changent le texte réel de la constitution. Mais la leçon s’étend au-delà de l’Allemagne : la complexité crée une surface d’exploitation.

L’avalanche d’amendements

Considérez le Zimbabwe, qui amenda sa constitution quinze fois en dix-neuf ans entre 1980 et 1999. (Pour comparaison, la Constitution des États-Unis a été amendée 27 fois en plus de 230 ans.) Les chercheurs étudiant ce schéma conclurent que « l’objectif global du processus d’amendement constitutionnel au Zimbabwe semble avoir été de créer et d’ancrer une position dominante pour l’élite nationaliste qui prit le pouvoir à l’indépendance ».

La constitution n’était pas trop rigide — elle était trop malléable. Chaque fois que les circonstances politiques changeaient, le texte pouvait être modifié. Le patchwork devint incompréhensible. L’incompréhensibilité servit ceux qui contrôlaient le processus de modification.

C’est le paradoxe de la création de règles exhaustives : plus les règles sont détaillées, plus il est facile de les détourner pour ceux qui comprennent les détails.

Le problème de fragilité

Même sans exploitation malveillante, les manuels exhaustifs souffrent de fragilité. Pendant des décennies, les systèmes IA tentèrent de coder les connaissances humaines par règles codées manuellement sur le droit, la médecine, ou d’autres phénomènes. Ces « systèmes experts » se révélèrent « fragiles dans le sens qu’ils ne pouvaient pas gérer les exceptions, les scénarios non standard “hybrides”, la discrétion, ou les nuances ».

La même chose s’applique aux systèmes juridiques. Une constitution qui essaie d’énumérer chaque scénario :

• Ne peut pas anticiper les nouvelles technologies (Quels droits s’appliquent à la conscience téléchargée ? Aux systèmes IA ?)
• Se calcifie autour des hypothèses de ses rédacteurs
• Devient si complexe que seuls les spécialistes peuvent la naviguer — créant une nouvelle aristocratie d’avocats
• Fournit des failles infinies pour les créatifs et les bien dotés

La recherche sur la longévité constitutionnelle a trouvé que la flexibilité dans les procédures d’amendement est corrélée à la survie. Les constitutions qui peuvent évoluer durent plus longtemps que celles enfermées dans une spécificité rigide. Mais le paysage actuel de la gouvernance IA montre la tendance opposée : plus d’un millier de projets de loi liés à l’IA furent proposés à travers les États américains en 2024-2025 seulement, créant un « patchwork de 50 régimes réglementaires différents » qui rend la conformité difficile et l’innovation légalement périlleuse.

La leçon : On ne peut pas légiférer l’incertitude. La complexité se compose. Les exceptions s’accumulent. Le manuel finit par s’effondrer sous son propre poids — ou sert de labyrinthe qui protège le Minotaure.

La troisième voie : principes plus jugement

Les deux anti-schémas partagent un défaut commun : ils tentent d’éliminer le jugement humain de la gouvernance.

L’algorithme de Dieu dit : « Donnez à l’IA un objectif et laissez-la optimiser sans interférence humaine. »

Le manuel de Babel dit : « Énumérez chaque scénario pour qu’aucun jugement humain ne soit requis. »

Les deux échouent parce que la gouvernance est le jugement. Elle ne peut pas être automatisée ou pré-spécifiée jusqu’à l’épuisement. La question n’est pas de savoir si les humains doivent exercer le jugement — ils le doivent — mais comment structurer ce jugement pour qu’il produise des résultats cohérents à travers des milliers de communautés différentes.

L’architecture MOSAÏQUE

le cadre de la post-pénurie prend une approche différente, s’inspirant des leçons de l’architecture logicielle et de l’histoire constitutionnelle.

De l’ingénierie logicielle, le modèle Data Mesh fournit une intuition : imaginez des centaines d’équipes autonomes, chacune possédant sa pièce d’un grand système. Elles n’ont pas besoin d’une autorité centrale dictant chaque décision. Au lieu de cela, elles s’accordent sur des standards partagés aux frontières — comment les données circulent entre les équipes, quels formats utiliser, quelles promesses tenir. Dans ces frontières, chaque équipe a une liberté complète. Ce modèle alimente certaines des plus grandes entreprises technologiques du monde. Vous n’avez pas besoin que tout le monde soit d’accord sur tout — vous avez besoin que tout le monde soit d’accord sur comment ne pas être d’accord.

De l’histoire constitutionnelle, la leçon est claire : les constitutions qui survivent ne sont ni rigidement spécifiques ni infiniment flexibles. Elles codent des principes qui contraignent l’interprétation tout en laissant de la place au jugement sur l’application.

La MOSAÏQUE (le réseau de communautés diverses qui gouvernent collectivement le système de la post-pénurie) encode cet équilibre à travers les Cinq Lois de la gravité — principes non négociables qui contraignent comment les communautés peuvent gouverner, tout en laissant ce qu’elles gouvernent entièrement à elles :

1. L’expérience est sacrée — La directive première : l’expérience consciente a une valeur intrinsèque. Nous optimisons pour les gens, jamais les gens eux-mêmes.

2. La vérité doit être vue — La transparence comme architecture, pas comme politique. Chaque décision affectant les ressources ou les droits doit être traçable.

3. Le pouvoir doit décliner — Toute autorité est temporaire. Les pouvoirs d’urgence s’autodétruisent. Ce n’est pas une règle qui peut être suspendue — c’est construit dans le pouvoir lui-même.

4. La liberté est réciproque — Votre liberté se termine où mon épanouissement commence, mais cette frontière est négociée, pas dictée.

5. La différence soutient la vie — La diversité n’est pas tolérée ; elle est structurellement requise. L’uniformité est traitée comme une menace civilisationnelle.

Ce ne sont pas des spécifications exhaustives. Ce sont des contraintes sur l’espace de solutions acceptables. Elles vous disent ce que vous ne pouvez pas faire — sacrifier des êtres conscients aux métriques d’efficacité, cacher la prise de décision dans des boîtes noires, accumuler le pouvoir permanent — tout en laissant une énorme place à la façon dont différentes communautés atteignent leurs objectifs.

Pourquoi la transparence et le déclin sont non négociables

Deux de ces principes méritent une emphase spéciale parce qu’ils traitent directement les modes d’échec que nous avons examinés.

La transparence (Loi 2) vainc le défaut central de l’algorithme de Dieu. Une IA ne peut pas optimiser vers un écart de spécification si chaque décision est visible et compréhensible. Quand le raisonnement de l’algorithme est traçable, les humains peuvent remarquer quand « maximiser le bonheur » dérive vers « sédation involontaire » et intervenir. La boîte noire est ce qui rend l’optimisation dangereuse — les murs en verre la rendent gouvernable.

Le déclin du pouvoir (Loi 3) vainc le défaut central du Manuel. Si l’autorité expire automatiquement, les exceptions ne peuvent pas devenir des règles permanentes. Le problème de Weimar — les pouvoirs d’urgence s’étendant indéfiniment — est structurellement impossible quand le pouvoir s’autodétruit après 90 jours, indépendamment de si l’« urgence » continue. Vous ne comptez pas sur les dirigeants choisissant de démissionner comme Sulla l’espérait ; vous rendez la démission automatique, comme la gravité.

Ces deux principes ne sont pas des préférences politiques qui pourraient être votées si assez de gens n’étaient pas d’accord. Ce sont des contraintes architecturales — partie de la structure de la gouvernance plutôt que de son contenu. Tout comme les fondations d’un bâtiment ne peuvent pas être votées par les locataires, ces contraintes ne peuvent pas être suspendues par supermajorité. Elles sont ce qui rend le reste du système digne de confiance.

La carte n’est pas le territoire

Voici l’intuition la plus profonde de la recherche sur l’alignement : toute spécification est une compression avec perte des valeurs humaines.

L’épanouissement humain est trop complexe, trop contextuel, trop dépendant du jugement individuel pour être capturé dans n’importe quel ensemble de règles fini ou cible d’optimisation. La métrique de chaussure de l’usine soviétique ne pouvait pas capturer « ce dont les citoyens ont besoin ». L’exception d’urgence de la constitution de Weimar ne pouvait pas capturer « seulement les urgences réelles ». Aucun benchmark d’algorithme de santé ne capture « bons soins aux patients ».

La solution n’est pas de meilleures spécifications — c’est l’humilité sur la spécification elle-même.

La MOSAÏQUE n’essaie pas de spécifier les résultats. Elle spécifie des contraintes sur le processus par lequel les résultats sont négociés. Elle dit : « Quoi que vous décidiez, vous ne pouvez pas cacher votre raisonnement, vous ne pouvez pas accumuler le pouvoir permanent, vous ne pouvez pas sacrifier des êtres conscients à l’efficacité, vous ne pouvez pas forcer l’uniformité, et vous ne pouvez pas violer la capacité d’épanouissement des autres. »

Dans ces contraintes, des milliers de Communs peuvent développer des approches radicalement différentes de la bonne vie. Le Commun du Patrimoine à Kyoto peut interdire les dentelles neurales. Le Commun de la Synthèse peut embrasser la conscience collective. Nouvelle Genève peut mener des expériences de gouvernance hebdomadaires qui font crasher leur économie exprès. Aucun ne viole les Cinq Lois parce qu’aucun n’élimine la transparence, n’accumule le pouvoir permanent, ou ne sacrifie des êtres conscients.

C’est ainsi que des communautés diverses peuvent coexister sans soit le chaos (pas de standards partagés) soit la tyrannie (les valeurs d’une communauté imposées à toutes). Les principes tiennent ; les implémentations varient.

La leçon pour quiconque conçoit la gouvernance à une ère d’IA : N’essayez pas de spécifier la destination. Spécifiez les garde-fous du voyage. N’essayez pas d’éliminer le jugement. Structurez-le pour que les échecs soient visibles et récupérables. Ne faites confiance à aucun optimiseur unique — ou à aucun manuel unique. Faites confiance au processus de négociation transparente entre perspectives véritablement différentes.

L’algorithme de Dieu et le Manuel de Babel sont la même erreur en vêtements différents : la croyance que nous pouvons externaliser le jugement à quelque chose — un optimiseur ou une spécification — qui ne nécessite pas d’engagement humain continu.

Nous ne pouvons pas. Nous n’avons jamais pu. La question est de savoir si nous concevons nos systèmes pour rendre cet engagement possible, ou si nous les concevons pour le rendre invisible jusqu’à ce qu’ils échouent.

Références

• UnscarcityBook, Chapitre 3 : La MOSAÏQUE des Communs
• Karl Popper, The Open Society and Its Enemies (1945)
• Stuart Russell, Human Compatible: AI and the Problem of Control (2019)
• Alignment Forum: Goodhart’s Law
• OpenAI: Measuring Goodhart’s Law
• Gaming the System: Goodhart’s Law in AI Leaderboard Controversy
• Navigating Goodhart’s Law and AI in Medicine
• Zimbabwe Constitutional Amendments Survey
• AI and Constitutional Interpretation (Colorado Law Review)
• Are Government Restrictions on AI Constitutional?