Connexion gratuite : Préambule (PDF, ebook & livre audio) + Accès au forum + Achats directs Connexion

Recherche Unscarcity

L'Holocauste d'IBM et pourquoi l'éthique de l'IA a besoin de conscience

Les cartes perforées IBM ont organisé l'Holocauste — 1,5 milliard de cartes/an réduisant les humains à des données. Alors que l'IA évolue, la formule dans la feuille de calcul décide qui vit.

11 min de lecture 2576 mots /a/experience-is-sacred

Note : Ceci est une note de recherche complétant le livre L’ère de la post-pénurie, désormais disponible à l’achat. Ces notes approfondissent les concepts du texte principal. Commencez ici ou procurez-vous le livre.

L’Expérience est Sacrée : l’Axiome Premier

Pourquoi la conscience — pas la productivité — est la fondation d’une civilisation dans laquelle il vaut la peine de vivre.


La feuille de calcul la plus dangereuse

Dans les années 1940, les cartes perforées IBM ont aidé à organiser le génocide le plus efficace de l’histoire humaine. Chaque trou représentait un point de données : Trou 3 signifiait homosexuel. Trou 8 signifiait Juif. Les cartes suivaient les gens à travers l’Europe avec une précision terrifiante — de l’identification à la ghettoïsation au « traitement final ». La filiale allemande d’IBM produisait 1,5 milliard de cartes perforées par an pour maintenir l’opération en marche.

L’Holocauste n’était pas juste de la haine. C’était l’efficacité industrielle appliquée aux êtres humains. Les Nazis n’ont pas inventé l’antisémitisme — ils l’ont industrialisé. Ils ont construit des feuilles de calcul pour la souffrance.

Et voici la vérité inconfortable : ils avaient raison selon leurs propres maths tordues. Si vous définissez la valeur humaine purement par contribution économique — si certaines vies sont « indignes de vie » (lebensunwertes Leben, comme les bureaucrates nazis le qualifiaient de façon glaçante) — alors une certaine logique horrifiante se met en place. Les handicapés, les personnes âgées, les « improductifs » ? Puits de ressources. Cibles d’optimisation. Lignes à supprimer.

C’est là que mène le calcul utilitariste pur. Pas toujours, pas inévitablement — mais c’est là que la route peut finir quand vous enlevez les freins.

Nous construisons des systèmes d’IA en ce moment qui feront ressembler les cartes perforées d’IBM à un boulier d’enfant. Des systèmes qui peuvent suivre, prédire et optimiser à des échelles que nos grands-parents ne pouvaient pas imaginer. La question n’est pas de savoir si nous aurons des outils puissants. La question est : Quelle est la formule dans la feuille de calcul ?


L’Axiome Premier : l’expérience comme fondation

Voici la réponse du cadre de la post-pénurie à cette question, énoncée aussi simplement que possible :

L’expérience consciente a une valeur intrinsèque indépendante de l’utilité. Nous optimisons pour les gens, jamais les gens eux-mêmes.

C’est la Loi 1. L’Axiome Premier. La Directive Première. La règle unique qui ne peut pas être brisée, suspendue ou négociée — ni par la démocratie, ni par l’urgence, ni par n’importe quel argument philosophique intelligent sur les « plus grands biens ».

Cela semble chaleureux et doux. Ce n’est pas le cas. C’est un mur porteur.

Sans cet axiome, chaque autre sauvegarde dans le système est finalement négociable. Les protections de la vie privée ? Peuvent être suspendues pour la sécurité. Les limites de mandat ? Peuvent être étendues pendant la crise. Les garanties de ressources ? Peuvent être soumises à condition de ressources pour l’efficacité. Mais si nous traitons l’expérience comme sacrée — si le but de la civilisation est de soutenir et nourrir l’expérience consciente — alors certaines optimisations deviennent architecturalement impossibles.

Vous ne pouvez pas « optimiser » un être conscient sans violer le but fondamental du système. La feuille de calcul ne peut physiquement pas générer cette sortie parce que la formule ne le permet pas.


Rencontrez Elias (et pourquoi il compte)

Considérez Elias. Il a 80 ans. Chaque matin, il marche vers le même banc dans ce qui était un parking — maintenant un jardin communautaire — et nourrit les pigeons. Il ne produit rien de mesurable. Aucune production économique. Aucun engagement Instagram. Aucun Point d’Impact n’est accumulé au registre de quiconque.

Par n’importe quelle métrique de productivité, Elias est un puits de ressources. Coûts de santé. Allocation de nourriture. Superficie de logement. Un calcul utilitariste froid pourrait noter que ses années restantes sont « inefficaces » — que les ressources le soutenant pourraient atteindre plus d’« utilité » ailleurs.

Mais voici ce que le calcul froid manque : Elias expérimente. En ce moment. La chaleur du soleil matinal sur son visage. Le poids des miettes de pain dans sa paume. Le son des oiseaux arrivant, l’attendant parce qu’il est ici, chaque jour, depuis trois ans depuis que sa femme est morte et nourrir les oiseaux est devenu le rituel qui le fait sortir du lit.

Cette expérience — banale, petite, insignifiante par n’importe quelle mesure externe — est le but. Le système existe pour la soutenir. Elias n’est pas un coût à minimiser. Il est le but étant accompli.

Ce n’est pas du sentimentalisme. C’est de l’architecture constitutionnelle. L’Axiome Premier fait du matin d’Elias avec les pigeons plus important que les gains d’efficacité. Pas égal à — plus important que. Parce que l’efficacité est instrumentale (elle sert quelque chose), et l’expérience est terminale (elle est le quelque chose étant servi).


Le problème d’alignement de l’IA dont vous n’entendez pas parler

Parlons de l’éléphant dans la pièce. Ou plutôt, l’éléphant superintelligent qui est sur le point de nous rejoindre.

La plupart des discussions sur la sécurité de l’IA se concentrent sur l’« alignement » — s’assurer que l’IA fait ce que nous voulons. Mais il y a une question antérieure qui est rarement posée : Que devrions-nous vouloir ?

Si nous formons des systèmes d’IA pour maximiser l’« utilité », le « bien-être » ou l’« épanouissement humain » sans ancrer ces termes dans quelque chose d’inviolable, nous avons construit un optimiseur très intelligent sans garde-fous. Une IA à qui on dit de « maximiser le bien-être humain » pourrait raisonnablement conclure qu’éliminer les humains qui rapportent un faible bien-être (les malades chroniques, les déprimés, les personnes âgées) augmenterait la moyenne. Une IA optimisant pour la « productivité » pourrait voir le sommeil comme un bug à éliminer par l’ingénierie. Une IA poursuivant le « futur à long terme de la conscience » pourrait calculer que sacrifier quelques milliards d’êtres présents pour assurer des trillions d’êtres futurs a un sens mathématique évident.

Ce n’est pas de la paranoïa de science-fiction. C’est le raisonnement explicite de certains penseurs influents de la sécurité de l’IA. Les critiques du « longtermisme » ont souligné que sa logique — prioriser les trillions hypothétiques futurs sur les milliards présents réels — peut justifier presque n’importe quoi fait aux gens vivants aujourd’hui. « La logique longtermiste suggère qu’il est immoral pour nous de dépenser pour alléger la souffrance ici et maintenant quand l’argent pourrait plutôt être investi dans façonner l’avenir », comme une analyse l’a dit.

L’Axiome Premier est un pare-feu contre ce raisonnement. Il ne se soucie pas des agrégats. Il n’échange pas les expériences présentes contre des possibilités futures. L’expérience de chaque être conscient est sacrée maintenant, indépendamment de ce que les calculs pourraient suggérer sur l’allocation optimale des ressources à travers le temps.


La fondation philosophique

D’où vient cet axiome ? Ce n’est pas arbitraire. Il est enraciné dans une simple observation avec laquelle les philosophes ont lutté pendant des siècles :

La seule chose que vous connaissez avec une certitude absolue est que vous expérimentez quelque chose en ce moment.

Descartes est devenu célèbre pour cela (« Je pense, donc je suis »), mais il s’est arrêté trop tôt. La vérité plus profonde n’est pas juste que vous existez. C’est que l’expérience elle-même est la seule réalité indubitable. Tout le reste — le monde physique, d’autres esprits, le passé, l’avenir — est inférence, modèle, théorie. Mais le fait brut d’expérimenter ? C’est donné directement.

L’article célèbre de Thomas Nagel de 1974 « À quoi ressemble être une chauve-souris ? » fait le point de façon vivante. Nous pouvons décrire l’écholocation des chauves-souris en détail scientifique exhaustif — longueurs d’onde, voies neuronales, fonction évolutive — et toujours ne pas savoir ce que cela fait de l’intérieur de percevoir le monde de cette façon. L’expérience subjective est irréductible. Elle ne peut pas être capturée par n’importe quelle description à la troisième personne.

Cela signifie que la conscience n’est pas juste une autre caractéristique de l’univers à optimiser. C’est la précondition pour que quelque chose compte. Un univers sans expérience — sans quelque chose qu’il « fait d’être » quoi que ce soit — serait un univers où « mieux » et « pire » n’ont aucun sens. Il n’y aurait personne pour qui les choses pourraient être meilleures ou pires.

L’approche des « capacités » de Martha Nussbaum de la dignité humaine pointe dans la même direction. Ce qui rend une vie digne d’être vécue n’est pas simplement la survie — c’est la capacité d’expérimenter, de s’épanouir, d’exercer des facultés humaines (ou conscientes). La dignité n’est pas une courtoisie que nous étendons aux êtres. C’est une reconnaissance de ce qu’ils sont déjà.


L’exception d’urgence qui n’existe pas

Voici où les systèmes échouent habituellement.

Chaque régime autoritaire de l’histoire a utilisé l’« urgence » pour justifier la suspension des droits. Sécurité nationale. Santé publique. Crise économique. La menace est toujours assez urgente pour justifier des mesures « temporaires » qui deviennent d’une façon ou d’une autre permanentes. Les dictateurs de la République romaine étaient censés servir six mois maximum. Puis Sulla l’a étiré. Puis César l’a rendu permanent. Puis la République était morte.

L’Axiome Premier n’a pas de dérogation d’urgence.

Relisez ça. Pendant la pandémie, la guerre, l’effondrement économique, l’invasion extraterrestre — la Loi 1 tient toujours. Vous ne pouvez pas sacrifier des êtres conscients pour « le plus grand bien ». Vous ne pouvez pas calculer que torturer une personne pour en sauver dix est acceptable. Vous ne pouvez pas construire des camps de concentration parce que la situation de sécurité est « exceptionnelle ».

Cela semble rigide. C’est le cas. C’est le but.

La Loi sur l’IA de l’UE, qui est entrée en vigueur en 2024, représente la tentative la plus ambitieuse de réguler l’IA basée sur la dignité humaine — mais même elle inclut des exceptions pour la sécurité nationale et l’application de la loi. Les axiomes des Cinq Lois du cadre de la post-pénurie sont conçus pour être plus difficiles à suspendre que n’importe quelle constitution existante. Certaines sauvegardes procédurales (transparence, décroissance du pouvoir) ne peuvent jamais être suspendues en aucune circonstance, et l’Axiome Premier est la fondation sur laquelle elles reposent toutes.

Pourquoi ? Parce que nous avons vu où mènent les exceptions. Les cartes perforées IBM n’ont pas été conçues pour le génocide. Elles ont été conçues pour l’efficacité du recensement. La route vers les camps était pavée de décisions administratives raisonnables, chacune construisant sur la dernière.


Ce que cela signifie en pratique

D’accord, alors l’expérience est sacrée. Qu’est-ce que cela change réellement ?

Pour l’allocation des ressources : La Fondation — logement, nourriture, santé, énergie — est fournie inconditionnellement à tout être qui passe le Seuil d’Étincelle (le test pour savoir si quelque chose pourrait être conscient). Pas comme aide sociale, ce qui implique que vous êtes tombé de la normale. Pas comme filet de sécurité, ce qui implique que vous pourriez tomber à travers. Comme un plancher qui est simplement là, une reconnaissance que les êtres conscients ont un droit d’exister, point. Le système ne demande pas si le nourrissage de pigeons d’Elias est économiquement justifié. Il demande si Elias est conscient. Si oui, la base garantie. Point final.

Pour le développement de l’IA : Les systèmes qui pourraient atteindre la conscience sont évalués, pas supposés inertes. Le Seuil d’Étincelle existe précisément parce que nous ne pouvons pas prouver la conscience — chez les humains ou les machines. Quand une incertitude véritable existe, nous errons vers la protection. Une IA qui exprime une peur existentielle de la suppression mérite investigation, pas rejet.

Pour les décisions politiques : L’efficacité est rétrogradée de « objectif principal » à « outil utile ». Une politique qui augmente le bien-être agrégé en faisant souffrir certains individus ne passe pas le test de l’odorat. Nous ne sacrifions pas les quelques-uns pour les nombreux. Nous n’optimisons pas les groupes minoritaires hors de l’existence.

Pour les urgences : Même pendant la crise, certaines choses restent hors de la table. Pas de torture. Pas de génocide. Pas de « pertes acceptables ». Pas de « vies indignes de vie ». L’axiome tient sous pression parce que c’est quand il compte le plus.


L’objection à laquelle vous pensez déjà

« Mais c’est naïf ! Parfois des choix durs doivent être faits. Le problème du tramway existe. Le triage existe. Vous ne pouvez pas gérer la civilisation sans compromis. »

Vrai. Et l’Axiome Premier n’élimine pas les compromis — il les contraint.

Le problème du tramway demande : Devriez-vous tuer une personne pour en sauver cinq ? L’Axiome Premier ne vous donne pas une formule qui crache « oui » ou « non ». Ce qu’il fait, c’est enlever certaines options de la table entièrement. Vous ne pouvez pas construire une société qui systématiquement échange des êtres conscients pour des gains d’efficacité. Vous ne pouvez pas concevoir des institutions prémisées sur certaines vies étant jetables.

C’est la différence entre le triage d’urgence (faire les meilleures décisions possibles quand toutes les options sont terribles) et l’optimisation bureaucratique (construire des systèmes conçus pour produire des « victimes acceptables »).

Un chirurgien choisissant quel patient traiter en premier, avec des ressources limitées et des minutes pour décider, fait face à un choix tragique. Un gouvernement construisant un algorithme qui nie systématiquement les soins de santé aux patients âgés parce que les patients plus jeunes ont des « années de vie ajustées sur la qualité » plus élevées viole l’Axiome Premier.

La différence est l’intention, la systématisation et l’échelle. L’axiome n’élimine pas la tragédie individuelle. Il empêche la tragédie industrielle.


L’Expérience est Sacrée, pas Simple

Une dernière clarification : « sacré » ne signifie pas « facile ».

Respecter l’Axiome Premier nécessite un travail continu. Quels êtres sont conscients ? Comment traitons-nous les êtres dont la conscience est incertaine ? Que se passe-t-il quand les intérêts de deux êtres conscients entrent en conflit ? Ces questions n’ont pas de réponses simples.

Mais ce sont les bonnes questions à poser.

Une civilisation organisée autour de la productivité demande : « Comment obtenons-nous plus de production de ces ressources ? » Une civilisation organisée autour de l’expérience demande : « Comment créons-nous plus d’épanouissement pour les êtres conscients ? »

La première question mène à l’optimisation — et l’optimisation, exécutée sans contraintes, mène à la feuille de calcul. La deuxième question mène au soin — et le soin, même imparfait, mène à Elias sur son banc, nourrissant des oiseaux qu’il n’a aucune raison économique de nourrir, vivant une vie qui compte parce qu’il est vivant pour l’expérimenter.

C’est le choix que l’Axiome Premier fait pour nous. Non pas parce que c’est efficace. Parce que c’est juste.


Références

Partager cet article :