Ceux qui construisent l'IA démissionnent en disant qu'elle pourrait nous tuer. Sam Altman a dit à ses équipes qu'OpenAI ralentirait, si les autres laboratoires le font aussi
About This Episode
L'agence Bloomberg a rapporté le 10 septembre que Sam Altman a dit à tout le personnel d'OpenAI que l'entreprise est prête à ralentir le développement de son IA la plus avancée, de préférence de concert avec les autres laboratoires, tout en admettant que certains pourraient refuser. Cette déclaration clôt une semaine où le chercheur Jacob Coxon a quitté Anthropic en accusant les laboratoires de « foncer vers une superintelligence auto-améliorante en jouant avec nos vies » (plus de 150 millions de vues), où un responsable de l'alignement d'Anthropic, Evan Hubinger, lui a publiquement donné raison en estimant à plus de 10 % le risque d'extinction d'ici dix ans, où deux autres chercheurs en sécurité ont quitté Anthropic et Google DeepMind pour l'évaluateur indépendant METR en déclarant qu'« il n'y a pas d'adultes dans la pièce », et où OpenAI elle-même a demandé au Congrès des règles de sécurité nationales obligatoires. Les deux entreprises se préparent à entrer en bourse, et OpenAI entraîne déjà un modèle plus puissant qu'Astra.
Our Take
Everyone with a hand on the wheel now says they would slow down, but only if everyone else does first, and there is no machinery to make that promise binding, so the people who believe it are leaving to build an outside referee while OpenAI asks Congress to force its own hand.
Pour aller plus loin sur Unscarcity
Anthropic Pulled the AI Alarm. Who Can Act on It?
Its framework of a capability warning versus an emergency protocol (a pre-negotiated pause mechanism, verification, and liability triggers) is exactly what Altman's 'we'd slow down if the others would' lacks.
AI 2027: The Scenario That Maps the Next 18 Months
Coxon cites the AI Futures Project as his model; its two paths, race or slowdown, branch at precisely the decision Altman described to his staff.