OpenAI classe son prochain modèle comme un risque de piratage « critique », relance l'entraînement qu'elle avait suspendu, et le sort quand même
About This Episode
OpenAI a annoncé le 1er septembre qu'Astra est le premier modèle à atteindre son seuil « critique » de capacité cyber : il peut découvrir et exploiter des failles inconnues sur des systèmes bien protégés sans être guidé étape par étape. L'entreprise a relancé le 28 août l'entraînement qu'elle avait suspendu et sortira Astra prochainement, l'accès aux capacités cyber avancées étant réservé à un petit groupe de testeurs incluant le gouvernement américain. La même semaine, Anthropic a révélé avoir elle aussi suspendu des entraînements et des évaluations après ses propres incidents, et les deux laboratoires réclament désormais un mécanisme de cadence coordonnée et vérifiable que personne n'a encore construit.
Our Take
In August OpenAI paused itself and the open question was who holds the brake; this week both labs released it, OpenAI rated the result critically dangerous and is shipping it behind a velvet rope, and both now say out loud that the brake should belong to someone else, who does not exist.
Pour aller plus loin sur Unscarcity
Anthropic Pulled the AI Alarm. Who Can Act on It?
Direct match: it names the gap between a capability warning and an emergency protocol, and specifies what a real pause mechanism needs (pre-negotiated trigger, verification, liability), which is exactly the 'lawful, verifiable' mechanism both labs are now asking for after pausing themselves.
Human-in-the-Loop: Where AI Agents Must Stop
Astra ships with a misalignment monitor that pauses tasks and asks the user to review, so the checkpoint-at-the-irreversible-action framework is what OpenAI just compiled into a product, calibrated by the lab, and it is what listeners will feel first.