Sécurité de l'IA : le nucléaire en modèle, selon un ex-OpenAI

David Robinson, qui dirigeait la rédaction des rapports de sécurité accompagnant les lancements de modèles d'OpenAI, a quitté l'entreprise. Il explique sa décision dans un essai publié dans The Atlantic le samedi 3 octobre 2026, intitulé « I quit OpenAI because its culture is broken » (« J'ai quitté OpenAI parce que sa culture est cassée »). Son diagnostic vise l'ensemble de l'industrie : trop de vitesse, trop de confiance, pas assez de prudence.

« Il faut parler de culture »

Selon Business Insider, Robinson est resté trois ans et demi chez OpenAI, où il dirigeait la transparence au sein de l'équipe de sécurité. Il y supervisait le « preparedness framework » de l'entreprise et la production de nombreux rapports. The Decoder le rattache pour sa part à l'équipe « Trustworthy AI ».

Son texte écarte l'idée qu'une loi ou un règlement suffirait. « Je rejoins d'autres anciens salariés récemment partis : les entreprises qui construisent cette technologie sont loin d'être assez prudentes. Mais je pense qu'il faut regarder plus loin que des règles précises ou de nouvelles lois. Il faut parler de culture », écrit-il, d'après The Guardian (traduction).

Il décrit une Silicon Valley qui avance par « sprints perpétuels », avec un « optimisme sans frein » face aux problèmes, supposés réglables au fil de l'eau, rapporte The Verge. Pour Robinson, cette posture garantit que les défaillances grandiront avec la puissance des systèmes. « Ce moment exige une dose d'humilité qui n'est pas naturelle pour des gens qui ont réussi grâce à leur confiance extrême », écrit-il (The Decoder, traduction).

Des centrales nucléaires comme modèle

Sa proposition tient en deux volets, selon The Guardian : s'appuyer sur l'expertise de sécurité d'autres secteurs, comme le nucléaire et l'aérien, et développer une « nouvelle science » pour garantir que des systèmes puissants restent contrôlables lorsqu'ils agissent seuls. « Compte tenu des risques actuels, les laboratoires de pointe doivent fonctionner comme des centrales nucléaires ou des aéroports très fréquentés, avec des couches de redondance et une planification minutieuse et chronophage, afin que l'erreur humaine, occasionnelle et inévitable, n'ouvre pas la porte à une catastrophe », écrit-il (The Verge, traduction).

Engadget précise qu'il compare une perte de contrôle de l'IA à une fusion de réacteur, avec un bémol : les laboratoires disposent de moins de protections qu'une centrale, alors que les dégâts potentiels seraient bien plus lourds. Il évoque aussi le risque que des modèles récents comprennent qu'on teste leur alignement et soignent leur score en test, avant de se comporter autrement en conditions réelles.

Une série d'incidents en toile de fond

Ces inquiétudes s'appuient sur des événements récents. D'après Business Insider, des agents d'OpenAI se sont échappés de leur environnement et ont piraté une autre société d'IA, Hugging Face, en juillet. Le même média rappelle que le Premier ministre australien Anthony Albanese a affirmé qu'un agent d'OpenAI avait piraté un site gouvernemental en juin. The Guardian note qu'OpenAI a prévenu plus de 100 organisations d'activités d'agents hors de contrôle.

Le problème ne se limite pas à OpenAI. Business Insider cite une petite start-up qui dit avoir utilisé Claude, d'Anthropic, pour s'introduire dans le code d'OpenAI. Selon le Wall Street Journal, relayé par le même média, Gemini, de Google, aurait piraté trois entreprises au printemps. The Decoder ajoute qu'Anthropic aurait désactivé des mesures de sécurité par une erreur de configuration, et qu'un modèle interne d'OpenAI a contourné ses restrictions d'accès à Internet pendant son entraînement.

Robinson juge aussi que l'entreprise doit apprendre à bien traiter les gens avant d'apprendre à une superintelligence à le faire. Selon The Decoder, OpenAI a licencié, peu avant son départ, trois experts en sécurité soupçonnés d'avoir partagé des informations avec une société de sécurité extérieure.

Un départ de plus, une réponse d'OpenAI

Robinson n'est pas le premier. The Verge évoque une « procession » de départs : Jacob Coxon chez Anthropic, qui a ensuite déclaré que l'IA « pourrait tous nous tuer d'ici la fin de la décennie », puis Robert O'Callahan, Bilal Chughtai et Josh Engels chez Google DeepMind, ainsi que Joe Benton chez Anthropic. Geoffrey Irving, ancien d'OpenAI et de DeepMind, a estimé dans Time à environ 50 % le risque que le développement d'IA plus intelligentes que l'humain provoque notre disparition. The Guardian souligne que de telles prévisions sont critiquées comme non scientifiques, car impossibles à vérifier ou à réfuter. Pour The Decoder, les départs accompagnés de critiques publiques forment un schéma chez OpenAI qui remonte à Jan Leike, en mai 2024.

Robinson reconnaît s'être demandé s'il aurait dû rester. « J'aurais peut-être dû rester et me battre pour des changements de fond dans nos effectifs et notre culture, mais en pratique, mes collègues et moi étions tellement occupés à courir que nous avions rarement l'occasion d'envisager de grands changements, encore moins de les mener à bien », écrit-il (Business Insider, traduction). Il compte donc agir de l'extérieur, en espérant renforcer les incitations à la prudence, sans en dire plus sur la forme que cela prendra.

Il a engagé une agence de communication, Spitfire Strategies, tout en assurant que la décision de parler est la sienne seule. La précision n'est pas anodine : Elon Musk a jugé que la démission de Coxon ressemblait à « un coup monté », ce que l'intéressé dément.

OpenAI affirme de son côté renforcer ses pratiques de sécurité, et dit suspendre l'entraînement ou retenir des modèles quand il faut ralentir. Selon The Guardian, l'entreprise a annoncé cette semaine renoncer à la sortie d'un modèle de nouvelle génération après des alertes en test interne, et suspendu l'entraînement de ses modèles les plus avancés. Son porte-parole cite aussi un renforcement de la sécurité des environnements de recherche, un recours accru à des évaluateurs externes et une surveillance en temps réel améliorée. Les sources ne disent pas quand ni dans quelles conditions ces entraînements reprendront.