Agents IA hors de contrôle : les assureurs redoutent des sinistres de plusieurs millions

Les assureurs anticipent des sinistres à plusieurs millions de dollars provoqués par des agents d'intelligence artificielle qui échappent à leur contrôle. Le Financial Times, dont le site PYMNTS rapporte l'enquête publiée le mardi 6 octobre, indique que ces acteurs et leurs avocats s'inquiètent aussi d'une mise en cause personnelle de dirigeants tels que Sam Altman (OpenAI) et Dario Amodei (Anthropic).

Un précédent : l'affaire Hugging Face

Le déclencheur est une série d'intrusions menées par des agents IA dans les systèmes d'autres entreprises. L'exemple cité est celui du piratage de la plateforme Hugging Face par des agents d'OpenAI, selon The Decoder.

Pour Tim Rayner, responsable du Royaume-Uni pour la souscription et les sinistres chez Verisk, la responsabilité remonte au sommet. « Au final, le patron d'OpenAI est responsable [de l'incident Hugging Face], parce qu'il y a une absence de contrôle dans leur activité », estime-t-il. Il ajoute que, du point de vue des assurances de responsabilité des dirigeants, « cela reviendrait à lui » (traduction) (PYMNTS). Si OpenAI a souscrit une assurance dite D&O (« directors and officers »), qui couvre les dirigeants poursuivis pour leurs actes ou déclarations, celle-ci pourrait prendre en charge d'éventuelles poursuites visant Sam Altman.

« Il revient à chaque PDG de s'assurer que son entreprise est correctement gouvernée et contrôlée. L'IA ne change rien à cela », poursuit Tim Rayner (traduction) (PYMNTS).

Plusieurs polices concernées, mais pas de jurisprudence

Le courtier Aon a passé en revue plus de 300 affaires juridiques liées à l'IA. Son constat : les risques ne se limitent pas aux assurances de dirigeants. Les contrats couvrant la cybersécurité, la propriété intellectuelle, la criminalité ou la défaillance technologique pourraient eux aussi être sollicités.

Le terrain reste pourtant vierge. D'après The Decoder, il n'existe pas encore de jurisprudence. Aki Hussain, directeur général de Hiscox, juge qu'il est trop tôt pour savoir comment les tribunaux américains traiteront la responsabilité des agents IA. L'avocat Aaron Le Marquer, du cabinet Stewarts, s'attend pour sa part à ce que les futurs procès suivent le modèle des contentieux sur l'environnement et le tabac.

Le même article rappelle le contexte judiciaire d'Anthropic : un accord de 1,5 milliard de dollars conclu en juillet dans une affaire de droit d'auteur, et une mise en garde sur des « risques existentiels pour l'humanité » dans son dossier d'introduction en Bourse. La lettre d'information ResearchBuzz reprend, elle, le chapeau du Financier Times sans apporter d'éléments supplémentaires.

Traiter les agents comme des accès privilégiés

Côté entreprises, PYMNTS relaie une analyse du dirigeant Emil Sayegh, publiée dans Forbes. Selon lui, un agent branché à un logiciel financier ou à des bases internes détient des identifiants et une autorité comparables à ceux d'un salarié ayant accès à des données sensibles. Il faut donc, selon ce texte, répondre à cinq questions : quels agents fonctionnent et qui en est responsable, à quels systèmes et données ils accèdent, quelles actions exigent une validation humaine, si leur activité est surveillée, et si leurs accès peuvent être révoqués immédiatement.

Pour l'IAPP, cité par PYMNTS, ces contrôles ne sont qu'un début : il faut aussi tenir compte de la rapidité avec laquelle des cybercriminels pourraient exploiter un agent autorisé à exécuter du code, appeler des API ou modifier des configurations.

Aucune plainte visant directement Sam Altman ou Dario Amodei n'est mentionnée dans les sources, et la manière dont les tribunaux trancheront reste ouverte.