Le renseignement américain cherche à identifier les risques de sécurité des grands modèles de langage

L'US Intelligence Advanced Research Projects Activity (IARPA) émet une demande d'informations (RFI) pour identifier les menaces et les vulnérabilités potentielles que les grands modèles de langage (LLM) peuvent poser.

"L'IARPA recherche des informations sur les caractérisations établies des vulnérabilités et des menaces qui pourraient avoir un impact sur l'utilisation en toute sécurité des grands modèles de langage (LLM) par les analystes du renseignement"

Bien qu'il ne s'agisse pas encore d'un programme de recherche officiel, la RFI « Caractérisation des biais, des menaces et des vulnérabilités des grands modèles de langage » de l'IARPA vise « à obtenir des cadres pour catégoriser et caractériser les vulnérabilités et les menaces associées aux technologies LLM, en particulier dans le contexte de leur utilisation potentielle dans l'analyse du renseignement. ”

De nombreuses vulnérabilités et menaces potentielles sont déjà connues.

Par exemple, vous pouvez demander à ChatGPT de résumer ou de faire des inférences sur à peu près n'importe quel sujet donné, et il peut parcourir sa base de données pour fournir une explication qui semble convaincante.

Cependant, ces explications peuvent aussi être complètement fausses.

Comme le décrit OpenAI, "ChatGPT écrit parfois des réponses plausibles mais incorrectes ou absurdes".

Mais les risques posés par les LLM vont bien au-delà des explications absurdes, et la branche de financement de la recherche pour les agences d'espionnage américaines cherche à identifier les menaces et les vulnérabilités qui n'auraient peut-être pas été entièrement couvertes dans le " Top 10 for LLM " récemment publié par la Fondation OWASP.

"Votre organisation a-t-elle identifié des menaces et des vulnérabilités LLM spécifiques qui ne sont pas bien caractérisées par les taxonomies précédentes (cf, "OWASP Top 10 for LLM") ? Si tel est le cas, veuillez fournir des descriptions spécifiques de chacune de ces menaces et/ou vulnérabilités et de leurs impacts »

La semaine dernière, le professeur de l'UC Berkeley, le Dr Stuart Russell, a averti le Comité judiciaire du Sénat de quelques-uns des risques figurant dans la liste des 10 principaux risques de l'OWASP, notamment la divulgation d'informations sensibles, la dépendance excessive et le vol de modèles.

Par exemple, Russell a mentionné que vous pouviez potentiellement donner des informations sensibles simplement par le type de questions que vous posiez ; puis le chatbot pourrait potentiellement recracher des informations sensibles ou exclusives appartenant à un concurrent.

" Si vous êtes dans une entreprise […] et que vous souhaitez que le système vous aide dans certaines opérations internes, vous allez divulguer des informations propriétaires de l'entreprise au chatbot pour qu'il vous donne les réponses que vous souhaitez ", Russell témoigné.

" Si ces informations sont ensuite disponibles pour vos concurrents en demandant simplement à ChatGPT ce qui se passe dans cette entreprise, ce serait terrible ", a-t-il ajouté.

Si nous prenons ce que Russell a dit sur la divulgation d'informations sur les entreprises et appliquons cela à la divulgation d'informations de renseignement américaines, nous pouvons alors commencer à mieux comprendre pourquoi l'IARPA publie sa RFI actuelle.

Mais il pourrait également y avoir des menaces et des vulnérabilités potentielles qui ne sont pas encore connues.

Comme l'a dit en plaisantant l'ancien secrétaire américain à la Défense, Donald Rumsfeld : « Il y a des choses connues. Ce sont des choses que nous savons que nous savons. Il existe des inconnues connues. C'est-à-dire qu'il y a des choses que nous savons que nous ne savons pas. Mais il y a aussi des inconnus inconnus. Il y a des choses que nous ne savons pas, nous ne savons pas.

Ainsi, pour la RFI actuelle, l'IARPA demande aux organisations de répondre aux questions suivantes :

• Votre organisation a-t-elle identifié des menaces et des vulnérabilités LLM spécifiques qui ne sont pas bien caractérisées par les taxonomies précédentes (cf, « OWASP Top 10 for LLM ») ? Si tel est le cas, veuillez fournir des descriptions spécifiques de chacune de ces menaces et/ou vulnérabilités et de leurs impacts.

  
  

• Votre organisation dispose-t-elle d'un cadre pour classer et comprendre l'éventail des menaces et/ou vulnérabilités LLM ? Si oui, veuillez décrire ce cadre, et articuler brièvement pour chaque menace et/ou vulnérabilité et ses risques.

  
  

• Votre organisation dispose-t-elle de nouvelles méthodes pour détecter ou atténuer les menaces pour les utilisateurs posées par les vulnérabilités LLM ?

  
  

• Votre organisation dispose-t-elle de nouvelles méthodes pour quantifier la confiance dans les résultats du LLM ?

  
  

Le principal point de contact pour la RFI est le Dr Timothy McKinnon, qui gère également deux autres programmes de recherche de l'IARPA : HIATUS et BETTER .

• HIATUS [Human Interpretable Attribution of Text Using Underlying Structure] : cherche à développer de nouveaux systèmes d'IA utilisables par l'homme pour attribuer la paternité et protéger la vie privée des auteurs grâce à l'identification et à l'exploitation d'empreintes linguistiques explicables.

  
  

• BETTER [Better Extraction from Text Towards Enhanced Retrieval] : vise à développer une capacité à fournir une extraction d'informations personnalisée à partir d'un texte à un analyste individuel dans plusieurs langues et sujets.

L'année dernière, l'IARPA a annoncé qu'elle mettait en place son programme Rapid Explanation, Analysis and Sourcing ONline ( REASON ) "pour développer de nouveaux systèmes qui génèrent automatiquement des commentaires permettant aux analystes du renseignement d'améliorer considérablement les preuves et le raisonnement dans leurs rapports analytiques".

De plus, « REASON n'est pas conçu pour remplacer les analystes, rédiger des rapports complets ou augmenter leur charge de travail. La technologie fonctionnera dans le flux de travail actuel de l'analyste.

"Il fonctionnera de la même manière qu'un vérificateur de grammaire automatisé, mais en mettant l'accent sur les preuves et le raisonnement."

Ainsi, en décembre, l'IARPA a voulu tirer parti de l'IA générative pour aider les analystes à rédiger des rapports de renseignement, et maintenant en août, la branche de financement de la recherche des agences d'espionnage américaines cherche à voir quels risques peuvent poser les grands modèles de langage.