Concilier gouvernance de l’IA et cybersécurité

Récemment, Sam Altman a parcouru le monde pour tenter (peut-être) une capture réglementaire des développements mondiaux de l’IA. Il n’est pas étonnant qu’OpenAI n’aime pas du tout l’IA open source. Néanmoins, cet article ne porte pas sur le développement de l’IA, mais sur ses défis en matière de sécurité et de standardisation. De manière générale, un environnement avancé de cybermenace , ainsi que les capacités de sensibilisation et de réponse des défenseurs à la situation cybernétique (ci-après appelées capacités d'« automatisation de la sécurité ») sont tous deux largement pilotés par les systèmes d'automatisation et d'IA. Pour vous faire une idée, prenez quelque chose d'aussi simple que de vérifier et de répondre à votre Gmail aujourd'hui, et énumérez les couches d'IA et d'automatisation qui peuvent constituer la sécurisation et l'orchestration de cette activité simple.

Ainsi, toutes les organisations d’une taille et d’une complexité notables doivent s’appuyer sur des systèmes d’automatisation de la sécurité pour influer sur leurs politiques de cybersécurité. Ce que l’on oublie souvent, c’est qu’il existe également des « métapolitiques » de cybersécurité qui permettent la mise en œuvre de ces systèmes d’automatisation de la sécurité. Ceux-ci peuvent inclure les mécanismes automatisés d’échange de données sur les menaces, les conventions d’attribution sous-jacentes et les systèmes de production/gestion des connaissances. Tous ces éléments permettent une posture de détection et de réponse souvent qualifiée par les spécialistes du marketing et les avocats de « défense active » ou de « cybersécurité proactive ». Cependant, si vous examinez une politique nationale de cybersécurité, vous aurez du mal à trouver quoi que ce soit sur ces métapolitiques – car elles sont souvent implicites, introduites dans les mises en œuvre nationales en grande partie par influence et imitation (c'est-à-dire effets de réseau) et pas tellement par délibérations formelles ou stratégiques.

Ces métapolitiques d’automatisation de la sécurité sont importantes pour la gouvernance et la sécurité de l’IA, car en fin de compte, tous ces systèmes d’IA, qu’ils soient entièrement numériques ou cyber-physiques, existent au sein d’une matrice stratégique et de cybersécurité plus large. Nous devons nous demander si la modernisation des métapolitiques d’automatisation dominantes serait ou non utile pour l’avenir de l’IA.

Éviter la dépendance au chemin

Compte tenu de la tendance à la dépendance au chemin dans les systèmes d'information automatisés, ce qui a bien fonctionné jusqu'à présent est de plus en plus ancré dans les domaines plus récents et complémentaires de l'automatisation de la sécurité, comme l'écosystème des véhicules intelligents/connectés. En outre, les développements en matière de sécurité des logiciels embarqués sont facilement repris dans une variété de systèmes automobiles complexes, depuis les chars entièrement numérisés qui promettent une réduction de la taille de l'équipage et une létalité accrue jusqu'aux normes de gestion automatisée de la sécurité de la flotte et systèmes de transport par drones. Par conséquent, on assiste à une augmentation du nombre de SOC (Security Operations Centers) de véhicules qui fonctionnent sur le modèle des SOC de cybersécurité et utilisent des mécanismes d’échange de données similaires, empruntant les mêmes implémentations d’automatisation de la sécurité et de distribution d’informations. Ce serait parfaitement bien si les moyens existants étaient suffisamment performants pour s’adapter aveuglément à l’environnement de menace émergente. Mais ils en sont loin.

Par exemple, la plupart des échanges de données sur les menaces de cybersécurité utilisent le protocole TLP (Traffic Light Protocol) , mais le TLP lui-même n'est qu'une classification des informations : son exécution et tout régime de cryptage visant à restreindre la distribution comme prévu sont laissés aux concepteurs de l'automatisation de la sécurité. systèmes. Il est donc nécessaire non seulement de mettre en place des contrôles plus précis et plus riches sur le partage de données avec des systèmes entièrement ou partiellement automatisés, mais également d'en garantir le respect. Une grande partie des politiques de communication des menaces telles que le TLP s’apparentent au tristement célèbre manuel de Tallinn, dans le sens où elles sont presque l’expression d’opinions que les fournisseurs de cybersécurité peuvent envisager de mettre en œuvre ou non. Cela devient encore plus problématique lorsque les normes relatives aux données sur les menaces sont censées couvrir la détection et la réponse automatisées (comme c'est le cas pour l'automatisation automobile et industrielle) – et peuvent ou non avoir intégré une politique appropriée de sécurité et d'échange des données en raison de l'absence d'exigences de conformité à respecter. donc.

Un autre exemple de métapolitiques incohérentes, parmi tant d’autres, peut être trouvé dans la récente montée en puissance des systèmes de génération de langage et des agents d’IA conversationnels. Le fait est que tous les agents conversationnels ne sont pas de grands réseaux neuronaux de type ChatGPT. La plupart d'entre eux sont déployés depuis des décennies en tant que programmes de génération de langage basés sur des règles et spécifiques à des tâches. Avoir une « image opérationnelle commune » grâce à la modélisation du dialogue et à la représentation graphique du contexte entre de tels programmes (comme pourrait l’exiger une organisation opérant dans plusieurs domaines/théâtres) était un défi permanent avant que le monde ne tombe sur « l’attention est tout ce dont vous avez besoin ». Nous disposons désormais d’une gigantesque infrastructure informatique héritée en matière d’interface homme-machine et d’un paradigme d’automatisation de l’IA multimodale qui la remet en question. Les organisations en cours de « transformation numérique » doivent non seulement éviter d’hériter de dettes techniques héritées, mais également prendre en compte les ressources et les exigences organisationnelles nécessaires pour exploiter efficacement un modèle de prestation centré sur l’IA. Il est compréhensible que certaines organisations (y compris les gouvernements) ne souhaitent pas une transformation complète dans l’immédiat. Faute de données standardisées et d'échange de contexte entre les systèmes automatisés émergents et existants, de nombreux utilisateurs sont susceptibles de continuer avec un paradigme qui leur est le plus familier, et non celui qui est le plus révolutionnaire.

En fait, une grande partie de la cybersécurité repose aujourd’hui sur ces échanges de données opportuns et sur cette orchestration automatisée. Ces normes d’information sous-jacentes deviennent donc absolument essentielles aux sociétés modernes (postindustrielles) et à la gouvernance des systèmes cyber-physiques. Pourtant, au lieu de formuler ou d’harmoniser les métapolitiques de production de connaissances nécessaires pour gouverner la sécurité de l’IA dans un environnement de menace hyper-connecté et transnational, nous semblons tomber dans les pièges catastrophiques de la délivrance existentielle et des vallées étranges sans fin. Cela dit, l’une des principales raisons du manque de conformité et d’un scénario chaotique d’élaboration de normes dans la production de données de sécurité est l’absence d’un agent de gouvernance principal.

La gouvernance des informations de (cyber)sécurité

Les normes actuelles de partage d’informations sur les cybermenaces centrées sur l’automatisation suivent généralement un modèle de gouvernance multipartite. Cela signifie qu'elles suivent une approche fondamentalement ascendante du cycle de vie, c'est-à-dire qu'une norme d'information sur la cybersécurité est élaborée et est ensuite poussée « vers le haut » pour une normalisation croisée avec l'UIT et l'ISO. Cette mobilité ascendante des normes techniques n’est pas facile. L'expression structurée des informations sur les menaces (STIX), qui est peut-être désormais la norme de facto de l'industrie pour la transmission de renseignements sur les cybermenaces (CTI) lisibles par machine, attend toujours l'approbation de l'UIT. Ce n’est pas vraiment nécessaire, car la manière dont la gouvernance mondiale en matière de technologie est structurée est dirigée par l’industrie et non par les nations. Le G7 est allé jusqu’à formaliser cela, et certains membres ont même bloqué tout effort diplomatique visant à établir un ensemble de normes différent.

Cela fonctionne bien pour les États-nations qui disposent des capacités structurelles et productives requises dans le cadre de leurs partenariats technologiques public-privé. Par conséquent, la gouvernance mondiale des normes en matière de cybertechnologie devient le reflet de l’ordre mondial. Sans la désignation des acteurs de la cybermenace, cela était jusqu’à présent relativement objectif par nature. Mais cela n’est plus vrai avec l’intégration de la désinformation en ligne dans les cyberopérations offensives et les politiques nationales de cybersécurité : non seulement les normes d’information conventionnelles peuvent se heurter à des conflits sémantiques, mais de nouvelles normes fondées sur des valeurs sur l’environnement de l’information font également leur apparition . Étant donné que la production et le partage d’indicateurs de menaces sociales/politiques automatisés peuvent être façonnés par et affecter les préférences politiques, à mesure que les menaces liées aux informations générées par l’IA et aux réseaux de zombies sociaux augmentent, les normes d’information sur les menaces de cybersécurité glissent également d’un niveau suffisamment objectif à un niveau plus subjectif. posture. Et les États ne peuvent pas faire grand-chose pour reconfigurer ce système actuel, car les politiques en matière de normes de cybersécurité sont profondément liées à leur développement multipartite dirigé par le marché.

Les attributions de cybermenaces en sont un bon exemple. MITRE a commencé en tant qu'entrepreneur de la DARPA et sert aujourd'hui de base de connaissances de facto à l'échelle de l'industrie sur les menaces et les vulnérabilités des réseaux informatiques. Parmi les groupes de menaces persistantes avancées répertoriés dans MITRE ATT&CK, près d'un tiers des cybermenaces sont chinoises, un autre tiers provient de Russie/Corée/Moyen-Orient/Inde/Amérique du Sud, etc., et le tiers restant ( qui contiennent les TTP les plus sophistiqués, la plus grande part d'exploitations zero-day et un ciblage géopolitiquement aligné) restent non attribués. Nous ne spéculerons pas ici, mais un raisonnement abductif sur le groupe de menaces non attribué peut laisser aux lecteurs quelques idées sur les préférences et la politique de la production mondiale de CTI.

La réalité est que, dans le cyberespace, les États en quête de pouvoir jouent le rôle de

à la fois acteurs de la gouvernance et contrevenants sophistiqués, ce multipartisme dirigé par le marché a donc bien fonctionné pour sa logique opérationnelle – promulguant une politique mondiale d’interopérabilité . Mais cela nuit à la production de connaissances sur les cybermenaces et à l’automatisation de la sécurité elle-même, qui peut parfois devenir assez biaisée et politiquement motivée sur Internet. La société a parcouru ce chemin assez longtemps pour ne même pas y penser comme un problème lorsqu’elle évolue dans un monde entouré de systèmes de plus en plus autonomes.

Une voie à suivre

Alors que les risques liés à l’IA sociale deviennent plus importants, les États qui ont l’intention de mettre en œuvre aujourd’hui une posture défendable d’automatisation de la cybersécurité pourraient devoir faire face à un rapport signal/bruit élevé dans les informations sur les menaces de cybersécurité, à de multiples fournisseurs et métapolitiques de CTI, ainsi qu’à des pressions constantes de l’industrie et de la communauté internationale. organisations sur « l’éthique de l’IA » et les « cybernormes » (nous ne nous aventurerons pas ici dans une discussion sur « l’éthique de qui ? »). Ce chaos, comme nous l’avons noté, est le résultat de la conception d’approches ascendantes. Toutefois, les approches descendantes peuvent manquer de flexibilité et d’agilité par rapport aux approches ascendantes. C’est pourquoi il est nécessaire d’intégrer le meilleur du multipartisme au meilleur du multilatéralisme.

Cela signifierait rationaliser l’actuelle configuration ascendante des normes d’information dans le cadre d’une vision et d’un cadre multilatéraux. Bien que nous souhaitions éviter la production de données sur les menaces partisanes, nous souhaitons également utiliser le pool disparate d’expertise de l’industrie qui nécessite une coordination, une résolution et un pilotage. Même si certains organes de l’ONU, comme l’UIT et l’UNDIR, jouent un rôle important dans les métapolitiques mondiales de cybersécurité, ils n’ont pas le type d’effet réglementaire descendant nécessaire pour régir l’IA sociale malveillante sur Internet ou pour mettre en œuvre des contrôles métapolitiques sur le partage des menaces à des fins commerciales. plateformes autonomes distribuées. Par conséquent, cette intégration du multipartisme et du multilatéralisme doit commencer au Conseil de sécurité des Nations Unies lui-même, ou dans toute autre organisation de sécurité internationale équivalente.

Non pas que ce soit imprévu. Lorsque la première résolution de l’ONU évaluant les technologies de l’information a été adoptée en 1998, en particulier Internet, certains pays avaient explicitement souligné que ces technologies finiraient par être en contradiction avec la sécurité et la stabilité internationales, faisant allusion aux réformes nécessaires aux plus hauts niveaux de sécurité internationale. En effet, le Conseil de sécurité des Nations Unies, en tant qu’institution, n’a pas bien évolué avec les technologies numériques et la réalité de la sécurité post-Internet. La prolifération illimitée des opérations de l’APT affiliées à l’État n’est qu’un exemple de son incapacité à réglementer les activités déstabilisatrices de l’État. De plus, même si le Conseil semble toujours coincé dans une vision de sécurité stratégique de 1945, il existe suffisamment de raisons et de preuves pour déplacer l’idée de « violence d’État » à la lumière des capacités offensives de cybersécurité et d’IA déployées stratégiquement.

Même s’il ne sera pas facile de vaincre la résilience de l’ordre mondial et de ses bureaucraties enracinées, s’il est réformé dans sa charte et sa composition, le Conseil (ou son remplaçant) pourrait servir d’institution précieuse pour combler le vide qui émerge de l’absence d’un agent principal dans l'orientation des normes de sécurité et de gouvernance qui conduisent à l'automatisation de la sécurité et aux applications d'IA dans le cyberespace.

C'est le processus

À ce stade, il est nécessaire de dénoncer certains malentendus. Il semble que les régulateurs aient quelques idées sur la manière de gouverner les « produits d'IA », du moins la loi européenne sur l'IA suggère la même chose. Ici, nous devons prendre un moment de silence et de calme pour réfléchir à ce qu'est « l'IA » ou « comportement autonome » – et la plupart d'entre nous comprendront bientôt que les méthodes actuelles de certification des produits ne sont peut-être pas adéquates pour répondre aux systèmes adaptatifs ancrés dans apprentissage continu et échange de données avec le monde réel. Ce que nous essayons de dire, c’est que les régulateurs devraient peut-être réfléchir sérieusement aux avantages et aux inconvénients d’une approche centrée sur le produit par rapport à une approche centrée sur les processus pour réglementer l’IA.

L’IA, en fin de compte, est un résultat. Ce sont les processus et les politiques sous-jacents, depuis les pratiques d’ingénierie des données et les architectures de modèles jusqu’aux échanges d’informations entre machines et aux mécanismes d’optimisation, sur lesquels la gouvernance et les normes doivent se concentrer, et non sur le résultat lui-même. De plus, à mesure que le logiciel passe d’un paradigme d’ingénierie orienté objet à un paradigme d’ingénierie orienté agent, les régulateurs doivent commencer à penser la politique en termes de code et le code en termes de politique – tout le reste laissera toujours un écart géant entre l’intention et la mise en œuvre.

Si l'on en croit le chaos susmentionné de la gouvernance multipartite actuelle de la cybersécurité, pour la sécurité et la gouvernance de l'IA, nous avons besoin d'une orchestration des données sur les menaces et d'une vérification de l'exécution fondées sur des preuves (considérez les données qui ont conduit au CTI final et en mobilisant de nouveaux types de preuves techniques). d'automatisation basée sur l'IA dans les systèmes de cyberdéfense et de sécurité, de canaux et de normes non partisans clairs pour la gouvernance des informations sur les cybermenaces, et d'un consensus multilatéral à ce sujet. Se concentrer uniquement sur le produit final de l'IA peut laisser beaucoup de choses sans réponse et potentiellement partisanes – comme le montre l'écosystème des métapolitiques de l'information qui pilotent les systèmes d'automatisation de la sécurité dans le monde entier – nous devons donc nous concentrer sur une meilleure gouvernance des processus et des politiques sous-jacents qui pilotent ces systèmes et non les résultats de ces processus et politiques.