Conciliar la gobernanza de la IA y la ciberseguridad

Recientemente, Sam Altman ha estado recorriendo el mundo intentando (quizás) una captura regulatoria de los desarrollos globales de la IA. No es de extrañar que a OpenAI no le guste en absoluto la IA de código abierto. Sin embargo, esta publicación no trata sobre el desarrollo de la IA, sino sobre sus desafíos de seguridad y estandarización. En general, un entorno avanzado de amenazas cibernéticas , así como las capacidades de respuesta y conocimiento de la situación cibernética de los defensores (en adelante denominadas conjuntamente capacidades de "automatización de la seguridad") están impulsadas abrumadoramente por la automatización y los sistemas de inteligencia artificial. Para tener una idea, tome algo tan simple como revisar y responder su Gmail hoy, y enumere las capas de inteligencia artificial y automatización que pueden constituir seguridad y orquestación de esa simple actividad.

Por lo tanto, todas las organizaciones de un tamaño y complejidad notables tienen que depender de sistemas de automatización de seguridad para afectar sus políticas de ciberseguridad. Lo que a menudo se pasa por alto es que también existen algunas “ metapolíticas ” de ciberseguridad que permiten la implementación de estos sistemas de automatización de la seguridad. Estos pueden incluir los mecanismos automatizados de intercambio de datos sobre amenazas, las convenciones de atribución subyacentes y los sistemas de producción/gestión de conocimientos. Todo esto permite una postura de detección y respuesta a la que los especialistas en marketing y abogados a menudo se refieren como “defensa activa” o “ciberseguridad proactiva”. Sin embargo, si se elige alguna política nacional de ciberseguridad, será difícil encontrar algo sobre estas metapolíticas, porque a menudo son implícitas y se incorporan a las implementaciones nacionales en gran medida por influencia e imitación (es decir, efectos de red) y no tanto por deliberaciones formales o estratégicas.

Estas metapolíticas de automatización de la seguridad son importantes para la gobernanza y la seguridad de la IA porque, al final, todos estos sistemas de IA, ya sean completamente digitales o ciberfísicos, existen dentro de una matriz estratégica y de ciberseguridad más amplia. Necesitamos preguntarnos si modernizar las metapolíticas de automatización predominantes sería beneficioso para el futuro de la IA o no.

Evitar la dependencia de la ruta

Dada la tendencia hacia la dependencia de la ruta en los sistemas de información automatizados, lo que ha funcionado bien hasta ahora se está arraigando cada vez más en las áreas más nuevas y adjuntas de la automatización de la seguridad, como el ecosistema de vehículos inteligentes/conectados. Además, los avances en la seguridad del software sobre ruedas se están adoptando fácilmente en una variedad de sistemas automotrices complejos, desde tanques totalmente digitalizados que prometen una tripulación más pequeña y una mayor letalidad hasta estándares para la gestión automatizada de la seguridad de las flotas y Sistemas de transporte con drones. En consecuencia, hay un aumento de SOC (Centros de Operaciones de Seguridad) de vehículos que operan en las líneas de los SOC de ciberseguridad y utilizan mecanismos de intercambio de datos similares, tomando prestadas las mismas implementaciones de automatización de seguridad y distribución de información. Eso estaría perfectamente bien si los medios existentes fueran lo suficientemente buenos como para adaptarse ciegamente al entorno de amenazas emergentes. Pero están lejos de serlo.

Por ejemplo, la mayoría de los intercambios de datos sobre amenazas a la ciberseguridad utilizan el Traffic Light Protocol (TLP) , sin embargo, el TLP en sí es solo una clasificación de información: su ejecución y cualquier régimen de cifrado para restringir la distribución según lo previsto se deja en manos de los diseñadores de la automatización de la seguridad. sistemas. Por lo tanto, existe la necesidad no sólo de controles más detallados y completos sobre el intercambio de datos con sistemas total o parcialmente automatizados, sino también de garantizar su cumplimiento. Gran parte de las políticas de comunicación de amenazas como el TLP son similares al infame manual de Tallin, en el sentido de que son casi una expresión de opiniones que los proveedores de ciberseguridad pueden considerar implementar, o no. Se vuelve más problemático cuando se espera que los estándares de datos de amenazas cubran la detección y respuesta automatizadas (como es el caso de la automatización automotriz e industrial) y pueden o no haber integrado una política adecuada de seguridad e intercambio de datos por falta de requisitos de cumplimiento. entonces.

Otro ejemplo de metapolíticas inconsistentes, entre muchos otros, se puede encontrar en el reciente aumento de los sistemas de generación de lenguaje y los agentes de inteligencia artificial conversacionales. La cuestión es que no todos los agentes conversacionales son grandes redes neuronales al estilo ChatGPT. La mayoría de ellos se han implementado durante décadas como programas de generación de lenguaje para tareas específicas y basados en reglas. Tener una “imagen operativa común” mediante modelos de diálogo y representación gráfica del contexto entre dichos programas (como podría requerir una organización que opera en múltiples dominios/teatros) era un desafío constante antes de que el mundo tropezara con “atención es todo lo que necesita”. Básicamente, ahora tenemos una gigantesca infraestructura de TI heredada en una interfaz hombre-máquina y un paradigma de automatización de IA multimodal que la desafía. Las organizaciones que se encuentran en una “transformación digital” no solo deben evitar heredar deudas técnicas heredadas, sino también considerar los recursos y los requisitos organizacionales para operar de manera eficiente un modelo de entrega centrado en la IA. Es comprensible que algunas organizaciones (incluidos los gobiernos) no quieran una transformación completa de inmediato. A falta de datos estandarizados y de intercambio de contexto entre los sistemas automatizados emergentes y los heredados, es probable que muchos usuarios continúen con un paradigma con el que están más familiarizados, no con el más revolucionario.

De hecho, gran parte de la ciberseguridad actual depende de estos intercambios oportunos de datos y de la orquestación automatizada y, por lo tanto, estos estándares de información subyacentes se vuelven absolutamente críticos para las sociedades modernas (postindustriales) y la gobernanza de los sistemas ciberfísicos. Sin embargo, en lugar de formular o armonizar las metapolíticas de producción de conocimiento necesarias para gobernar la seguridad de la IA en un entorno de amenazas hiperconectado y transnacional, parece que estamos cayendo en las trampas funestas de la liberación existencial y los interminables valles misteriosos. Dicho esto, una de las principales razones de la falta de cumplimiento y de un escenario caótico de desarrollo de estándares en la producción de datos de seguridad es la falta de un agente de gobernanza primario.

La gobernanza de la información de seguridad (cibernética)

Los estándares actuales de intercambio de información sobre amenazas cibernéticas centrados en la automatización generalmente siguen un modelo de gobernanza de múltiples partes interesadas. Eso significa que siguen un enfoque de ciclo de vida fundamentalmente ascendente, es decir, se desarrolla un estándar de información de ciberseguridad y luego se impulsa “hacia arriba” para su estandarización cruzada con la UIT y la ISO. Esta movilidad ascendente de las normas técnicas no es fácil. La Expresión Estructurada de Información sobre Amenazas (STIX), que quizás sea actualmente el estándar industrial de facto para transmitir Inteligencia sobre Amenazas Cibernéticas (CTI) legible por máquina, todavía está esperando la aprobación de la UIT. No es que sea realmente necesario, porque según la forma en que está estructurada la gobernanza global en tecnología, está dirigida por la industria y no por las naciones. El G7 ha llegado al extremo de formalizar esto, y algunos miembros incluso han bloqueado cualquier esfuerzo diplomático hacia un conjunto diferente de normas.

Esto funciona bien para aquellos Estados-nación que tienen las capacidades estructurales y productivas necesarias dentro de sus asociaciones tecnológicas público-privadas. En consecuencia, la gobernanza global de los estándares de tecnología cibernética se convierte en un reflejo del orden global. Sin nombrar a los actores de las amenazas cibernéticas, esto todavía había sido relativamente objetivo por naturaleza hasta ahora. Pero ya no es así con la integración de la desinformación en línea en las operaciones cibernéticas ofensivas y las políticas nacionales de ciberseguridad: no sólo los estándares de información convencionales pueden entrar en conflictos semánticos, sino que también están surgiendo nuevos estándares basados en valores sobre el entorno de la información. Dado que la producción y el intercambio de indicadores de amenazas sociales/políticas impulsados por la automatización pueden depender de las preferencias políticas y afectarlas, a medida que aumentan las amenazas de la información generada por IA y las botnets sociales, los estándares de información sobre amenazas a la ciberseguridad también pasan de un nivel suficientemente objetivo a uno más subjetivo. postura. Y los estados pueden hacer poco para reconfigurar este sistema actual porque la política de los estándares de ciberseguridad ha estado profundamente entrelazada con su desarrollo de múltiples partes interesadas liderado por el mercado.

Las atribuciones de amenazas cibernéticas son un buen ejemplo de ello. MITRE comenzó como contratista de DARPA y hoy sirve como una base de conocimiento de facto para toda la industria sobre amenazas y vulnerabilidades de redes informáticas. De los grupos de amenazas persistentes avanzadas enumerados en MITRE ATT&CK, cerca de 1/3 de las amenazas cibernéticas son chinas, otro 1/3 proviene de Rusia/Corea/Oriente Medio/India/Sudamérica, etc., y el 1/3 restante ( (que contienen los TTP más sofisticados, la mayor proporción de explotaciones de día cero y una orientación geopolíticamente alineada) siguen sin ser atribuidos. No especularemos aquí, pero un razonamiento abductivo sobre el grupo de amenazas no atribuidas puede dejar a los lectores con algunas ideas sobre las preferencias y políticas de la producción global de CTI.

Una realidad es que en el ciberespacio los Estados que buscan poder han estado desempeñando el papel de

actores de gobernanza y delincuentes sofisticados al mismo tiempo, por lo que este sistema de múltiples partes interesadas liderado por el mercado ha funcionado bien para su lógica operativa: promulgar una política global de interoperabilidad . Pero es malo para la producción de conocimiento sobre amenazas cibernéticas y la propia automatización de la seguridad, que a veces puede volverse bastante sesgada y motivada políticamente en Internet. La sociedad ha recorrido este camino el tiempo suficiente como para ni siquiera pensar en ello como un problema al avanzar hacia un mundo rodeado de sistemas cada vez más autónomos.

Un camino a seguir

Dado que los riesgos sociales de la IA son cada vez mayores, los estados que pretenden implementar una postura defendible de automatización de la ciberseguridad hoy podrían tener que navegar por una alta relación señal-ruido en la información sobre amenazas a la ciberseguridad, múltiples proveedores y metapolíticas de CTI, así como presiones constantes de la industria y el ámbito internacional. organizaciones sobre la “ética de la IA” y las “normas cibernéticas” (no nos aventuraremos a discutir aquí “¿la ética de quién?”). Este caos, como señalamos, es resultado del diseño de enfoques ascendentes. Sin embargo, los enfoques de arriba hacia abajo pueden carecer de la flexibilidad y agilidad de los enfoques de abajo hacia arriba. Por esta razón, es necesario integrar lo mejor del multilateralismo con lo mejor del multilateralismo.

Eso significaría racionalizar la actual configuración ascendente de estándares de información bajo una visión y un marco multilaterales. Si bien queremos evitar la producción de datos sobre amenazas partidistas, también queremos hacer uso del conjunto dispar de experiencia de la industria que requiere coordinación, resolución y dirección. Si bien algunos órganos de la ONU, como la UIT y UNDIR, desempeñan un papel importante en las metapolíticas globales de ciberseguridad, no tienen el tipo de efecto regulatorio de arriba hacia abajo necesario para gobernar la IA social maliciosa en Internet o implementar controles metapolíticos sobre el intercambio de amenazas para Plataformas autónomas distribuidas. Por lo tanto, esta integración del multilateralismo con el multilateralismo debe comenzar en el propio CSNU o en cualquier otra organización de seguridad internacional equivalente.

No es que esto fuera imprevisto. Cuando se adoptó la primera resolución de la ONU para evaluar las tecnologías de la información en 1998, particularmente Internet, algunos países habían señalado explícitamente que estas tecnologías terminarían en desacuerdo con la seguridad y la estabilidad internacionales, insinuando las reformas necesarias en los niveles más altos de seguridad internacional. De hecho, el CSNU como institución no ha evolucionado bien con las tecnologías digitales y la realidad de la seguridad posterior a Internet. La proliferación irrestricta de operaciones de la APT afiliadas al Estado es sólo un ejemplo de su incapacidad para regular las actividades estatales desestabilizadoras. Además, si bien el consejo parece todavía estancado en una visión de seguridad estratégica de 1945, hay suficientes razones y pruebas para reubicar la idea de “violencia estatal” a la luz de las capacidades ofensivas cibernéticas y de inteligencia artificial desplegadas estratégicamente.

Si bien no será fácil superar la resiliencia del orden global y sus burocracias arraigadas, si se reforman sus estatutos y su composición, el consejo (o su sustituto) podría servir como una institución valiosa para llenar el vacío que surge de la falta de un agente principal a la hora de guiar los estándares de seguridad y gobernanza que impulsan la automatización de la seguridad y las aplicaciones de IA en el ciberespacio.

Es el proceso

Llegados a este punto, es necesario denunciar ciertos malentendidos. Parece que los reguladores tienen algunas ideas sobre cómo regular los “productos de IA”, al menos la Ley de IA de la UE sugiere lo mismo. Aquí debemos tomarnos un momento de silencio y tranquilidad para reflexionar sobre qué es la “IA” o el “comportamiento autónomo”, y pronto la mayoría de nosotros nos daremos cuenta de que los métodos actuales de certificación de productos pueden no ser adecuados para abordar los sistemas adaptativos basados en aprendizaje continuo e intercambio de datos con el mundo real. Lo que estamos tratando de decir es que los reguladores tal vez necesiten considerar seriamente los pros y los contras de un enfoque centrado en el producto versus uno centrado en el proceso para regular la IA.

La IA, al final, es un resultado. Son los procesos y políticas subyacentes, desde las prácticas de ingeniería de datos y las arquitecturas de modelos hasta los intercambios de información de máquina a máquina y los mecanismos de optimización, donde debe centrarse la gobernanza y los estándares, no en el resultado en sí. Además, a medida que el software pasa de un paradigma de ingeniería orientado a objetos a uno orientado a agentes, los reguladores deben empezar a pensar en las políticas en términos de código y en el código en términos de políticas; cualquier otra cosa siempre dejará una brecha gigante entre la intención y la implementación.

Si nos guiamos por el caos antes mencionado de la gobernanza de la ciberseguridad de múltiples partes interesadas de hoy, para la seguridad y la gobernanza de la IA necesitamos una orquestación de datos de amenazas basada en evidencia (considere los datos que llevaron a la CTI final y la interacción con nuevos tipos de evidencia técnica), verificación del tiempo de ejecución. de la automatización impulsada por la IA en los sistemas de seguridad y defensa cibernética, canales y estándares claros y no partidistas para la gobernanza de la información sobre amenazas cibernéticas, y un consenso multilateral al respecto. Centrarse únicamente en el producto final de IA puede dejar muchas cosas sin abordar y potencialmente partidistas (como vemos en el ecosistema de metapolíticas de información que impulsan los sistemas de automatización de seguridad en todo el mundo), por lo que debemos centrarnos en gobernar mejor los procesos y políticas subyacentes que impulsan estos sistemas y no los resultados de esos procesos y políticas.