Conciliando Governança de IA e Segurança Cibernética

Recentemente, Sam Altman tem viajado pelo mundo tentando (talvez) uma captura regulatória dos desenvolvimentos globais da IA. Não é de admirar que a OpenAI não goste de IA de código aberto. No entanto, este post não é sobre o desenvolvimento da IA, mas sobre os seus desafios de segurança e padronização. Geralmente, um ambiente avançado de ameaças cibernéticas , bem como a consciência da situação cibernética e as capacidades de resposta dos defensores (doravante denominadas capacidades de “automação de segurança”) são esmagadoramente impulsionadas por sistemas de automação e IA. Para se ter uma ideia, considere algo tão simples como verificar e responder seu Gmail hoje e enumere as camadas de IA e automação que podem constituir a segurança e a orquestração dessa atividade simples.

Assim, todas as organizações de tamanho e complexidade perceptíveis têm de contar com sistemas de automação de segurança para afetar as suas políticas de cibersegurança. O que muitas vezes é esquecido é que também existem algumas “ metapolíticas ” de segurança cibernética que permitem a implementação destes sistemas de automação de segurança. Estes podem incluir os mecanismos automatizados de troca de dados sobre ameaças, as convenções de atribuição subjacentes e os sistemas de produção/gestão de conhecimento. Tudo isto permite uma postura de detecção e resposta frequentemente referida por profissionais de marketing e advogados como “defesa activa” ou “segurança cibernética proactiva”. No entanto, se escolhermos qualquer política nacional de cibersegurança, será difícil encontrar algo sobre estas metapolíticas – porque são muitas vezes implícitas, introduzidas em implementações nacionais em grande parte por influência e imitação (ou seja, efeitos de rede) e não tanto por deliberações formais ou estratégicas.

Estas metapolíticas de automação de segurança são importantes para a governação e segurança da IA porque, no final, todos estes sistemas de IA, sejam completamente digitais ou ciberfísicos, existem dentro da matriz estratégica e de segurança cibernética mais ampla. Precisamos de nos perguntar se a modernização das metapolíticas de automação prevalecentes serviria bem para o futuro da IA ou não.

Evitando dependência de caminho

Dada a tendência para a dependência do caminho nos sistemas de informação automatizados, o que tem funcionado bem até agora é a consolidação nas áreas mais novas e adjuntas da automatização da segurança, como o ecossistema de veículos inteligentes/conectados. Além disso, os desenvolvimentos na segurança do software sobre rodas estão sendo prontamente cooptados por uma variedade de sistemas automotivos complexos, desde tanques totalmente digitalizados que prometem redução do tamanho da tripulação e aumento da letalidade até padrões para gerenciamento automatizado de segurança de frota e sistemas de transporte de drones. Consequentemente, há um aumento de SOCs (Centros de Operações de Segurança) de veículos que operam nos moldes dos SOCs de segurança cibernética e utilizam mecanismos de troca de dados semelhantes, emprestando as mesmas implementações de automação de segurança e distribuição de informações. Isso seria perfeitamente aceitável se os meios existentes fossem suficientemente bons para se adaptarem cegamente ao ambiente de ameaças emergentes. Mas eles estão longe disso.

Por exemplo, a maioria das trocas de dados sobre ameaças à segurança cibernética fazem uso do Traffic Light Protocol (TLP) , no entanto, o próprio TLP é apenas uma classificação de informações – sua execução e quaisquer regimes de criptografia para restringir a distribuição conforme pretendido são deixados para os projetistas da automação de segurança. sistemas. Portanto, há necessidade não apenas de controles mais refinados e ricos sobre o compartilhamento de dados com sistemas total ou parcialmente automatizados, mas também de garantir a conformidade com os mesmos. Muitas das políticas de comunicação de ameaças, como o TLP, são semelhantes ao infame manual de Tallinn, na medida em que são quase uma expressão de opiniões que os fornecedores de segurança cibernética podem considerar implementar ou não. Fica mais problemático quando se espera que os padrões de dados de ameaças cubram a detecção e resposta automatizadas (como é o caso da automação automotiva e industrial) – e podem ou não ter integrado uma política apropriada de segurança e troca de dados por falta de quaisquer requisitos de conformidade para fazer então.

Outro exemplo de metapolíticas inconsistentes, entre muitos outros, pode ser encontrado no recente aumento dos sistemas de geração de linguagem e dos agentes de IA conversacionais. O problema é que nem todos os agentes de conversação são grandes redes neurais do tipo ChatGPT. A maioria deles está em implantação há décadas como programas de geração de linguagem baseados em regras e para tarefas específicas. Ter uma “imagem operacional comum” por meio de modelagem de diálogo e representação baseada em gráficos do contexto entre esses programas (como uma organização que opera em múltiplos domínios/teatros poderia exigir) era um desafio constante antes que o mundo se deparasse com “atenção é tudo que você precisa”. Portanto, agora temos basicamente uma gigantesca infraestrutura de TI legada em interface homem-máquina e um paradigma de automação de IA multimodal que a desafia. As organizações que passam pela “transformação digital” não só têm de evitar herdar dívidas técnicas herdadas, mas também considerar os recursos e os requisitos organizacionais para operar de forma eficiente um modelo de entrega centrado na IA. Compreensivelmente, algumas organizações (incluindo governos) podem não querer uma transformação completa imediatamente. Na falta de dados padronizados e de troca de contexto entre os sistemas automatizados emergentes e legados, muitos usuários provavelmente continuarão com um paradigma com o qual estão mais familiarizados, e não aquele que é mais revolucionário.

Na verdade, grande parte da segurança cibernética hoje depende destas trocas oportunas de dados e da orquestração automatizada e, portanto, estes padrões de informação subjacentes tornam-se absolutamente críticos para as sociedades modernas (pós-industriais) e para a governação dos sistemas ciber-físicos. No entanto, em vez de formular ou harmonizar as metapolíticas de produção de conhecimento necessárias para governar a segurança da IA num ambiente de ameaças hiperconectadas e transnacionais – parecemos estar a cair nas armadilhas da libertação existencial e dos vales misteriosos e intermináveis. Dito isto, uma das principais razões para a falta de conformidade e para um cenário caótico de desenvolvimento de normas na produção de dados de segurança é a falta de um agente primário de governação.

A governança da informação de segurança (cibernética)

Os atuais padrões de compartilhamento de informações sobre ameaças cibernéticas centrados na automação geralmente seguem um modelo de governança multissetorial. Isso significa que estes seguem uma abordagem de ciclo de vida fundamentalmente ascendente, ou seja, um padrão de informação de segurança cibernética é desenvolvido e depois empurrado “para cima” para padronização cruzada com a ITU e a ISO. Esta mobilidade ascendente das normas técnicas não é fácil. A Expressão Estruturada de Informações sobre Ameaças (STIX), que talvez seja o padrão de fato da indústria atualmente para a transmissão de Inteligência de Ameaças Cibernéticas (CTI) legível por máquina, ainda aguarda a aprovação da ITU. Não que seja realmente necessário, porque a forma como a governação global em tecnologia está estruturada é liderada pela indústria e não pelas nações. O G7 chegou ao ponto de formalizar isto, e alguns membros chegaram mesmo a bloquear quaisquer esforços diplomáticos no sentido de qualquer conjunto diferente de normas.

Isto funciona bem para os Estados-nação que possuem as capacidades estruturais e produtivas necessárias no âmbito das suas parcerias tecnológicas público-privadas. Consequentemente, a governação global dos padrões de tecnologia cibernética torna-se um reflexo da ordem global. Sem a nomeação dos atores das ameaças cibernéticas, isso ainda era relativamente objetivo por natureza até agora. Mas isto já não é verdade com a integração da desinformação online em operações cibernéticas ofensivas e políticas nacionais de cibersegurança – não só os padrões de informação convencionais podem entrar em conflitos semânticos, como também estão a surgir novos padrões orientados para valores sobre o ambiente de informação. Uma vez que a produção e a partilha de indicadores de ameaças sociais/políticas impulsionados pela automatização podem ser moldadas e afectar as preferências políticas, à medida que as ameaças de informações geradas pela IA e de botnets sociais aumentam, os padrões de informação sobre ameaças à segurança cibernética também passam de um objectivo suficientemente objectivo para um aspecto mais subjectivo. postura. E os Estados pouco podem fazer para reconfigurar este sistema actual porque a política dos padrões de segurança cibernética tem estado profundamente interligada com o seu desenvolvimento multissetorial liderado pelo mercado.

As atribuições de ameaças cibernéticas são um bom exemplo disso. A MITRE começou como uma empresa contratada pela DARPA e hoje atua como uma base de conhecimento de fato para ameaças e vulnerabilidades de redes de computadores em todo o setor. Dos grupos de ameaças persistentes avançadas listados no MITRE ATT&CK, perto de 1/3 das ameaças cibernéticas são chinesas, outro 1/3 vem da Rússia/Coreia/Oriente Médio/Índia/América do Sul, etc., e o 1/3 restante ( que contêm os TTPs mais sofisticados, a maior parcela de explorações de dia zero e uma segmentação geopoliticamente alinhada) permanecem não atribuídos. Não especularemos aqui, mas um raciocínio abdutivo sobre o conjunto de ameaças não atribuídas pode deixar os leitores com algumas ideias sobre as preferências e políticas da produção global de CTI.

Um facto da vida é que, no ciberespaço, os Estados em busca de poder têm desempenhado o papel de

ao mesmo tempo, actores de governação e infractores sofisticados, pelo que este multissetorialismo liderado pelo mercado funcionou bem para a sua lógica operacional – promulgando uma política global de interoperabilidade . Mas é mau para a produção de conhecimento sobre ameaças cibernéticas e para a própria automação da segurança, que por vezes pode tornar-se bastante tendenciosa e politicamente motivada na Internet. A sociedade percorreu este caminho durante tempo suficiente para nem sequer pensar nele como um problema quando se desloca para um mundo rodeado por sistemas cada vez mais autónomos.

Um caminho a seguir

Com os riscos sociais da IA cada vez maiores, os estados que pretendem implementar uma postura defensável de automação de segurança cibernética hoje podem ter que navegar por uma alta relação sinal-ruído nas informações sobre ameaças à segurança cibernética, vários fornecedores e metapolíticas de CTI, bem como pressões constantes da indústria e internacionais organizações sobre “ética de IA” e “normas cibernéticas” (não nos aventuraremos em uma discussão sobre “ética de quem?” aqui). Este caos, como observámos, é um resultado da concepção de abordagens ascendentes. No entanto, as abordagens de cima para baixo podem carecer da flexibilidade e agilidade das abordagens de baixo para cima. Por esta razão, é necessário integrar o melhor do multissetorialismo com o melhor do multilateralismo.

Isso significaria racionalizar a actual configuração ascendente de padrões de informação sob uma visão e quadro multilaterais. Embora queiramos evitar a produção de dados sobre ameaças partidárias, também queremos utilizar o conjunto díspar de conhecimentos da indústria que requer coordenação, resolução e orientação. Embora alguns órgãos da ONU, como a UIT e a UNDIR, desempenhem um papel importante nas metapolíticas globais de cibersegurança – não têm o tipo de efeito regulador de cima para baixo necessário para governar a IA social maliciosa através da Internet ou implementar quaisquer controlos de metapolíticas sobre a partilha de ameaças para plataformas autônomas distribuídas. Portanto, esta integração do multissetorialismo com o multilateralismo precisa de começar no próprio CSNU ou em qualquer outra organização de segurança internacional equivalente.

Não que isso fosse imprevisto. Quando foi adoptada a primeira resolução da ONU avaliando as Tecnologias de Informação em 1998, particularmente a Internet, alguns países salientaram explicitamente que estas tecnologias acabariam em conflito com a segurança e a estabilidade internacionais, sugerindo as reformas necessárias aos mais altos níveis de segurança internacional. Na verdade, o CSNU como instituição não evoluiu bem com as tecnologias digitais e a realidade de segurança pós-Internet. A proliferação irrestrita de operações APT afiliadas ao Estado é apenas um exemplo do seu fracasso em regular as actividades estatais desestabilizadoras. Além disso, embora o Conselho pareça ainda preso a uma visão de segurança estratégica de 1945, há razões e provas suficientes para realocar a ideia de “violência estatal” à luz das capacidades cibernéticas e de IA ofensivas estrategicamente implantadas.

Embora não seja fácil superar a resiliência da ordem global e das suas burocracias arraigadas, se o seu estatuto e a sua composição forem reformados, o conselho (ou o seu substituto) poderá servir como uma instituição valiosa para preencher o vazio que emerge da falta de uma principal agente na orientação dos padrões de segurança e governança que impulsionam a automação da segurança e as aplicações de IA no ciberespaço.

É o processo

Neste ponto, é necessário que denunciemos alguns mal-entendidos. Parece que os reguladores têm algumas ideias sobre como governar os “produtos de IA”, pelo menos a Lei de IA da UE sugere o mesmo. Aqui devemos reservar um momento de silêncio e tranquilidade para refletir sobre o que é “IA” ou “comportamento autônomo” – e em breve perceberemos que os atuais métodos de certificação de produtos podem não ser adequados para abordar sistemas adaptativos enraizados em aprendizado contínuo e troca de dados com o mundo real. O que estamos tentando dizer é que os reguladores talvez precisem considerar seriamente os prós e os contras de uma abordagem centrada no produto versus uma abordagem centrada no processo para regular a IA.

A IA, no final das contas, é um resultado. É nos processos e políticas subjacentes, desde as práticas de engenharia de dados e arquitecturas de modelos até às trocas de informações máquina-máquina e aos mecanismos de optimização, que o foco da governação e das normas deve estar, e não no resultado em si. Além disso, à medida que o software passa de um paradigma de engenharia orientado a objectos para um paradigma de engenharia orientado a agentes, os reguladores precisam de começar a pensar na política em termos de código e no código em termos de política – qualquer outra coisa deixará sempre uma lacuna gigante entre a intenção e a implementação.

Se o caos acima mencionado da governança multissetorial da segurança cibernética atual servir de referência, para a segurança e a governança da IA, precisamos de uma orquestração de dados de ameaças baseada em evidências (considere os dados que levaram ao CTI final e envolva-se com novos tipos de evidências técnicas), verificação em tempo de execução de automação baseada em IA em sistemas de defesa e segurança cibernética, canais e padrões apartidários claros para governança de informações sobre ameaças cibernéticas e um consenso multilateral sobre o mesmo. Concentrar-se apenas no produto final de IA pode deixar muitas coisas sem solução e potencialmente partidárias – como vemos no ecossistema de metapolíticas de informação que impulsionam os sistemas de automação de segurança em todo o mundo – portanto, precisamos nos concentrar em governar melhor os processos e políticas subjacentes que impulsionam esses sistemas e não os resultados desses processos e políticas.