Engano da IA: como a IA generativa está sendo usada como arma para fraudes

Tecnologia de IA generativa que pode ser usada para criar conteúdo novo como texto, imagens, áudio e até vídeos, muito parecido com o que um humano faria. Essa tecnologia se tornou incrivelmente popular e disseminada. Um relatório da Europol prevê que 90% do conteúdo online pode ser gerado por IA em poucos anos. No entanto, a IA generativa é uma faca de dois gumes. Por um lado, a IA generativa tem imenso potencial em vários setores. Ela pode aprimorar o atendimento ao cliente por meio de chatbots inteligentes, auxiliar em indústrias criativas gerando arte e música e até mesmo auxiliar em pesquisas médicas simulando processos biológicos complexos. No entanto, a mesma tecnologia que impulsiona essas inovações também pode ser transformada em arma por atores maliciosos.

Recentemente, houve um aumento no uso indevido dessa tecnologia para atividades fraudulentas. À medida que os modelos generativos se tornam cada vez mais sofisticados, o mesmo acontece com os métodos empregados por atores mal-intencionados para explorá-los para fins maliciosos. Entender as várias maneiras pelas quais a IA generativa está sendo abusada é crucial para desenvolver defesas robustas e garantir a integridade e a confiabilidade das plataformas digitais. Embora as novas e complicadas maneiras pelas quais os atores mal-intencionados estão usando essa tecnologia estejam se tornando cada vez mais sofisticadas, exploraremos os diferentes tipos de fraude facilitados pela IA generativa que já estão sendo amplamente relatados pelas vítimas.

Desinformação eleitoral usando deepfakes

Um dos usos mais notórios da IA generativa é a criação de vídeos deepfake — retratos hiper-realistas, mas completamente falsos, de pessoas. Quando políticos de alto perfil são alvos, especialmente no contexto de grandes eventos como guerras ou eleições, as consequências podem ser severas. Deepfakes podem causar pânico generalizado e interromper eventos críticos. Por exemplo, um vídeo deepfake do presidente ucraniano Volodymyr Zelensky se rendendo circulou durante a guerra e, na Índia, pouco antes das eleições, um vídeo adulterado mostrou falsamente o Ministro do Interior da União, Amit Shah, alegando que todas as reservas baseadas em castas seriam abolidas, o que gerou tensões entre as comunidades. Mais recentemente, uma imagem falsa de Donald Trump sendo preso se tornou viral no X (veja a Figura 1).

Golpes financeiros

Chatbots avançados com tecnologia de IA podem imitar conversas humanas com precisão incrível. Fraudadores lançam ataques de phishing usando chatbots de IA para se passar por representantes bancários. Os clientes recebem chamadas e mensagens desses bots, que pedem informações confidenciais de forma convincente sob o pretexto de resolver problemas de conta. Muitos indivíduos desavisados são vítimas desses golpes, resultando em perdas financeiras significativas. Fraudadores podem usar IA para gerar gravações de voz realistas de executivos para autorizar transações fraudulentas, um esquema conhecido como "fraude de CEO". Em um caso notável , um funcionário de uma empresa multinacional de Hong Kong foi enganado para pagar US$ 25 milhões a fraudadores usando tecnologia deepfake para se passar pelo diretor financeiro da empresa em uma videoconferência. Esses golpes exploram a confiança e a autoridade de altos funcionários, causando danos financeiros significativos às empresas.

Notícias falsas

A IA generativa também pode produzir artigos de notícias falsas convincentes, que podem ser disseminados rapidamente por meio das mídias sociais. Durante a pandemia da COVID-19, vários artigos de notícias falsas e postagens nas mídias sociais espalharam informações erradas sobre o vírus e as vacinas. Houve muitas notícias falsas prejudiciais no Whatsapp e outras mídias sociais que alegavam que certos remédios ayurvédicos poderiam curar a COVID-19, levando ao pânico generalizado e a práticas equivocadas de automedicação. Com a IA generativa, é relativamente fácil para os golpistas gerar notícias falsas em larga escala e criar pânico entre as pessoas. Por exemplo, você pode facilmente gerar imagens manipuladas com pessoas reais, lugares reais e torná-las notícias sensacionais. Aqui está um exemplo que mostra uma imagem falsa do Taj Mahal atingido por um terremoto gerada usando o modelo DALL-E da OpenAI (Figura 2).

Aqui está outra que mostra o hotel Taj em Mumbai em chamas (lembrando o ataque terrorista de 2008) na Figura 3.

Pornografia não consensual e assédio

Os cibercriminosos, assim como indivíduos com más intenções, podem usar a tecnologia Generative AI para lançar campanhas de assédio que resultam em reputações arruinadas ou formas mais tradicionais de assédio online. As vítimas podem variar de indivíduos privados a figuras públicas. As táticas podem incluir a criação de imagens falsas, vídeos falsos em situações comprometedoras ou em ambientes manipulados. Por exemplo, em janeiro de 2024, a megastar pop Taylor Swift se tornou o mais recente alvo de alto perfil de imagens deepfake sexualmente explícitas e não consensuais feitas usando inteligência artificial que foram amplamente divulgadas em plataformas de mídia social.

Golpes direcionados usando voz falsa

A IA generativa pode copiar vozes e semelhanças, possibilitando que indivíduos pareçam estar dizendo ou fazendo quase tudo. Essa tecnologia é semelhante a vídeos "deepfake", mas se aplica a vozes. Vozes geradas por IA estão sendo usadas para aprimorar golpes, tornando-os mais convincentes. Por exemplo, alguém pode extrair sua voz da internet e usá-la para ligar para sua avó e pedir dinheiro a ela. Os agentes de ameaças podem facilmente obter alguns segundos da voz de alguém nas mídias sociais ou outras fontes de áudio e usar a IA generativa para produzir scripts inteiros do que eles querem que a pessoa diga. Isso fará com que a pessoa visada acredite que a ligação é de seus amigos ou parentes e, portanto, será enganada a enviar dinheiro ao fraudador pensando que alguém próximo está precisando.

Golpes românticos com identidades falsas

Golpes românticos estão aumentando, e na Índia houve um relatório de que impressionantes 66% dos indivíduos no país são vítimas de esquemas enganosos de namoro online. Uma persona totalmente falsa pode ser fabricada usando IA Generativa. Os fraudadores podem criar documentação fabricada, como passaportes ou cartões aadhar. Eles podem até mesmo criar imagens falsas de si mesmos, como a imagem mostrada abaixo de uma pessoa falsa na frente de uma bela casa e um carro luxuoso. Eles podem até mesmo fazer ligações com uma voz falsa e podem convencê-lo de que a IA é uma pessoa real e, eventualmente, alvejá-lo emocionalmente para desenvolver sentimentos por ela e, mais tarde, extorquir dinheiro ou presentes de você. Aqui está um exemplo (na Figura 4) de uma imagem gerada por IA de uma pessoa falsa, gerada usando o bot Midjourney.

Golpes de compras online

A publicidade enganosa pode envolver alegações falsas ou até mesmo a criação de produtos ou serviços totalmente falsos. Isso pode levar os consumidores a fazer compras desinformadas ou fraudulentas. O GenAI pode ser usado para gerar avaliações, classificações e recomendações falsas de produtos sintéticos em plataformas de comércio eletrônico. Essas avaliações falsas podem aumentar artificialmente a reputação de produtos de baixa qualidade ou prejudicar a reputação de produtos genuínos. Os golpistas podem usar o GenAI para criar listagens de produtos falsificados ou sites que parecem legítimos, dificultando para os consumidores distinguir entre vendedores genuínos e fraudulentos. Chatbots ou agentes de atendimento ao cliente baseados em IA podem ser usados para fornecer informações enganosas aos compradores, potencialmente levando a decisões de compra mal informadas. Portanto, um ecossistema inteiro de negócios falsos pode ser facilmente configurado.

Permanecendo vigilante e protegendo-se contra fraudes impulsionadas por IA

Com os exemplos acima, fica claro que conteúdo prejudicial pode ser criado em escala usando IA Generativa com facilidade alarmante. A IA Generativa atua como uma ferramenta de produtividade, aumentando o volume e a sofisticação do conteúdo. Amadores estão entrando no jogo com mais facilidade, e há um movimento significativo em direção à exploração de mídias sociais para ganho financeiro. Criadores sofisticados de desinformação são muito capazes de escalar e usar IA para se traduzirem em outros idiomas para levar seu conteúdo a países e pessoas que eles não conseguiam alcançar antes. Existem algumas etapas que todos podem seguir para ficar vigilantes e se proteger de golpes movidos a IA. Conscientização e vigilância são essenciais para se proteger contra fraudes impulsionadas por IA.

Sempre verifique a fonte do conteúdo. Enquanto todas as principais empresas de tecnologia estão usando marcas d'água em conteúdo gerado por IA como uma solução essencial para permitir que os desenvolvedores criptografem marcas d'água , fornecendo melhor detecção e autenticidade de conteúdo gerado por IA, o grupo geral de pessoas não técnicas não conhece essas tecnologias e não sabe como identificar marcas d'água ou usar ferramentas de detecção de conteúdo gerado por IA. Uma coisa básica que pode ser feita por todos, no entanto, é sempre verificar a fonte de qualquer imagem, vídeo ou mensagem de voz suspeita. Se você receber um vídeo que pareça fora do personagem da pessoa retratada, verifique com outras fontes e entre em contato com a pessoa diretamente. Por exemplo, um vídeo deepfake de um político fazendo declarações inflamatórias deve ser verificado por meio de canais oficiais. Um vídeo de um parente sendo sequestrado ou em perigo deve ser verificado ligando para a pessoa ou para uma conexão mútua. Da mesma forma, uma chamada de voz de alguém que alega ser um executivo sênior ou um representante de banco solicitando informações confidenciais pode ser verificada ligando de volta para um número conhecido e confiável, como o número oficial de atendimento ao cliente de um banco para confirmar.

Limite o compartilhamento de informações pessoais. Os fraudadores geralmente usam detalhes de mídias sociais para criar deepfakes e mensagens de voz convincentes. Evite postar informações confidenciais, como seu endereço, número de telefone e detalhes financeiros. Ajuste as configurações de privacidade em suas contas de mídia social para limitar a visibilidade de suas postagens e informações pessoais. Permita apenas que amigos e familiares de confiança visualizem seu perfil e postagens. No Facebook ou Instagram, você pode revisar e ajustar suas configurações de privacidade para garantir que apenas seus amigos possam ver suas postagens. Evite compartilhar detalhes como seus planos de férias, que podem ser usados por fraudadores para atacá-lo enquanto você estiver fora. Mantenha seu perfil e lista de amigos privados para que os fraudadores não atinjam sua família e amigos com seus vídeos e chamadas de voz falsos. Limitar a quantidade de informações pessoais disponíveis online torna mais difícil para os fraudadores coletarem dados sobre você. Isso reduz a probabilidade de que eles possam criar deepfakes convincentes ou se passar por você.

À medida que nos aproximamos de uma era impulsionada pela IA, a batalha entre inovação e exploração se intensifica. O aumento da fraude impulsionada pela IA não é apenas um desafio, é um chamado à ação. Com a IA generativa capaz de criar deepfakes convincentes, clones de voz realistas e esquemas sofisticados de phishing, o potencial para engano nunca foi tão grande. No entanto, em meio a essas ameaças, há uma oportunidade: a chance de redefinir nossa abordagem à segurança e confiança digitais. Não basta estar ciente; devemos ser proativos, aproveitando a mesma tecnologia de ponta para desenvolver sistemas avançados de detecção e campanhas de educação pública. O futuro da IA não é predeterminado. Ao tomar medidas decisivas hoje, podemos moldar um cenário digital onde a promessa da IA generativa seja realizada sem cair em seus perigos. Que este seja o nosso momento de crescer, inovar e proteger, garantindo um mundo digital mais seguro para todos.