Podemos realmente detectar texto gerado por IA do ChatGPT e outros LLMs?

Modelos de linguagem grande (LLMs), como o GPT-3 , rapidamente se tornaram um dos avanços tecnológicos mais significativos no campo do processamento de linguagem natural (NLP).

Os LLMs demonstraram um potencial significativo para auxiliar em uma variedade de tarefas, incluindo tradução de idiomas, resumo de texto, resposta a perguntas, recuperação de informações, mecanismo de recomendação, robótica fundamentada em idiomas e muitos outros.

Embora os Modelos de Linguagem Grande (LLMs) como o ChatGPT tenham mostrado desempenho excepcional em várias tarefas de processamento de linguagem natural, seu potencial uso indevido levanta questões éticas que devem ser abordadas . Com a capacidade de gerar texto coerente e contextualmente relevante, os LLMs podem ser usados para produzir notícias falsas ou espalhar desinformação, o que pode ter consequências graves para a sociedade.

Esse uso indevido pode levar à erosão da confiança na mídia e a uma percepção distorcida da realidade. Além disso, os LLMs podem ser utilizados para geração de plágio, roubo de propriedade intelectual ou análises falsas de produtos, o que pode enganar os consumidores e impactar negativamente os negócios. Além disso, a capacidade dos LLMs de manipular o conteúdo da web para fins maliciosos, como criar contas falsas em redes sociais ou influenciar discussões online, pode ter efeitos desastrosos na opinião pública e no discurso político.

Com a crescente preocupação, provavelmente é hora de fazer a pergunta:

Podemos discernir textos gerados por IA dos gerados por humanos?

Pesquisa anterior e detectabilidade

Por um lado, o DetectGPT de Stanford compara a probabilidade que um modelo atribui ao texto escrito com a de uma modificação do texto, a detectar.

Por outro lado, abordagens baseadas em marcas d'água desenvolvidas pelo grupo de Tom Goldstein são propostas para aumentar efetivamente a detectabilidade.

No entanto, as marcas d'água (que não são treinadas de forma robusta) demonstraram ser vulneráveis a ataques de paráfrase e falsificação, por Sadasivan e outros e Krishna e cols.

Último debate na comunidade

Ultimamente, a comunidade tem tido um debate acalorado sobre se os textos gerados por IA podem ser diferenciados dos gerados por humanos, juntamente com discussões sobre se falharemos em 'reter a IA' e teremos um apocalipse AGI, já que não podemos detectar o IA- conteúdo gerado. Os líderes de tecnologia até pediram uma suspensão de 6 meses do treinamento de modelo de linguagem grande (LLM).

Líderes acadêmicos como Yann Lecun e Andrew Ng são contra essa proibição da IA.

Vice-presidente e cientista-chefe de IA da Meta, cita Yann LeCun ,

“Por que retardar o progresso do conhecimento?”

Possibilidade de Detecção

Em meio a esse momento crítico, estudamos a detectabilidade de textos gerados por IA por meio de uma lente da teoria da informação. Fornecemos evidências de otimismo: quase sempre deve ser possível detectar, a menos que as distribuições de texto humano e de máquina sejam exatamente as mesmas em todo o suporte.

A detectabilidade é possível

A detectabilidade depende de uma compensação precisa com informações de Chernoff e mais observações. Provamos um limite superior atingível de AUROC (que está entre 0 e 1, maior significa mais detectável) por meio de um detector baseado em razão de verossimilhança usando várias amostras. À medida que o número de amostra aumenta, AUROC aumenta exponencialmente para 1.

Uma Lente Direcionada à Informação

Os resultados teóricos desta informação dependem de uma quantidade chave chamada informação de Chernoff, que pode orientar o design de marcas d'água de LLMs. Experimentalmente, verificamos que a indetectabilidade da detecção em nível de palavra torna-se detectável quando alternada para detecção em nível de parágrafo.

Resultados teóricos

Os resultados teóricos desta informação dependem de uma quantidade chave chamada informação de Chernoff, que pode orientar o design de marcas d'água de LLMs. Derivamos limites de complexidade de amostra para guiar a possibilidade de detecção de texto gerado por IA.

Demonstrações empíricas

A indetectabilidade no nível da palavra torna-se detectável quando alternada para a detecção no nível do parágrafo em vários conjuntos de dados. À medida que aumentamos o comprimento da detecção, a precisão da detecção do ZeroShot aumenta significativamente.

No final, acreditamos que a maneira certa de lidar com o uso indevido de #LLMs é corrigi-los em vez de bani-los.

Mesmo quando jovem, porém, eu não conseguia acreditar que, se o conhecimento representasse perigo, a solução seria a ignorância. Para mim, sempre pareceu que a solução tinha que ser a sabedoria. Você não se recusou a olhar para o perigo, mas aprendeu a lidar com ele com segurança.

Isaac Asimov

Observação: este é o primeiro passo e nosso estudo exige pesquisa contínua para desenvolver estruturas e diretrizes que estimulem a inovação e garantam o uso ético dessas ferramentas poderosas.

Colaboradores convidados:

Souradip Chakraborty , Ph.D. Estudante de graduação na Universidade de Maryland , Amrit Singh Bedi , cientista pesquisador da Universidade de Maryland, Sicheng Zhu, Bang An, Dinesh Manocha e Furong Huang estão pesquisando a detectabilidade de textos gerados por IA através de uma lente de teoria da informação. Quaisquer opiniões expressas neste artigo são estritamente dos autores.