ChatGPT 및 기타 LLM에서 AI 생성 텍스트를 실제로 감지할 수 있습니까?

GPT-3 와 같은 대형 언어 모델(LLM)은 자연어 처리(NLP) 분야에서 가장 중요한 기술 발전 중 하나로 빠르게 자리 잡았습니다.

LLM은 언어 번역, 텍스트 요약, 질문 답변, 정보 검색, 추천 엔진, 언어 기반 로봇 공학 등을 포함한 다양한 작업을 지원할 수 있는 상당한 잠재력을 입증했습니다.

ChatGPT와 같은 LLM(대형 언어 모델)은 다양한 자연어 처리 작업에서 뛰어난 성능을 보여주었지만, 잠재적인 오용으로 인해 해결해야 할 윤리적 문제가 발생합니다. 일관되고 상황에 맞는 텍스트를 생성하는 능력을 갖춘 LLM은 가짜 뉴스를 생성하거나 잘못된 정보를 퍼뜨리는 데 사용될 수 있으며, 이는 사회에 심각한 결과를 초래할 수 있습니다.

이러한 오용은 뉴스 매체에 대한 신뢰를 약화시키고 현실에 대한 왜곡된 인식을 초래할 수 있습니다. 또한 LLM은 표절, 지적 재산 도용 또는 가짜 제품 리뷰 생성에 활용될 수 있으며, 이는 소비자를 오도하고 기업에 부정적인 영향을 미칠 수 있습니다. 더욱이 가짜 소셜 미디어 계정을 만들거나 온라인 토론에 영향을 미치는 등 악의적인 목적으로 웹 콘텐츠를 조작하는 LLM의 능력은 여론과 정치적 담론에 재앙적인 영향을 미칠 수 있습니다.

우려가 커지면서 이제 다음과 같은 질문을 던져볼 시간이 된 것 같습니다.

AI가 생성한 텍스트와 인간이 생성한 텍스트를 구별할 수 있습니까 ?

과거 연구 및 탐지 가능성

한편, Stanford의 DetectGPT는 모델이 작성된 텍스트에 할당하는 확률과 텍스트 수정 가능성을 비교하여 감지합니다.

한편, 탐지 가능성을 효과적으로 높이기 위해 Tom Goldstein 그룹이 개발한 워터마크 기반 접근 방식이 제안되었습니다.

그러나 견고하게 훈련되지 않은 워터마크는 Sadasivan에 의해 의역 및 스푸핑 공격에 취약한 것으로 나타났습니다. 외. 그리고 Krishnaet al.

커뮤니티의 최신 토론

최근 커뮤니티에서는 AI가 생성한 텍스트와 인간이 생성한 텍스트를 구별할 수 있는지 여부와 AI를 감지할 수 없기 때문에 'AI 유지'에 실패하고 AGI 종말이 일어날 것인지에 대한 열띤 논쟁이 벌어지고 있습니다. 생성된 콘텐츠. 기술 리더들은 LLM(대형 언어 모델) 교육을 6개월간 중단할 것을 요구하기도 했습니다.

Yann Lecun 및 Andrew Ng와 같은 학계 지도자들은 이러한 AI 금지에 반대합니다.

Meta의 VP 겸 수석 AI 과학자 Yann LeCun은 다음과 같이 말했습니다.

“왜 지식의 발전을 늦추나요?”

탐지 가능성

이 중요한 시기에 우리는 정보 이론 렌즈를 통해 AI 생성 텍스트의 탐지 가능성을 연구합니다. 우리는 낙관주의에 대한 증거를 제공합니다. 전체 지원에 걸쳐 인간과 기계 텍스트 분포가 정확히 동일하지 않는 한 거의 항상 탐지가 가능해야 합니다.

탐지 가능성이 있습니다

탐지 가능성은 Chernoff 정보 및 더 많은 관찰과의 정확한 균형에 달려 있습니다. 우리는 여러 샘플을 사용하는 우도비 기반 검출기를 통해 AUROC의 달성 가능한 상한(0과 1 사이, 높을수록 더 많이 감지 가능함)을 증명합니다. 샘플 수가 증가함에 따라 AUROC는 기하급수적으로 1로 증가합니다.

정보 지향 렌즈

이 정보 이론적 결과는 LLM의 워터마크 디자인을 안내할 수 있는 Chernoff 정보라는 핵심 수량에 의존합니다. 실험적으로 단어 수준 탐지가 불가능했던 단어 수준 탐지가 단락 수준 탐지로 전환되면 탐지 가능해지는 것을 확인했습니다.

이론적 결과

이 정보 이론적 결과는 LLM의 워터마크 설계를 안내할 수 있는 Chernoff 정보라는 핵심 수량에 의존합니다. 우리는 AI 생성 텍스트 감지 가능성을 안내하기 위해 샘플 복잡성 범위를 도출했습니다.

경험적 증명

여러 데이터 세트에서 단락 수준 감지로 전환하면 단어 수준에서 감지할 수 없게 됩니다. 감지 길이를 늘리면 ZeroShot 감지 정확도가 크게 높아집니다.

결국 우리는 #LLM 의 오용을 처리하는 올바른 방법은 이를 금지하는 것이 아니라 수정하는 것이라고 믿습니다.

하지만 어린 시절에도 나는 지식이 위험하다면 무지가 해결책이라는 사실을 믿을 수 없었습니다. 나에게는 언제나 해결책은 지혜여야만 하는 것처럼 보였습니다. 당신은 위험을 바라보기를 거부한 것이 아니라 위험을 안전하게 처리하는 방법을 배웠습니다.

아이작 아시모프

참고: 이것이 첫 번째 단계이며 우리 연구에서는 혁신을 촉진하고 이러한 강력한 도구의 윤리적 사용을 보장하는 프레임워크와 지침을 개발하기 위한 지속적인 연구가 필요합니다.

게스트 기여자:

Souradip Chakraborty , Ph.D. 메릴랜드 대학교 대학원생, Amrit Singh Bedi , 연구 과학자, Sicheng Zhu, Bang An, Dinesh Manocha 및 Furong Huang은 정보 이론 렌즈를 통해 AI 생성 텍스트의 감지 가능성을 연구하고 있습니다. 이 기사에 표현된 모든 의견은 전적으로 저자의 의견입니다.