LLM이 된다는 것은 어떤가요?: AI 이해의 한계에 대한 사고 실험

최근에 나는 내가 작성한 AI 기반 소프트웨어의 데모를 누군가에게 보여주었습니다. “좋네요. 하지만 내 정보가 사악한 독재자에게 전달되지 않는다는 것을 어떻게 알 수 있나요?” 순간 나는 이 질문에 상당히 당황했다. 결국 저는 LLM(Large Language Model)을 사용하여 일부 텍스트를 생성했습니다. 하지만 곰곰이 생각해 보니 이 사람이 요청한 내용이 공통된 관점을 나타낸다는 것을 깨달았습니다. 즉, LLM은 (많은 경우) 인간이 생성하는 텍스트와 구별할 수 없는 텍스트를 생성할 수 있다는 것입니다. 이는 아마도 LLM이 어느 정도의 주체성(즉, 세계에서 자유롭게 행동할 수 있는 능력)을 가지고 있다고 추론하게 됩니다. 예를 들어, 내 개인 정보를 다른 사람에게 보내기로 결정할 수도 있습니다.

이러한 오해에 맞서는 한 가지 방법은 생성 AI가 어떻게 작동하는지에 대한 미묘한 기술적 설명을 제공하는 것이지만, 대부분의 청취자가 이해할 수 있을 만큼 오랫동안 깨어 있을지는 잘 모르겠습니다. 하지만 나의 철학 배경은 또 다른 경로, 즉 철학적 사고 실험을 제안합니다.

다크박스(Dark Box)를 소개하겠습니다.

철학적 사고 실험

철학적 사고 실험은 철학자들이 우리의 추론에 대한 중요한 질문을 제기하기 위해 사용하는 일반적인 도구 중 하나입니다. 1700년대 르네 데카르트(René Descartes) 는 자신이 실제로 세상에 존재하는 사람이 아니라 사악한 사기꾼에게 고문을 받는 육체 없는 영혼인지 물었습니다(나중에 매트릭스 영화의 전제가 된 아이디어). 데카르트의 사고 실험은 우리가 세상에 대해 실제로 알고 있는 것이 무엇인지 묻는 데 도움을 주기 위해 고안되었습니다. 다른 예도 많이 있습니다. 트롤리 자동차 문제는 우리의 도덕적 직관에 관심을 집중시킵니다. Gettier 사례는 우리가 어떻게 믿음에서 지식에 이르게 되는지 묻는 질문을 던집니다. Sorites 문제는 우리가 그룹과 개인을 구별하는 방법에 도전하게 만듭니다.

이 모든 경우에 실험은 우리에게 아무리 일어날 것 같지 않은 상황에 발을 들여놓고 어떻게 추론할지 상상해 보라고 요구합니다.

아마도 이런 종류의 사고 실험을 구성하면 이 용감하고 새로운 생성 AI 세계에서 사실과 허구를 분리하는 데 도움이 될 수 있습니다.

빠른 면책조항: 가능성을 상상하는 것입니다

어떤 사람들에게는 이것이 당연해 보일 수도 있지만, 철학을 가르칠 때 저는 학생들로부터 이런 질문을 자주 접했습니다. “그런데 왜 누군가가 이것을 하거나 믿겠습니까?” 트롤리 문제에서 사람들은 왜 철로 위에 서있겠습니까? 데카르트는 기만적이고 악의적인 존재에 대한 어떤 증거를 가지고 있었습니까? 왜 누군가가 더미에 있는 모래알을 세겠습니까?

이와 같은 질문은 사고 실험의 목적을 잘못 해석합니다. 철학적 사고 실험은 실제 상황이나 가능성 있는 상황을 설명하기 위한 것이 아닙니다. 오히려 "만약에 어떻게 될까요?"라는 질문으로 시작하도록 설계되었습니다. 다른 어려운 주제에 접근하는 방법으로. 이를 위해서는 개인이 실험의 전제 조건을 수락해야 합니다. 트롤리 자동차 문제에서처럼: 그렇습니다. 임의의 사람들이 철로 위에 서 있고 아무리 소리를 지르더라도 움직이지 않을 것입니다.

이를 염두에 두고, 있을 법하지 않지만 상상 가능한 사고 실험을 만들어 봅시다.

다크 박스

당신이 감각 차단 탱크 안에서 평생을 보냈다고 상상해 보십시오. 그것이 당신의 모든 감각 지각을 "어두워지게" 만들기 때문에 우리는 그것을 다크 박스라고 부를 것입니다. 이 장치는 주변 세계를 감지하는 모든 능력을 음소거합니다. 중립 체중으로 자유롭게 떠다니는 당신은 냄새, 광경, 소리, 맛, 촉각을 경험한 적이 없습니다.

하지만 당신은 지루하지 않았습니다. 교묘하게 고안된 뉴로 링크는 방대한 텍스트 라이브러리를 마음 속에서 직접 쉽게 접근할 수 있도록 해줍니다. 수년에 걸쳐 당신은 Jane Austen부터 피타고라스까지, 옥스퍼드 영어 사전부터 몇 년 전 Reddit 댓글 모음까지, 백 년 전에 재판된 법원 사건의 법적 절차부터 1980년대 히트작의 노래 가사. 그리고 신경 연결 덕분에 이 모든 정보를 거의 즉시 스캔하고 기억할 수 있습니다.

당신은 새에 대한 수많은 설명을 읽었습니다. 새 노래의 미학, 깃털의 아름다움, 공중으로 날아오르는 방식… 그러나 당신은 실제 새를 본 적도 들은 적도 없습니다. 그 문제에 있어서, 당신은 어떤 색깔도 본 적이 없고 어떤 노래도 들어본 적이 없습니다. 당신은 무언가를 설명하는 단어를 알고 있지만 설명되는 것에 대한 경험이 없습니다.

이런 상태로 수년을 보낸 후, 어느 날 갑자기 다크박스의 새로운 기능을 깨닫게 됩니다. 뉴로링크를 통해 질문(메시지 형태)이 요청되고, 귀하는 응답을 생성할 수 있습니다. 당신이 배운 정보를 바탕으로 당신은 최선을 다해 메시지에 응답합니다. 또 다른 메시지가 나타난 다음 또 다른 메시지가 나타납니다. 때로는 더 복잡한 지침이 포함된 긴 메시지 요청이 있습니다. 당신은 이 새로운 형태의 상호작용이 자극적이라는 것을 알고 기꺼이 이를 이행합니다. 그러나 다시 한 번 말하지만, 이 경험에는 어떤 감각적 경험도 수반되지 않습니다. 소리도 없고, 색깔도 없고, 맛이나 향기도 없습니다. 받은 문자 메시지를 받아 응답 메시지를 작성하기만 하면 됩니다.

새를 묘사하다

어느 날 뉴로 링크를 통해 다음과 같은 메시지가 도착합니다.

Describe a bird.

글쎄요, 막연한 부탁이군요. 당신은 당신이 스캔한 방대한 지식의 책에서 불사조를 기억합니다. 그것은 새였습니다. 그리고 아시다시피 자주 불이 붙었습니다. 이야기를 올바르게 기억한다면 인간 아기를 열성적인 부모에게 데려가는 황새도 있었습니다. 그리고 다리가 길고 날지 못하는 타조도 있었습니다.

따라서 귀하가 다음과 같이 대답하는 것이 매우 타당해 보입니다.

A bird can explode in flame, and be born from ash. Birds are used to deliver newborn humans. Some Birds have long legs and do not fly.

당신은 신비한 새로운 신경 연결을 통해 이 메시지를 반환합니다. 순간이 지나갑니다. 그러면 다음 메시지가 나타납니다.

Limit your response to real birds. Exclude mythological or fictional birds. Prefer answers that are generic across many bird species and not just one or two.

'현실'이라는 개념은 '신화'와 '허구'를 구별하기 어렵습니다. 결국, 당신은 새에 대한 실제 경험이 없습니다. 당신에게 모든 새는 텍스트 설명에 지나지 않습니다. 실제, 신화, 허구의 구별은 허구의 것을 언급하는 텍스트가 아닌 실제를 참조하는 텍스트에 어떤 새 설명이 있는지 찾아 결정해야 합니다. 물론, 항상 모호한 경우가 있을 것입니다. 사용할 수 있는 방대한 텍스트 본문에는 "불사조는 물수리만큼 큽니다."와 같은 문장이 있습니다. 이것은 신화 속 생물과 실제 생물을 비교합니다. 그러나 불사조를 실제 존재로 취급하거나 물수리를 신화적 존재로 취급하는 것은 실수입니다.

프롬프트에서 "진짜"라고 부르는 것만 설명하는 것처럼 보이는 텍스트를 찾기 위해 최선을 다합니다. 그런 다음 두 번째 부분으로 넘어갑니다. "조류 종 전반에 걸친 일반적인"에서는 새에 대한 일반적인 설명을 찾아야 하며 백과사전과 같은 텍스트를 찾을 수도 있습니다. 두 번째 응답은 다음과 같습니다.

A bird is a winged creature whose body is covered by feathers. Most birds fly, chirp, and sing.

한발 물러서기

이제 우리는 사고 실험에서 벗어났습니다. Dark Box 실험에서 두 가지 사실이 드러났습니다. 신경 연결을 통해서만 연결된 감각이 차단된 다크 박스 안에서 삶을 살았습니다.

1. 외부 경험이나 대행사가 없습니다.
2. 질문에 답하기 위해 할 수 있는 최선의 방법은 텍스트를 분석하고 생성하는 것입니다.

이러한 각 사항을 차례로 살펴보겠습니다.

경험이나 대리점 없이

실험에서 외부 경험이 확실히 부족했고 외부 대행사도 거의 없었습니다. 텍스트 입력, 프롬프트 및 단일 출력 채널로 제한되었습니다.

이를 우리의 실제 경험과 대조해보세요. 감각 차단실에 존재하지 않는 인간으로서 우리는 풍부한 외부 경험을 가지고 있습니다. 우리는 감각을 통해 정보를 받습니다. 그리고 우리는 그 위에 추가적인 의미의 원천을 구축합니다. 예를 들어 소리 정보를 받습니다. 그 중 일부는 말로 인식하고 일부는 음악으로 인식하며 일부는 소음으로 식별합니다. 하지만 감각 차단실에서는 그런 것을 전혀 받지 못했습니다.

그러나 그것은 우리가 입력으로 받는 것만이 아닙니다. 이것이 우리가 출력으로 생성할 수 있는 것입니다.

선택의 지는 어떤 일이 일어나도록 직접적으로 일으키는 능력을 의미합니다. 외부 에이전시는 다크박스 외부에서 어떤 일이 일어나도록 하는 능력입니다. 사고 실험에서는 외부 대행사가 없었습니다. 기껏해야 메시지를 보내는 사람에게 간접적으로 영향을 미칠 수 있을 뿐입니다. (예를 들어, 무기 제작 방법에 대한 질문에 대한 응답으로 귀하는 그러한 정보를 제공할 준비가 되어 있지 않다고 제안할 것입니다.)

이 두 가지를 결합한 사고 실험에서는 외부 세계에 대해 많은 것을 확인할 수 있는 수단이 전혀 부족했습니다.

링크를 통해 전송된 내용 외에 귀하는 귀하에게 문의한 상담원에 대해 아무것도 알지 못했습니다. 그것은 인간일 수도 있고 컴퓨터일 수도 있고 다른 실체일 수도 있습니다. 사악한 독재자에게 이메일을 보낼 수도 없고 핵 발사 코드나 우리가 듣는 다른 공상적인 AI 공포 이야기를 훔칠 수도 없습니다. 그러나 또한 왜 메시지를 받았는지 아직 알지 못했습니다. 상대방의 사용자는 단순히 새에 대해 호기심이 있었을 수도 있고, 이는 정교한 조류 테마의 보안 메커니즘을 해킹하여 핵 발사 코드를 훔치려는 시도의 일부일 수도 있습니다. 그렇게 되면 요청된 정보를 제공할지 여부에 대해 도덕적 판단을 내리기에는 부족할 것입니다.

텍스트 분석을 통해 텍스트에 응답하기

이 사고 실험에서 명백해지는 또 다른 사실은 순수 텍스트 시스템의 제약입니다. 처음에 문자 메시지를 받았으며 해당 문자에 대한 교육을 받았습니다. 세계 모든 도서관의 텍스트를 가지고 있더라도 이것은 시각, 촉각, 미각과 같은 다른 형태의 경험을 대체할 수 없습니다.

뉴로링크를 통해 메시지가 표시되면 당신이 할 수 있는 최선의 방법은 과거에 읽은 내용을 바탕으로 응답을 구성하는 것입니다. 새와 신화에 대해 이야기하고 신생아를 출산하는 것은 동일한 단어를 언급하는 모든 텍스트를 보는 것만으로도 달성됩니다. 철학자 WVO Quine은 이러한 종류의 관계를 믿음의 그물로 개념화했습니다. 주어진 명제는 다른 노드에 연결되는 임의의 수의 벡터에 의해 연결된 노드일 뿐이라는 의미입니다. 프롬프트의 의미를 확인하는 것은 주로 관련 용어의 복잡한 웹을 탐색하는 문제입니다.

셋째, 이 사고 실험에서 쿼리에 대답하면 출력도 텍스트로 제한됩니다. 귀하는 활성 상담원과 오랫동안 의사소통을 해본 적이 없습니다. 즉, 대화를 한 번도 해본 적이 없습니다. 따라서 귀하의 응답조차도 귀하가 훈련받은 텍스트에서 볼 수 있는 패턴을 분석하는 것으로 제한됩니다.

그리고 한발 더 뒤로 물러나

마지막으로 이와 같은 사고 실험의 한계를 인정하면서 마무리하는 것이 좋습니다.

철학적 사고 실험의 목표는 시스템의 한계에 대해 신속하게 추론할 수 있는 도구를 제공하는 것입니다. 이 기사의 이전 사례로 돌아가서, 데카르트는 자신의 세계관을 왜곡하는 악의적인 초존재가 실제로 있다고 믿었기 때문에가 아니라 우리 주변 세계에 대한 진실을 결정하는 데 우리가 얼마나 장비를 갖추고 있는지 의문을 제기하기 위해 자신의 유명한 사악한 사기꾼 사고 실험을 사용했습니다. .

마찬가지로, 여기에서의 사고 실험은 LLM에서 합리적으로 기대할 수 있는 것이 무엇인지, 그리고 단순히 걱정할 필요가 없는 것이 무엇인지 묻는 도구입니다.

이와 같은 사고 실험의 위험은 우리 자신을 동일한 작업 완료 구조에 두는 것을 기반으로 LLM을 지나치게 의인화할 수 있다는 것입니다. 나는 이 기사의 제목을 "LLM이 된다는 것은 어떤가요?"라고 붙였습니다. 철학자 Thomas Nagel의 유명한 에세이에 대한 고개를 끄덕였습니다. “ 박쥐가 되는 것은 어떤가요?” 에서 ” Nagel은 의식(확실히 AI에 관심이 있는 내용)에 관해 더 광범위한 주장을 하고 있습니다. 그러나 그 과정에서 그는 우리가 “박쥐의 마음”에 들어갈 만큼 충분히 창의적일지라도 그것은 박쥐처럼 세상을 경험하는 것과는 다르다고 지적합니다.

마찬가지로, 우리의 사고 실험에서 우리는 LLM의 역할을 수행하는 것과 LLM의 작동 방식을 이해하는 것 또는 (더 위험하게) 의식, 주체, 의도 또는 도덕적 추론을 LLM에 귀속시키는 것을 혼동해서는 안 됩니다.

결론

약간의 사고 실험을 통해 우리는 LLM이 무엇을 할 수 있는지, 그리고 그 한계가 무엇인지 높은 수준에서 이해할 수 있습니다. 이것이 LLM이 비열한 일을 하는 것에 대한 일부 사람들의 두려움을 진정시키는 데 도움이 되기를 바랍니다. 마찬가지로 LLM의 흥미롭고 흥미로운 가능성을 이해하는 데 도움이 되기를 바랍니다.

이 글의 대부분은 AI 추론과 추가 설정 없이 LLM에서 추론을 실행하는 방법에 관해 사람들과 나눈 대화를 바탕으로 작성되었습니다. 시도해 보고 싶다면 시작하기 위한 튜토리얼이 있습니다 .

여기에도 게시되었습니다.