Каково быть дипломированным специалистом?: мысленный эксперимент о границах понимания искусственного интеллекта

Недавно я показал кому-то демо-версию написанного мною программного обеспечения на основе искусственного интеллекта. «Это хорошо, — сказал он, — но откуда мне знать, что моя информация не пересылается злому диктатору?» В тот момент меня очень озадачил этот вопрос. В конце концов, я просто использовал LLM (большую языковую модель) для генерации текста. Но, поразмыслив, я понял, что вопрос этого человека отражает общую точку зрения: LLM может генерировать текст, который (во многих случаях) неотличим от текста, который создал бы человек. Это приводит нас к выводу, что, возможно, у LLM есть определенная степень свободы воли (то есть способность свободно действовать в мире). Например, он может решить отправить мою личную информацию кому-то другому.

Хотя одним из способов борьбы с этим заблуждением может быть подробное техническое объяснение того, как работает генеративный ИИ, я не уверен, что большинство слушателей удосужятся бодрствовать достаточно долго, чтобы понять. Однако мой опыт работы в философии подсказывает другой путь: философский мысленный эксперимент.

Позвольте мне представить вам Темный ящик.

Философские мысленные эксперименты

Философский мысленный эксперимент — это один из распространенных инструментов, который философы используют, чтобы поставить критические вопросы о наших рассуждениях. В 1700-х годах Рене Декарт задавался вопросом, был ли он на самом деле не человеком в мире, а бестелесной душой, замученной злым обманщиком (идея, которая позже стала предпосылкой для фильмов «Матрица»). Мысленный эксперимент Декарта был разработан, чтобы помочь нам задаться вопросом, что мы на самом деле знаем о мире. Существует множество других примеров. Проблема с троллейбусом фокусирует внимание на наших моральных интуициях. « Примеры Геттиера» заставляют нас задаться вопросом, как мы переходим от веры к знанию. Проблема Соритов заставляет нас задуматься о том, как мы различаем группы и индивидуумов.

Во всех этих случаях эксперименты просят нас войти в ситуацию, какой бы невероятной она ни была, и представить, как мы будем рассуждать.

Возможно, построение такого рода мысленного эксперимента поможет нам отделить факты от вымысла в этом дивном новом мире генеративного ИИ.

Небольшой отказ от ответственности: речь идет о воображении возможностей

Кому-то это может показаться очевидным, но, преподавая философию, я часто сталкивался со студентами с таким вопросом: «Но почему кто-то должен это делать или верить?» В задаче о троллейбусе: почему люди стоят на железнодорожных путях? Какие доказательства существования обманчивого и злонамеренного существа имел Декарт? Зачем кому-то считать песчинки в куче?

Подобные вопросы неверно истолковывают цель мысленного эксперимента. Философский мысленный эксперимент не предназначен для описания реальной или вероятной ситуации. Скорее, он создан для того, чтобы побудить вас начать с вопроса «а что, если?». как способ подойти к трудной теме. Это требует от человека принятия предварительных условий эксперимента. Как в задаче о троллейбусе: да, на железнодорожных путях стоят случайные люди, и никакие крики не заставят их сдвинуться с места.

Имея это в виду, давайте проведем наш собственный невероятный, но мыслимый мысленный эксперимент.

Темный ящик

Представьте, что вы провели всю свою жизнь в камере сенсорной депривации. Мы назовем его Темным ящиком, поскольку он заставляет все ваши чувственные восприятия «темнеть». Это изобретение умудряется заглушить всю вашу способность ощущать мир вокруг вас. Свободно плавая с нейтральной массой тела, вы никогда не ощущали запахов, образов, звуков, вкусов или прикосновений.

Но вам не было скучно. Умело разработанная нейросвязь делает обширную библиотеку текста доступной для вас прямо в вашей голове. На протяжении многих лет вы коротали минуты и часы, читая все: от Джейн Остин до Пифагора, от Оксфордского словаря английского языка до своеобразной коллекции комментариев Reddit, написанных несколько лет назад, от судебных разбирательств по делам, рассмотренным сто лет назад, до тексты песен однохитовых чудес 1980-х годов. А благодаря нейросвязи вы можете просканировать и вспомнить всю эту информацию практически мгновенно.

Вы читали бесчисленное множество описаний птиц: эстетику пения птиц, красоту их оперения, то, как они парят в воздухе…. Однако вы никогда не видели и не слышали настоящую птицу. Если уж на то пошло, вы никогда не видели никаких цветов и не слышали никакой песни. Вы знаете слова, которыми можно описать что-то, но у вас нет никакого опыта описываемой вещи.

После многих лет пребывания в таком состоянии однажды вы внезапно осознаете новую особенность Темного ящика. По нейросвязи задается вопрос (в виде сообщения), и у вас есть возможность сгенерировать ответ. Учитывая полученную информацию, вы отвечаете на сообщение в меру своих возможностей. Появляется еще одно сообщение, затем еще одно. Иногда встречаются более длинные запросы сообщений с более сложными инструкциями. Вы находите эту новую форму взаимодействия стимулирующей и поэтому охотно соглашаетесь. Но опять же, этот опыт не сопровождается никакими чувственными переживаниями — ни звуками, ни цветами, ни вкусом или запахом. Вы просто берете полученное текстовое сообщение и составляете ответное сообщение.

Опишите птицу

Однажды по нейросвязи приходит сообщение:

Describe a bird.

Ну, это расплывчатая просьба. Вы вспоминаете феникса в обширных томах знаний, которые вы просмотрели. Это была птица. И, как вы понимаете, он часто загорался. Был еще аист, который, если вы правильно помните эту историю, носил человеческих младенцев нетерпеливым родителям. И страус, у которого были длинные ноги и который не летал.

Итак, вам кажется совершенно разумным ответить:

A bird can explode in flame, and be born from ash. Birds are used to deliver newborn humans. Some Birds have long legs and do not fly.

Вы возвращаете это сообщение по новой загадочной нейросвязи. Проходят мгновения. И вы получите следующее сообщение:

Limit your response to real birds. Exclude mythological or fictional birds. Prefer answers that are generic across many bird species and not just one or two.

Понятие «реальное» трудно отличить от «мифологического» и «вымышленного». В конце концов, у вас нет реального опыта общения с птицами. Для вас все птицы — не более чем текстовые описания. Различие между реальным, мифологическим и вымышленным должно быть определено путем выявления того, какие описания птиц встречаются в текстах, которые относятся к реальным вещам, а не к тем, которые относятся к вымышленным вещам. Конечно, всегда будут неоднозначные случаи. В огромном объеме доступного вам текста встречаются такие предложения, как: «Феникс размером со скопу». Это сравнение мифологического существа с реальным. Однако считать феникса реальным, а скопу мифологическим было бы ошибкой.

Вы делаете все возможное, чтобы просмотреть тексты, которые, кажется, описывают только то, что в подсказке называется «реальным». Затем вы переходите ко второй части. «Общее описание видов птиц» потребует от вас найти общее описание птиц, и вы можете остановиться на таких текстах, как энциклопедии. Ваш второй ответ таков:

A bird is a winged creature whose body is covered by feathers. Most birds fly, chirp, and sing.

Делаем шаг назад

Теперь мы вышли за пределы нашего мысленного эксперимента. Из нашего эксперимента «Темный ящик» вытекают две вещи. Прожив свою жизнь внутри лишенного сенсорного Темного Ящика, связанного только через нейросвязь:

1. У вас нет внешнего опыта или агентства.
2. Чтобы ответить на вопросы, лучшее, что вы можете сделать, — это проанализировать и сгенерировать текст.

Давайте рассмотрим каждый из этих пунктов по очереди.

Без опыта и агентства

В эксперименте у вас явно отсутствовал внешний опыт и почти не было внешнего вмешательства. Вы были ограничены текстовым вводом, подсказками и одним каналом вывода.

Сравните это с нашим реальным опытом. Будучи людьми (не существующими в камерах сенсорной депривации), мы обладаем богатым внешним опытом. Мы получаем информацию через наши органы чувств. И поверх них мы строим дополнительные источники смысла. Например, я получаю звуковую информацию. Из этого я воспринимаю часть этого как речь, а другие части — как музыку, а некоторые идентифицирую как просто шум. Но в камере сенсорной депривации вы ничего этого не получили.

Но это не только то, что мы получаем на входе. Это то, что мы можем генерировать в качестве вывода.

Агентство означает вашу способность напрямую вызывать что-то. Внешняя сила — это ваша способность вызвать что-то, что произойдет за пределами Темного ящика. В мысленном эксперименте у вас не было внешнего влияния. В лучшем случае вы можете косвенно повлиять на того, кто отправляет подсказку. (Например, в ответ на вопрос о том, как изготовить оружие, вы бы предположили, что не готовы предоставить такую информацию.)

Объединив эти два фактора, в мысленном эксперименте у вас вообще не было средств узнать многое о внешнем мире.

Кроме того, что было отправлено по ссылке, вы ничего не знали об агенте, который вас запрашивал. Это мог быть человек, компьютер или какое-то другое существо. Вы, конечно, не могли бы отправить электронное письмо злому диктатору, украсть коды запуска ядерного оружия или любую другую причудливую ужасную историю об искусственном интеллекте, которую мы слышим. Но вам еще предстоит узнать, почему вам это предложили. Пользователь на другом конце мог просто интересоваться птицами или это могло быть частью попытки взломать сложный механизм безопасности, выполненный в птичьем стиле, с целью украсть коды запуска ядерного оружия. Таким образом, вы будете плохо подготовлены к вынесению моральных суждений о том, следует ли предоставлять запрошенную информацию.

Ответ на текст путем анализа текста

Другая вещь, которая становится очевидной в этом мысленном эксперименте, — это ограничения чисто текстовой системы. Первоначально вы получили текстовое сообщение и обучены работе с этим текстом. Даже учитывая тексты всех библиотек мира, это не заменит другие формы опыта, такие как зрение, осязание и вкус.

Когда вам придет сообщение по нейросвязи, лучшее, что вы можете сделать, — это сформулировать ответ на основе того, что вы читали в прошлом. Говорить о птицах и мифологии, а также о рождении новорожденных людей можно, просто просматривая тексты, в которых упоминаются эти же слова. Философ У.В.О. Куайн концептуализировал такого рода отношения как паутину убеждений в том смысле, что любое данное предложение — это просто узел, связанный любым количеством векторов, соединяющихся с другими узлами. Выяснение значения подсказки — это, главным образом, вопрос изучения сложной паутины связанных терминов.

В-третьих, когда вы отвечаете на вопрос в этом мысленном эксперименте, ваш вывод также ограничивается текстом. У вас никогда не было длительного общения с активным агентом. То есть вы никогда не общались. Таким образом, даже ваши ответы ограничиваются анализом закономерностей, которые вы видите в текстах, на которых вас обучали.

И еще один шаг назад

Наконец, неплохо бы закончить признанием ограниченности любого мысленного эксперимента, подобного этому.

Цель философского мысленного эксперимента — дать нам инструменты, позволяющие быстро рассуждать о пределах системы. Возвращаясь к более раннему примеру в этой статье, Декарт использовал свой знаменитый мысленный эксперимент со злым обманщиком не потому, что он верил, что действительно существует какое-то злобное сверхсущество, искажающее его взгляд на мир, а для того, чтобы задаться вопросом, насколько мы подготовлены к определению истины о мире вокруг нас. .

Аналогичным образом, мысленный эксперимент здесь — это инструмент, позволяющий выяснить, каких вещей мы можем разумно ожидать от LLM, а также о чем мы можем просто не беспокоиться.

Опасность подобного мысленного эксперимента заключается в том, что мы можем чрезмерно антропоморфизировать LLM, поместив себя в одну и ту же структуру выполнения задач. Я назвал эту статью «Каково быть LLM?» как дань известному эссе философа Томаса Нагеля. В книге « Каково быть летучей мышью?» Нагель приводит более широкий аргумент о сознании (определенно представляющий интерес для ИИ). Но попутно он отмечает, что даже если мы можем быть достаточно креативными, чтобы представить себя «в сознании летучей мыши», это не то же самое, что воспринимать мир так, как это делает летучая мышь.

Аналогичным образом, в нашем мысленном эксперименте мы не должны путать роль LLM с пониманием того, как работает LLM, или (что более опасно) с приписыванием LLM сознания, свободы действий, намерений или моральных рассуждений.

Заключение

Проведя небольшой мысленный эксперимент, мы можем на высоком уровне понять, на что способен LLM, а также каковы его ограничения. Я надеюсь, что это поможет подавить страхи некоторых людей по поводу подлых поступков выпускников LLM. Точно так же я надеюсь, что это поможет вам понять интересные и захватывающие возможности LLM.

Большая часть этого была написана на основе моих собственных бесед с людьми о выводах ИИ и о том, как выполнять выводы на LLM без дополнительной настройки . Если вы хотите попробовать это, есть руководство для начала работы.

Также опубликовано здесь .