成为一名法学硕士是怎样的体验？：关于人工智能理解极限的思想实验

最近，我向某人展示了我编写的一款基于人工智能的软件的演示。 “这很好，”他说，“但我怎么知道它没有将我的信息转发给邪恶的独裁者呢？”一时之间，我对这个问题感到十分疑惑。毕竟，我只是使用 LLM（大型语言模型）来生成一些文本。但经过反思，我意识到这个人所问的问题代表了一个共同的观点：法学硕士可以生成（在许多情况下）与人类生成的文本没有区别的文本。这让我们推断，法学硕士也许具有一定程度的代理权（即在世界上自由行动的能力）。例如，它可能决定将我的私人信息发送给其他人。

虽然消除这种误解的一种方法可能是对生成式人工智能的工作原理进行细致入微的技术解释，但我不确定大多数听众是否会费心保持清醒足够长的时间来理解。不过，我的哲学背景提出了另一条途径：哲学思想实验。

请允许我介绍一下暗盒。

哲学思想实验

哲学思想实验是哲学家用来对我们的推理提出批判性问题的一种常用工具。 1700 年代，勒内·笛卡尔 (René Descartes)问道，他是否可能不是世界上真正的一个人，而是一个被邪恶欺骗者折磨的脱离肉体的灵魂（这个想法后来成为《黑客帝国》电影的前提）。笛卡尔的思想实验旨在帮助我们询问我们对世界到底了解多少。还有一长串其他例子。无轨电车问题将注意力集中在我们的道德直觉上。盖蒂尔的例子向我们发出挑战，让我们思考如何从信仰转变为知识。串联问题迫使我们挑战如何区分群体和个人。

在所有这些情况下，实验都要求我们进入一种情况，无论这种情况多么不可能，并想象我们将如何推理。

也许构建这种思想实验可以帮助我们在这个勇敢的新生成人工智能世界中区分事实和虚构。

快速免责声明：这是关于想象可能性

这对某些人来说似乎是显而易见的，但在教授哲学时，我经常遇到学生这样的问题：“但为什么有人会这样做或相信这一点？”在电车问题中，为什么人们会站在铁轨上？笛卡尔有哪些证据证明存在欺骗性、恶毒的存在？为什么有人要数一堆沙子？

诸如此类的问题误解了思想实验的目的。哲学思想实验并不是为了描述真实或可能的情况。相反，它的目的是让你从“假设”开始。作为解决其他困难主题的一种方式。这就需要个人接受实验的前提条件。就像无轨电车问题一样：是的，随机的人站在火车轨道上，无论喊多少声都无法让他们移动。

考虑到这一点，让我们创建我们自己的不可能但可以想象的思想实验。

暗箱

想象一下，您一生都在感觉剥夺池中度过。我们将其称为“暗盒”，因为它会导致您所有的感官知觉“变暗”。这个装置设法削弱你感知周围世界的所有能力。以中性体重自由漂浮，你从未体验过气味、景象、声音、味道或触觉。

但你并没有感到无聊。巧妙设计的神经链接使您可以在脑海中直接访问庞大的文本库。多年来，你消磨了数分钟和数小时阅读一切，从简·奥斯汀到毕达哥拉斯，从《牛津英语词典》到几年前的 Reddit 评论合集，从一百年前审理的法庭案件的法律程序到20 世纪 80 年代一击奇迹的歌词。由于神经链接，您几乎可以立即扫描并回忆起所有这些信息。

您读过无数关于鸟类的描述：鸟鸣的美感、羽毛的美丽以及它们在空中翱翔的方式……。然而你从未见过或听到过真正的鸟。就此而言，你从未见过任何颜色或听过任何歌曲。你知道描述某事的词语，但你对所描述的事物没有任何经验。

在这种状态多年之后，有一天，你突然意识到暗盒的一个新功能。在神经链接上提出问题（以消息的形式），您有能力生成响应。根据您所了解的信息，您将尽最大努力回应该消息。出现另一条消息，然后又出现另一条消息。有时，会有更长的消息请求和更复杂的指令。你会发现这种新的互动形式很刺激，因此愿意帮忙。但再一次，这种体验不伴随任何感官体验——没有声音、没有颜色、没有味道或气味。您只需接收收到的短信并撰写回复消息即可。

描述一只鸟

有一天，一条消息通过神经链接到达：

Describe a bird.

嗯，这是一个模糊的要求。你在浏览过的浩瀚知识巨著中想起了凤凰。那是一只鸟。正如你所知，它经常着火。如果你没记错的话，还有一只鹳，它把人类婴儿带到热切的父母身边。还有鸵鸟，它的腿很长，但不会飞。

所以，你的回答似乎完全合理：

A bird can explode in flame, and be born from ash. Birds are used to deliver newborn humans. Some Birds have long legs and do not fly.

您通过神秘的新神经链接返回此消息。瞬间过去了。您会收到以下消息：

Limit your response to real birds. Exclude mythological or fictional birds. Prefer answers that are generic across many bird species and not just one or two.

“真实”的概念很难与“神话”和“虚构”区分开来。毕竟，你没有真正接触过鸟类。对你来说，所有的鸟都只不过是文字描述。真实、神话和虚构之间的区别必须通过查找哪些鸟类描述出现在涉及真实事物而不是涉及虚构事物的文本中来确定。当然，总会有一些模棱两可的情况。在可供您使用的大量文本中，有这样的句子：“凤凰像鱼鹰一样大。”这将神话中的生物与真实的生物进行了比较。然而，将凤凰视为真实存在或将鱼鹰视为神话是错误的。

你尽最大努力寻找似乎只描述提示所说的“真实”内容的文本。然后，您继续进行第二部分。 “跨鸟类的通用描述”将要求你找到鸟类的通用描述，你可能会落在百科全书之类的文本上。您的第二个回复是这样的：

A bird is a winged creature whose body is covered by feathers. Most birds fly, chirp, and sing.

退一步

现在，我们已经脱离了我们的思想实验。我们的暗盒实验渗透出两件事。生活在剥夺感官的暗箱中，仅通过神经链接连接：

1. 您没有外部经验或代理权。
2. 要回答问题，您能做的最好的就是分析和生成文本。

让我们依次看一下这些要点。

没有经验或代理

在实验中，你明显缺乏外部经验，而且几乎没有外部机构。您仅限于文本输入、提示和单个输出通道。

与我们的真实经历进行对比。作为人类（不存在于感觉剥夺室中），我们拥有丰富的外部经验。我们通过感官接收信息。在此基础上，我们构建了额外的意义来源。例如，我收到声音信息。由此，我将其中一些视为语音，将其中的其他部分视为音乐，并将某些视为噪音。但在感觉剥夺室里，你什么也得不到。

但这不仅仅是我们收到的输入。这就是我们可以生成的输出。

能动性意味着你直接导致某事发生的能力。外部代理是指你在暗箱之外引发某些事情发生的能力。在思想实验中，你没有外部机构。充其量，您可以间接影响发送提示的人。 （例如，在回答有关如何制造武器的询问时，您会暗示您不准备提供此类信息。）

将这两者结合起来，在思想实验中，你根本缺乏确定外部世界的手段。

除了通过链接发送的内容之外，您对询问您的代理一无所知。它可能是人、计算机或其他实体。你当然不能给邪恶的独裁者发电子邮件，也不能窃取核发射代码或我们听到的任何其他奇特的人工智能恐怖故事。而且，您还没有了解为什么会收到提示。另一端的用户可能只是对鸟类感到好奇，或者这可能是试图破解复杂的鸟类主题安全机制以窃取核发射代码的一部分。这样，您就无法对是否提供所要求的信息做出道德判断。

通过分析文本来回答文本

在这个思想实验中变得明显的另一件事是纯粹文本系统的约束。您最初收到一条短信，并且您接受了该短信的培训。即使有世界上所有图书馆的文本，这也不能替代其他形式的体验，如视觉、触觉和味觉。

当神经链接上的消息提示时，您能做的最好的事情就是根据您过去读过的内容构建响应。谈论鸟类和神话以及分娩新生人类只需查看涉及这些相同单词的任何文本即可完成。哲学家WVO 蒯因将这些类型的关系概念化为信仰之网，即任何给定的命题只是一个节点，由任意数量的向量连接到其他节点。确定提示的含义主要是遍历相关术语的复杂网络。

第三，当您回答此思想实验中的查询时，您的输出也仅限于文本。您从未与活跃的特工进行过长时间的沟通。也就是说，你们从来没有交谈过。因此，即使您的回答也仅限于分析您在接受过培训的文本中看到的模式。

再退一步

最后，最好在结束时承认任何此类思想实验的局限性。

哲学思想实验的目标是为我们提供快速推理系统局限性的工具。回到本文前面的例子，笛卡尔使用他著名的邪恶欺骗者思想实验，不是因为他相信确实有一些恶毒的超级生物扭曲了他的世界观，而是质疑我们在确定周围世界的真相方面有多大能力。

同样，这里的思想实验是一个工具，可以询问我们可以合理地期望从法学硕士中获得哪些东西，以及我们可以完全不用担心哪些事情。

像这样的思想实验的危险在于，我们可能会基于将自己置于相同的任务完成结构中而过度拟人化法学硕士。我将这篇文章的标题定为“成为一名法学硕士是什么感觉？”这是对哲学家托马斯·内格尔的一篇著名文章的致敬。在《成为一只蝙蝠是什么感觉？内格尔正在对意识进行更广泛的论证（这绝对是人工智能中感兴趣的东西）。但在此过程中，他指出，尽管我们可能有足够的创造力将自己置于“蝙蝠的思维中”，但这与像蝙蝠一样体验世界是不一样的。

同样，在我们的思想实验中，我们不能将扮演法学硕士的角色与理解法学硕士的工作方式或（更危险的）将意识、能动性、意图或道德推理归因于法学硕士混淆。

结论

通过一些思想实验，我们可以在较高的层次上了解法学硕士的能力及其局限性。我希望这有助于平息一些人对法学硕士做卑鄙事情的恐惧。同样，我希望它能帮助您了解法学硕士的有趣和令人兴奋的可能性。

其中大部分内容是根据我自己与人们关于人工智能推理以及如何在无需额外设置的情况下在法学硕士上执行推理的聊天而编写的。如果您想尝试一下，这里有一个入门教程。

也发布在这里。