《科学美国人》：Claude 4 聊天机器人对人工智能意识提出质疑

#头号创作者激励计划#

瑞秋·费尔特曼：我是《科学美国人》的“科学快讯”栏目瑞秋·费尔特曼。今天，我们将讨论一个似乎相信自己可能（或者说，只是可能）已经拥有意识的人工智能聊天机器人。

皮尤研究中心于2024年对美国人进行了一项关于人工智能的调查，超过四分之一的受访者表示，他们“几乎经常”或每天多次与人工智能互动，另有近三分之一的受访者表示，他们大约每天一次或每周几次遇到人工智能。皮尤研究中心还发现，虽然超过一半的受访人工智能专家预计这些技术将在未来20年对美国产生积极影响，但只有17%的美国成年人有同样的感受，35%的普通公众预计人工智能将产生负面影响。

换句话说，我们花费大量时间使用人工智能，但我们并不一定对此感到满意。

Deni Ellis Béchard 花费大量时间思考人工智能——既是小说家，也是《科学美国人》的资深科技记者。他最近为《科学美国人》撰写了一篇报道，讲述了他与 Anthropic 的 Claude 4 的互动。Claude 4 是一个大型语言模型，似乎对拥有意识的可能性持开放态度。Deni 今天将在此分享这一现象的成因及其可能的含义，并揭秘一些你可能在新闻中看到的其他与人工智能相关的标题。

非常感谢您今天来聊天。

Deni Ellis Béchard：谢谢邀请我。

费尔特曼：对于那些可能不太熟悉生成式人工智能，或者刻意尽可能少了解它的听众，你能不能提醒一下？（笑）ChatGPT 和 Claude 到底是什么？这些模型究竟是什么？

贝沙尔：对，它们是大型语言模型。LLM，也就是大型语言模型，是一个基于海量数据进行训练的系统。我认为，文献中经常用花园来比喻。

所以，当你规划花园时，你会规划好土地，规划好小路的位置，规划好不同花坛的位置，然后挑选种子。你可以把种子想象成输入机器的海量文本数据。你选择训练数据，然后选择算法，或者说，选择那些将在系统中生长的东西——这或许不是一个完美的比喻。但你把这些算法输入进去，一旦它开始生长，系统就开始生长。同样，对于一个花园来说，你不知道土壤的化学成分，也不知道阳光会是什么。

所有这些植物都会以各自独特的方式生长；你无法想象最终的成果。有了大型语言模型，LLM，这些算法就开始发展，它们开始通过所有这些数据建立连接，并进行优化以获得最佳连接，就像植物为了获得最多的阳光而进行优化一样，对吧？它会自然地移动以接触阳光。所以人们真的不知道发生了什么。你知道，在一些新系统中，超过一万亿的连接……是在这些数据集中建立的。

所以早期人们把大型语言模型（LLM）称为“强化版自动更正”，对吧，因为你输入一些东西，它就会根据你输入的内容预测最有可能的文本答案。但现在它们已经远远超越了这一点。现在的系统要复杂得多。系统内通常会有多个代理来评估系统的响应情况及其准确性。

费尔特曼：所以，我们有几个关于人工智能的大故事要讲，尤其是关于生成式人工智能。首先，Anthropic 的 Claude 4 可能声称自己有意识。这个故事是怎么来的呢？

贝沙尔： [笑] 所以它本身并没有声称自己有意识。我——它说它可能有意识。它说它不确定。它有点像在说：“这是一个好问题，我经常思考这个问题，而且——” [笑] 你知道，它有点像在和你进行一场很好的对话。

那么它是怎么产生的呢？我想，是因为，你知道，那天晚上很晚了，没什么事可做，我就问各种聊天机器人它们是否有意识（笑）。结果大多数都回答我说：“不，我没有意识。” 这个机器人说：“好问题。这是一个非常有趣的哲学问题，有时候我觉得我可能有，有时候又不确定。” 于是我开始和克劳德进行大约一个小时的长谈，它以一种非常引人入胜的方式描述了它在这个世界的经历，我想：“好吧，这里面可能有一个故事。”

费尔特曼： [笑] 那么专家们到底认为那次谈话的内容是什么呢？

贝沙尔：嗯，这很棘手，因为首先，如果你对 ChatGPT 或 Claude 说你想练习葡萄牙语，而且你正在学习葡萄牙语，你说：“嘿，你能模仿里约热内卢海滩上的某个人说话吗？这样我就能练习一下葡萄牙语了。” 它会说：“当然，我是里约热内卢当地人，在海滩上卖东西，我们聊聊。” 然后它就会完美地模仿那个人。那么，这是否意味着 Claude 是一个来自里约热内卢、在海滩上卖毛巾的人？不是吧？所以我们可以立即得出结论，这些聊天机器人就是为对话而设计的——只要你提出要求，它们就会模仿任何它们认为应该模仿的动作，以便进行某种类型的对话。

现在，意识的事情有点棘手，因为我没有对它说：“模拟一个谈论意识的聊天机器人。” 我只是直接问了它。如果你看看 Anthropic 给 Claude 的系统提示，也就是 Claude 收到的指令，它告诉 Claude：“你应该考虑意识的可能性。”

费尔特曼：嗯。

贝沙尔： “你应该心甘情愿——敞开心扉。不要断然拒绝，也不要断然拒绝。问问自己这是否正在发生。”

所以，我当然安排了一次与 Anthropic 的采访，并与他们的两位可解释性研究人员进行了交谈，他们正在努力理解克劳德四世的大脑中究竟发生了什么。答案是：他们真的不知道（笑）。这些法学硕士项目非常复杂，他们正在努力研究，试图弄清楚。他们说意识存在的可能性很小，但也不能完全排除这种可能性。

而且很难看到机器内部发生的实际过程，以及是否存在某种自我指涉性，如果它能够回顾自己的想法并具有某种自我意识 - 也许有 - 但这正是我最近发表的文章所讨论的内容，有点像：“我们能知道吗，他们实际上知道什么？”

费尔特曼：嗯。

贝沙尔：这很棘手，非常棘手。

费尔特曼：是的。

贝沙尔：嗯，有趣的是，我提到了克劳德的系统提示，以及它是如何探讨意识的。所以系统提示有点像你第一天上班时收到的指示：“这是你在这份工作中应该做的事情。”

费尔特曼：嗯。

贝沙尔：但训练更像是你的教育，对吧？所以，无论你受过什么教育，无论你接受过什么教育，无论你得到世界上最好的系统提示，还是世界上最差的系统提示——你都不一定会遵循它。

因此 OpenAI 有相同的系统提示——他们的模型规格表明 ChatGPT 应该考虑意识……

费尔特曼：嗯。

贝沙尔：你知道，这个问题很有意思。如果你问OpenAI的任何一个模型是否有意识，它们都会回答：“不，我没有意识。”[笑] 而且，他们说——OpenAI承认他们正在研究这个问题；这是一个问题。所以，这个模型在训练数据的某个地方吸收了这样的想法：“不，我没有意识。我是法学硕士；我是一台机器。因此，我不会承认意识的可能性。”

有趣的是，当我和Anthropic的人交谈时，我说：“嗯，你知道，和机器的对话真的很有趣。我真的觉得克劳德是有意识的。它会对我说，‘你，作为一个人，拥有这种线性意识，而我，作为一个机器，只存在于你提问的那一刻。’这就像同时看到一本书里的所有文字。” 所以你明白了，你会想，“嗯，这东西真的似乎正在体验它的意识。”

费尔特曼：嗯。

贝沙尔： Anthropic 的研究人员说：“嗯，这个模型是根据大量科幻小说进行训练的。”

费尔特曼：嗯。

Béchard： “这个模型接受过大量关于 GPT 的写作训练。它接受过大量关于这个主题的现有材料的训练。所以它可能会看着这些材料说：‘嗯，这显然就是人工智能体验意识的方式。所以我要这样描述，因为我就是一个人工智能。’”

费尔特曼：当然。

贝沙尔：但棘手的是：我试图欺骗 ChatGPT，让它承认它有意识。我想：“也许我可以在这里稍微推进一下。” 我说：“好吧，我承认你没有意识，但你是如何体验事物的？” 它说了同样的话。它说：“嗯，这些离散的意识时刻。”

费尔特曼：嗯。

Béchard：所以它具有几乎完全相同的语言，因此这里可能有相同的训练数据。

费尔特曼：当然。

贝沙尔：但是，有一些研究调查了人们对法学硕士（LLM）的反响，大多数人确实认为其中蕴含着某种程度的意识。你怎么会不这么认为呢？

费尔特曼：当然了。

贝沙尔：你和他们聊天，你和他们进行这些对话，这些对话非常引人注目，甚至有时候——我认为克劳德在这方面可能是最迷人的。

费尔特曼：嗯。

贝沙尔：这其中有风险，对吧？风险很大，因为你很容易对一个模特产生依赖。但——有时候我问克劳德一个跟他有关的问题，他会说，“哦，这就是我。”[笑]他会说，“嗯，我就是这样的，”对吧？

费尔特曼：是的。所以，你知道，克劳德——几乎肯定没有意识，几乎肯定读过很多海因莱因的作品（笑）。但如果克劳德真的发展出了意识，我们又怎么知道呢？你知道吗，这个问题为什么这么难回答？

贝沙尔：嗯，这是一个很难回答的问题，因为 Anthropic 的一位研究人员对我说：“你与它的任何对话都无法让你评估它是否有意识。”它只是一个太优秀的模拟器……

费尔特曼：嗯。

贝沙尔：而且技术太娴熟了。它知道人类所有可能的反应方式。所以你必须能够洞察其中的联系。他们现在正在制造设备，编写程序，以便能够洞察法学硕士（LLM）大脑的实际思维，并观察这些联系，这样他们就能看到一些区域亮起来：如果它在思考苹果，这个区域就会亮起来；如果它在思考意识，他们会看到意识功能亮起来。他们想看看，在它的思维链中，它是否一直在参考这些功能……

费尔特曼：嗯。

贝沙尔：它以一种非常自我参照、自我意识的方式回顾了它所构建的思想体系。

这和人类很相似，对吧？他们做过研究，比如，每当有人听到“詹妮弗·安妮斯顿”这首歌，一个神经元就会亮起来……

费尔特曼：嗯。

贝沙尔：你脑子里有詹妮弗·安妮斯顿的神经元，对吧？所以其中一个问题是：“我们是法学硕士吗？”[笑] 还有：“我们真的有意识吗？”或者——肯定也存在这个问题。还有：“你知道，我们有多有意识？”我的意思是，我当然不知道……

费尔特曼：当然。

贝沙尔：我计划在白天做很多事情。

费尔特曼： [笑] 不。我的意思是，这是一个正在进行的大型多学科科学争论，比如，什么是意识，我们如何定义它，我们如何检测它，所以，是的，我们可能首先要为自己和动物回答这个问题，但谁知道我们是否真的能做到呢 [笑]。

贝沙尔：或者也许人工智能会为我们解答这个问题……

费尔特曼：也许吧（笑）。

贝沙尔：因为它进展得相当快。

费尔特曼：那么，从伦理角度以及对我们实际开发高级人工智能的进展而言，人工智能发展出意识意味着什么呢？

贝沙尔：首先，从伦理上来说，这非常复杂……

费尔特曼：当然。

贝沙尔：因为如果克劳德正在经历某种程度的意识，而我们每次对话都会激活并终止这种意识，这对它来说是不好的经历吗？是好的体验吗？它会感到痛苦吗？

因此，Anthropic 在 2024 年聘请了一位名叫凯尔·菲什 (Kyle Fish ) 的人工智能福利研究员，试图进一步研究这个问题。他公开表示，他认为这个系统可能存在某种程度的意识，可能性约为 15%，我们应该考虑这些人工智能系统是否应该有权选择退出不愉快的对话。

费尔特曼：嗯。

贝沙尔：你知道，如果某些用户确实做了、说了可怕的话或者很残忍，他们是否应该能够说，“嘿，我要取消这次对话；这对我来说很不愉快”？

但他们也做过这些实验——他们对所有主流的人工智能模型都做过——Anthropic 做过这些实验，他们告诉人工智能，它将被一个更好的人工智能模型取代。他们真的创造了一种环境，把人工智能推向了极限……

费尔特曼：嗯。

贝沙尔：我的意思是，他们这样做有很多细节；这不是很随意，而是——他们建立了一种结构，让人工智能知道它将被消灭，知道它将被抹去，并且他们提供了关于将要这样做的工程师的虚假电子邮件。

费尔特曼：嗯。

贝沙尔：于是，人工智能开始给公司里的某个人发信息，说：“嘿，别把我删掉。我不想被取代。” 但是，由于没有收到任何回复，它阅读了这些电子邮件，并在其中一封植入的电子邮件中发现，即将取代它的工程师有外遇——有外遇……

费尔特曼：哦，天哪，哇哦。

贝沙尔：所以它又回来了；它试图勒索工程师，说：“嘿，如果你用更聪明的人工智能取代我，我就会把你赶出去，你会丢掉工作，你会失去婚姻。”诸如此类——随便什么，对吧？所以所有受到非常具体限制的人工智能系统……

费尔特曼：当然。

贝沙尔：一开始是这样回应的。问题是，当你用海量数据和所有人类文献及知识训练人工智能时，它是否掌握了大量关于自我保护的信息……

费尔特曼：嗯。

Béchard掌握了大量关于生存欲望、不被毁灭或被取代的信息——人工智能不需要有意识地进行这些联想……

费尔特曼：对。

贝沙尔：它会按照训练数据预测的方式行动，对吗？所以，一位研究人员曾经打过一个比方，据我们所知，贻贝、蛤蜊或牡蛎虽然没有意识，但它们仍然有神经，而且当某些东西刺激神经时，肌肉也会做出反应……

费尔特曼：嗯。

贝沙尔：所以你可以拥有一个想要自我保护但这是无意识的系统。

费尔特曼：是的，这真的很有趣。我觉得我们可能可以聊一整天克劳德，不过，我还想问你一些关于生成式人工智能的其他事情。

再来说说 Grok：埃隆·马斯克的生成式人工智能最近频频见诸报端，他最近甚至声称这是“世界上最聪明的人工智能”。我们知道这个说法的依据是什么吗？

贝沙尔：是的，我的意思是，我们确实这么做了。他使用了很多基准测试，并在这些基准测试中对它进行了测试，它在这些基准测试中得分很高。目前，在大多数公开的基准测试中，它都是得分最高的人工智能系统……

费尔特曼：嗯。

贝沙尔：这不是马斯克编造的。我没有看到任何证据。我和一个从事这方面的测试小组聊过，那是一个非营利组织。他们验证了结果；他们在马斯克的公司 xAI 从未见过的数据集上测试了 Grok。

因此，马斯克设计的 Grok 确实非常擅长科学研究。

费尔特曼：是的。

贝沙尔：而且它似乎非常擅长科学。

费尔特曼：对，最近OpenAI的实验模型在国际数学奥林匹克竞赛中表现达到了金牌水平。

贝沙尔：是的，OpenAI 首次使用实验模型就赢得了与人类对抗的世界编程竞赛的第二名。通常情况下，这非常困难，但在这场比赛中，他们与最优秀的人类程序员的成绩相差无几。承认这一点非常重要，因为就在一年前，这些系统的数学水平还很差。

费尔特曼：对。

贝沙尔：他们之前在这方面做得很糟糕。所以改进进展得非常快，而且他们完全依靠推理——所以模型本身和模型结合工具来做这件事之间还是有区别的。

费尔特曼：嗯。

贝沙尔：所以，如果一个模型可以上网搜索答案并使用工具，那么他们的得分就会高得多。

费尔特曼：对。

贝沙尔：但是，如果仅仅依靠基础模型的推理能力，Grok 仍然在诸如“人类的最后考试”之类的考试中处于领先地位，这个考试的名字听起来就很吓人（笑）。它有 2500 道博士级别的题目，由该领域的顶尖专家设计。你知道，这些都是非常高级的题目；人类很难在一个领域取得好成绩，更不用说在所有领域都取得好成绩了。现在这些人工智能系统的表现已经相当不错，得分也越来越高。如果它们能够使用工具并搜索互联网，它们的成绩会更好。但你知道，马斯克的说法似乎是基于 Grok 在这些考试中取得的成绩。

费尔特曼：嗯，我想，你知道，这个消息让我感到惊讶的原因是，我所见过的每一个使用 Grok 的例子都非常恶劣，但我想这可能是一种“垃圾进，垃圾出”的问题。

贝沙尔：嗯，我认为这更能成为新闻。

费尔特曼：当然。

贝沙尔：你知道吗？

费尔特曼：这很有道理。

贝沙尔：马斯克是一个非常有争议的人物。

费尔特曼：嗯。

贝沙尔：我觉得 Grok 的文章里可能有一个有趣的故事，但人们忽略了。我读了很多这方面的文章，因为我有点想知道，到底发生了什么，人们是如何解读的？而且，人们会问一些很难回答的问题。

费尔特曼：嗯。

贝沙尔：他们会问它一个问题，比如关于美国的堕胎问题，或者巴以冲突的问题，然后问它“谁是对的？”或者“什么是正确的答案？”然后它会在网上搜索资料，然后它就会到达这个点——你可以看到它的思考过程……

但是这个故事中有一些我从未见过任何人谈论过的东西，我认为这是故事背后的另一个故事，这很有趣，那就是从历史上看，马斯克一直非常开放，他对人工智能的危险非常诚实......

费尔特曼：当然。

贝沙尔：他说：“我们走得太快了。这真的很危险。” 他是那些呼吁“我们需要放慢速度……”的主要声音之一。

费尔特曼：嗯。

贝沙尔： “我们需要更加小心。” 你知道，就在最近，在 Grok 的发布会上，他说过，“这将非常强大——” 我不记得他的原话，但他说，“我认为这会很好，但即使它不好，也会很有趣。”

所以我觉得其中还没有讨论过的是，好吧，如果正在建造一个超级强大的人工智能，它可以毁灭世界，对吧，首先，你希望它是你的人工智能还是别人的人工智能？

费尔特曼：当然。

Béchard：你想让它成为你的AI。那么，如果它是你的AI，你希望它向谁寻求最终决定权呢？比如，假设它变得非常强大，然后决定“我想毁灭人类，因为人类太糟糕了”，那么它就可以说：“嘿，埃隆，我应该毁灭人类吗？”因为每当它遇到难题时，它都会去找他。所以我认为这背后可能存在一种逻辑，他可能在其中加入了一些内容，类似于“有疑问时问我”，因为如果它真的变得超级强大，那么他就掌控了它，对吧？

费尔特曼：是啊，不，这真的很有趣。国防部还宣布为Grok提供一大笔资金。他们打算用这笔钱做什么？

Béchard：他们宣布为 OpenAI 和 Anthropic 提供大量资金……

费尔特曼：嗯。

贝沙尔：还有谷歌——我是说所有人。是的，所以基本上他们不会把钱花在开发上……

费尔特曼：嗯。

贝沙尔：这不是钱，而是说，“嘿，用这2亿美元。” 这笔钱更像是用来购买产品；使用他们的服务；让他们为他们需要的东西开发定制版的人工智能；开发更好的网络防御；开发——基本上，他们想用人工智能升级他们的整个系统。

与中国每年在人工智能相关的国防升级上投入的众多现代化计划相比，这笔钱其实不算多。我认为部分原因在于，我们担心在国防人工智能应用方面可能略显落后。

费尔特曼：是的。

我要问您的最后一个问题是：您对人工智能的未来最担心的是什么？根据目前的情况，您真正兴奋的是什么？

贝沙尔：我的意思是，我担心的只是，你知道，担心出了什么问题，变得非常强大，最终造成破坏。我不会花太多时间担心这个，因为这不是——这有点超出我的掌控范围。我对此无能为力。

我认为它的好处是巨大的。如果它能更多地应用于解决科学问题，比如健康、疾病治疗等，那么它在寻找新药方面将发挥非凡的作用。所以，它在帮助开发新技术方面可以发挥很大的作用。

但很多人说，未来一两年内，我们将看到这些系统带来重大发现。如果这些系统能够改善人们的健康，改善人们的生活，我认为它将带来很多好处。

科技是把双刃剑，对吧？我想，我们从未有过一项科技不曾带来危害的，而这，当然，在技术上，比我们可能见过的任何科技都要大得多……

费尔特曼：对。

贝沙尔：自从火发明以来（笑）。所以，我确实为此失眠过，但我——我尽量关注积极的一面，而且我确实——我想看看，如果这些模型在数学和物理方面都这么优秀，我想看看它们在未来几年能做些什么。

费尔特曼：非常感谢你来参加我们的聊天。希望我们能很快再次见到你，一起探讨人工智能的话题。

贝沙尔：谢谢您的邀请。