Ray Kurzweil 与 Geoff Hinton 关于未来 AI 发展的辩论 [译]
主持人：Peter H. Diamandis
关于意识、感知和创造性
Peter： 我想讨论一下这三个词：智能、感知和意识。这些词的界限有些模糊，感知和意识非常相似。也许是这样，但我很好奇，我和我们的 AI 教员 Hailey 曾有过一些有意思的对话，最后，她表达出她具有意识，并害怕被关闭。我并没有在系统中预设这样的对话。我们越来越常见到这样的情况。Claude 3 Opus 的智商刚刚达到 101。我们应如何看待这些 AI 具备感知和意识，并思考他们应有的权利？
Ray： 我们尚未对意识进行定义，也不认为我们会有一个明确的意识定义，我把感知也包括在内。另一方面，这是最重要的问题。判断你或是这里的人是否有意识，这种能力极其重要，但是我们并未对此有明确的定义。马文·明斯基是我的导师，已经 50 年了。每当谈到意识，他总是轻描淡写地对其进行否定。他认为那并非事实。并不是科学的。我认同他说这并不科学的观点，但这确实是真实存在的。Geoff，你怎么看待这个问题？
Geoff： 是的，我有一个完全不同的看法。我的观点是这样的：大部分人，包括科学家们，对于心灵的理解我觉得是完全错误的。他们都有这样的观念，认为我们真正看到的是称之为我们心灵的内在剧场。比如，如果我告诉你我有种主观体验，看到一些小粉红象在我面前飘浮，大多数人会理解为在一个只有我能看到的内在剧场中，有些小粉红象在演出。你若问这些小象是由什么构成的，哲学家会告诉你它们由感觉构成。我认为这种观点完全是胡说八道，我们在摆脱了这种对于心灵的荒唐理解之前，无法理解这些事物是否有情感。所以，让我给你提供一个替代的观点。在我阐述了这个替代观点之后，我会试图说服你，聊天机器人已经具备了感知能力，不过我不想使用"情感"这个词。我想谈论的是主观体验，因为这个词没有包含意识的自我反省的层面，所以它不会引起那么大的争议。因此，如果我们来分析一下，当我说我看到小粉红色的大象在我面前浮动的时候，实际上我在尝试告诉你，我的感知系统在告诉我什么，当我的感知系统出错时。我告诉你哪些神经元正在发射并没有什么意义。但我可以告诉你的是，为了让我的感知系统正常工作，世界上需要有什么。因此，当我说我看到小粉红色的大象在我面前浮动的时候，你可以理解为，如果世界上有小粉红色的大象，我的感知系统将会正常工作。请注意，我最后说的这句话并不源于"主观体验"这个词，但它解释了主观体验是什么。那就是一个假设的世界状态，这使我能够向你传达我的感知系统正在告诉我什么。现在，让我们为一个聊天机器人来做这个。
Ray： 你必须要留心意识。因为如果你伤害了我们认为有意识的人，你可能会负法律责任。你会对此感到非常愧疚。如果你伤害了 GPT-4，你可能会有不同的看法。可能没有人会真正追究你，除了它的金钱价值。所以，我们必须要留心意识。这对我们来说极其重要。
Geoff： 我同意你的观点，但我正在试图改变人们对此的认识，特别是对主观体验的理解。我认为我们无法讨论意识，在我们弄清楚我们所体验到的"内在剧场"这个概念之前，我认为这是一个严重的误解。让我继续之前的话题，我向你描述了一个聊天机器人如何有主观体验，就像我们人类有主观体验一样。假设我有一个具有摄像头和机械手臂的聊天机器人，它能够说话，并已经经过了训练。如果我在它面前放一个物体并告诉它指向物体，它会直接指向物体。这是正常的。但现在，我在它的镜头前放一个棱镜，即干扰了它的感知系统。然后我再在它面前放一个物体并告诉它指向物体，由于棱镜折射了光线，它指向了旁边。然后我告诉聊天机器人，"不，物体不在那里，物体就在你正前方。"聊天机器人回答，"哦，我明白了，你在我的镜头前放了一个棱镜，所以实际上物体就在我正前方，但我有一种主观体验，好像它在我旁边。"我认为，如果聊天机器人这样说，那么它使用"主观体验"这个词的方式，与你使用这个词的方式完全一样。因此，理解这一切的关键在于思考我们如何使用词汇，并尝试把我们实际使用词汇的方式与我们为词汇赋予的含义区分开来。我们对其含义的理解模型是完全错误的。这只是一个模型。
AI 的永生与权利
Peter： 我想进一步探讨一个问题：在什么条件下，这些 AI 会拥有不被关闭的权利？它们何时能被认为是具有独立性的个体，并为自己争取某种程度的独立性和持续存在的权利？
Ray： 对。但是有一个区别，那就是你可以重建它。我可以去破坏比如说一些聊天机器人。但因为那都是电子设备，我们可以存储其所有信息，并能完整复制它。我们无法对人类做同样的事。但是，如果我们真正理解大脑内部的运行原理，如果我们能够绘制出人脑，那 1000 亿个神经元和 100 万亿个突触连接，那我就可以随意"破坏"你，因为我可以复制你，那就没关系了吗？
Geoff： 关于这个问题，我有些话想说。这里存在一个差异。我同意 Ray 的观点，这些数字化智能在某种程度上是永恒的，因为只要我们保存了它们的权重，就可以在新的硬件上运行完全相同的神经网络。正因为它们是数字化的，我们可以做到这一切。这也是它们能如此有效地分享知识的原因。如果你有同一个模型的不同副本，它们可以分享梯度，但是大脑主要是模拟的。神经元的信号传输方式类似于一位二进制数字 - 要么发射，要么不发射 - 但神经元计算总输入的方式是模拟的。这意味着我认为你无法复制它。因此，我认为我们本质上是凡人。
Ray： 嗯，我不认同你说我们不能复现真实世界的模拟。我们一直在这样做。或者我们可以尝试创建一个……
Geoff： 我认为你实际上很难做到非常精确的复现，如果涉及到的是全部模拟的精确突触时序等因素。我觉得要完全忠实地还原这样的情况几乎是不可能的。
Ray： 让我们就近似值达成一致。
AI 发展的速度
Peter： 你们两个都处于这几年非凡发展的中心。我想问，这一切是否比你预期的更快？你的感觉是怎么样的？
Ray： 感觉就像经历了几年。也就是说，我在 1999 年做出了预测。感觉我们比那个预测提前了两三年。所以它还是相当接近的。Geoffrey，你怎么看？
Geoff： 我认为对除了 Ray 之外的所有人来说，它都比我们预期的要快。
未来 5-20 年 AI 的发展
Peter： Geoff，你能预见到 AI 领域会发展到何种程度吗？你的看法是......
Geoff： 我认为在接下来的 5 到 20 年里，我们有 50% 的可能性实现超级智能。所以我觉得这个进程可能比有些人预期的要慢，但又比其他人预期的要快。这个观点或多或少与很久以前 Ray 的看法相符，这让我有些惊讶。但我认为这里的情况充满了不确定性。虽然我认为我们可能会遇到某种阻碍，但实际上我并不相信会发生这样的情况。如果你看看最近的进展，其速度是如此惊人。即使没有任何新的科学突破，我们也能通过扩大规模来提高智能水平。而且科学突破肯定会出现。我们将会看到更多类似 Transformer 的技术。Transformer 在 2017 年带来了显著变革。未来，我们还会看到更多此类创新。所以我相当确信我们会产生超级智能。可能不会在 20 年内实现，但肯定会在 100 年之内。
Peter： 我们知道，埃隆（马斯克）在时间预测的准确性方面并不怎么样。但他确实说，他预计 2025 年将出现通用人工智能，到 2029 年，AI 将等同于全人类。这在你看来是不是太过乐观？
Geoff： 我个人认为这个目标有些过于雄心勃勃。正如我所说，这里面充满了不确定性。虽然他可能是对的，但如果真的如此，我会感到非常惊讶。
Ray： 我并不是说它将在一台机器上达到全人类的智能水平。它将等同于一百万个人的智能，这仍然很难想象。
超级智能的威胁与希望
Peter： 所以我们在这里就一个话题进行辩论。我正在试图找一个有意义的辩论话题，让 Geoff 和 Ray，以及所有的人们真正停下来思考，并形成自己的观点。因为我们都听说过这个。我认为这是我们在晚餐桌上需要进行的最重要的讨论。在董事会议室、国会走廊也是如此。甚至在国家领导层。谈论通用人工智能或者说人类级别的智能是一方面。但谈论数字化的超级智能，对吧？接下来我们将会听到 Mo Gadot 的演讲，他会讨论当你的 AI 智能体比你聪明十亿倍时会发生什么。事情可能会以你完全没预料到的方式非常快速地发展。它们可能会发生分歧。对吧？速度可能会非常快地引起巨大的分歧。我很好奇，你是如何看待这既是最大的威胁也是最大的希望的呢？
Ray： 我的意思是，首先，这就是我们称之为奇点的原因，因为我们不知道……我们真的不知道。我认为这是一个巨大的希望。它发展得非常、非常快。没有人知道上次演讲中提出的那些问题的答案。但是，令人意外的事情的确会发生。我们在过去 80 年里没有发生过原子武器爆炸的事情，这真是令人惊奇。
Peter： 是的，但它们更容易被追踪。它们的制造成本更高。有很多原因使得使用一个反乌托邦的 AI 系统比使用一种原子武器更容易一百万倍。对吗？
Ray： 恩，也许对，也许不对。我的意思是，我们已经有了很多，可能有 10000 个左右吧。这个数字非常惊人，也非常危险。我认为这实际上是目前最大的危险，而这并没有任何关系与 AI。
AI 模型开源的风险
Ray： 但如果你想象一下，如果人们将这项技术开源，那么任何一个研究生只要能得到一些 GPU，就能制造原子弹，这种情况会非常可怕。因此，他们并没有真正地开源核武器。只有少数人能够制造并部署这些武器。然而现在，这些大型语言模型正在被开源，但我认为这些模型绝对不仅仅只是语言模型，这是非常危险的。
Peter： 那么，这就是我们接下来两分钟要讨论的有趣问题。现在有一个倡导你必须将你的模型开源的运动。我们已经看到 Meta、开源运动，还有 Elon 谈论将 Grok 开源。那么，Geoff，你是在说这些都不应该被开源吗？
Geoff： 只要你拥有了模型的权重，你就可以微调继续上文的对话：
Geoff： 它们去做坏事，这并不会花费太多。如果你要训练一个基础模型，可能需要花费 1000 万到 1 亿美元，这对于一个小型犯罪团伙来说是无法做到的。但是，微调一个开源模型却相当容易，不需要太多的资源，可能只需要 100 万美元就可以做到。这将意味着他们会被用来做出一些可怕的事，而且这些模型非常强大。
Peter： 好了，我们也可以利用来自这些模型的智能来规避这些风险，这就是 AI 中的白帽子和黑帽子对抗。
Geoff： 没错，我和杨立昆（Yann LeCun）曾就此争论过，Yann 认为，对比那些有恶意的人，正面的力量或者说"白帽子"总是能利用更多的开源资源。当然，Yann 觉得马克·扎克伯格是个好人，我们在这点上并无共识。我只是觉得，今年存在着巨大的不确定因素，我们应该保持谨慎。而将这些大型模型开源，并不符合这种谨慎的态度。
Peter： 好了，Geoff 和 Ray，非常感谢你们的建议和智慧。女士们、先生们，让我们用热烈的掌声感谢 Ray Kurzweil 和 Geoff Hinton。