Translated on March 3, 2024Published on March 1, 2024

揭秘 OpenAI 至 2027 年打造通用人工智能的蓝图 [译]

揭秘 OpenAI 至 2027 年打造通用人工智能的蓝图

本文揭示了我搜集到的关于 OpenAI 计划（经过调整）于 2027 年打造达到人类水平的通用人工智能（AGI）的信息。虽然不是所有的信息都容易证实，但希望足够的证据能够让你信服。

摘要：2022 年 8 月，OpenAI 开始训练一个具有 125 万亿参数的先进模型，这个模型被命名为 Arrakis，也被称作 Q*。该模型在 2023 年 12 月训练完成，但由于运行成本过高，原定的发布计划被取消。这个模型原本计划在 2025 年作为 GPT-5 发布。因此，Gobi（原 GPT-4.5）被重新命名为 GPT-5，取代了原计划中的 GPT-5。

接下来的 Q* 阶段，原本计划作为 GPT-6 发布，现在被重命名为 GPT-7（预计在 2026 年发布），但由于 Elon Musk 最近提起的诉讼，这个项目已经被暂停。

计划于 2027 年发布的 Q* 2025（GPT-8），旨在实现完全的通用人工智能。

...

Q* 2023 的智能水平为 48
Q* 2024 的智能水平为 96（延期）
Q* 2025 的智能水平为 145（延期）。

Elon Musk 的诉讼导致了项目的延期。这是我现在才揭露这些信息的原因，因为现在不会造成更多伤害。

关于通用人工智能，我看到了许多定义，但我将其简单定义为一个能够完成任何一个智能人类能做的智力任务的人工智能。这也是现在大多数人对这一术语的理解。

2020 年，GPT-3 第一次让我震惊。GPT-3.5 是 GPT-3 的升级版本，也是 ChatGPT 背后的技术。当 ChatGPT 发布时，我感觉到外面的世界终于开始理解我两年前就已经体验到的东西。我在 2020 年大量使用 GPT-3，并对它的推理能力深感惊叹。

GPT-3 及其升级版 GPT-3.5（后来升级为 GPT-4，于 2023 年 3 月发布），是向通用人工智能迈进的一大步。而早期的语言模型，如 GPT-2 和 Eliza 之后的所有聊天机器人，基本上没有能力做出有意义的回应。那么，为什么 GPT-3 的出现成了一个巨大的飞跃？

...

参数数量

“深度学习”这个概念实质上源于 20 世纪 50 年代初 AI 研究的启动。那时创造的第一个神经网络，与现代的神经网络相比，主要的区别在于现代网络的“深度”——即它们拥有更多的层级，规模更大，处理的数据也更为庞大。

事实上，当今 AI 领域的许多核心技术都是基于 50 年代的基础研究，只是加入了一些小的工程创新，比如“反向传播 (backpropagation)”和“变换器模型 (transformer models)”。总体来看，70 年来 AI 研究的基本框架并未有太大变化。因此，AI 能力近期的快速进展主要归功于两个因素：更大的模型规模和更丰富的数据资源。

现在，越来越多的业内专家认为，我们很可能几十年前就已解决了实现通用人工智能（AGI）的技术问题，只是直到 21 世纪，我们才拥有了足够的计算能力和数据量来实现它。不言而喻，21 世纪的计算机与 50 年代相比，其计算能力有了质的飞跃。而互联网，则为我们提供了前所未有的数据资源。

那么，参数究竟是什么呢？简单来说，它可以被看作是生物大脑中神经元间连接的数字化模拟，每个神经元大约与其他 1000 个神经元相连。这样的设计让数字神经网络在概念上与生物大脑相似。

...

人脑大约有多少突触（或称为“参数”）呢？最常引用的数据是大约 100 万亿个突触，这意味着大脑中的每个神经元（大约有 1000 亿个）与大约 1000 个其他神经元建立了连接。

如果我们了解到大脑中每个神经元大约连接着 1000 个其他神经元，那么可以估算出一只猫的大脑大约有 250 亿个突触，而一只狗则有 530 亿个。通常来说，突触的数量似乎是智力高低的一个预测指标，尽管也有例外。比如，大象的突触数量虽然超过人类，但它们展现出的智力水平却不如人类。

关于为何有更多突触数量却表现出较低智力的简单解释是：可用的高质量数据较少。从进化的视角来看，大脑经过数亿年的表观遗传信息“训练”，人类大脑得益于更优质的社交和沟通数据，从而发展出更强的推理能力。不管怎样，突触数量无疑是一个重要的考量因素。

此外，自 2010 年代初期以来，AI 的能力之所以能够实现爆炸性增长，主要是得益于更强大的计算能力和更丰富的数据。GPT-2 拥有 15 亿连接，相比之下，一只老鼠的大脑大约有 100 亿个突触。而 GPT-3 的连接数达到了 1750 亿，这已经接近于一只猫的大脑规模了。

难道对于 AI 系统来说，拥有与猫的大脑相当的规模不是比小于老鼠大脑的规模更有优势吗？

预测 AI 性能

2020 年，随着 1750 亿参数的 GPT-3 模型的发布，许多人开始推测，一个参数数量约为 100 万亿的模型——大约是人类大脑突触数量的 600 倍——的潜在性能如何。当时并没有明确的迹象表明有人正在开发这种规模的模型，但这样的推测引发了广泛的兴趣。

那么，我们是否可以通过模型的参数数量来预测 AI 的性能呢？正如你在下一页将要看到的，答案是肯定的。

来源：[https://www.lesswrong.com/posts/k2SNji3jXaLGhBeYP/extrapolating-gpt-n-performance]

以上内容摘自 Lanrian 在 LessWrong 上的文章。

兰里安的分析表明，根据当前的趋势，当 AI 的参数量达到与人脑相当的规模时，它的性能似乎也会神秘地达到人类水平。他估计大脑的突触数量大约有 200 万亿个参数，尽管这个数字高于通常提到的 100 万亿，但这个观点仍然成立，100 万亿参数的性能已经非常接近理想状态了。

需要特别指出的是，尽管 100 万亿参数的性能稍显不足，但 OpenAI 正在通过一种工程技巧来缩小这一差距。我将在文档的最后部分详细解释这个技巧，因为它对于 OpenAI 当前的项目至关重要。

在网络上，兰里安的这篇帖子只是众多类似讨论之一，通过比较不同模型之间的性能提升来预测未来的发展。OpenAI 拥有更精确的数据和分析，他们的结论与兰里安的观点一致，我会在文档的后续部分展示这些分析。

那么，如果 AI 的性能可以根据参数量来预测，且大约 100 万亿参数就足以达到人类水平，100 万亿参数的 AI 模型将在何时问世呢？

…

GPT-5 在 2023 年末达到了接近通用人工智能的阶段，智商评估为 48。

…

OpenAI 开发 100 万亿参数模型的消息首次在 2021 年夏季通过 Cerebras 的 CEO Andrew Feldman 在一次采访中被提及，Sam Altman 是该公司的重要投资者。

2021 年 9 月，在一个名为 AC10 的线上聚会和问答环节中，Sam Altman 回应了 Andrew Feldman 的言论，明确承认了他们计划开发 100 万亿参数的模型。

(参考资料来源于网上：https://albertoromgar.medium.com/gpt-4-a-viral-case-of-ai-misinformation-c3f999c1f589 以及 Reddit 上的帖子：https://www.reddit.com/r/GPT3/comments/pj0ly6/sam_altman_gpt4_will_be_remain_textonly_will_not/ 这个 Reddit 帖子是基于一个在 Sam Altman 请求下删除的 LessWrong 帖子：https://www.lesswrong.com/posts/aihztgJrknBdLHjd2/sam-altman-q-and-a-gpt-and-agi )

…

AI 研究员伊戈尔·贝科夫在几周后声称，GPT-4 正在接受训练，并将在 12 月到 2 月之间发布。我将证明伊戈尔的信息是准确的，他是一个值得信赖的来源。这将很快成为关键。

Gwern 在 AI 领域享有盛名，他既是一位研究员，也是一位博客作者。2022 年 9 月，他在 Twitter 上向 Igor Baikov 发送了消息，并得到了以下回应，记住一点非常重要：“参数的数量达到了惊人的级别”。

所涉及的范畴包括“文本”、“音频”、“图像”、“可能还有视频”，以及“多模态”方面。

这段对话源自一个名为“thisisthewayitwillbe”的 subreddit，我是这个小而私密的 subreddit 的一员，它由一位对通用人工智能（AGI）有浓厚兴趣的数学教授创建。AI 爱好者（包括一些专家）在这里深入讨论 AI 主题，远超你在主流媒体上所能见到的内容。

提到“惊人的参数数量”，Igor Baikov 似乎在暗指一个具有 100 万亿参数的模型。因为在他 2022 年夏天发推时，已经有多次训练过的模型，参数数量达到 5000 亿甚至 1 万亿，这样的规模已经不再令人惊讶，当然也不能称之为“巨大”了。

来自“rxpu”的推文尤为引人注目，他似乎是一位来自土耳其的 AI 爱好者。他在其他人之前提出了关于 GPT-4 发布时间窗口的预测（相信我，我花费了大量时间每天在网上搜寻，没人比他更早做出这一具体预测）。

他还提到了一个具有“125 万亿突触”的 GPT-4，但错误地提到 GPT-3 的参数数量为 1 万亿。（似乎 rxpu 确实掌握了一些内部信息，但在参数数量上出现了混淆。稍后我将说明这一点，并证明 rxpu 并非撒谎。）

…

虽然证据不那么充分，但考虑到“roon”在硅谷 AI 研究领域的知名度，以及他被 OpenAI 的 CEO Sam Altman 和其他 OpenAI 研究人员关注的事实，这一点还是值得一提的。

2022 年 11 月，我联系了一位名为 Alberto Romero 的 AI 博主。他的帖子在网上广为流传，我希望通过向他提供一些 GPT-4 的基本信息，他能撰写一篇文章，从而让这一消息广为人知。

这次尝试的结果非常显著，正如接下来的两页所示。

Alberto Romero 的文章引发了广泛关注，下一页将展示公众的一般反应。

这一关于 100 万亿参数的泄漏信息迅速走红，影响了数百万人，以至于包括 CEO Sam Altman 在内的 OpenAI 员工不得不出面回应，称之为“完全是无稽之谈”。《The Verge》也称之为“事实错误”。正如你在左侧看到的，Alberto Romero 承认了泄露的责任。

伊戈尔·拜科夫，“巨量参数”说法的提出者，亲眼目睹了他不小心引发的 GPT-4 泄露信息的广泛传播，并对此作出了回应。因此，伊戈尔所指的“巨量参数”，确实是指达到了令人震惊的“100 万亿参数”。

但我们能将伊戈尔视为可靠的消息来源吗？他的其他断言准确无误吗？多模态的表现如何呢？

关于 GPT-4 的能力，尤其是处理图像、声音和视频的能力，我将在后文中验证伊戈尔的可靠性。

我在 2022 年 10/11 月份成为了这样一种观点的坚定支持者：OpenAI 计划先推出一个大约 1-2 万亿参数的 GPT-4 子集，随后才是完整的 100 万亿参数模型（即“GPT-5”）。这些信息来源虽然多少有些不稳定，但它们都指向了同一个消息——包括 rxpu 在内的消息源，他先是提到一个在开发中的 125 万亿参数模型，后来又不准确地提到 GPT-3 是 1 万亿参数。看来他可能对信息有所混淆。

虽然这些信息的来源可信度不等（Jyri 和 Leeor 是旧金山的投资者，Harris 是一位 AI 研究者），但他们出奇一致地传达了同样的信息——GPT-4 在 2022 年 10/11 月份进行了测试。根据美国军事 AI 研究员 Cherie M Poland 的说法，确实在 10 月份进行了训练，这与伊戈尔·拜科夫泄露的信息不谋而合。

…

根据 Sam Altman 本人所表明的 OpenAI 官方立场，100 万亿参数的 GPT-4 是“纯属无稽之谈”，这种说法有一定的道理，因为 GPT-4 实际上是完整的 100 万亿参数模型中的一个 1 万亿参数的子集。

仅以此说明 100 万亿参数模型尚未问世，仍处于开发阶段，Semafor 在 2023 年 3 月（紧接 GPT-4 发布之后）就声称 GPT-4 的参数量为 1 万亿。（OpenAI 一直拒绝正式公开参数数量）。

有个重要的细节不容忽视，那就是 OpenAI 宣称 GPT-4 在八月已经“完成训练”，但与此同时，我们了解到一个庞大的多模态模型在八月至十月期间还在接受训练。这背后可能有两种解释：一种是 OpenAI 并未如实告知；另一种可能是，拥有 1 万亿参数的 GPT-4 确实在八月完成了初次训练，但它在八月至十月期间接受了额外的再训练，这也是整个 100 万亿参数模型训练的关键阶段。

我接下来要分享的证据表明，GPT-4 的训练不仅限于文本和图片，还包括了音频和视频。

虽然 Francis Hellyer 提供的信息在某种程度上可信，但这份证据并不是最有力的。我之所以提及它，是因为它似乎与其他消息源的信息相呼应。作为一位投资者、企业家和作家，Francis 在其推文中提到的团队“用尽了互联网”的说法，在其他任何出版物、泄露或在线发布中都未曾见过，因此他的信息并非抄袭自他处。

更为确凿的证据出现在下一页。

就在 GPT-4 正式发布前一周，德国微软的技术总监似乎无意中透露了 GPT-4 具备处理视频的能力。显然，他并不知道 OpenAI 决定对外保密系统的视频处理功能。

这一点明确证实了 GPT-4/5 不仅能处理文本和图片，还能处理视频数据，由此我们也可以推断出它同样能处理音频数据。

Igor 关于 100 万亿参数模型的说法被证实是准确无误的。

另一位与 Igor 观点一致的可靠消息源是一位企业家，他在 2022 年 10 月 25 日表示 GPT-4 的发布时间将定在 2023 年 1 月到 2 月之间：

尽管 GPT-4 在 2023 年 3 月发布，稍晚于 Igor Baikov 所预测的 12 月到 2 月时段（这很可能是 OpenAI 故意为了削弱 Igor 泄露的影响），但基于 GPT-4 的 Bing ChatGPT 实际上已于 2023 年 2 月公布，这证明了 Igor 的预测是有依据的，OpenAI 可能是在最后关头紧急调整了发布计划。

关于机器人技术的见解：AI 研究者们开始认为，对于实现最优的现实世界及物理表现，视觉可能就是唯一所需。以特斯拉为例，他们彻底放弃了所有传感器，全面依赖视觉来推进自动驾驶汽车的发展。

这表明，训练一个与人脑体积相当的 AI 模型，利用互联网上全部的图像和视频资料，显然绰绰有余以应对复杂的机器人任务。视频数据中蕴含的常识，就像文本数据一样，是可以挖掘的（而且专注于文本的 GPT-4 在常识推理上的表现令人印象深刻）。

谷歌近期的一个案例展示了，仅需极少的机器人数据，就能通过大型视觉/语言模型学习到机器人技能。（在语言和视觉训练的基础上，从视觉和文本任务中迁移来的知识可以成功应用于机器人任务。OpenAI 正在将他们的 100 万亿参数模型训练于“互联网上的所有数据”，毫无疑问这其中包括了机器人相关的数据）。Palm-E 是一个大约有 5000 亿参数的模型——想象一下，当我们使用互联网上所有可获取的数据训练一个 100 万亿参数的模型时，机器人技术的表现会有怎样的飞跃？（关于谷歌的 Palm-E 模型，请参阅下一页以获得更多信息）。

特斯拉在 2023 年 5 月 16 日又一次在机器人技术方面取得了突破。他们成功训练“Optimus”机器人抓取物体，而且这一过程中没有使用任何特定于任务的编程，所有的学习都是通过模仿人类的动作完成的。

“这代表我们现在能够迅速应对多种任务。”

再次强调，如果仅仅通过模仿人类的动作就能实现高级机器人技术，那么一个经过训练、能够处理网络上所有视频数据的 100 万亿参数模型，无疑会在机器人技术上创造出惊人的表现......

左侧的图片显示了 1 万亿参数的 GPT-4 在图像识别方面的能力，其表现甚至比很多人类的反应还要清晰、准确。那么问题来了，当我们训练一个比 GPT-4 大上百倍、达到人脑规模并利用互联网上所有数据的模型时，会发生什么呢？

这张图片只是 1 万亿参数 GPT-4 文本输出样本中的一个小例子。

如果 1 万亿参数的模型已经能写出这样的内容，那么一个 100 万亿参数的模型又能创造出什么样的文字呢？AI 是否能真正具备创造力，这个问题还有待探讨。但是，AI 模拟出的创造力不仅可能，而且已经在发生了。

值得注意的是，AI 模型能够从多个角度生成具有物理上准确光照的同一场景图像，并且在某些情况下，甚至能够模拟出物理上准确的流体和雨水效果。如果你能创造出符合常识物理规律的图像和视频，那么你就掌握了常识性推理。如果你能创造出常识，这就意味着你理解了常识。

我们来看看目前公开的视频和图像生成 AI 模型能达到的质量水平。这些模型最多只有 100 亿个参数。那么，当我们开发出一个模型，其大小是现有模型的 10,000 倍，使用互联网上所有的数据，并让它拥有生成图像和视频的能力，将会发生什么呢？（答案是：所生成的图像和视频将与现实无法区别，无一例外，无处不在，无法绕过，任何人都无法分辨出差异，不管他们如何尝试）。-（更新：SORA 来源于 2023 年的 GPT-5 Q* 模型）

Longjumping-Sky-1971 发布的两篇帖子提到了这一点。之所以提及，是因为他准确预测了 GPT-4 发布日期，比任何人都早（在这之前没有任何公开信息），这表明他有可靠的内部消息来源。因此，他的帖子现在显得更加可信——他还曾声称，2023 年第三季度将开始对图像和音频进行训练。如果视频生成的训练紧随其后或同时进行，那么这与 Siqi Chen 关于 GPT-5 将在 2023 年 12 月完成训练的说法不谋而合。

回顾一下 2020 年 2 月，就在 GPT-3 发布的几个月前。

《技术评论》发表的一篇文章是关于 OpenAI 的内部故事，文中暗示 OpenAI 正在早期阶段秘密研究一个涉及图像、文本及其他数据的 AI 系统。OpenAI 的领导层认为，这是实现通用人工智能（AGI）最有前途的途径。究竟是什么让他们这么认为呢？

下一张幻灯片将揭示 OpenAI 总裁在 2019 年的规划——这将阐明他们的目标。

2019 年，OpenAI 总裁 Greg Brockman 宣布，在获得微软 10 亿美元投资后，OpenAI 计划在未来五年内构建一个与人脑等大的模型，以此作为实现通用人工智能（AGI）的路径。

2019 加 5 等于 2024

这两个信息源都在指向一个共同的目标：到 2024 年，基于图像、文本及其他数据训练的与人脑等大的 AI 模型，将完成训练。这与我文档中列举的所有其他信息源紧密相连...

在接下来的内容中，你会看到，AI 界的领军人物突然开始警告大众——他们似乎知道了某些普通人未曾知晓的具体信息。

“我原以为这需要 30 到 50 年，或许更长时间。现在，我不这么认为了。”是什么让他突然改变想法，并决定离开谷歌公开谈论 AI 的风险？

GPT-4 发布后不久，致力于减轻全球潜在灾难性风险的重要非营利组织——未来生命研究所发出了一封公开信，呼吁所有 AI 实验室暂停 AI 开发六个月。原因何在？

信件最初明确提到“（包括当前正在训练的 GPT-5）”。为什么要特别指出，后来又为何删除这一说法？

2022 年 10 月 Sam Altman 接受采访时的一些引人深思的言论—— youtube 链接：https://m.youtube.com/watch?v=b022FECpNe8（时间：49:30）

Sam Altman 毫不迟疑地回答，打断提问者说：“是的。”并解释道：“我们非常确信。我们已经深入思考并频繁评估这个问题。”

当被问及为何有此自信时，Sam 回答：“OpenAI 在该领域推动的一大进步就是将规模化定律作为科学预测的视角。无论是在计算能力、数据量还是模型参数方面，我们都可以在小规模上进行测量，并准确预测其扩大时的需求。而互联网，数据量庞大，视频资源丰富。”

关于这次问答的更多精彩内容，请看下一部分。

与 Sam Altman 问答中的另一段精彩对话——（时间：53:00）

[注 - 所谓的 AI 冬天，是指 AI 领域在一段较长时间内资金紧张，研究关注度低迷的时期，历史上已发生过两次，分别在 70 年代和 80 年代，以及从 80 年代中期到大约 2000 年代末。]

另一个观众问：“我们会经历另一个 AI 冬天吗，会是什么原因？”

Sam Altman 如是说：“未来是否会迎来一个人工智能的寒冬，以及可能触发它的因素……毫无疑问，这是有可能的。但我认为这种情况不会很快发生。因为即便我们再也不出现新的研究成果，现有技术范式的经济价值及其可持续推进的空间，足以支撑我们多年。然而，我们不排除一个虽然小概率，但仍然可能的情况：我们可能还缺少某个关键的突破，无法超越模仿人类行为的技术阶段，这意味着这些模型可能永远只能达到与人类相当的水平。虽有诸多理由让我相信这种情况不会发生，但如果有人向你断言，在这一研究领域绝不会再次出现停滞期，那么这种说法你是绝对不该信的。”

在下一页中，我将详述这些来自 Sam Altman 的言论为何令人关注。

谈到 Sam Altman 的问答环节：

首先，Sam Altman 极度自信地认为，互联网上已有足够的数据可以训练出一套通用人工智能系统——这份自信让人不禁猜想，他们是不是已经实现了这一目标，或者正处于实现它的过程中。

其次，所谓的“AI 寒冬”一词，传统上指的是向通用人工智能（AGI）进展放缓的时期。但 Sam Altman 对这个术语进行了重新解读，用它来指代向超级智能进展放缓的阶段。这似乎在暗示，OpenAI 可能已经构建了一个 AGI 系统，或者正处于接近完成的阶段，并且，通用人工智能不再是追求的目标，因为它似乎已经被实现了。

正如我之前在文档中提到的，一款具有 100 万亿参数的模型实质上不够理想，但是 OpenAI 正在采用一种新的扩展策略来弥补这一不足——这基于一个称为“Chinchilla 缩放定律”的概念。

Chinchilla 是 DeepMind 在 2022 年初推出的一款 AI 模型。Chinchilla 研究表明，目前的模型训练不充分，如果能够利用更多的计算资源（即更多的数据），就能显著提升性能，而不必增加模型的参数。

关键在于，尽管一个训练不足的 100 万亿参数模型可能有所欠缺，但如果能在大量更多的数据上进行训练，它完全有能力超越人类的表现水平。机器学习领域普遍认可 Chinchilla 的模式，以 OpenAI 为例，总裁 Greg Brockman 在一次采访中讲述了 OpenAI 是如何发现他们最初的扩展定律存在缺陷，并已调整策略以纳入 Chinchilla 定律的：https://youtu.be/Rp3A5q9L_bg?t=1323

有人说，“培训一个计算优化的 100 万亿参数模型将耗资数十亿美元，这是不现实的。”然而，微软在 2023 年初向 OpenAI 投资了 100 亿美元，这显然不再是一个遥不可及的梦想...

Alberto Romero 对 DeepMind 的 Chinchilla 扩展突破进行了报道。Chinchilla 的研究成果证明，尽管其规模远小于 GPT-3 和 DeepMind 自己的 Gopher，但由于其在大量数据上进行了训练，因此性能更胜一筹。再次强调：虽然预计 100 万亿参数模型的性能略有不足，但 OpenAI 非常清楚 Chinchilla 的缩放定律（这一点几乎所有 AI 领域的人士都知道），并且他们正在训练 Q* 这样一个 100 万亿参数的多模态模型，它在计算上是最优化的，并在远超初期预期的数据量上进行训练。得益于微软的资金支持，这将使模型的性能远远超出他们最初对 100 万亿参数模型的期望。没有应用 Chinchilla 缩放定律的 100 万亿参数模型或许只能达到与人类相似但略有不足的水平，而考虑到 Chinchilla 缩放定律的 100 万亿参数多模态模型将会……？

从 2022 年 7 月起，美国开始着手禁止将新的计算机芯片出口到中国，目的是为了遏制中国在 AI 领域的发展。这项计划于同年 10 月正式确定。据旧金山的 AI 研究者 Israel Gonzales Brooks 透露，Sam Altman 在 2022 年 9 月曾赴华盛顿特区 (DC)。Israel 声称与 Sam Altman 有过接触（本人未能核实此事），但令人信服的是，Sam Altman 确实在 2023 年 1 月访问了 DC。

如果 GPT-4/GPT-5 是在 2022 年夏天开始训练的，并且在此期间 Sam Altman 曾一次或多次访问 DC，那么对中国的芯片禁令显然并非偶然。