AGI前夜的思考 [译]
这周我和几位朋友聊到了 o3。总的来说，他们的反应都可以概括为：“我的天，这真的要发生了吗？”
是的，这真的在发生。接下来的几年会疯狂得令人难以置信。这是历史性事件，甚至可以说是关乎星河级别的大事。
荒唐的是，几乎没有关于这件事的高水平讨论。AI 实验室无法公开谈论它，新闻也很少触及，政府对此更是一无所知。
我们居然只能在一个社交媒体梗图应用的动态里讨论人类的未来，这感觉像是一部荒诞情景喜剧，但这就是现实。
下面是一堆我对现状的想法——算是我对 X 上创意深渊的贡献吧。
需要说明的是，这些想法都是不成熟的思考和有趣的猜测。我没有足够的时间来深入思考或研究所有内容，其中很多可能是错的。但我希望对正试图消化这一切的人来说，这些想法能有一点启发。
祝阅读愉快。
o3 不该让人如此震惊。OpenAI 在两个月前就给出了推理时规模扩展的图表，而计算机发展史告诉我们，要相信这些趋势线——无论它们看起来多么不可思议。真正令人震惊的是，这些变化在短短两个月内就发生了。从大学水平的 AI 跳到博士水平的 AI，就是这么快。对人类来说，变化很令人兴奋，但急剧的变化会让人震惊。
下一步将要发生什么，其实很明显。o3 这一类的模型在任何你能定义奖励函数的领域都非常擅长优化。数学和编程很容易定义奖励函数；写小说之类的创意写作就更难。所以，在短期（1 年内），我们会看到“尖刺型”模型——它们在数学、编码和一般推理方面几乎达到 AGI 水平，但写出来的虚构类文本可能还比较普通。虽然更强的推理能力会让模型整体显得更聪明，但它们仍会在未被强化学习（RL）到的地方出错——也就是那些不在其训练数据范围内的领域。随着时间的推移（1-3 年），我们会不断在新领域中对模型进行 RL（情感数据、感官数据等），不断弥补盲点。到那时，除了 Gary Marcus 之外的几乎所有人都会觉得这就是 AGI 了。
2025 年真的会出现 Agent。像 o3 这样级别的模型不可能学不会在浏览器/应用里导航并执行操作。给这部分设计奖励模型也并不难。而且这会是一个巨大的市场——自动化电脑操作的市场——对于那些需要证明自己庞大投入的实验室来说，这是巨大的动力。我猜到 2025 年 12 月时，你就能告诉你的电脑执行任何涉及网页/应用导航和数据搬运的工作流程。
在所有被“煮熟”的知识分子中，数学家恐怕首当其冲。数学家是在符号空间中工作的，他们的工作和物理世界接触不多，所以并不受物理世界的限制。大语言模型（LLM）正是符号空间的王者。数学其实并不难，只是灵长类动物在这方面不擅长。正则表达式（regex）也是同理。
一个大问题是：要让模型自己生成研究级数据究竟有多难？我猜不算很难。从我们的角度看，博士级数学和研究者级数学在质量上是有区别的，但对 AI 来说，可能只是需要再多几个数量级的 RL 而已。我给数学家 700 天（是的，这听起来很疯狂，但让 o6 还比不过数学家也同样疯狂，所以我对这个预测的信心大概在五五开）。也就是说，700 天之后，人类将不再是已知宇宙中数学领域的顶尖存在。
那我们软件工程师呢？ 短期内会非常爽。每个软件工程师都相当于被升职为技术主管，恭喜。如果你完全拥抱 LLM，到 2025 年底，写代码可能更像是把一堆小任务分配给“小代理”去完成。对于那些需求非常明确的功能，o4 系统应该能直接完成一个可接受的 PR，错误率非常低。这里可能的问题是上下文窗口太小，无法容纳整个代码库，不过 Sam 这些领导人显然也清楚这个问题。
AI 会很快把所有软件工程师都取代吗？不会。软件工程远不止是根据非常明确的提示去生成 PR。与数学家不同，软件工程师需要不断与现实世界（主要是其他人）互动。工程师要与客户沟通他们的需求，也要与团队沟通他们的需求。当工程师在设计架构或编写代码时，需要大量组织上下文。o4 做不到这一点。但它能让拥有这些上下文信息的工程师工作效率提升 10 倍。
如果软件工程师的效率提升了 10 倍，那我们是不是需要更少的工程师？如果只看某个特定公司，也许是这样，因为他们用更精干的团队就能完成相同产出。但从全世界范围看，对软件工程师的需求可能会增加，因为世界可以消化 10 倍更多的优质软件。所以我觉得我们会看到一个应用的黄金时代，公司的规模会更精简，但产出更多。甚至可能出现为每个人、每家企业量身定做的定制化小应用。
从更长期（>2 年，这个时间尺度现在都算长了）来看，软件工程会变得截然不同。当 o6 系统出现并深度整合到我们的应用中，软件工程势必大变样。类似“前端工程师”这样的角色也许在 3 年后就不存在了。这听起来很奇怪吗？也不尽然——30 年前也没有“前端工程师”这个职位。
我们需要退一步认识到，软件每一代都在自我颠覆。软件的目标一直是把需求转化为纯粹的逻辑，这个转换过程从二进制一路抽象到了 Python。现在，它正在往英语层面提升。
代码变成英文后，对“非技术”人士来说就没有了门槛。但最优秀的“建造者”依然会是那些能在不同抽象层来回切换的人。
总的来说，因为软件工程真正的本质是理解并解决组织需求，所以如果有一天软件工程被完全自动化，那就说明所有组织都被自动化了。
聊了知识工种，那体力工种怎么办？ AI 也在路上，但会慢一些，因为它需要应对重力和摩擦。o-class 模型本身不会对机器人领域有立竿见影的帮助，因为模型的推理速度若要用一个小时，对工厂流水线上的机器人来说并没什么用。但基础模型变得更聪明对机器人还是有帮助的，o-class 也能帮助训练这些模型。但我不认为这能一下子解决机器人发展最大的瓶颈。硬件改进和用于感知与行动的快速、稳定的模型可能才是最大瓶颈，而这都需要更长的时间（几年以上）。当机器人能造机器人，AI 能做 AI 研究时，机器人领域才会出现飞跃式进展。这有可能依赖 o-class 模型，但我觉得还需要再过几年。
我一直在用年份做时间衡量，但也许我们应该用算力来衡量。对人类来说，时间决定产出；但对 AI 而言，算力决定产出。而在研究机构中，AI 的产出会越来越重要。这就是为什么各家都在疯狂竞相建设超级集群——Meta 的 2GW 集群、Xai 新增的 10 万块 H100 等等。
所有实验室都会像 OpenAI 一样快速跟进“推理时需要大量算力”的模型，有些实验室如果算法稍差，但算力更强，也能迎头赶上，就像当初大家对 GPT-4 所做的那样。要实现这些模型，既需要一些公开的通用知识，也需要每个实验室的独家秘方。现在还不清楚 OpenAI 在 o-class 模型上有多少“秘方”，不过他们的迭代速度暗示这更多是算法上的突破（更易复制），而不是独家数据（更难复制）。
在这个“推理时需要超大算力”的时代里，到底是算力更重要，还是模型更好更重要？一方面，模型差一点可以用更多算力来弥补。另一方面，稍微好一点的模型可能节省指数级的算力。
要是 Xai 仅仅通过搭建更大的集群就追上了 OpenAI，那也蛮搞笑的。
不过，可以肯定的是，没有哪家实验室能守住自己的模型优势超过一年，因为研究者像球员一样会在各实验室之间流动。更重要的是，各家实验室的研究者私下也会聚会、互相交流甚至互相暧昧。再加上研究者大多理想主义，如果事情真要失控，他们也不会死守不分享信息。
这真是一个疯狂的局面。AI 竞赛就像核竞赛，但美国人和苏联人在周末一起跑到洛斯阿拉莫斯开派对，还在推特上互相挑衅：“哈哈赌你 2025 年造不出更大的核弹 :)”
这种“嬉皮士派对”的氛围会持续，直到政府介入或者真的发生什么大规模糟糕事件。
o-class 模型改变了在算力扩张上的博弈。
o-class 模型给了各大机构大规模建设的动机，因为每增加一个数量级的算力都能带来显著收益。对于算力提供商来说，这简直就是完美的扩展定律。我猜这就是 Sam 想要打造万亿美元级算力集群时所看到的趋势。
这对英伟达来说未必是好事，因为 o-class 模型让推理比训练更重要，而针对推理的芯片可能更容易优化，英伟达在这方面的优势就不如训练芯片时那么大。
非常大胆地猜测一下：如果 o-class 模型能让我们把全世界的零散算力集合起来来训练顶尖模型会怎样？就像开源社区联合所有 MacBook Pro 组成一个推理“巨型集群”来击败闭源模型，想想还挺酷的。
另一个新的指数爆炸因素是代码本身。如果一个实验室独家掌握了最聪明的模型，那么它的工程师产能就比别家高 2 倍，他们更快接近下一次生产力翻倍。除非代码速度提升到顶，接下来只是排队等着算力跑完实验，那实验室还是被算力卡住。（我也不确定，这中间的动态太复杂。能看到各实验室内部如何平衡对算力和人力的投入就很有趣。）
所有这些疯狂的算力扩张和知识工作自动化，只是开始。真正的疯狂还要等科学家们也“感受到”AGI。我指的是物理学家、化学家、生物学家。
首先会是任何名字里带“理论”二字的领域。理论物理首当其冲。如果数学真的被攻克（写出来都觉得荒谬，但未必没可能），那理论物理也不会差太远，它同样在 LLM 将会超越人类的符号空间里。
当我们有了相当于上百万个 AI 版冯·诺伊曼，日夜不停地在路易斯安那州（Meta 即将建的数据中心）这样的地方运转，会怎样？它们可以瞬间读完过去百年成千上万篇物理论文，然后立即生成更多（而且正确的）新理论。
这部分发展是最难预测的。理论物理、化学、生物学——对人工智能来说，这些是否会像开玩笑一样轻松？以目前的进展速度看，我们也没有更合理的论据来否定这一可能性。现在我们还没看到模型的真正创新力，因为它们大多只有高中/大学水平，那时候的人类也没法发明什么新物理。现在我们到了博士级，也许真的会开始出现新的发明。
一旦 AI 大规模提出新的科学理论，最大的瓶颈将是把理论带入物理世界测试和实验。瓶颈在于劳动力和材料。但到那时，不太可能没有机器人去执行这些操作。也许机器人还能自己造机器人。这样劳动力问题就解决了。材料可以用机器人去开采。虽然在物理世界里建造、运输都需要时间，所以进展会比较慢，但这大概是以年为单位，而不是以数十年。
以上所有推测都假设 AI + 机器人研究/应用的进展不受新瓶颈干扰，并且模型可以自由学习。这是几乎不可能的。AI 发展的最大瓶颈将是人类本身。也就是说，监管、恐怖主义，以及社会崩溃等。
政府不会坐视不管，让地球资源被少数几家旧金山公司用自动机器人开采（监管）。要是政府太无能阻止，那失业的人可能会铤而走险（恐怖活动）。或者人们完全被 AI 强化的媒体“洗脑”，社会瘫痪（社会崩溃）。
如果真的爆发战争，倒不一定是瓶颈，反而会加速。
事情会变得严肃起来。2025 年可能是 AI 还停留在旧金山科技推特上被调侃的最后一年，然后普通大众、政客就会开始严肃介入。所以趁现在好好享受 roon 和 sama 吧。
会毁灭所有人吗？ 我更担心的是人类用 AI 干坏事，而不是 AI 本身“觉醒”搞事情。
我们有 5000 年的历史可以证明，人类总会使用最新技术来互相残杀。二战后这段相对和平只是个异常，随时可能因为美国的一次重大失误或某个对手的“先发制人”而崩溃。武器越致命、越自动化，风险就越高。
另一个大风险是 AI 造成社会混乱。AI 生成的媒体可能会引起大规模的困惑、恐慌、智力退化。还有，如果某个专制国家赢得了 AI 竞赛，他们可能用这项技术让我们失去自由上千年。
当然也有 AI“失控”的风险，即它做出了我们没料到的灭绝级事件。尤其是 RL 再次登上舞台后，AI 开始自己摸索最优策略，而不仅仅是模仿人类（模仿人类相对安全）。不过目前这些模型的核心还是 LLM，而 LLM 的特长是理解人与语言。如果你在提示里强调“别做任何会弄死我们的事”，要说它还是会把我们弄死，至少你得拿出点更具体的证据。当然我还没有仔细研究所有论点，但我做噩梦时想象的 AI 反乌托邦，通常飘的是中国或俄罗斯国旗，而不是 OpenAI 的 Logo。
尽管如此，我依旧对未来更兴奋多过害怕。
我一直渴望的科幻世界正在到来，比预想中快，这才让人有些害怕。但在所有可能的未来路径里，这条路也不算最坏。其实已经很不错了。
我希望能在接下来十年看到这些事情：
一些疯狂的新物理发现
由机器人先行建造的火星和月球基地
拥有完美检索、记忆和更鲜明个性的“完美导师/顾问”（已经很接近了）
具备零副作用的生物增强药物
能把我们送来送去的超级优化无人机
基于聚变、地热和大量太阳能的清洁能源全面普及
一些意想不到的发现：AI 天文学家在望远镜数据中找到外星信号？AI 化学家轻松设计出常温超导体？AI 物理学家统一了某些理论？AI 数学家破解了黎曼猜想？
这些事情已经不像科幻，而更像是近在眼前的科学现实了。
所以最终我们会走向何方呢？ 当我们最终拥有了“超智”，那也就意味着，只要物理规律允许，我们就能实现。我要永生，我想去其他恒星系看看。我也想把我们的“肉体”升级得更强。但我最兴奋的，还是能知道宇宙从何而来。十年前我就开始写日记，记录我对这个问题的渴望，以及对 AI 帮我们找到答案的期待。现在，这一切似乎真的有可能实现，简直不可思议。
如今我们已经处在一个一切都显得切实可行的世界。每一次新的 AI 进展，都让更多人意识到这一点，o3 也只是最近的一次。
如果我们人类自己不搞砸，这样的未来几乎可以说已成定局。换句话说：公众舆论、随后的政策、社会稳定、国际合作……这才是真正可能阻止这条通往壮丽未来之路的因素。
很多人觉得把握未来的是 AI 实验室。我并不这么看。他们要做的事情其实基本被“定死”了——不管在哪家实验室，这些模型架构都会出现。
而公众舆论、政策制定、社会稳定、国际合作……这些才是尚未确定的。这意味着我们所有人，才是真正的“未来看护人”。
未来的前进方向能否顺利，取决于我们集体如何帮助世界应对即将到来的狂潮，好让我们获得的是美好未来，而不是糟糕的结局。
每个人都有很多方式能帮上忙。你可以做的事情包括：构建能让社会更稳定或让人们更聪明的产品（例如帮助人们管理社交媒体的应用），帮助更多人了解正在发生的事（更多高质量的社交媒体评论、一个真正好用的搜索引擎等），或是参与地方治理，让我们生活的城市别看起来像一幅“赛博灾难”图景（投身市政事务）。
几乎所有我认识的人都在担心，在 AI 世界里会失去意义，也许你也一样。我想说，事实不恰恰相反吗？你正生活在历史上最重要的时刻，而且拥有影响它的能力。拯救世界难道还不够有意义吗？你真的想回到只能专注于自己事业进步，而世界变化迟缓的时代吗？
也许人们需要从“通过个人成功获得意义”转变到“通过集体成功获得意义”。我们现在的许多工作都将在不久被自动化，我们必须适应。如果你的意义来源于某项特定技能，而那项技能 5 年后被淘汰了，你确实会无所适从。但如果你的意义来源于“尽己所能帮助世界”，那就永远不会被淘汰。
给因为 o3 而收到各种建议的应届生们一句话：学会做一个 1）高自主性地解决问题的人，2）优秀的团队合作者。你在此过程中学到的具体技能会不断被时代颠覆，但主动解决问题和与他人协作的能力会长久地重要。
你或许还需要接受一个不稳定的世界，过不稳定的人生。是的，一切都会变得怪异。你可能没法过那种“郊区房子 + 两个孩子 + 一条狗”的生活，而是“星际方舟上 + 两个半机械体孩子 + 一只 AI 狗”。
我们正生活在 AGI 的前夜。在这个“圣诞前夜”里，我请求你一起努力，让 AGI 的转变顺利进行。这样我才能在公元 3024 年的圣诞节前夜，和你在距离我们四光年的那颗围绕“Altman Centauri”运行的行星上说声“嗨”。