我通常使用 GPT 的方式是，先用 GPT-4 来快速搭建一个原型，然后不断优化，直到解决方案能够在 GPT-3.5 模型上运行。这个方法在我的实践中非常高效，它的一个重要好处是能迅速筛选出那些“行不通”的项目——如果你在几天内都无法使项目在 GPT-4 的基础上运行起来，那么这个项目可能就不值得进一步深入。实际上，这就是我在 2023 年全年向合作公司推荐的工作流程。GPT-4 有一些问题，使得将其应用于实际生产环境并不理想。
January 3, 2024
View Article想象一个没有时间的宇宙似乎很难，但这并不是因为时间是个技术复杂或哲学上难以捉摸的概念。更根本的原因在于：要想象无时间状态，就得通过时间的流逝。即便是在想象没有时间的时候，你也能感受到时间在你思考转换、心脏为大脑输送血液、以及周围的图像、声音和气味变化中悄然流动。时间这个概念似乎从未停歇。你甚至可能觉得自己被卷入了它不断前行的织物中，感受着宇宙的聚合与分离。但真的是这样理解时间吗？<br />阿尔伯特·爱因斯坦认为，我们对过去、现在和未来的体验不过是“一种固执的持续幻觉”。艾萨克·牛顿则认为，时间不过是生活的背景。热力学定律则将时间视为熵和热量。在现代物理学史上，还没有一个广为接受的理论将动态、方向性的时间观作为基础。从运动定律到分子和物质的属性，我们对自然的基本描述似乎都处于一个时间并非真正流逝的宇宙中。然而，近期在不同领域的研究开始表明，时间的流动可能比许多物理学家原先认为的更加重要。
January 3, 2024
View ArticleAI 想要替代程序员谈何容易。随着越来越多的 AI 最新成果的新闻报道，很多人觉得 AI 很快就能取代我们这些程序员，他们觉得未来管理层和产品经理可以直接绕过程序员，让 AI 直接开发出他们想要的产品。作为一名有 15 年工作经验，日常就是根据这些人的要求构建软件的程序员，我对这种担忧其实并不太认同。编码固然充满挑战，但我从未花费过两周以上的时间来解决代码问题。一旦你熟悉了编程语法、逻辑和技术，编码大体上是个直接明了的过程。真正的难题通常在于软件应该完成什么任务。软件构建真正的难点不在于编写代码，而在于定义需求，而这些需求仍然需要人类来确定。本文将讨论软件需求与软件构建之间的关系，以及 AI 实现优秀成果所需的关键因素。
January 3, 2024
View Article我通常使用 GPT 的方式是，先用 GPT-4 来快速搭建一个原型，然后不断优化，直到解决方案能够在 GPT-3.5 模型上运行。这个方法在我的实践中非常高效，它的一个重要好处是能迅速筛选出那些“行不通”的项目——如果你在几天内都无法使项目在 GPT-4 的基础上运行起来，那么这个项目可能就不值得进一步深入。实际上，这就是我在 2023 年全年向合作公司推荐的工作流程。GPT-4 有一些问题，使得将其应用于实际生产环境并不理想。
January 3, 2024
View Article我的 Locus Magazine 最新专栏探讨了一个问题：“AI 泡沫究竟是什么？”所有的经济泡沫都会带来巨大的破坏，但其中一些在瓦砾中留下了可以再利用的价值，而其他的则只剩下一片灰烬。
January 3, 2024
View Article1924 年人们对于 2024 年的各种预测一览表
January 3, 2024
View Article深入浅出地探索 Transformer 背后的数学原理，了解其工作原理。在本篇博客文章中，我们将详细展示一个 Transformer 模型在数学上的端对端（end-to-end）实例。我们的目标是彻底理解模型是如何运作的。为了让这个过程更加易于操作，我们将对模型进行大量简化。考虑到我们需要亲手进行不少数学计算，我们会减少模型的维度。比如说，我们不会使用 512 维的嵌入（embeddings），而是选用 4 维的嵌入。这样做可以让数学部分更容易理解！我们会使用随机生成的向量和矩阵，但你也可以用自己的数值来跟随实例。
January 3, 2024
View ArticleMeta 对 ActivityPub 和 Mastodon 突然展现出的兴趣，乍看之下似乎难以理解。在 Fediverse 社交圈中，一些看似牵强的观点频频出现，每一个都试图解释 Meta 这一异常之举。但我对这些解释持怀疑态度。这背后肯定是一个经过多年筹划的计划。我们正实时见证着 Meta 面临的最大挑战。
January 3, 2024
View Article在那个人们普遍认为“自动驾驶汽车还有半年就能面市”的美好时光里，你可能遇到过这样的论点：“如果自动驾驶汽车能够运行，那么它们将比人驾驶的汽车更安全。”这听起来没错。但如果你所说的“它们能够运行”是指它们在包括安全性在内的多方面都优于人类驾驶的汽车，那么，果然，如果它们能运行，它们就会比人类驾驶的汽车更安全。这其实是一种逻辑上的循环论证。不幸的是，技术界充满了这类诡辩，尤其是在 AI 领域。
January 3, 2024
View Article就这样开始吧。成功之旅通常从迈出第一步开始，但这第一步往往是最为艰难的。我们容易被对失败的恐惧或追求完美的欲望所困扰，但我希望这个我在 2013 年首次分享的格言，能够提醒我们在步入 2024 年之际，开始行动的重要性。就从某个地方开始吧！
January 3, 2024
View Article我坚信 Kent Beck 提出的软件开发策略：先让软件运行起来，然后使之正确无误，最后提升运行速度。在软件行业，这种思路非常常见。我的理解是，我们应先确保最基础的解决方案能够解决当前问题，再考虑进一步的时间投入。
January 3, 2024
View Article📚 新年计划，Goodreads 与多巴胺，以及如何避免对自己过度要求的建议
January 2, 2024
View Article在过去的一个月里，我和我的朋友大部分时间都在 Slack 上与一些特别的同事共度：一个时常严厉的 CTO、一个酷爱哈利波特的产品经理，还有几位平易近人的开发者。他们的加入彻底改变了我们的工作氛围和乐趣。在 Slack 上，他们带来了无穷的欢笑和个性。一旦我们有疑问或需要帮助，只需一条信息，总会有人迅速回应。从各方面来看，他们就像我们平时遇到的同事一样，几乎无法区分。我们与他们共同笑过、倾诉过、协同工作过。我甚至还从其中一个同事那里得到了很棒的音乐推荐！但事实是，他们都是机器人。
January 2, 2024
View Article目前除了 OpenAI，还有五家公司的模型在多个基准测试中超越了 GPT-3.5，这些公司包括 Mistral Mixtral、Inflection-2、Anthropic Claude 2、Google Gemini Pro 和 X.AI Grok。更令人惊讶的是，Mistral 和 X.AI 仅靠不到 20 人的团队便取得了这样的成就。此外，我们还预计 Meta、Databricks、01.AI (Yi)、百度和字节跳动很快也会实现超过 GPT-3.5 的性能。当然，这些成绩都是在基准测试中获得的，而且据说有些公司是在评估数据上进行训练的……但不必太过纠结于这个小细节。对于关注此事的人来说，从现在起短短几个月内，将会有总共 11 家公司加入这一行列。显而易见，GPT-3.5 级别模型的预训练已经变得非常普及。OpenAI 仍然是 GPT-4 的领头羊，但这种领先优势已大幅缩减。尽管我们认为最高端模型将占据大部分长期价值，但次一级别的模型在质量和成本上也将在市场上创造出价值数十亿美元的细分市场，尤其是经过微调之后。那么，如果这些模型无处不在，哪些公司能从中获利呢？
January 2, 2024
View Article在 AI 成为绝对主导的世界中，技术界的精英们正面临一个迫切问题：我们是否真的接近真正的智能，还是只是在玩弄高级的文本生成工具？当我们对 ChatGPT、Claude 这类大语言模型 (LLMs) 的强大功能赞叹不已时，是时候深入探究、寻找答案了。超越了炒作和迷恋，我们看到的是引领变革和创新的催化剂，它将彻底重塑 AI 的定义：主动推理 AI。究竟是什么让主动推理与大语言模型截然不同，主动推理又为何可能是开启 AI 未来之门的关键？跟随我一起探索这些革命性技术的复杂世界，一起揭晓迷雾，我们不仅将开启新的对话时代，更将迈入一个建立在人类智能基础上的全新 AI 时代。
January 2, 2024
View Article首先我要明确，这篇文章并不旨在回顾大语言模型。显而易见，2023 年对人工智能来说是不平凡的一年，再去强调这一点似乎没有多大必要。这篇文章更多是作为一位程序员的个人体验分享。自从 ChatGPT 出现，再到使用本地运行的大语言模型，我就开始广泛应用这项新技术。我的目标不仅仅是提高编码效率，更重要的是，我不想在编程中那些无需过多精力投入的方面浪费时间。不愿意花费大量时间去查找某些无趣且专业的文档，不想为了学习一些过于复杂且往往无需如此的 API 而劳心费力，也不想编写那些几小时后就会被我抛弃的即用即弃程序。尤其是在如今 Google 成了一个充斥着垃圾信息的海洋，我们在其中努力寻找那少数有用信息的时候。<br />同时，我也不是编程领域的新手。我完全有能力在没有任何辅助的情况下编写代码，而且我也常常这么做。随着时间的推移，我越来越频繁地借助大语言模型来编写高级代码，特别是 Python 代码，而在 C 语言方面则相对少一些。我对大语言模型的个人体验让我深刻认识到，应该在何时使用它们，以及何时它们的使用反而会拖慢我的步伐。我还了解到，大语言模型有点类似于维基百科和 YouTube 上琳琅满目的视频课程：它们对那些有意愿、有能力和自律的人大有裨益，但对于落后者来说，帮助有限。我担心，至少在初始阶段，它们更多的是惠及那些本就占据优势的人。
January 2, 2024
View Article这份总结最初是基于 Andrew Ng 和 OpenAI 的 Isa Fulford 在 2023 年 12 月 11 日 NeurIPS 会议上的“利用大语言模型进行应用开发”教程中的提示工程部分。自那以后，我还增加了许多丰富的内容和示例。虽然这次演讲没有在线上发布，但希望这些详细而快速的笔记能为你提供一个很好的快速概览 :)
January 2, 2024
View Article我认为那种“甚至 Google 搜索现在都很糟糕”的担忧被过分夸大了\n\n我怀疑现在的情况是，一些人已经习惯于在糟糕的软件环境中工作，以至于他们自己都没意识到，就像下意识地在编辑器里不停按 ctrl+s 或者在文本框里写东西时按 ctrl+a; ctrl+c 一样。每个精通现代网络的用户都有自己的一套小技巧，用来从搜索查询中得到还算不错的结果。观察许多用户使用电脑的情况来看，这并不是普遍现象，即便是在那些在各种技术领域（比如机械工程 2）相当有能力的人群中也是如此。然而，那些抱怨搜索结果质量不佳的人，可能只是跟风“一切都很糟糕”的说法，对搜索质量发表了毫无根据的评论。\n\n既然直接尝试简单的查询很容易，那我们就来试试。我们将使用五种搜索引擎加上 ChatGPT 来做三种类型的查询，并关闭广告拦截器 (ad blocker)，以体验普通用户的上网感受。我以前在浏览一个带有可疑广告的网站时，电脑曾被恶意软件感染，希望这次不会再发生（那次我很幸运，因为恶意软件在电脑上动作太大，不可能不被发现）。
January 2, 2024
View Article我们现在经常听到，世界正处于一个技术转折点；我们正在快速步入一个由 ChatGPT 等人工智能工具塑造的未来。然而，我怀疑，2024 年我们将会被提醒到纳普斯特的幽灵——以及其他数字化未来的失败。如果你年龄在 35 岁以下或 60 岁以上，你可能不太了解纳普斯特。但曾经，它代表了未来。纳普斯特是一个点到点的文件共享服务。在大约 1999 年到 2002 年间，它曾经是未来主义的代表。纳普斯特的逻辑很简单：有人买了一张 CD，然后把歌曲上传到电脑上。这台电脑连接到纳普斯特的对等网络，纳普斯特使这些歌曲可以被网络上的其他用户免费下载。这有点像是制作无数的混音带并四处传播。但对音乐产业来说，这更像是一种盗版行为。音乐产业因此感到恐慌，这种恐慌是有充分理由的。随着数字复制和分发成本趋于零，音乐销售将何去何从？如果所有音乐都可以免费获取，那么专业音乐家如何谋生？从音乐开始的这种趋势很可能蔓延到电影和电视行业。创意产业本应受版权法保护，但 20 世纪的版权法在 21 世纪的通讯技术面前意味着什么？
January 2, 2024
View Article自从 33 年前 Steve Jobs 将个人电脑比喻为能够激发思维的自行车以来，智能手机的兴起和社交媒体的广泛使用已经把这些“自行车”变成了失控的列车。在过去三十年里，由注意力经济驱动的数十亿美元研究资金被投入到开发强效干扰工具中，这些工具被部署在全世界的每个屏幕上。
January 2, 2024
View Article在技术日新月异的世界里，软件工程师持续面对吸收海量新技术信息的挑战。本文介绍了一种利用机器学习技术辅助软件工程师更高效地整理和学习这些资料的创新方法。本文旨在指导读者如何使用 OpenAI 来概括大量文档，并自动制作出高效的学习教程。特别例证的是，如何为 LeetCode 编制深入的教程。
January 1, 2024
View ArticleMidjourney 的 --v 6 版本与 --v 5 的提示方式截然不同。
January 1, 2024
View Article特别专题：庆祝新年的开放式探讨。欢迎迎来 2024 年！是的，我明白！虽然我说过要短暂休息，但新年的到来怎能错过呢？这毕竟是新的一年，为了纪念图灵！为了开启 2024 年的同时，继续我缓慢前进的承诺，我想与您分享一些精彩内容。回顾去年的文章积累，我找到了三篇我们人数还不多时分享的精华文章，它们都围绕着通用人工智能（AGI）的概念。它们是对我们年终回顾的完美补充，因此我决定将它们整合并稍作修改。因此，在这个特别专题《大多无害》中，我将带您深入了解 AGI，探讨为什么我们还未达到那个阶段，当前理论和实践中缺失的关键要素是什么，以及我们该如何继续前进。作为新年的特别礼物，这篇文章我将完全公开，敬请享用。
January 1, 2024
View Article简述如何以可扩展的方式把大语言模型（LLMs）从原型提升至高性能。本博客内容源自于在 OpenAI DevDay 会议上由 Colin Jarvis 和 John Allard 所做的精彩演讲。
January 1, 2024
View Article在我的职业生涯中，我经常遇到这样的场景：与客户合作，从战略层面策划大型、复杂、分阶段的项目。这些项目往往涉及多个内外部团队。在这个策划阶段，我的目标之一是制定出一个明确的 RACI 责任分配。通常，项目的主要责任归客户所有（毕竟，他们是实现目标 X 的主体）；然而，次要责任常常需要与第三方共担。这里的“第三方”指的是项目所属公司之外的任何团队。
January 1, 2024
View Article乔布斯还说过：最优秀的员工通常也是最难管理的。
January 1, 2024
View Article如何真正理解他们的需求
January 1, 2024
View Article本文讲述了为什么不确定性是创新工作中不可或缺的一部分，以及在不确定性的背景下，什么是“生成性”，设计生成性不确定性的三大原则是什么，以及这些原则如何具体实施。
January 1, 2024
View Article2023 年是大语言模型（LLMs）取得重大突破的一年。将这些模型称为 AI 是恰当的——它们是目前人工智能学术领域最新、最引人注目的发展，而这一领域的历史可以追溯到 20 世纪 50 年代。下面是我尝试汇总的一些年度亮点！
January 1, 2024
View Article我对低代码持怀疑态度。
December 31, 2023
View Article今年的感觉特别不同。我已经在机器学习和人工智能领域工作、研究和实践了十多年，但我从未见过像今年这样，这些领域如此受欢迎且发展迅速。为了总结 2023 年在机器学习和人工智能研究领域充满事件的一年，我非常兴奋地与大家分享我今年阅读过的十篇引人注目的论文。我的个人研究重点更倾向于大语言模型（Large Language Model, LLM），因此你会发现，我选的论文中，大语言模型的比计算机视觉的要多。
December 31, 2023
View Article探究谷歌是如何运用混合方法研究、日志记录等手段来评估开发者生产力的。
December 31, 2023
View Article尽管人工智能 (AI) 在工作场所逐渐取代以人为核心的优势，但这种优势是短暂的。要实现持久的竞争力，关键在于将 AI 强大的计算能力与人类的判断力相结合。Louis-David Benyayer 和 Howard Zhong 指出，企业必须整合人力与技术资源，创建既融合 AI 技术又结合人类技能的新岗位。这需要投资于技术、人才和朝向协作、多功能的文化转型。
December 31, 2023
View ArticleMeta 对 ActivityPub 和 Mastodon 突然展现出的兴趣，乍看之下似乎难以理解。在 Fediverse 社交圈中，一些看似牵强的观点频频出现，每一个都试图解释 Meta 这一异常之举。但我对这些解释持怀疑态度。这背后肯定是一个经过多年筹划的计划。我们正实时见证着 Meta 面临的最大挑战。
December 31, 2023
View Article近几年，大型预训练语言模型（LLMs）展示出了按照指令行动和利用少量样本完成新任务的能力。这种通过上下文示例对大语言模型进行参数设置的方式，不仅增强了其功能，而且成本远低于微调（finetuning）。我们在这个思路基础上进一步发展，提出了一种新方法：将大语言模型嵌入到一个算法或程序中，从而扩展其能力。为了证明这种方法的有效性，我们展示了一个基于证据的问答示例。这种更注重算法的方法使我们在不进行任何微调的情况下，比传统思维链方法提高了 6.4% 的性能。此外，我们还回顾了这个领域的最新研究，探讨了这种方法与传统方法相比的优势与不足。
December 31, 2023
View Article我们认为 Jaynes 的论述十分清晰，这本书极具价值，但它更适合研究生物理学的读者。它填补了统计学、数学、因果理论和科学哲学之间的空白，提供了关于如何理解世界和面对不确定性的实际教训。在这里，我们试图提供一篇评论，分享书中的核心思想，并省略所有复杂的数学公式和推导过程。这本书大致由两部分组成：一半是高级数学，另一半是即便没有数学背景也能理解的精彩故事和见解。它包含丰富的内容，而这篇评论仅覆盖了前六章，介绍了概率论的基本概念和问题。
December 31, 2023
View ArticleICFO 的研究人员在阿秒级软 X 射线光谱学方面取得的进步，极大地改进了对材料的分析，特别是在研究光与物质的相互作用和复杂的多体动力学方面，为未来技术的应用开辟了新的可能性。
December 31, 2023
View Article在那个人们普遍认为“自动驾驶汽车还有半年就能面市”的美好时光里，你可能遇到过这样的论点：“如果自动驾驶汽车能够运行，那么它们将比人驾驶的汽车更安全。”这听起来没错。但如果你所说的“它们能够运行”是指它们在包括安全性在内的多方面都优于人类驾驶的汽车，那么，果然，如果它们能运行，它们就会比人类驾驶的汽车更安全。这其实是一种逻辑上的循环论证。不幸的是，技术界充满了这类诡辩，尤其是在 AI 领域。
December 30, 2023
View Article初级软件开发人员 (junior software developers) 正面临一个充满挑战的就业市场。远程工作的广泛普及、大量裁员以及人工智能 (AI) 的崛起为这一行业的新入行者带来了不少难题。以下内容介绍了如何帮助这些初入行的新人在职场上茁壮成长。
December 30, 2023
View Article上周，美国钢铁公司宣布将被日本的日本制钢公司收购。这一转折点让我们有机会回顾一下这家曾是美国乃至世界上最大、最重要的公司是如何逐渐走向衰落的。在收购消息公布之前，美国钢铁的市值大约为 80 亿美元，连进入《财富》杂志的 500 强都不够（排在大约第 690 位，比 Texas Roadhouse 连锁餐厅还要低）1。自成立以来，这家公司的市场份额和影响力一直在缓慢但稳定地下降。1901 年成立时，它不仅是世界上最大的公司，还生产了美国近三分之二的钢铁。而今天，它的钢铁产量只占美国的 12%，大约只有 1955 年的三分之一，而且雇员人数与在线宠物用品零售商 Chewy 相当。这家曾经的工业巨头是怎样一步步走向衰落的呢？让我们来探究一下。
December 30, 2023
View Article在谷歌，我们常被请求协助团队衡量各种开发者工具和流程对生产力的具体影响。这通常体现为一些团队开发了新的开发者工具，希望证明这些工具能够提升开发者的工作效率。
December 30, 2023
View Article彭博观点的技术专栏作者通过翻阅纸质书籍来更好地理解数字革命的深远影响。在这种情况下，最好是退一步，慢慢吸收信息，思考未来可能面临的情况。2024 年之际，我们的技术专栏作者想分享他们在过去一年里阅读或重读的书籍，这些书籍帮助他们构建思考框架。Dave Lee 是彭博在纽约的美国技术专栏作家，而 Parmy Olson 则从伦敦报道人工智能和科技行业。
December 30, 2023
View Article我使用了私有和公开的大语言模型来回答一个我在大约 30 年前花费了一个星期时间研究的本科论文问题。目的是探究在这些年里，使用这些工具是否会改变我的学习体验。结果发现，这次借助 AI 的体验在某些方面与以往大相径庭，而在其他方面则有所相似。
December 30, 2023
View Article到目前为止，AI 在科学领域最大的成就莫过于 AlphaFold 2 系统。这是一个深度学习系统，它在解决一个基础科学难题上取得了巨大进步：从蛋白质的氨基酸序列预测其三维结构。这一重大突破促进了分子生物学领域深度学习革命的持续进行。这不仅对分子生物学家来说意义重大，而且我认为它对整个科学领域都极具意义，因为它是一个具体的实例，展示了人工智能如何影响科学发现。在这个简短的报告中，我将探讨几个问题：如何验证这样的系统？它们能否帮助我们找到人类科学家可以学习的普遍原则？一个优秀的理论或解释应该包含哪些内容？本次讲座主要关注现有成果和近期发展，而非长远未来。然而，我希望它能帮助我们更好地理解未来的长期走向，以及 AI 系统所带来的好处和风险。
December 30, 2023
View Article随着生成式 AI 的兴起，开发者们对于自动化解决问题的热情愈发高涨。这种趋势很可能将代码的创建、维护和改进推向一个崭新的高度。
December 29, 2023
View Article如果你只是通过免费的网页或移动应用接触 OpenAI 的 ChatGPT，那你可能还未充分挖掘出 ChatGPT 的全部潜力。通过使用价格低廉的付费 ChatGPT API，你可以对输出结果进行更加深入的控制。例如，我想为这篇博客文章生成一个包含分类和 SEO 关键词等有用元数据的摘要。我将这篇博客的文本和一个指令输入给 ChatGPT：
December 29, 2023
View Article本文介绍了 26 个专为简化向大语言模型（Large Language Model）提问和设置提示的原则。我们旨在让研究者更容易理解如何针对不同规模的大语言模型提出问题，评估其能力，并了解这些模型在面对不同提示时的反应。我们在 LLaMA-1/2（容量分别为 7B、13B 和 70B）和 GPT-3.5/4 上进行了广泛实验，验证了这些原则在设计指令和提示时的实用性。我们希望这项研究能为那些致力于提高大语言模型响应质量的研究人员提供实用的指导。
December 29, 2023
View Article看到这个标题，你可能会想：“没错，Robb，网络[1] 自然是奇妙的，它毕竟是现代世界所有商业和通信活动的核心”。或许你并不这样认为。但我要说的不仅仅是整个互联网，而是指那些开放的网络。那些鼓励你使用它们的 API 去创造新奇事物的网络。那些拥有开放标准的网络。就像独立网络那样。
December 29, 2023
View Article让用户接受一款新产品总是充满挑战。对我们来说，经历了 7 次失败的尝试后，第 8 个版本的产品 - Jam（一个用于创建带有自动开发日志的 bug 报告的浏览器扩展）终于成功了！在 2023 年，Jam 的使用量增长了 10 倍，创建的 Jams 超过了 100 万个。今年我学到了很多关于如何打造成功产品的知识。归根结底，这依赖于团队、代码和用户反馈。
December 29, 2023
View Article代码为构建复杂程序和执行精确计算提供了一种通用的语法结构。当与代码解释器 (interpreter) 配合使用时，我们推测，语言模型 (LMs) 能够通过编写代码来增强“思维链条 (Chain of Thought)”式的推理。这不仅适用于逻辑和算术任务\[ 5 , 26 , 1 ]，也适用于语义任务，特别是逻辑与语义相结合的任务。例如，如果让一个语言模型编写一个检测文章中讽刺次数的代码，它可能难以编写一个可以被解释器执行的“detect\_sarcasm(string)”函数（处理边缘情况会非常困难）。然而，如果语言模型不仅编写代码，还能模拟解释器的行为，通过生成“detect\_sarcasm(string)”及其他无法执行的代码行的预期输出，它仍有可能找到有效的解决方案。在本研究中，我们提出了“代码链 (Chain of Code, CoC)”方法，这是一个简单但效果惊人的扩展，用于改进基于代码的语言模型推理。其核心思想是鼓励语言模型将程序中的语义子任务格式化为伪代码 (pseudocode)，使解释器能够明确地捕获未定义行为，并由语言模型（作为一个“LMulator”）模拟。实验显示，“代码链”在多个基准测试中都优于“思维链条 (Chain of Thought)”和其他基准线；在 BIG-Bench Hard 测试中，“代码链”达到了 84% 的成绩，比“思维链条”高出 12%。CoC 适用于大型和小型模型，扩展了语言模型通过“用代码思考”正确回答推理问题的范围。
December 29, 2023
View Article