我们人类对周遭世界的认知大多来源于观察——尤其是在生命的早期阶段。就拿牛顿的第三定律来说：甚至婴儿或是猫，在将物品从桌上推下观察其落下后，都能直观感受到“物体上抛必将下落”的道理。这种认知不需长时间的教导或阅读海量书籍就能获得。你的内部世界模型——基于对世界的心理构建的理解——帮你预测了这一切，并且极其高效。“V-JEPA 是让机器更实际理解世界、实现更广泛推理与规划能力的一大步。”Meta 的副总裁兼首席 AI 科学家 Yann LeCun 表示，他在 2022 年首次提出了 Joint Embedding Predictive Architectures（JEPA）概念。“我们旨在打造能够像人类一样学习、通过构建内部世界模型来适应和有效规划，以完成复杂任务的先进机器智能。”
February 22, 2024
View ArticleGemma 承载着对负责任 AI 开发的承诺，它采用了与 Gemini 模型相同的研究成果和技术基础。
February 21, 2024
View Article水对我们而言，是生命之源、无所不在且看似毫无差异。AI，特别是生成式 AI 应用，亦复如此。
February 20, 2024
View ArticleSora 的视频质量似乎是不可能的，所以我深入研究了它的工作原理 它使用了扩散（从噪声开始，细化到期望的视频）和 Transformer 架构（处理连续的视频帧）。
February 20, 2024
View Article在多年的会议演讲经历中，我发现自己喜欢设计幻灯片，为每个话题创造新的视觉主题，这不仅令人兴奋，也成为了我投入准备演讲的动力。许多人询问我关于技巧和推荐工具，因此，在这篇指南中，我想分享一些我的经验心得，并介绍**三个简单步骤**，帮助你在接下来的会议季为你的演讲幻灯片增色添彩！
February 20, 2024
View Article简单来说 Runway 是基于扩散模型（Diffusion Model）的，而 Sora 是基于 Diffusion Transformer。
February 17, 2024
View Article我们致力于在视频数据上开展生成模型的大规模训练。具体来说，我们针对不同时长、分辨率和宽高比的视频及图像，联合训练了基于文本条件的扩散模型。我们采用了一种 Transformer 架构，这种架构能够处理视频和图像潜在编码的时空片段。我们的最大型号模型，Sora，能生成高质量的一分钟视频。我们的研究显示，扩展视频生成模型的规模是向着创建能够模拟物理世界的通用工具迈出的有前途的一步。
February 16, 2024
View ArticleOpenAI 的新型文本到视频模型为电影制作开启了新篇章
February 16, 2024
View Article在扩展大语言模型 (LLM) 及视觉 - 语言模型 (VLM) 能力方面，提示工程已成为关键技术。它通过特定任务的指令，即提示，提升模型效能，无需更改模型核心参数。这些提示能够通过给定的指令直接引导预训练模型完成下游任务，从而实现模型行为的精确调控。这些提示既可以是指导模型的自然语言说明，也可以是激发相关知识的向量表示。提示工程作为一个新兴领域，在多种场景下展现了其强大的应用潜力，包括问答系统、常识推理等。尽管如此，这一领域的方法和技术仍缺乏系统性的整理和理解。本文通过系统性概述提示工程的最新进展，并按应用领域进行分类，旨在填补这一空白。我们对每种提示方法进行了详细总结，包括其方法论、应用案例、相关模型及数据集。同时，我们探讨了各方法的优缺点，并提供了一个包含数据集、模型及关键技术点的分类图和表格。通过这一系统性分析，我们能够更深入地理解这个快速发展的领域，并指出未来研究的方向和挑战。
February 15, 2024
View Article人工智能（AI）并不一定会夺走我们的工作。相反，它为我们提供了一个机遇，那就是将专业知识推广至更广泛的劳动者群体。
February 15, 2024
View Article通过截获 API 调用，迅速掌握难以解读的大语言模型框架。
February 15, 2024
View Article关于未来职业的讨论已经铺天盖地，我也曾深入探讨过从机器人管家到气候难民等多个领域。而在 AI 创造的众多工作中，最近一年多来，“提示工程师”这一职业引起了广泛关注。
February 14, 2024
View Article本期，我将介绍一个教程，告诉你如何利用 Node.js 构建一个系统，该系统能够通过 Youtube 视频链接，利用 OpenAI 提供的 completions api（也就是 ChatGPT 所基于的 API）来生成视频内容的摘要。
February 14, 2024
View Article关于《纽约时报》与 OpenAI 版权诉讼结果的思考
February 13, 2024
View Article“这家公司缺乏焦点”这句话让我感到困惑。公司不是应该通过增加员工来扩大其业务范围，进而提高专注度吗？事实上，这是有道理的：例如，谷歌有超过 100 个产品，远超任何初创公司的产品数量。但从另一个角度看，鉴于谷歌拥有约 20 万员工，100 个产品似乎又显得不足。以 Instagram 为例，它最初只有不到 13 名员工就成功推出了产品。按照这个效率，谷歌理论上应该能推出更多的产品。那么，是什么导致了这种差异？大型科技公司为什么不能推出更多的产品呢？
February 12, 2024
View Article我正坐在夏威夷一座 10,000 英尺的高山之巅，面前是一块 30 英尺的巨屏，同时也在奥斯汀一家咖啡馆里的桌旁。我敢说，周围的人肯定在偷拍我，然后把照片发给朋友，让他们一起笑我是个怪人。最近这一周，我的生活变得不可思议。我的奇幻之旅始于 30 年前的 1990 年，那时候我的父母带我去波士顿的海港世界贸易中心参观一场名为“虚拟现实展”的活动。我站在一个小圆台上，工作人员给了我一个塑料枪，又戴上了一个笨重的头盔。瞬间，我仿佛穿越到了一个卡通世界，穿着军装，手里拿着真枪。台旁的另一个人也以卡通形象出现，同样手持枪械。在一阵笨拙的挥舞和射击后，我被工作人员请出，为下一个人让出位置。
February 12, 2024
View Article我一直在网站服务和移动应用开发领域工作，但这最终变得有些单调。回想起高中时代，我曾是焊接俱乐部的一员，那时起我就有种想挑战更高难度问题的渴望。两年前，我开始在阿姆斯特丹寻觅机遇，最终加入了 Monumental。如今，我在这里致力于利用机器人技术自动化建筑施工，首先从砖石工作开始。当系统顺利运行，亲眼见证一堵墙慢慢建成时，那份成就感是难以言喻的。相比之下，看到别人忙于加密货币或金融科技的项目时，我总感觉如果我去做那些事情，肯定会感到极度无聊。
February 12, 2024
View Article事实证明，木工的精髓与软件工程并无太大差异：在软件工程中最美妙的时刻莫过于构建你自己的工具，这是一种充满目的的工作。
February 12, 2024
View Article谷歌通过分析用户与搜索结果页面的互动数据——例如点击某个结果、返回再点击其他结果——来优化其搜索结果的排名。多年来，这种方法帮助谷歌在搜索相关性上保持领先，因为相比其他搜索引擎，谷歌拥有更丰富的用户互动数据。但在 2018 年末，谷歌工程师们意识到，随着语言模型的发展，它们最终能够仅凭网页的文本内容，而无需任何用户反馈，就理解网页的含义。这一发现表明，即使是一个小型的创业公司也有可能挑战谷歌在搜索领域 20 年的领先优势。谷歌资深软件工程师 Eric Lehman 在观察到谷歌的 BERT 语言模型在处理搜索结果页面上的“网页答案”时取得的初步成果后，写了一封电子邮件，警告 AI 技术可能对公司构成重大威胁。
February 12, 2024
View Article我们真的有学过如何进行良好的交谈吗？事实上，并没有。似乎人们总期望我们能自然地学会这门技艺...难怪很多人的沟通技巧并不尽如人意。如何才能成为那种人们乐于交谈的人呢？为了回答这个问题，我整理了大量的研究和专家访谈，让我们一起把这些知识转化为实际可行的技巧。
February 11, 2024
View ArticlePrompt of "Tutor Me" GPT
February 7, 2024
View ArticlePrompt of "Scholar GPT" GPT
February 7, 2024
View Article一个有意思的 80 年代调试磁带驱动器故障的小故事
February 6, 2024
View Article我将教你成为一位超级谈判高手。（或者至少成为一个有些古怪但能力出众的亿万富翁谈判家，听起来是不是有点酷？）认真说，这篇文章将深入讲解整个谈判流程，并且详细讨论如何成功谈判工作报价的最后四条规则。
February 6, 2024
View Article这篇文章是我们论文《构建你自己的产品副驾驶（Copilot）：挑战、机遇与需求》的非正式总结。
February 6, 2024
View Article通过检索增强的语言模型，我们能更灵活地跟上世界的变化，并融入更广泛的知识。但现有的大多数方法只能从资料库中取得短小连贯的文本片段，这限制了对文档整体情境的深入了解。我们提出了一个创新的做法：通过递归地嵌入、分类和概括文本块，我们从底层向上构建了一个分层总结的树状结构。在进行推理时，RAPTOR 模型能够从这棵树中检索信息，使我们能够在不同层次上整合长篇文档的信息。通过控制实验，我们发现，相比传统的检索增强语言模型，在多个任务上采用递归概括检索的方法显著提高了性能。特别是在需要复杂多步推理的问答任务上，我们的方法取得了前所未有的效果。举个例子，结合 RAPTOR 的检索能力和 GPT-4 的强大计算，我们在 QuALITY 问答基准测试上实现了 20% 的准确率提升。
February 5, 2024
View Article如何克服检索增强生成中的关键难题
February 4, 2024
View ArticleChatGPT 正在逐步改变我们熟悉的工作模式。无论是协助小企业处理行政工作，还是为网页开发者编写 React（React）组件，它的实用性不言而喻。在 interviewing.io，我们对 ChatGPT 如何改变技术面试的方式进行了深入思考。一个关键问题是：ChatGPT 会不会让面试作弊变得更加容易？想要了解答案，不妨看看这段 45 秒的视频。视频里，一位工程师利用 ChatGPT 精准回答了面试官的问题。
February 1, 2024
View Article2023 年第四季度财报电话会议
February 1, 2024
View Article我们将深入了解构建企业级 RAG (Retrieval-Augmented Generation) 系统的复杂世界。网络上虽然不乏关于简易 RAG 系统的文章，但要构建一个坚固的企业级解决方案，过程却充满未知。许多开发者甚至不知道构建 RAG 系统时最关键的决策是什么...这篇博客不只是理论探讨，更是一个实践指南，旨在助您一臂之力！我们将从保障安全的关键措施到查询重写如何影响用户体验，提供实用的洞见和实际案例。无论您是资深开发者还是技术领袖，都请准备好深入探索先进的企业级 RAG 系统的世界！
February 1, 2024
View Article无论是工作、做饭、滑雪还是休闲放松——我体验了一周 Apple 的最新混合现实头显，探索它的实际用途。
January 31, 2024
View Article给 GPT-4 Turbo 提供小费以期获得更完美的回答，这种做法真的有效吗？目前对此话题的研究还相当有限。我们对一些编程相关的提示进行了初步实验，发现给予一定的小费可能确实有效，但小费的数额似乎非常关键。例如，如果小费很少（比如只有 $0.1），GPT-4 Turbo 的表现反而会变差。在我们的实验中，提供 $0.1 和 $100 万美元的小费，性能改善幅度分别是 -27% 到 +57%。但是，为了验证这一观点，还需要对不同类型的提示进行更多实验，并且这些实验需要有可靠的基础数据作为支撑。
January 31, 2024
View Article经历了超过十年的零利率，科技行业即将迎来巨变。利率上升将如何影响软件工程师的工作、发展以及职业规划？你需要怎样为即将到来的变化做好准备？
January 31, 2024
View Article2023 年是 GitHub Copilot 大放异彩的一年。在短短不到两年的时间里，这款 AI 编程助手已从一个初步的原型迅速成为众多开发者和企业中不可或缺的重要工具 [1]。它的迅猛发展开启了编写代码的新纪元。GitHub 已经发布了数份关于 AI 如何影响软件开发的增长和影响的研究。他们的一项重要发现是，开发者在使用 Copilot 时，编码速度提升了“55%”。面对大量由 LLM 生成的代码，我们不禁要问：这些代码在质量和可维护性上与人工编写的代码相比如何？它们是不是更像经验丰富的高级开发者的精心作品，还是更接近短期合同工的零散拼凑？为此，GitClear 收集了从 2020 年 1 月到 2023 年 12 月之间的 153 百万行代码变更记录 [A1]。这是目前已知最大的用于分析代码质量差异的高度结构化代码变更数据集 [A2]。我们发现了一些关于代码可维护性的令人担忧的趋势。代码变更率 —— 指在编写后不到两周就被修改或撤销的代码行所占的比例 —— 预计在 2024 年将是 2021 年 AI 出现之前的两倍。我们还发现，“新增代码”和“复制/粘贴代码”的比例相比于“更新的”、“删除的”和“移动的”代码在上升。从这个角度看，2023 年生成的代码更像是一位临时的贡献者，容易打破代码库的“不重复原则”（DRY-ness）。我们以一些针对管理者如何在这种逆流中保持代码高质量的建议作为本文的总结。
January 30, 2024
View Article本文将带您一步步实现一个稀疏混合专家语言模型。这个项目受到了 Andrej Karpathy 的 'makemore' 项目的启发，并在很大程度上基于它，借鉴了许多可重用的组件。与 'makemore' 类似，'makeMoE' 也是一种自回归的字符级语言模型，但它采用了所谓的稀疏混合专家架构。文章的后续部分将详细介绍这种架构的关键要素及其实现方式。我希望您通过阅读本文并实践代码，能对整个系统的工作原理有一个直观的了解。
January 30, 2024
View ArticleApple Vision Pro 是迄今最佳的消费级头戴设备，但这恰恰是它的问题所在。新推出的 Apple Vision Pro 承载着巨大期望，它标志着苹果正式进入面部穿戴式计算机的领域。苹果宣称，售价起始于 3,499 美元的 Vision Pro，开启了一种名为“空间计算”的新篇章，这一概念实际上是指在你四周运行各种应用程序。苹果对此的广告宣传也毫不保留：展示人们在各种场合都戴着 Vision Pro——工作时、洗衣时、与孩子玩耍时。其雄心勃勃的目标是在现实世界中叠加应用和信息，以此增强现实感。
January 30, 2024
View Article关于最初的电气和杰出应用研发实验室，其历史分析能给 Answer.AI 带来什么启示，以及他们可能面临的风险
January 30, 2024
View Article这篇博客是为那些渴望做出重要成就或对工作有所贡献，却觉得自己不够聪明或缺乏才能的人而写的。
January 30, 2024
View Article计算机科学教师和软件专家对机器学习辅助工具的建议
January 29, 2024
View Article最坏情况能有多糟？
January 29, 2024
View Article本文讨论了大型科技公司中的绩效管理问题，特别是与解雇和奖励决策相关的复杂过程。作者指出，尽管普遍认为大型科技公司想要营造一种残酷的竞争环境，但在资金充足的快速成长公司里，解雇平庸员工并非内在动力。绩效管理过程对管理者造成压力，且可能伤害士气、增加法律风险，并导致机构知识的流失。文章还提到了员工对公平的执着，以及管理者如何处理下属之间的比较和感知不公。早期，绩效管理通常由经理决定，但这导致了一些问题，例如偏袒和严厉的评价不一。谷歌在其早期尝试了基于同事评价的绩效管理系统，这种模式逐渐被其他科技公司采纳。然而，这种方法并未带来预期的益处。大多数员工的反馈都是积极且平庸的，真正的差劲表现者或社交技能不佳者成为例外。为了解决这个问题，管理者不得不“解读”反馈以进行排名，用于决定解雇、晋升和奖金。尽管看似由同事驱动，实际上大部分重要决策仍由经理做出。文章最后指出，这种由谷歌发起的绩效管理流程并没有比它试图取代的系统表现得更好。它只是将经理层面的偏袒指控转换为更大的阴谋论，而且对于维持高水平的晋升标准所付出的代价也很高。
January 29, 2024
View Article这篇论文详细的讲解了如何借助 GPT-4V 这样的多模态模型，与开放网络中的网站交互，完成用户的各项指令。
January 27, 2024
View Article我们将深入了解构建企业级 RAG (Retrieval-Augmented Generation) 系统的复杂世界。网络上虽然不乏关于简易 RAG 系统的文章，但要构建一个坚固的企业级解决方案，过程却充满未知。许多开发者甚至不知道构建 RAG 系统时最关键的决策是什么...这篇博客不只是理论探讨，更是一个实践指南，旨在助您一臂之力！我们将从保障安全的关键措施到查询重写如何影响用户体验，提供实用的洞见和实际案例。无论您是资深开发者还是技术领袖，都请准备好深入探索先进的企业级 RAG 系统的世界！
January 27, 2024
View Article随着大语言模型 (LLMs) 的突飞猛进，一个以真实世界中的自动化应用为核心的新时代已经来临。这一时代的特点是推动了基于网络的先进智能体的发展。目前市面上的网络智能体大多只能处理单一输入模式，并且它们的性能通常仅在简化的网络模拟环境或是静态的网络快照中得到评估，这大大限制了它们在实际应用中的有效性。为了解决这一问题，我们推出了 WebVoyager：一个创新的、由大型多模态模型 (LMM) 驱动的网络智能体。WebVoyager 能够通过与现实世界中的网站交互，全面完成用户的各项指令。此外，我们还提出了一种新的评估协议，用于应对开放式网络智能体任务自动评估中的种种挑战。我们利用 GPT4V 的强大多模态理解能力，从 15 个广泛使用的网站中收集真实世界任务，作为衡量我们智能体性能的新基准。测试结果显示，WebVoyager 的任务完成率高达 55.7%，明显优于 GPT4 (含所有工具) 以及仅文本模式的 WebVoyager，这充分证明了它在实际应用中的出色能力。我们的自动评估方法与人类评判的一致性高达 85.3%，为网络智能体在真实世界环境中的进一步发展奠定了坚实的基础。
January 27, 2024
View Article2023 年标志着计算技术新纪元的开始。迄今为止，生成式 AI 主要关注于技术层面的发展。同时，大多数 AI 产品仍然在使用最初模型提供商设计的聊天界面，就像早期个人电脑时代的命令行界面，这对用户提出了较高的要求。
January 27, 2024
View Article从 Blockbuster 的失败中学到的整合 AI 的智慧，以及为何光靠✨（闪光表情符号）不够。
January 26, 2024
View Article在日常生活中融入运动，比如骑车通勤或做家务，是一种巧妙的燃脂方式。这就是所谓的 NEAT（非运动性活动热量消耗）的理念。
January 25, 2024
View Article随着大语言模型（LLMs）的进展，最近人们越来越多地讨论通用人工智能（AGI），包括它的发展趋势和可能的面貌。这些讨论既有乐观的期待，也有对未来充满担忧的声音。但遗憾的是，这些讨论往往过于抽象，导致大家在讨论中各说各话，难以达成共识。因此，我一直在寻找具体的例子和历史先例来更实际地探讨这个话题。当被问及我对 AGI 的看法时，我通常会举自动驾驶为例。在这篇文章中，我想解释这样做的原因。
January 25, 2024
View ArticleReact 服务组件 为 React 引入了专属于服务端的强大功能。我在 Next.js 13 和 14 的应用中实践了这一新范式，接下来是我对其的真实评价。之前我一直在犹豫是否要发表这篇文章，因为 React 社区过去对待批评的态度让我有所顾虑。但最近，我认为分享我的看法变得尤为重要，特别是在我发现大多数现有批评要么记录不充分，要么基于对此技术的不熟悉。写下这篇文章，我是站在一个非常重视用户体验的角度。虽然我也关注开发者的体验，但我始终认为用户体验是最重要的。
January 24, 2024
View Article大语言模型（LLM）已经在人工智能领域带来了革命性的变化。然而，它们的应用受限于处理信息的上下文窗口较小，这在执行长对话和文档分析等任务时尤其成问题。为了突破这一限制，我们提出了一种名为虚拟上下文管理的新技术。这种技术借鉴了传统操作系统中层次化内存系统的理念，能够通过在不同速度的内存间转移数据，从而扩展大语言模型处理信息的能力。基于这种技术，我们开发了 MemGPT（Memory-GPT），这是一个智能系统，它能够有效地在大语言模型本身有限的上下文窗口内提供更广泛的上下文信息。此外，MemGPT 还采用中断机制，以优化系统与用户间的交互控制流。我们在两个重要领域对这种受操作系统启发的设计进行了评估：一是文档分析，在这一领域，MemGPT 能够处理远超大语言模型本身上下文限制的庞大文档；二是多回合对话，在这里，MemGPT 能够构建出能够记忆、反思并在与用户长期互动中不断进化的对话智能体。
January 24, 2024
View Article