Google 的各种“登月项目” ——无论是 Waymo 无人驾驶汽车，Google Fiber 光纤网络，Nest 智能家居，Project Wing 无人机配送，Verily 生命科学以及 Project Loon 网络气球等 (这个列表还会持续扩展)——其实在很大程度上，都通常看作是一些科学实验项目。它们主要是把 Google 搜索的盈利从股东手中导向了这些创新尝试。其中，Waymo 可能是最富潜力的，但即使它能获得成功，最后的结果仍然是一种远离 Google 的使命——“整理全球信息，让人们可以随时随地获取并有效利用”——的汽车服务。
December 19, 2023
View Article在回答复杂的自然语言问题时，往往需要通过多步推理并结合外部信息。目前已有几种系统能够结合大语言模型 (LLM) 和知识检索来应对此类问题。但这些系统存在一些失败的案例，且由于与外部知识交互的过程不可导，我们无法直接对这些系统进行端到端的训练以解决这些问题。为了克服这些挑战，我们设计了一个能够理解和操控外部知识的 ReAct 风格 LLM 智能体。我们进一步通过一种类似 ReST 的方法对该智能体进行优化，这种方法通过迭代地训练前期的行为轨迹，并利用带有 AI 反馈的逐步扩大的强化学习，实现了持续的自我提高和自我简化。从一个初步设定的大型模型出发，仅经过两次迭代，我们成功打造了一个微调过的小型模型。这个小型模型在解决复杂组合问答问题上的表现可以媲美大型模型，但其参数量却少了两个数量级。
December 19, 2023
View Article2023 年，许多人开始学习如何与机器人沟通、创造、作弊，并进行合作。
December 19, 2023
View Article大语言模型 (LLM) 运营领域如何变革，以及为何尚未见到广泛应用的生成式 AI — 但 2024 年或有所改变。
December 19, 2023
View Article我遇到的三大生产力障碍及解决之道 + 🎁 附赠福利：多任务处理的弊端
December 18, 2023
View Article我有幸与许多卓越的工程师合作过，他们既来自像 FAANG 这样的大型公司，也来自诸如创业公司这样的小型企业。他们让我领略到了传说中的“10 倍效能”工程师 - 他们确实存在！这些工程师中的一些已经创办了自己的公司，引领了像 Vercel 这样改变我们认知互联网的开发，或者在如今的大型科技公司里领导着价值数十亿美元的项目。在与他们的合作中，我发现他们在编程时都有一些共通的习惯。
December 18, 2023
View Article这一漏洞可能导致攻击者利用内容生成时用到的语言模型，窃取用户私密文件。尽管已经向 Writer.com 报告了这一问题，但截至目前为止，由于 Writer.com 在披露后并未将其分类为安全漏洞，因此漏洞尚未得到修复（具体详情见文末“负责任披露”部分）。
December 18, 2023
View Article本文揭示了恶意网站如何控制 ChatGPT 聊天会话，并窃取会话历史的方式。
December 18, 2023
View Article探讨如何结合传统关键词搜索与现代向量搜索来获得更相关的搜索结果
December 18, 2023
View Article目前，Mistral AI 是最引人注目的 AI 研究实验室。他们最近发布了两种功能强大的小型大语言模型，这些模型遵循 Apache 2 协议授权，还有一个更大的模型可通过他们的 API 使用。
December 18, 2023
View Article想在你的 Macbook 上尝试运行 Mistral 7B 吗？这篇教程将一步步指导你如何做到！
December 18, 2023
View Article我们构建了一个新的框架，这个框架可以帮助我们更好地理解通用人工智能（AGI）及其早期版本的能力和表现。这个框架详细划分了 AGI 的性能、适用范围和自我控制能力的不同层次。我们希望，这个框架能够像划分自动驾驶技术等级一样，为人们提供一种通用的语言，以便比较不同的 AGI 模型，评估它们可能带来的风险，并跟踪我们在实现 AGI 这一目标道路上的每一步进展。为了建立这个框架，我们审视了 AGI 的现有定义，并从中提炼出六大原则，以构建一个实用的 AGI 分类体系。这些原则强调重视 AGI 的实际能力，而不仅仅是其背后的技术机制；它们建议我们应当分开评估 AGI 的适用范围和性能水平；并且我们不应该只着眼于最终目标，而应该明确标记出通向 AGI 的每一个阶段。基于这些思路，我们根据 AGI 的能力深度（即性能）和广度（即适用范围）提出了“AGI 等级”，并且对当前系统如何符合这个分类体系进行了思考。我们还讨论了未来评估 AGI 行为和能力的基准测试所面临的挑战。最后，我们探讨了这些 AGI 的不同层次如何与实际部署时的自主性和风险管理相结合，并强调在部署高级 AI 系统时，选择合适的人机交互方式对于确保系统的负责任和安全使用至关重要。
December 18, 2023
View Article这份指南全面介绍了如何将产品原型发布到生产环境的最佳实践。不论你是资深的机器学习工程师还是刚入门的技术爱好者，这份指南都能为你提供在实际生产环境中成功应用该平台所需的各种工具和知识。内容涵盖从如何保护 API 访问安全到如何构建能应对高流量的架构。参考这份指南，可以帮助你更顺畅、高效地部署应用程序到生产环境。
December 17, 2023
View Article斯坦福大学的专家们对 GPT-4 在辅助医生进行简便咨询方面的安全性和准确性进行了探究。
December 17, 2023
View Article这份指南旨在分享如何更有效地利用像如 GPT-4 这样的大语言模型（有时候也叫 GPT 模型）来获得更好的结果。介绍的方法可以相互结合，以发挥更大的作用。我们鼓励你进行实验，寻找最适合你的技巧。
December 16, 2023
View Article人类的语言、数学和逻辑，这些都是我们解读世界的工具。在当今世纪，出现了一种新的、更加强大的工具：计算。在过去近 50 年中，我有幸基于这个计算概念，建立起一座越来越高的科学技术之塔。今天我想和大家分享，这一路走来，我们发现了什么。
December 16, 2023
View Article4 个改变我工作效率的编程习惯
December 15, 2023
View Article发掘大语言模型 (LLMs) 的巨大潜能！🚀
December 15, 2023
View Article通过搜索编写在计算机代码中的“函数”，FunSearch 利用大语言模型 (LLMs) 首次在数学科学的未解之谜中取得突破
December 15, 2023
View Article研究表明，移除 70% 的注意力头和 20% 的前馈网络对上下文学习影响甚微，这暗示大语言模型或许训练得不够充分。
December 15, 2023
View Article人工智能对经济的影响将受到其技术发展和实施的速度与有效性的双重影响。我们在这里分享我们对这个日渐丰富的研究领域的理解和我们如何实时跟踪这一发展趋势。
December 15, 2023
View Article解读一下 OpenAI 的 Chat Completions API 的一些更新。
December 15, 2023
View ArticleFunSearch 是 Google DeepMind 最近利用大语言模型在数学领域的一个重大成果，甚至于你能从中看出前不久传闻中的 Q* 的影子，因为它本质上是实现了大语言模型自己提出解决数学问题的方案，并自己去验证解决方案。
December 15, 2023
View Article谈谈如何管理一个软件项目。
December 14, 2023
View Article虽然构建成功的软件架构的过程看似简单，实际上却颇具挑战。要理解 QARs，并在此基础上做出最优权衡，需要深刻的洞察力和丰富的经验，而这些往往需要通过对架构本身的不断试验和调整来积累。虽然过程本质上不复杂，但所涉及的权衡决策通常充满挑战，而且难以找到简单的解决方案。
December 14, 2023
View Article在不断演进的市场商业模式中，每一种新兴平台都在重新定义交易的方式和地点。互联网时代，我们从传统的分类广告和布告栏转向了亚马逊（Amazon）、eBay 和克雷格列表（Craigslist）这样的网站；而移动互联网时代，则催生了 DoorDash、优步（Uber）和 Instacart 这样的应用程序。现在，生成式 AI（Generative AI）技术的兴起预示着市场将迎来又一次革新。它不仅将改变商品和服务的销售方式，更重要的是，它也将改变这些商品和服务的制造方式。
December 14, 2023
View Article智能能源网格、语音先行的伴侣应用、可编程药品、针对儿童的 AI 工具。我们向 a16z 的超过 40 位合作伙伴征询了他们认为将在 2024 年成为创新动力的重要理念。
December 14, 2023
View Article本教程将指导您如何在苹果设备上本地安装一个类似于 ChatGPT 的大语言模型（LLM）。
December 13, 2023
View Article想了解如何将 Gemini Pro 融入你的应用或业务，请访问 ai.google.dev。
December 13, 2023
View Article像 ChatGPT 这样的大语言模型 (LLM) 能够编写引人信服的代码片段。2023 年初，这一发现在 LinkedIn 上引起了不少热议，许多人误以为这意味着不再需要经验丰富的开发人员及其专业知识、挑剔的态度和高昂的薪酬了。如今，任何一个有网络连接的人似乎都能轻而易举地让 AI 编写下一个大型社交媒体应用，用 JavaScript 编写，并融合一些区块链技术。
December 13, 2023
View Article随着越来越多公司加入这个领域，大语言模型 API 市场将如何发展？
December 13, 2023
View Article或者说，GPT-4 能有多好地模拟 1963 年的 LSD 旅程？
December 13, 2023
View Article人工智能即将全面改变我们使用电脑的方式并彻底重塑软件行业。
December 13, 2023
View Article根据我以前分享过的先直译再意译的 Prompt（参考引用的推文），确实可以大幅提升翻译质量，但也不总是能得到理想的结果。这时候该怎么办？
December 13, 2023
View Article近几个月里，微软研究院的机器学习基础团队推出了一系列被命名为“Phi”的小型语言模型（SLMs），在众多基准测试中表现卓越。
December 12, 2023
View Article2023 年对我来说是神奇的一年，我意外的从一个程序员变成了一个 AI 资讯届的“网红”，到年底的时候我在 X 平台的阅读量超过 1 亿，微博上的阅读量则超过 10 亿，很多人通过我的微博或者 X 了解最新的 AI 资讯、教程和 Prompt 使用技巧。而这一切其实是从我患上了 AI 焦虑症开始的。我将向你分享我的故事，如何患上了 AI 焦虑症，又是如何克服它，并且成功的把 AI 变成自己的得力助手，让自己成为善用 AI 的人。
December 12, 2023
View Article在软件开发这个不断演变的领域，迅速适应、实验和高效发布功能显得至关重要。功能标记（Feature Flags），也称为功能开关，正是这种动态环境的核心。它们赋予开发者将代码部署与功能发布分离的能力，从而提高开发的灵活性，并减少推出新功能时的风险。功能标记为软件发布提供了一种受控且灵活的方法，这在持续集成/持续部署（CI/CD）的环境中尤为重要。本文将深入探讨功能标记的关键原理，并重点介绍在大型系统中实施和管理它们的有效方法。这些方法涉及运行时控制、隐私保护、性能优化和可扩展性，旨在为开发人员、项目经理和决策者提供理论与实践方面的洞见。本指南旨在提供掌握软件开发项目中功能标记的必要知识和策略。
December 11, 2023
View Article内部生产力工具中所采用的各种提示技术。这些技术结合了行业与学术研究以及我们自身的小规模内部开发成果。建议你在自己的评估环境下对这些技术进行测试，并根据你的具体需求进行调整。
December 11, 2023
View Article自从 Mixtral 8x7B（发布公告、模型说明）亮相以来，“混合专家模型”（Mixture of Experts，简称 MoEs）这类 Transformer 成了开放 AI 领域的焦点话题。在这篇博客中，我们将深入探讨 MoEs 的基础构架、训练方式，以及在实际应用中需要权衡的各种因素。
December 11, 2023
View ArticleMistral AI 团队致力于为开发者社区提供顶尖的开源模型。在 AI 领域，要实现突破，不仅要超越现有的架构和训练方法，更重要的是让社区能够利用创新模型，激发新的发明和应用。
December 11, 2023
View Article人们常认为，一个杰出的领导者的任务就是招聘员工，并授权他们去做出色的工作。但如果你不深入了解细节，你怎么能判断他们的工作是否出色呢？因此，我确保自己深入到细节中，并且我们真正推动了产品的发展。
December 11, 2023
View Article上周，PDF 转 Markdown 的工具 Marker 成为 Hacker News 首页的热门话题。作为一个对机器学习（ML）充满好奇的学生，我觉得这是一个绝佳的机会，深入了解这款出色的文档 AI 工具的内部机制。
December 11, 2023
View Article“专家混合模型”是一种创新的神经网络架构设计，它在 Transformer 架构中融合了众多的专家/模型层。在这种设计中，数据流动时，每一个输入的 Token 都会被动态分配给一些专家进行处理。这种做法使得计算更高效，因为每个专家都能在其擅长的特定任务上发挥出色。
December 10, 2023
View Article如何使用 OpenAI 大语言模型 (LLM) 在 Weaviate 向量数据库中用 Python 生成摘要，运用所谓的“生成式反馈循环”概念
December 10, 2023
View Article最近，我一直忙于开发 Ollama，因此投入了大量时间研究如何在本地系统上运行大语言模型（大语言模型），并探索如何将它们封装进应用程序。一般而言，大部分桌面应用程序只要求用户输入 OpenAI API 密钥，或者从源代码编译 Python 项目即可集成大语言模型。尽管这些方法在理论上可行，但对于许多用户来说，它们的技术门槛仍然较高。我追求的是用户能够一键下载并立即运行的应用程序。
December 10, 2023
View Article虽然关于通过 OpenAI、Anthropic、Google 等公司的 API 调用 LLM 来构建应用的文章层出不穷，但我选择了一条不同的道路，尝试仅使用本地模型和技术来构建网页应用，尤其是那些能在浏览器中运行的技术！
December 10, 2023
View Article职业生涯就像是一个漫长的旅程，最难的地方在于你的目的地是未知的，甚至没有地图来指引你如何前行。
December 10, 2023
View Article本文汇集了许多来自 Netflix 工程团队的博客和开源项目的研究成果。如果您在阅读中发现任何不准确之处，请不吝告知。
December 10, 2023
View Article探讨如何结合传统关键词搜索与现代向量搜索来获得更相关的搜索结果
December 9, 2023
View Article目前，我主要的工作是兼任部分时间的 CTO 服务。坦白说，在进行创新的同时担任这个角色对我来说颇有挑战。同时兼顾这两者非常艰难，所以我暂时放下创新者的角色，专注于规划发展路线图和招聘事宜。招聘其实是一个挑战，需要精准识别不同职位和所需资源。
December 8, 2023
View Article