GPT-4V(视觉版) 系统卡片 [译]
GPT-4 视觉版（GPT-4V）赋予用户指令 GPT-4 分析用户提供的图像的能力，是我们最新推出的功能。将图像等附加模态纳入大语言模型（LLMs）被视为人工智能研究与开发的一个关键领域。多模态大语言模型能扩展传统语言系统的影响力，通过创新的界面和功能，使其能解决新任务并为用户带来全新体验。
December 25, 2023
View Article翻译
翻译的一些我觉得不错的科技文章。
大语言模型在自主化学研究中的应用 [译]
基于 Transformer 技术的大语言模型（LLMs）在多个领域已取得显著进展，例如自然语言处理 1–5、生物学 6,7、化学 8–10 和计算机编程 11,12。本文展示了由 GPT-4 驱动的人工智能系统 Coscientist 的开发与能力。Coscientist 能自主设计、规划并执行复杂的实验，它整合了大语言模型并配备了包括互联网搜索、文档查询、代码执行以及实验自动化等工具。Coscientist 在六项不同的任务中展现了其加速研究的潜力，特别是在钯催化交叉偶联反应的优化方面取得了成功，显示了其在（半）自主实验设计和执行方面的先进能力。我们的研究表明，像 Coscientist 这样的人工智能系统在推动研究发展方面具有多功能性、高效性和可解释性。
December 25, 2023
View Article亲手制作 transformer：无需训练！ [译]
本文是一篇综合性的调研文章，涵盖了多种提升大语言模型运行速度的方法，从改善硬件利用效率到巧妙的解码技巧应有尽有。虽然这篇文章并非面面俱到，也不是每个话题的深度解析，毕竟我不是这些领域的全部专家。但我希望你能从中找到一些有用的信息，作为深入了解你感兴趣话题的起点。
December 24, 2023
View Article如果有人在我第一次创业之前告诉我这些 [译]
20 条创业经验分享。
December 24, 2023
View Article运营 macOS 应用工作室的成本 [译]
一位罗马尼亚的独立开发者分享的经验。
December 24, 2023
View Article让我复述一遍你刚才说过的——两阶段确认：一种人性化的沟通方法 [译]
在沟通中，我发现最有效的策略之一就是用自己的话重述对方刚刚解释的内容。
December 24, 2023
View Article借助开源大语言模型，无需联网在本机实现和游戏 NPC 自由对话 [译]
关于 GPT4、Claude 等模型，有很多相关讨论，它们非常出色，我也经常使用，但在某些情况下可能不是最佳选择。比如，在制作游戏时，如果你希望游戏中的 NPC 能够与玩家进行动态对话，通过服务器来回传递信息可能会有显著的延迟，这不仅降低游戏体验，还可能因为依赖于 OpenAI 或其他公司的服务器而带来风险（比如服务器故障导致游戏无法进行）。此外，这些模型的使用成本可能会随着玩家数量的增加而变得高昂，对于成本较低或玩家游玩次数过多的游戏来说，这并不经济。为了节约成本，你可能会尽量减少游戏中基于大语言模型的内容，因为你需要为每个 Token 支付费用，很快费用就上去了。
December 24, 2023
View Article如何加速大语言模型的运行 [译]
本文是一篇综合性的调研文章，涵盖了多种提升大语言模型运行速度的方法，从改善硬件利用效率到巧妙的解码技巧应有尽有。虽然这篇文章并非面面俱到，也不是每个话题的深度解析，毕竟我不是这些领域的全部专家。但我希望你能从中找到一些有用的信息，作为深入了解你感兴趣话题的起点。
December 23, 2023
View Article年度回顾：2023 年成为微服务的转折点 [译]
长期以来，微服务被认为是云原生服务的应用架构标准。但现在，云计算巨头如 Amazon 和 Google 开始重新思考并改造微服务的架构。
December 23, 2023
View ArticleCEO 与他的三个秘密信封 [译]
一家陷入困境的公司聘请了一位新 CEO。在即将离职的 CEO 私下与他见面时，递给他三个编号的信封，并告诉他：“如果遇到大麻烦，就翻开这些信封。”
December 22, 2023
View Article2024 年软件工程 KPIs 的问题及其解决之道 [译]
成为一名工程领导者，你不可避免地会面临一个挑战：必须提供关于团队健康、生产力和产出的度量指标。在初创公司里，这通常是 CEO 提出的要求——“我们需要一个清晰的进展衡量方式”。这个要求看似合理，毕竟工程部门也应该像销售团队一样被问责。
December 22, 2023
View ArticleMidjourney V6：提升提示词的结构和表达能力 [译]
Midjourney 的创始人 David Holz 提出了一种新的提示方法。V6 对提示的敏感度大大提高。建议避免使用“获奖、超现实、4k、8k”等表述，而应确保请求明确。如果你希望得到更直接、更中立且更现实的输出结果，最好将 --style raw 设置为默认。（原文中直言不讳地将 4k、8k 等描述称为“无用”提示。"V6 对你的提示非常敏感。避免使用‘无用’的表述，如‘获奖、超现实、4k、8k’"）
December 22, 2023
View ArticleAppAgent: 像人类用户一样操作手机的多模态智能体 [译]
大语言模型 (LLMs) 的最新进展催生了一类能够执行复杂任务的智能代理。本文提出了一种基于大语言模型的多模态代理框架，专为智能手机应用而设计。我们的框架允许智能体通过简化的动作范围，如点击和滑动，来操作智能手机应用，仿佛它是一个人类用户。这种创新方法免除了访问系统后端的需要，使其能够适用于多种不同的应用。我们的智能体采用了一种创新的学习方法：它可以通过自我探索或观察人类的操作来学习如何导航和使用新的应用程序。通过这个过程，它建立了一个知识库，用于在不同应用中执行复杂任务。为了证明我们智能体的实用性，我们在 10 个不同的应用中进行了 50 项任务的测试，涵盖了社交媒体、电子邮件、地图、购物和高级图像编辑等领域。测试结果证明了我们的智能体在处理多种高级任务方面的高效能。
December 22, 2023
View Article面向大语言模型的检索增强生成技术：综述 [译]
在这篇综述中，我们关注的是面向大语言模型（Large Language Model）的检索增强生成技术。这项技术通过结合检索机制，增强了大语言模型在处理复杂查询和生成更准确信息方面的能力。我们从同济大学和复旦大学的相关研究团队出发，综合分析了该领域的最新进展和未来趋势。
December 22, 2023
View Article人工智能，2023 年文化的新霸主 [译]
2023 年的事件向我们揭示了这样一个事实：A.I. 不必非常先进就能引发巨大的波澜。
December 22, 2023
View Article利用 AI 技术，MIT 研究人员发现新一类抗生素候选物 [译]
麻省理工学院研究人员应用一种名为深度学习的人工智能技术，成功发现了一系列能够杀灭导致美国每年超过 10,000 人死亡的耐药性细菌的化合物。
December 22, 2023
View Article人工智能预测生活事件 [译]
通过分析居住、教育、收入、健康及工作条件的注册数据，人工智能可以高精度预测生活中的各种事件。
December 22, 2023
View Article我从未设定过目标 [译]
我们大多数人之所以大多时候不开心，是因为我们设定的目标是基于当前的自我，而不是设定目标时未来的自我。
December 21, 2023
View Article未来属于 Rust —— LLM 使编程语言学习曲线变平 [译]
现在，得益于大语言模型（LLMs）的发展，这个陡峭学习曲线的问题已经变得容易解决了。无论是 Rust、Haskell 还是其他任何语言，借助大语言模型的帮助，现在学习起来都更加容易。事实上，如果你在学习难懂的材料时没有利用大语言模型（LLMs）的帮助，那么你的学习方式可能不是最佳的。至少这是我个人的看法。让我来解释一下。
December 21, 2023
View Article代码并非技术债 [译]
代码是一种资产，技术债则是指软件 _及其内部模型_ 与实际问题和我们的心理模型不相符，或者是内部接口并未能尽可能减少假设的情况。
December 21, 2023
View Article在本地运行 Mixtral 8x7 与 LlamaIndex [译]
在 LlamaIndex，我们是开源软件的忠实支持者，因此像 Mixtral 这样开放的模型和具有灵活授权的项目正合我们心意。我们收到了不少关于如何将 Mixtral 与 LlamaIndex 结合使用的咨询，因此本文将指导你如何在本地完全独立地运行这一模型。
December 21, 2023
View Article构建“Mistral 7B 微调优化版”：最优秀的 7B 微调模型 [译]
自 9 月份推出以来，Mistral 7B 已成为我们向客户推荐最多的模型。今天，我们兴奋地宣布一个更加强大的版本：Mistral 7B 微调优化版。
December 21, 2023
View Article数学队——及其他你为了进入斯坦福而做出的疯狂之举 [译]
我清晰地记得被普林斯顿大学拒绝的那一刻。那时我正在数学队的训练中，爸爸打来电话。他告诉我，提前录取通知已经到了。他没有提及信封的大小 - 大信封意味着被录取，小信封则代表被拒绝 - 我努力不去揣测他语气中的意味。我让他马上来接我。当他在回家路上想停下来加油时，我情绪失控地对他发脾气。回到家，我打开了那个小信封，似乎早就知道会是这样。我匆匆看过前几行 - 对此我们感到遗憾，申请者群体极为出色等等 - 我咒骂一声，拿起刀子猛刺进我的梳妆台。然后，我对着枕头尖叫。其实，并不是我非去普林斯顿不可，只是我渴望这一切早点结束。
December 21, 2023
View ArticleGemini 语言能力深度剖析 [译]
Google 最近发布的 Gemini 系列模型首次全面展示了在多种任务上能与 OpenAI 的 GPT（生成式预训练转换器）系列相匹敌的性能。本文深入探讨了 Gemini 的语言处理能力，并做出两项重要贡献。首先，我们提供了一个第三方的客观比较，分析了 OpenAI 的 GPT 与 Google 的 Gemini 模型的能力，这一比较包括可复现的代码和完全透明的结果。其次，我们深入分析了实验结果，找出了两种模型类别的优势所在。我们针对 10 个数据集进行了分析，测试了包括推理、回答知识性问题、解决数学问题、进行语言翻译、代码生成和作为遵循指令的 AI 智能体等多种语言能力。通过这项分析，我们发现 Gemini Pro 的准确度虽接近，但略低于对应的 GPT 3.5 Turbo，在我们所评估的所有任务中均是如此。我们还提供了一些导致这种次优表现的原因，包括在处理多位数字的数学推理上的不足、对多项选择题答案排序的敏感性、过于严格的内容过滤等问题。同时，我们也发现了 Gemini 在某些方面的高效表现，例如生成非英语内容以及处理更长、更复杂的推理链条。
December 21, 2023
View Article认识“Coscientist”，你的 AI 实验室伙伴 [译]
一款基于人工智能的系统成功地规划并实施了真实世界的化学实验，显示出帮助人类科学家更快、更多地发现新知识的潜力
December 21, 2023
View ArticleAI 代理中间件：不完美的临时解决方案 [译]
现有的监控、模型路由和提示管理架构尚不足以应对挑战。让我们来谈谈现在的情况。在大语言模型的操作流程中，正逐渐出现一个新概念：AI 代理中间件。
December 21, 2023
View Article构建搜索引擎，而非向量数据库（Vector DB） [译]
在过去 12 个月中，我们见证了向量数据库（Vector DB）创业公司的迅猛增长。我此刻并不打算深入探讨它们各自的设计取舍。相反，我更想探讨和解释一些关于向量数据库的常见理解——它是什么、它的功能用途，以及在解决问题时，我们应如何恰当地利用向量数据库。
December 20, 2023
View Article深入了解大语言模型运维 (LLMOps) [译]
虽然关于通过 OpenAI、Anthropic、Google 等公司的 API 调用 LLM 来构建应用的文章层出不穷，但我选择了一条不同的道路，尝试仅使用本地模型和技术来构建网页应用，尤其是那些能在浏览器中运行的技术！
December 20, 2023
View Article如何选择你的人生伴侣 [译]
这里为您提供了一些建议和技巧，旨在提高大语言模型应用的精准度，并介绍了选择合适大语言模型的要点。
December 20, 2023
View Article推测性解码：实现 Whisper 推理速度提升两倍 [译]
Sanchit Gandhi 发表了一篇关于 Whisper 模型的最新研究进展。这是一个由 Open AI 开发的先进语音转录模型，能够在多种基准测试和不同的音频环境下展示出色的性能。其最新版本，名为 large-v3，已在开源语音转录模型领域名列前茅，特别是在英语转录方面表现卓越。这个模型还具备出色的多语言性能，在 Common Voice 15 的数据集中测试了 58 种语言，其中有 42 种语言的单词错误率低于 30%。
December 20, 2023
View Article通用型基础模型能否超越专用调整模型？医学领域的案例研究 [译]
像 GPT-4 这样的通用型基础模型在众多领域和任务中表现出惊人的能力。但人们普遍认为，除非经过专业知识的深度训练，这些模型无法达到专家级别的性能。例如，到目前为止，大多数针对医学能力基准的探索都采用了特定领域的训练，如 BioGPT 和 Med-PaLM 的研究。我们的研究延续了之前对 GPT-4 在医学领域的专业能力进行的探索，但我们并没有对其进行特别训练。不同于仅使用简单的提示来展示模型的即插即用能力，我们系统地探索了如何通过精妙的提示设计来提升模型性能。我们发现，创新的提示方法能够激发更深入的专家级能力，并证明 GPT-4 在医学问答数据集上轻松超越了以往的最佳成绩。我们研究的提示设计方法是通用的，无需特定领域知识，省去了专家定制内容的需求。在实验设计中，我们特别注意控制过拟合现象。研究的重点是我们推出的 Medprompt，它结合了多种提示策略。Medprompt 极大地提升了 GPT-4 的性能，在 MultiMedQA 套件的九个基准数据集上均取得了最佳成绩。该方法在调用模型次数少得多的情况下，大幅超过了如 Med-PaLM 2 这类先进的专业模型。在 MedQA 数据集（USMLE 考试）上，使用 Medprompt 的 GPT-4 相比以往使用专业模型取得的最好方法，错误率降低了 27%，首次实现了超过 90% 的分数。除了医学领域，我们还展示了 Medprompt 在其他领域的泛化能力，并通过在电气工程、机器学习、哲学、会计、法律、护理和临床心理学等领域的能力考试上的应用，证明了这一方法的广泛适用性。
December 20, 2023
View ArticleYann LeCun 对 AI 安全论证的五大失误 [译]
Yann LeCun，著名社交媒体公司 Meta 的首席 AI 科学家，坚信人工智能（AI）本质上是安全的，认为智能属性本身不会自动导致负面后果。他认为 AI 的对齐问题（Alignment）不是需要解决的难题，而仅仅是在发展过程中对系统进行细微调整。
December 20, 2023
View Article为何有科学家不用 ChatGPT？他们这样说 [译]
许多研究者发现，AI 聊天机器人在写作、编程和收集信息等方面颇有帮助。然而，还有一些人却选择远离这一风潮。
December 20, 2023
View ArticleOpenAI 首席科学家创造 ChatGPT 的同时，对 AI 安全心存忧虑 [译]
这篇文章选自《自然》杂志的年度特辑《Nature's 10》，该特辑由杂志编辑精选，聚焦科学领域的重大进展及其贡献者。
December 20, 2023
View Article一个永无止境的个人项目带来的启示 [译]
今年，我领悟到，完成一个仅为自己而做的个人项目几乎是不可能的挑战。不论你的创作是什么，使用哪种方式，真正明白自己到底想要什么、并且能够把它与那些自己期望拥有的欲望区分开来，是极其困难的。如果没有外界的压力，自己设定的“截止日期”基本上是没有实际意义的。而一旦开始某个项目，随着时间的推移和不断的投入，项目往往会不断扩大、发生变化，最终演变成完全不同的形态。同时，避免项目范围不断扩大也是一件难事。
December 19, 2023
View Article如何成就伟大？只需持续做好事情 [译]
多年来，我们每个人都经历了不少的成就与挫败。随着我个人经历的这些成就与失败越来越多，我开始思考，哪些经历真正可以称之为“伟大”以及其背后的原因。
December 19, 2023
View ArticleVideoPoet: 能零样本生成视频的大语言模型 [译]
近期，一系列新兴的视频生成模型引起了广泛关注，它们在很多情况下展示了令人惊叹的画质。然而，在视频生成领域，如何有效制作连贯的大范围动作仍是一大难题。目前即便是最先进的模型，要么只能生成较小的动作，要么在制作较大动作时会出现明显的不自然瑕疵。
December 19, 2023
View ArticleGoogle 真正的“登月项目”（Moonshot） [译]
Google 的各种“登月项目” ——无论是 Waymo 无人驾驶汽车，Google Fiber 光纤网络，Nest 智能家居，Project Wing 无人机配送，Verily 生命科学以及 Project Loon 网络气球等 (这个列表还会持续扩展)——其实在很大程度上，都通常看作是一些科学实验项目。它们主要是把 Google 搜索的盈利从股东手中导向了这些创新尝试。其中，Waymo 可能是最富潜力的，但即使它能获得成功，最后的结果仍然是一种远离 Google 的使命——“整理全球信息，让人们可以随时随地获取并有效利用”——的汽车服务。
December 19, 2023
View ArticleReST 与 ReAct 的交汇：多步推理大语言模型 (LLM) 智能体的自我进化之路 [译]
在回答复杂的自然语言问题时，往往需要通过多步推理并结合外部信息。目前已有几种系统能够结合大语言模型 (LLM) 和知识检索来应对此类问题。但这些系统存在一些失败的案例，且由于与外部知识交互的过程不可导，我们无法直接对这些系统进行端到端的训练以解决这些问题。为了克服这些挑战，我们设计了一个能够理解和操控外部知识的 ReAct 风格 LLM 智能体。我们进一步通过一种类似 ReST 的方法对该智能体进行优化，这种方法通过迭代地训练前期的行为轨迹，并利用带有 AI 反馈的逐步扩大的强化学习，实现了持续的自我提高和自我简化。从一个初步设定的大型模型出发，仅经过两次迭代，我们成功打造了一个微调过的小型模型。这个小型模型在解决复杂组合问答问题上的表现可以媲美大型模型，但其参数量却少了两个数量级。
December 19, 2023
View Article2023 年：AI 改变互联网的一年 [译]
2023 年，许多人开始学习如何与机器人沟通、创造、作弊，并进行合作。
December 19, 2023
View Article2023 年回顾：聚焦 ChatGPT 时代之后的发展及 2024 年展望 [译]
大语言模型 (LLM) 运营领域如何变革，以及为何尚未见到广泛应用的生成式 AI — 但 2024 年或有所改变。
December 19, 2023
View Article工程行业中生产力的头号绊脚石 [译]
我遇到的三大生产力障碍及解决之道 + 🎁 附赠福利：多任务处理的弊端
December 18, 2023
View Article顶尖 1% 工程师的七个简易习惯 [译]
我有幸与许多卓越的工程师合作过，他们既来自像 FAANG 这样的大型公司，也来自诸如创业公司这样的小型企业。他们让我领略到了传说中的“10 倍效能”工程师 - 他们确实存在！这些工程师中的一些已经创办了自己的公司，引领了像 Vercel 这样改变我们认知互联网的开发，或者在如今的大型科技公司里领导着价值数十亿美元的项目。在与他们的合作中，我发现他们在编程时都有一些共通的习惯。
December 18, 2023
View Article利用间接提示注入技术从 Writer.com 窃取数据 [译]
这一漏洞可能导致攻击者利用内容生成时用到的语言模型，窃取用户私密文件。尽管已经向 Writer.com 报告了这一问题，但截至目前为止，由于 Writer.com 在披露后并未将其分类为安全漏洞，因此漏洞尚未得到修复（具体详情见文末“负责任披露”部分）。
December 18, 2023
View ArticleChatGPT 插件：利用图像和跨插件请求伪造技术进行数据泄露 [译]
本文揭示了恶意网站如何控制 ChatGPT 聊天会话，并窃取会话历史的方式。
December 18, 2023
View Article用 RAGAs（检索增强生成评估）评估 RAG（检索增强型生成）应用 [译]
探讨如何结合传统关键词搜索与现代向量搜索来获得更相关的搜索结果
December 18, 2023
View Article在命令行中运行 Mistral 模型的多种方法 [译]
目前，Mistral AI 是最引人注目的 AI 研究实验室。他们最近发布了两种功能强大的小型大语言模型，这些模型遵循 Apache 2 协议授权，还有一个更大的模型可通过他们的 API 使用。
December 18, 2023
View Article如何借助 Ollama 在 M1 Mac 上运行 Mistral-7B [译]
想在你的 Macbook 上尝试运行 Mistral 7B 吗？这篇教程将一步步指导你如何做到！
December 18, 2023
View Article跨界思考：大语言模型中创意幽默生成的新思维探索 [译]
我们构建了一个新的框架，这个框架可以帮助我们更好地理解通用人工智能（AGI）及其早期版本的能力和表现。这个框架详细划分了 AGI 的性能、适用范围和自我控制能力的不同层次。我们希望，这个框架能够像划分自动驾驶技术等级一样，为人们提供一种通用的语言，以便比较不同的 AGI 模型，评估它们可能带来的风险，并跟踪我们在实现 AGI 这一目标道路上的每一步进展。为了建立这个框架，我们审视了 AGI 的现有定义，并从中提炼出六大原则，以构建一个实用的 AGI 分类体系。这些原则强调重视 AGI 的实际能力，而不仅仅是其背后的技术机制；它们建议我们应当分开评估 AGI 的适用范围和性能水平；并且我们不应该只着眼于最终目标，而应该明确标记出通向 AGI 的每一个阶段。基于这些思路，我们根据 AGI 的能力深度（即性能）和广度（即适用范围）提出了“AGI 等级”，并且对当前系统如何符合这个分类体系进行了思考。我们还讨论了未来评估 AGI 行为和能力的基准测试所面临的挑战。最后，我们探讨了这些 AGI 的不同层次如何与实际部署时的自主性和风险管理相结合，并强调在部署高级 AI 系统时，选择合适的人机交互方式对于确保系统的负责任和安全使用至关重要。
December 18, 2023
View ArticleOpenAI 生产环境最佳实践官方指南 [译]
这份指南全面介绍了如何将产品原型发布到生产环境的最佳实践。不论你是资深的机器学习工程师还是刚入门的技术爱好者，这份指南都能为你提供在实际生产环境中成功应用该平台所需的各种工具和知识。内容涵盖从如何保护 API 访问安全到如何构建能应对高流量的架构。参考这份指南，可以帮助你更顺畅、高效地部署应用程序到生产环境。
December 17, 2023
View Article