嗨，亲爱的听众们。欢迎收听"No Priors"的另一期节目。今天，我们有幸与 OpenAI 的 Sora 团队进行交谈，Sora 是一种新的生成式视频模型，能够接受一段文本提示词，然后返回一段视频剪辑高清、视觉连贯的，长达一分钟。Sora 也引起了人们的思考，即这些大规模的视频模型是否是世界模拟器，同时它把可扩展的 Transformer 架构应用到了视频领域。我们今天的嘉宾就是 Sora 的团队成员们。Aditya Ramesh、Tim Brooks 和 Bill Peebles。欢迎来到"No Priors"，各位。
April 26, 2024
View Article2024 年 2 月，我们首次报道了 OpenAI 发布的 SORA，当时我们将其形容为视频领域的 DALL·E。SORA 是一个生成时间更长、内容更连贯的视频的扩散模型。OpenAI 通过使模型能预见多帧内容，成功解决了视频主体即便短暂消失也能保持连贯性的技术难题。目前，SORA 能够一次性生成长达一分钟的完整视频。OpenAI 还表示，未来可能进一步扩展视频的长度，甚至实现两段视频的无缝连接。
April 26, 2024
View Article工期延误以及台湾和美国同事之间的紧张关系正在困扰着这家芯片巨头在凤凰城的扩张。
April 25, 2024
View ArticleMeta 宣布推出 Llama 3 的介绍视频文稿，里面介绍了很多 Llama 3 的细节。
April 24, 2024
View Article从这篇文章讲述了 Pedro David Garcia Lopez 的转变故事，他在 38 岁高龄从卡车司机转职成为了一个 Ruby on Rails 开发者，挑战了业界对年龄的固有偏见完全是无稽之谈！Pedro 的经历在 LinkedIn 上激励了我。
April 23, 2024
View Article遇见阿拉温德，这位来自印度的创新者，他辞去 OpenAI 的工作，决心要挑战 Google - 和玛丽娜·莫吉尔科的深入对话。新一代搜索引擎将会是什么样？让我们和阿拉温德·斯利尼瓦斯一起发现，他从印度来到美国，带着 AI 的力量来革新在线搜索体验。
April 22, 2024
View Article使用 Ray, LlamaIndex, Ragas, MLFlow 和 MinIO 在 Kubernetes 上的分布式 RAG 实验蓝图
April 20, 2024
View Article这是@rlancemartin 最近在几个聚会上关于在长上下文 LLM 时代使用 RAG 的讲座。随着上下文窗口增至超过 100 万 Token，很多人质疑 RAG 是否已经过时。我们结合几个最新的项目成果来分析这个问题。我们讨论了长上下文 LLM 在事实推理和信息检索方
April 19, 2024
View Article今天，我们正在介绍 Meta Llama 3，我们最先进的开源大语言模型 (LLM) 的下一代。Llama 3 模型很快将在 AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM, 和 Snowflake 上可用，并得到 AMD, AWS, Dell, Intel, NVIDIA, 和 Qualcomm 提供的硬件平台的支持。
April 18, 2024
View Article本章的技术性能部分为您呈现了 2023 年 AI 的全面进展。起始于对 AI 技术性能的高层次概述，本文档记录了 AI 的逐步发展。接着，本章深入分析了当前在多个方面的 AI 能力，包括语言处理、编程、计算机视觉（图像和视频分析）、推理、音频处理、自治智能体、机器人以及强化学习 (reinforcement learning)。此外，本章还重点介绍了过去一年里 AI 研究的重大突破，讨论了如何通过提示、优化和微调来提升大语言模型的性能，并最终探讨了 AI 系统对环境的影响。
April 17, 2024
View Article规划是 AI 智能体的一种核心设计模式，其中我们利用大语言模型 (LLM) 自主选择一系列步骤，以完成一个较大的任务。比如，如果我们指派一个智能体去网上研究某个主题，我们可能就会用 LLM 帮助它将这个大任务拆分成若干小任务，例如具体研究几个子主题、整合研究成果、以及撰写报告。
April 16, 2024
View ArticleOverview The technical performance section of this year’s AI Index offers a comprehensive overview of AI advancements in 2023. It starts with a high-level overview of AI technical performance, tracing its broad evolution over time. The chapter then examines the current state of a wide range of AI capabilities, including language processing, coding, computer vision (image and video analysis), reasoning, audio processing, autonomous agents, robotics, and reinforcement learning. It also shines a spotlight on notable AI research breakthroughs from the past year, exploring methods for improving LLMs through prompting, optimization, and fine-tuning, and wraps up with an exploration of AI systems’ environmental footprint.
April 16, 2024
View Article这份报告全面分析了 2023 年人工智能 (AI) 领域的进展，涵盖了技术进步、经济影响、政策制定和公众舆论等方面。
April 16, 2024
View Article这份报告全面分析了 2023 年人工智能 (AI) 领域的进展，涵盖了技术进步、经济影响、政策制定和公众舆论等方面。
April 16, 2024
View ArticleThe figures below present the global count of English- and Chinese-language AI publications from 2010 to 2022, categorized by type of affiliation and cross-sector collaborations. Additionally, this section details publication data for AI journal articles and conference papers.
April 16, 2024
View Article问：请问这个观点对不对：“对于搭建企业本地知识库来说，比如使用 RAG 方式，国内几家大模型都可以胜任（用 gpt4 的话有点杀鸡用牛刀的意思），关键在于应用端的调教”？先说结论：我觉得没毛病，GPT 3.5 的能力就足够胜任绝大部分场景了，但 GPT-4 不是杀鸡牛刀，而是如虎添翼甚至化腐朽为神奇。
April 16, 2024
View ArticleASML 正在推动一项可能是当前世界上最关键的技术——极紫外光刻技术 (extreme ultraviolet lithography machines)。如果没有这些价值两亿美元的 EUV 设备及其制造的半导体，人工智能革命就不会发生，全球经济也将开始陷入停滞。这些设备主要在荷兰生产，并销售给台湾的台积电和韩国的三星，而 Intel 却迟迟未能参与。在此同时，无论是在唐纳德·特朗普还是乔·拜登的任期内，美国政府都在努力不让这些设备落入中国手中。
April 15, 2024
View ArticleNotion 是一款由人工智能驱动的生产力工具，正在向 Google Docs 和 Microsoft Office 发起挑战。该公司在 2024 年的《福布斯》AI 50 强榜单中脱颖而出，其流行程度的快速上升也得到了社交媒体上大量 Notion 教程的证实。
April 15, 2024
View ArticleNotion 是一款由人工智能驱动的生产力工具，正在向 Google Docs 和 Microsoft Office 发起挑战。该公司在 2024 年的《福布斯》AI 50 强榜单中脱颖而出，其流行程度的快速上升也得到了社交媒体上大量 Notion 教程的证实。
April 14, 2024
View Article在 2024 年 Abundance360 峰会期间录制的这一集中，Ray、Geoffrey 和 Peter 展开了一场关于 AI 是否能具备自我意识、意识的本质是什么以及 AI 是否应有权利的辩论。美国发明家及未来学家 Ray Kurzweil 是人工智能 (artificial intelligence) 的先驱，他在光学字符识别 (OCR)、文本到语音、语音识别技术上作出了巨大的贡献。他撰写了多本关于 AI 与技术未来的书籍，获得了国家技术与创新奖章 (National Medal of Technology and Innovation) 等多项荣誉。在 Google，Kurzweil 致力于机器学习和语言处理技术，推动技术进步和人类潜能的提升。被誉为“深度学习之父”的 Geoffrey Hinton 是一位英国 - 加拿大的认知心理学家和计算机科学家，他在人工神经网络、深度学习 (deep learning) 和机器学习领域的开创性研究极大地推进了图像和语音识别等复杂任务的算法发展。推荐阅读 Ray 的最新作《奇点更近了：当我们与 AI 合并》。
April 13, 2024
View ArticleMixtral 8x22B 已经面市，这是首次推出一款可以商业使用的开源 GPT-4 类型模型。然而，它并非一个指令优化型模型，而是一个基础模型。这意味着我们需要用全新的方式来进行提示。虽然这更具挑战性，但并非无法实现。
April 13, 2024
View ArticleNotion 的联合创始人 Ivan Zhao 凭借其优雅的生产力应用程序在硅谷投资者和广大用户中赢得了极大的关注，该应用一度火爆到服务器都承受不住了。现在，这家盈利的创业公司的 CEO 看到了一个突破机会，他计划抓住 AI 的先机并大胆进攻，挑战微软和谷歌在职场的主导地位。
April 13, 2024
View ArticleEzra Klein 每周二和周五会带来一场讨论重大议题的对话，例如今天他与 Dario Amodei 的对话。
April 13, 2024
View Article近期，自称“首位 AI 软件工程师”的 Devin 被推出。公司不实地宣称他们的视频展示了 Devin 完成并从 Upwork 获得自由职业报酬的情况，然而视频实际上并未显示这些内容。
April 13, 2024
View Article当我们训练像 ChatGPT 这样的大语言模型时，需要处理大量的代码和复杂过程。
April 12, 2024
View Article今天，我想探讨一个我们在该领域讨论不足的问题：软件工程师的心理健康，尤其是那些承担领导职责的人。作为技术联合创始人，我亲身经历了焦虑的困扰。这种感受虽然常伴随我们的职业生涯，但并未列入工作职责之中。
April 12, 2024
View Article马斯克访谈 —— 尼古拉·坦根采访，谈 AI、特斯拉、中国电动汽车、Twitter（X）、SpaceX、中国电动汽车、企业文化与管理、火星殖民
April 11, 2024
View Article不管是编写代码、撰写文本、制作图像，还是其它应用，生成式 AI 对众多用户来说都如同一个充满神秘的黑盒。一般而言，用户只需简单地访问网站、安装应用或添加扩展，便可以直接体验到 AI 工具带来的便捷。但是，您是否好奇过这个黑盒背后的运作原理呢？本文旨在揭开我们的代码 AI 助手 Cody —— 它能深入理解您的整个代码库 —— 在代码 AI 生成过程中所涉及的奥秘。虽然使用大语言模型（LLM）来回应代码 AI 生成请求看似简单，但要在涵盖广泛用例、编程语言、工作流以及其他多变因素的生产环境中实现，确保既满足高质量完成的标准又能保证开发者的满意，却是一项极其复杂的挑战。本文将不仅探讨大语言模型的重要性，还将详述如何将其扩展为一个包含多个预处理和后处理步骤的全功能 AI 工程系统，讨论上下文的作用及其获取方法等多个方面，一起来深入了解代码 AI 生成的完整生命周期吧！
April 10, 2024
View Article在星际基地，埃隆·马斯克就公司将人类送往火星、开启多行星生命之旅的计划提供了最新进展。火星是开始实现人类多行星生存的最佳目的地。
April 8, 2024
View Article这是一段题为“Video generation will lead to AGI by simulating everything”的演讲稿，由 OpenAI 的 Tim Brooks 和 Bill Peebles
April 7, 2024
View ArticleJames Henry Clark 1944 年 3 月 23 日出生于德州平原城，他的家境并不富裕。父亲酗酒且无法长期维持工作，母亲则在当地一位医生的诊所工作，月入约 225 美元（折合 2024 年约 2605 美元）。Clark 幼年时父母就离异了，即便按照通胀调整后的标准，他母亲的工资似乎尚可，实际上她在扣除所得税和社保后仅得到 175.50 美元（约 2032 美元），这是她和三个孩子的唯一生活来源。Clark 本人则是个颇为叛逆的少年，高中时期的一些“壮举”包括在乐队巴士上点燃烟雾弹、偷带臭鼬进舞会、对英语老师大喊“去地狱”，酗酒及参与飙车比赛。考虑到那个年代，饮酒往往伴随着接连不断的吸烟。
April 7, 2024
View Article一种在媒体和私下里经常被重复的观点认为，对于利用人工智能（AI），现有的大公司而非新兴初创企业，显得更加得心应手。这种思维方式认为，AI 更多是一种强化现有企业地位的持续技术，而不是一种能够为新入场者赋能的颠覆性力量。这种看法在一定程度上是有道理的，尤其是对于那些致力于提升员工完成其*现有*工作效率的初创企业——不妨看看 Adobe 和 Notion，它们如何以闪电般的速度融入 AI 功能。传统观点认为，初创公司需要在大公司弄清楚如何创新之前解决分销问题。但对许多应用场景而言，现有公司的创新似乎只需一次 OpenAI API 的调用即可实现。然而，这样的论调过于简化了实际情况。我们现在见证了一批 B2B AI 公司，他们通过借鉴消费者世界中的经典策略——以更低的成本提供远超十倍的体验——而快速增长其收入。
April 7, 2024
View Article在这次访谈中，阿里巴巴联合创始人蔡崇信与主持人尼古拉畅聊了他的成长历程、职业发展以及个人见解。蔡崇信 13 岁从台湾移居美国，通过参与体育活动克服语言障碍，融入新环境。他的父亲虽然严厉，但对他产生了深远影响。加入阿里巴巴之前，蔡崇信在瑞典华伦贝格家族的投资公司工作，学习投资基础知识。1999 年，他应朋友之邀去杭州见马云，被马云的愿景和魅力所吸引，加入了阿里巴巴。公司早期的办公环境虽然简陋，但团队充满激情与凝聚力。阿里巴巴的发展历程中遇到过许多挑战，如 2005 年雅虎的投资、淘宝的盈利模式创新、竞争压力和组织架构调整等。新冠疫情和监管压力也对公司产生了影响。面对挑战，蔡崇信强调要勇于承认错误，及时调整战略。对于中国经济和消费者，蔡崇信指出，尽管房地产市场下滑和就业不确定性影响了消费者信心，但中国作为制造业强国，拥有巨大的潜力。在人工智能领域，阿里巴巴重视云计算和电商业务与 AI 的结合，但也面临美国芯片出口限制的影响。中美在 AI 领域存在差距，但中国正在努力赶上。在地缘政治方面，蔡崇信强调遵守法规、促进全球贸易的重要性，同时也意识到在美国开展业务面临数据隐私和网络安全方面的顾虑。他认为西方对中国存在一些误解，不应低估中国人民的能力和潜力。谈到企业文化和领导力时，蔡崇信分享了阿里巴巴"快乐工作，认真生活"的理念，强调领导者应给予即时反馈、保持谦逊，鼓励创新。在个人生活方面，蔡崇信购买 NBA 布鲁克林篮网队，看到了体育与商业的共通原则。他珍惜与家人共度的时光，阅读间谍小说是他的一大兴趣。最后，蔡崇信给年轻人的建议是，要发展专业技能，成为某一领域的专家；同时学习多项技能，如数据科学、心理学和编程。具备专业技能和多样化技能，是在现今世界取得成功的关键。
April 7, 2024
View ArticleTorvalds 认为 LLM 可以帮助程序员编写代码，发现明显的错误，但他并不认为这是一场革命性的变化。Torvalds 希望 LLM 能够帮助审查代码和维护子系统，因为它们擅长发现愚蠢但难以察觉的错误。Torvalds 认为 LLM 的价值远远超过 "增强版的自动纠错",它们可以成为帮助程序员更好地工作的工具。他对 LLM 的未来持乐观态度。
April 6, 2024
View Article尽管现如今最尖端的 AI 模型还存在不少缺点，但几十年后，人们定会将它们视作通用人工智能的开山之作。
April 5, 2024
View Article这是我们第十次发布关于数据、分析、机器学习和人工智能生态的年度综述。覆盖这个领域十多年来，现在的局势比以往任何时候都更加令人兴奋和充满前景。多年来我们跟踪的所有主流趋势和细分领域正汇聚在一起：大量数据已被数字化；通过现代化工具，我们可以快速且经济地存储、处理和分析这些数据；更重要的是，这些数据现在能够供给性能更强的 ML/AI 模型使用，这些模型能够理解数据、识别模式、基于数据进行预测，甚至现在能够创造文本、代码、图像、声音和视频。
April 5, 2024
View Article别再对着空白页束手无策了！这里有 15 个灵感满满的 ChatGPT 提示，助你寻找研究灵感、构建强有力的论据、撰写清晰简洁的文章，突破创作瓶颈，提升学术写作效率。
April 4, 2024
View ArticleClaude 2.1 在处理高达 20 万 Token 的庞大上下文时，检索特定句子的能力令人瞩目。我们通过实验发现，利用精心设计的提示技巧，可以引导 Claude 更准确地回忆出相关信息。
April 3, 2024
View ArticleOpenAI 坚信，通过建立、广泛部署和应用 AI，我们可以改善人们的生活，并开辟一个更加美好的未来。这一进程依托于不断的创新与市场竞争的自由。在这些宽泛原则下，推动 AI 前景的路径多种多样。OpenAI 是最先尝试解决如何公平分配基础模型带来前所未有利益的 AI 开发者之一，我们通过分享这段历史背景，旨在为 NTIA 的评议提供参考。
April 3, 2024
View Article欢迎来到四月酷日！这是一个与愚人节相似但却截然不同的日子——我们不是制造尴尬笑话，而是创作与平时不一样的、真正有价值的内容。比如，去年我就分享了一篇关于互联网上最古怪市场的文章。而今年，我则是踏上了一条全新的探索之路。
April 3, 2024
View Article这周，我参加了斯坦福大学举办的大规模故事发现数据新闻学术会议。在这样的会议上，如何从 PDF 和图片中有效提取数据始终是一个热门议题。
April 3, 2024
View ArticleGoogle 的联合创始人拉里·佩奇和谢尔盖·布林，对恶作剧情有独钟，他们在创立公司不久后的每年愚人节，总是推出令人啼笑皆非的想法。例如，有一年 Google 发布了一则招聘启事，寻找月球上的哥白尼研究中心的研究员。另外一年，他们还宣布打算在搜索引擎中推出一项能“嗅觉搜索”的创新功能。这些搞笑的创意年复一年地上演，让人们逐渐将其视作 Google 惯有的恶作剧，笑对这些离奇的创意。正是基于这样的背景，佩奇和布林在 20 年前的愚人节，推出了一个让人难以置信的产品。那就是 Gmail，一种免费邮箱服务，每个账户提供 1GB 的巨大存储空间。
April 2, 2024
View ArticleGPT 是 Generative Pre-trained Transformer 的缩写。首个单词较为直接，它们是用来生成新文本的机器人。"Pre-trained" 指的是模型经历了从大量数据中学习的过程，这个词暗示了该模型还有进一步在特定任务中进行额外训练和微调的可能。然而，最后一个词，才是真正重要的部分。Transformer 是一种特定类型的神经网络，一个机器学习模型，它是现今 AI 高速发展的核心创新。我希望通过这个视频和接下来的章节，以一种便于理解的方式，阐述 Transformer 内部实际发生的过程。我们将逐步探索流经它的数据。
April 2, 2024
View Article深入浅出地解释 Transformer 和大语言模型 (LLMs) 中心机制——注意力机制（Attention）。
April 2, 2024
View ArticleNvidia 和 Microsoft 只是冰山一角
April 1, 2024
View Article自高中起，我便开始编程。我还隐约记得，曾与一位朋友共同利用 TortoiseSVN 分享代码，开发了一款安卓游戏。大学期间，我学会了从 GitHub 克隆仓库以获取计算机科学作业。之后，在实习期间，我开始使用 GitHub 审核和合并合并请求（PR）。像我这样在过去十年内步入职业生涯的大多数开发者，可能都有着类似的经历——不论是参与开源项目还是公司私有团队，GitHub 都成了源代码和代码更改的代名词。
April 1, 2024
View Article他们因缘际会，对一项创意产生了浓厚的兴趣，并共同撰写了“Transformers”论文——这是近代史上最具里程碑意义的技术革新。
April 1, 2024
View Article我们将分享一次 Voice Engine 小型试验项目的经验教训，这是一款能够创建定制语音的模型。
March 29, 2024
View Article我期待与大家分享我在 AI 智能体方面的发现，我认为这是一个令人兴奋的趋势，所有涉及 AI 开发的人都应该关注。同时，我也对所有即将介绍的"未来趋势"充满期待。
March 28, 2024
View Article这是一段能帮你给代码生成单元测试的提示词，针对 Claude 3，但理论上来说可以适用于绝大部分模型。
March 28, 2024
View Article