Transcription
你曾在某个地方写道，创造强大的 AI 可能是人类需要做的最后一项发明。我们还有多少时间，本？我认为，达到某种超级智能的 50% 概率现在大约是 2028 年。你在 OpenAI 看到的是什么？你在那里有什么经历让你觉得，“好吧，我们得自己做点事了”？我们觉得安全在那里不是首要任务。安全性的论据变得更加具体，所以超级智能很大程度上是关于我们如何将上帝关在盒子里，不让上帝跑出来？我们正确对齐 AI 的几率有多大？一旦我们达到超级智能，就太晚了对模型进行对齐了。我关于我们是否会面临 X 风险或极其糟糕结果的最精细预测是介于 0% 和 10% 之间。现在新闻中有一个话题是扎克伯格正在招揽所有顶尖 AI 研究人员，我们受到的影响要小得多，因为这里的人们会收到这些邀请，然后他们会说，当然我不会离开，因为我在 Meta 的最佳情况是我们赚钱，而我在 Anthropic 的最佳情况是我们影响人类的未来。达里奥，你的 CEO 最近谈到失业率可能会上升到 20% 左右。如果你只考虑 20 年后，我们远远超越了奇点，我很难想象即使是资本主义看起来也会像今天这样。你对那些想赶在这方面领先的人有什么建议吗？我也不免于被工作取代。总有一天，它会降临到我们所有人头上。今天，我的嘉宾是本杰明·曼恩。我的天哪。多么棒的对话。本是 Anthropic 的联合创始人。他担任产品工程的技术主管。他将大部分时间和精力都集中在使 AI 有用、无害和诚实。在加入 Anthropic 之前，他是 OpenAI GPT-3 的架构师之一。在我们的谈话中，我们涵盖了很多内容，包括他对顶尖 AI 研究人员的招聘战的看法，他为什么离开 OpenAI 创办 Anthropic，他预计我们何时会看到 AGI。此外，他的经济图灵测试，用于知道何时达到 AGI，为什么规模定律没有放缓反而加速，以及目前最大的瓶颈是什么。他为什么如此深切地关注 AI 安全，以及他如何和 Anthropic 将安全和对齐操作化到他们构建的模型和工作方式中。此外，AI 的生存风险如何影响了他对世界的看法和他自己的生活，以及他鼓励他的孩子们学习什么才能在 AI 的未来取得成功。非常感谢史蒂夫·姆尼奇、丹妮尔·吉格列里、拉夫·李和我的新闻通讯社区为这次谈话提出的主题。如果你喜欢这个播客，请不要忘记在您喜欢的播客应用程序或 YouTube 上订阅并关注它。此外，如果您成为我的新闻通讯的年度订阅者，您将免费获得一年的许多精彩产品，包括 Bolt、Linear、Superhuman、Notion、Granola 等。请访问 Lennysnewsletter.com 查看，然后点击 bundle。我将为您带来本杰明·曼恩。本集由 Sauce 提供。团队将反馈转化为产品影响的方式仍然停留在过去。模糊的报告、静态的分类法、无法采取行动的见解，这些都无法推动业务指标。结果是客户流失、交易损失、增长停滞。Sauce 是 AI 产品副驾驶，可帮助 CPO 和产品团队发现业务影响并更快地采取行动。它会收听您的销售电话、支持工单、退货原因和丢失的交易，实时呈现最大的产品问题和机会。然后将它们路由给正确的团队，将信号转化为 PRD、原型，甚至驱动收入留存和采用的代码。这就是为什么 Whatnot、Linktree、Incident.io 和 Zip 使用 Sauce 的原因。一家企业发现了一个产品缺口，带来了 1600 万美元的年经常性收入，另一家企业则发现了一个正在飙升的问题，并避免了数百万美元的客户流失。您也可以在 sauce.app/lenny 上做到。Sauce 为 AI 产品团队而建。不要落后。本集由 LucidLink 提供，这是存储协作平台。您已经构建了一个很棒的产品，但您如何通过视频、设计和故事讲述来展示它，这才是让它栩栩如生的关键。如果您的团队处理大型媒体文件、视频、设计资产、图层项目文件，您就知道在不同地点保持组织性有多么痛苦，文件存储在不同的地方。您一直在问，这是最新版本吗？创意工作放缓，因为人们在等待文件传输。LucidLink 解决了这个问题。它为您的团队提供了一个云端共享空间，该空间就像本地驱动器一样工作。文件可从任何地方即时访问，无需下载，无需同步，并且始终保持最新。这意味着制作人、编辑、设计师和营销人员可以在其原生应用程序中打开大型文件，直接从云端工作，并在任何地方保持同步。Adobe、Shopify 和顶级创意机构的团队使用 LucidLink 来保持其内容引擎快速顺畅地运行。在 lucidlink.com/lenny 免费试用。即 L-U-C-I-D-L-I-N-K dot com slash Lenny。本，非常感谢您来到这里。欢迎来到播客。谢谢你的邀请。很高兴来到这里，Lenny。我有很多问题想问你。我真的很兴奋能和你聊天。我想从一些非常及时的事情开始，一些本周正在发生的事情。现在新闻中有一个话题是扎克伯格正在招揽所有顶尖 AI 研究人员，提供 1 亿美元的签约奖金，1 亿美元的薪酬。他正在从所有顶尖 AI 实验室挖人。我猜这是你正在处理的事情。我只是好奇，你在 Anthropic 内部看到了什么，以及你对这个策略的看法是什么？你认为事情将如何发展？是的，我的意思是，我认为这是时代的一个标志。我们正在开发的这项技术非常有价值。我们的公司正在超高速增长。该领域的许多其他公司也正在快速增长。而在 Anthropic，我认为我们受到的影响可能比该领域的许多其他公司要小得多，因为这里的人们都以使命为导向，他们留下来是因为……他们收到这些邀请，然后他们说，“好吧，当然我不会离开，因为我在 Meta 的最佳情况是我们赚钱，而我在 Anthropic 的最佳情况是我们影响人类的未来，并努力让 AI 蓬勃发展，让人类蓬勃发展。”对我来说，这不是一个艰难的选择。其他人有不同的生活状况，这使得他们做出更艰难的决定。对于任何收到这些巨额报价并接受的人，我不能说我反对他们接受，但如果它落到我头上，我肯定不会接受。是的。我们将讨论你提到的很多事情。关于这些报价，你认为，这是你看到的真实数字吗？这个 1 亿美元的签约奖金，是真的吗？我不知道你是否真的看到过。我相当确定是真的。哇。如果你只考虑个人对公司轨迹的影响，在我们的案例中，我们卖得非常火爆，如果我们能在推理堆栈上获得 1%、10% 或 5% 的效率奖金，那将价值难以置信的金额。所以支付给个人像 1 亿美元的四年套餐，与为企业创造的价值相比，这实际上相当便宜。我认为我们正处于一个前所未有的规模时代，而且它只会变得更疯狂。如果你推断出公司支出的指数增长，每年大约是资本支出的 2 倍，而今天整个行业在这方面的支出可能在全球范围内达到 3000 亿美元的范围，所以像 1 亿美元这样的数字只是九牛一毛。但如果你再往前看几年，再翻一番，我们谈论的是数万亿美元，到那时，真的很难去考虑这些数字。沿着这个思路，很多人对 AI 的进展感到，我们在很多方面都遇到了瓶颈，感觉新的模型不如以前的飞跃那么聪明。但我知道你不相信这一点。我知道你不相信我们已经达到了规模定律的瓶颈。谈谈你所看到的，以及你认为人们错过了什么。这有点好笑，因为这个说法大约每六个月出现一次，而且从来没有真正过，所以我希望人们在看到它时能有点“胡说八道探测器”。我认为进展实际上一直在加速，如果你看看模型发布的节奏，以前是一年一次，现在随着我们训练后技术的改进，我们每月或每三个月就会发布一次，所以我认为进展实际上在很多方面都在加速，但有一种奇怪的时间压缩效应。达里奥将其比作超光速旅行，你一天过去相当于地球上五天，而我们正在加速。时间膨胀正在增加。我认为这就是导致人们说进展正在放缓的部分原因，但如果你看看规模定律，它们仍然是正确的。我们确实需要从正常的预训练过渡到强化学习的扩展才能继续规模定律，但我认为这有点像半导体，它更多的是关于你可以在数据中心中放入多少浮点运算，而不是关于你可以在芯片上放入多少晶体管。你必须稍微改变一下定义，才能专注于目标。但是的，这是世界上为数不多的跨越如此多个数量级仍然成立的现象之一。它实际上令人惊讶的是它仍在继续成立。对我来说，如果你看看物理学的基本定律，其中许多定律在 15 个数量级上都不成立，所以这很令人惊讶。这令人费解。你所说的基本上是，我们看到新的模型发布得越来越频繁，所以我们将其与上一个版本进行比较，而我们只是没有看到那么大的进步。但如果你回顾一下，一年发布一个模型，那是一个巨大的飞跃，所以人们错过了这一点。我们只是看到了更多的迭代。我想，为了更宽容地对待那些说事情正在放缓的人。我认为，对于某些任务，我们已经饱和了该任务所需的智能量，也许是从一个已经有表单字段的简单文档中提取信息，或者类似的东西，这太容易了，好吧，是的，我们已经达到了 100%，而且 Our World in Data 上有一个很棒的图表显示，当你发布一个新的基准时，在六到十二个月内，它就会立即饱和。所以也许真正的限制是我们如何提出更好的基准和更好的使用工具的雄心，然后揭示我们现在看到的智能的颠簸。这是一个很好的引子，你对 AGI 有一种非常具体 的思考方式，以及如何定义 AGI。我认为 AGI 是一个有点敏感的词，所以我现在内部不太常使用它。相反，我喜欢“变革性 AI”这个词，因为它更多的是关于它是否正在引起社会和经济的变革，而不是它是否能做和人一样多的事情，是否能做字面上的所有事情。衡量这一点的一个非常具体的方法是经济图灵测试。我不是第一个想到这个的人，但我真的很喜欢它。这个想法是，如果你为一个特定工作雇佣一个代理一个月或三个月，如果你决定雇佣这个代理，而它实际上是一台机器而不是一个人，那么它就通过了该角色的经济图灵测试。然后你可以像衡量购买力平价或通货膨胀一样，有一个商品篮子。你可以有一个工作市场篮子，如果代理能够通过 50% 的货币加权工作的经济图灵测试，那么我们就拥有变革性 AI，确切的阈值并不那么重要，但它说明了如果我们通过了那个阈值，那么我们预计会对世界 GDP 增长和社会变革以及就业人数产生巨大影响，因为社会制度和组织是固定的，变革很慢，但一旦这些事情成为可能，你就知道这是一个新时代的开始。沿着这个思路，达里奥，你的 CEO 最近谈到 AI 将占据很大一部分，我不知道，一半的白领工作，失业率可能会上升到 20% 左右。我知道你对 AI 已经在工作场所产生的影响更加直言不讳和有主见，以至于人们可能甚至没有意识到。谈谈你认为人们错过了 AI 对工作的影响，以及它已经产生的影响。是的，从经济学的角度来看，有几种不同类型的失业，一种是因为工人没有经济体所需的技能。另一种是这些工作被完全消除，我认为这实际上将是这些事情的结合，但如果你只考虑 20 年后，我们远远超越了奇点，我很难想象即使是资本主义看起来也会像今天这样。如果我们做好我们的工作，我们将拥有安全、对齐的超级智能，我们将拥有，正如达里奥所说，在《爱与恩典的机器》中，数据中心里的天才国家，以及加速科学、技术、教育、数学方面积极变革的能力，这将是惊人的。但这同样意味着在一个劳动力几乎免费的富足世界里，任何你想做的事情，你都可以请一位专家为你做，那么工作到底是什么样的？所以我想，从我们今天有工作、资本主义运作，到 20 年后的世界一切都完全不同，这是一个可怕的过渡期，但他们称之为奇点的部分原因在于，它是一个你无法轻易预测会发生什么的点。变化的速度如此之快，如此不同，以至于很难想象。我想从极限的角度来看，很容易说希望我们已经解决了这个问题。在一个富足的世界里，也许工作本身并不可怕，我认为确保过渡时期顺利进行非常重要。有几个线索我想跟进。一是人们听到这个，有很多关于这个的头条新闻。大多数人可能还没有真正感觉到这一点，或者看到这一点正在发生，所以总是有，我猜，我不知道，也许，但我不知道，很难相信，我的工作似乎还好。什么都没变。你现在看到了什么，你认为人们没有看到或误解的 AI 对工作的影响？我认为部分原因是人们非常不擅长模拟指数增长。如果你在图表上看到一个指数增长，它在开始时看起来是平坦的，几乎为零，然后突然你触及了曲线的拐点，事情变化得非常快，然后它就垂直上升。这就是我们长期以来一直在走的路线。我想我大约在 2019 年开始感觉到这一点，当时 GPT-2 出来了，我想，“哦，这就是我们将如何实现 AGI。”但我认为这比很多人要早得多，当他们看到 ChatGPT 时，他们就像，“哇，有什么不同和正在改变。”所以我想我不会期望在社会很多地方发生广泛的变革，我期望这种怀疑的反应。我认为这是非常合理的，而且正是标准的线性进步观。但我想引用几个我认为事情正在快速变化的领域。在客户服务方面，我们看到像 Fin 和 Intercom 这样的公司，他们是我们出色的合作伙伴，82% 的客户服务问题可以自动解决，无需人工介入。在软件工程方面，我们的 Claude Code 团队，大约 95% 的代码是由 Claude 编写的。但我认为换一种说法是，我们编写的代码是以前的 10 倍或 20 倍，所以一个规模小得多的团队可以产生更大的影响力。同样对于客户服务，是的，你可以将其表述为 82% 的客户服务问题得到解决，但这相当于从事这些任务的人类能够专注于这些任务中更困难的部分。对于那些在正常世界里，比如五年前，他们不得不放弃这些工单，因为调查起来太费力了，他们有太多的工单要处理，而现在他们可以处理更棘手的局面。我认为在短期内，馅饼的规模将大大扩大，人们可以做的工作量也将大大增加。我从未遇到过一家成长型公司的招聘经理说，“我不想再雇更多人了。”这是乐观的版本。但对于那些低技能工作或提升空间较小的工作，我认为会有很多取代。这只是我们社会需要赶上并努力解决的问题。好的。我想更多地谈谈这一点，但我也想帮助人们的是，他们如何在未来的世界中获得优势？他们听了这个，他们就像，“哦，这听起来不太好。我需要提前考虑。”我知道你不会有所有的答案，但你对那些想赶在这方面领先，并为自己的职业生涯和生活做好准备，以免被 AI 取代的人有什么建议吗？你看到人们做过什么，你建议他们开始多做些什么？即使对我来说，身处这场变革的中心，我也无法免于被工作取代。只是有点脆弱，总有一天它会降临到我们所有人头上。甚至是你，本，现在。还有你，Lenny。还有我。抱歉。哦，等等，我们现在走得太远了。好的。但就过渡期而言，是的，我认为我们可以做些事情，我认为其中很大一部分就是雄心勃勃地使用工具，并愿意学习新工具。那些将新工具用作旧工具的人往往不会成功。举个例子，当你编写代码时，人们非常熟悉自动完成功能，人们熟悉 SimpleChat，他们可以询问有关代码库的问题，但有效使用 Claude Code 的人和使用效果不佳的人之间的区别在于：他们是否要求进行雄心勃勃的更改？如果第一次不成功，就再问三次，因为我们重新开始并再次尝试的成功率比你只尝试一次然后继续纠结于同一件不起作用的事情要高得多。即使这是一个编码示例，而编码是增长最快的领域之一，我们在内部也看到，我们的法律团队和财务团队在使用 Claude Code 本身方面获得了巨大的价值。我们将提供更好的界面，以便他们更容易上手，并且在从终端使用 Claude Code 时需要稍微少一点的“跳入深水区”。但是的，我们看到他们用它来修订文件，用它来运行我们客户和收入指标的 BigQuery 分析。我想这是关于承担风险，即使它感觉很可怕，也要尝试一下。好的，所以这里的建议是使用工具。这是每个人一直在说的事情，就是真正使用这些工具。就像坐在 Claude Code 里。以及你关于比你自然感觉到的更雄心勃勃的观点，因为也许它真的能完成事情。这个尝试三次的技巧，所以这里的想法是它可能第一次不会成功。这里的技巧是问它不同的方式，还是只是更努力地尝试，再试一次？是的，我的意思是你可以问完全相同的问题。这些东西是随机的，有时它们会弄清楚，有时它们不会。在所有这些模型卡中，它总是显示一次通过与多次通过。这就是他们尝试完全相同的提示，有时会成功，有时不会。这是最愚蠢的建议。但是的，我认为如果你想更聪明一点，那里可以获得收益，那就是说，“你已经尝试过并且不起作用，所以不要那样做。尝试一些不同的东西。”这也有帮助。建议又回到了很多人现在都在谈论的事情，那就是你不会很快被 AI 取代，你会被一个非常擅长使用 AI 的人取代？我认为在这方面，更多的是你的团队将完成更多的事情。我们绝对没有放慢招聘速度，有些人对此感到困惑。即使在入职班上，有人问了这个问题，他们就像，“如果我们都要被取代了，为什么还要雇佣我？”答案是接下来的几年至关重要，我们还没有完全取代。就像我说的，与我们将要达到的水平相比，我们仍然处于指数增长的平坦零点。拥有优秀的人才至关重要，这就是我们积极招聘的原因。让我用另一种方式来问这个问题，问一下所有处于 AI 最前沿的人。你有孩子，你知道 AI 的发展方向以及你一直在谈论的这些事情，你正在专注于教你的孩子什么，以帮助他们在 AI 的未来茁壮成长？是的，我有两个女儿，一个一岁，一个三岁，所以还处于基础阶段。我们的三岁女儿现在能够与 Alexa Plus 对话，让她为她解释东西和播放音乐，以及所有这些事情。她一直很喜欢。但更广泛地说，她去蒙特梭利学校，我真的很喜欢蒙特梭利对好奇心、创造力和自主学习的关注。我想，如果我处于一个正常的时代，比如 10 年前、20 年前，我有一个孩子，也许我会试图让她进入一所顶尖学校，并参加所有课外活动，以及所有这些事情。但现在，我认为这些都不重要了。我只想让她快乐、有思想、好奇和善良。蒙特梭利学校在这方面做得非常出色。他们全天给我们发短信。有时他们会说，“哦，你的孩子和其他孩子发生了争执，她有很多情绪，她试图用语言表达。”我喜欢这一点。我认为这正是教育最重要的方面，事实将逐渐淡出背景。我非常喜欢蒙特梭利。我也在努力让我们的孩子上蒙特梭利学校。他两岁了，所以我们走的是同一条路。这种好奇心的想法，每次都会出现。问一个在 AI 前沿工作的人，要灌输给孩子的什么技能，好奇心出现的最多。我认为这是一个非常有趣的收获。我认为关于善良这一点也非常重要，尤其是当我们的 AI 主宰者试图对他们友善时。我喜欢人们总是对 Claude 说谢谢。然后是创造力。这很有趣。这并不经常出现，只是要有创造力。我想换个方向。我想回到 Anthropic 的起点。众所周知，你和另外八个人在 2020 年底离开了 OpenAI，创办了 Anthropic。谈谈为什么会发生这种情况，你们看到了什么。我很好奇，如果你愿意分享更多的话，你在 OpenAI 到底看到了什么，你在那里有什么经历让你觉得，“好吧，我们得自己做点事了”？是的，对于听众来说，我曾参与 GPT-2=3 项目，最终成为该论文的第一作者之一，我还为微软做了很多演示，帮助他们筹集了 10 亿美元，并将 GPT-3 的技术转移到他们的系统中，以便他们可以在 Azure 中提供模型。我在研究和产品方面都做了很多事情。OpenAI 有一个奇怪的事情是，在我还在的时候，山姆谈到了有三个部落需要相互制衡，那就是安全部落、研究部落和创业部落。每当我听到这个，我就觉得这是错误的处理方式，因为公司的使命显然是让 AGI 的过渡对人类安全且有益。这基本上与 Anthropic 的使命相同。但内部感觉这些事情之间存在很大的紧张关系。我认为当事情变得严峻时，我们觉得安全在那里不是首要任务。如果你认为安全很容易解决，或者你认为它不会产生重大影响，或者你认为发生重大负面结果的可能性微乎其微，那么你可能会采取这些行动。但我们在 Anthropic 感觉，我的意思是当时我们还不存在，但基本上是 OpenAI 所有安全团队的负责人，我们觉得安全非常重要，尤其是在边际上。所以如果你看看世界上真正致力于解决安全问题的人，那是一小部分人。即使现在，我的意思是这个行业正在蓬勃发展，正如我提到的，今天的资本支出每年 3000 亿美元，我认为全世界可能只有不到 1000 人在从事这项工作，这真是太疯狂了。这就是我们离开的根本原因。我们觉得我们想要一个组织，在那里我们可以处于前沿，我们可以进行基础研究，但我们可以将安全放在首位。我认为这以一种令人惊讶的方式为我们带来了回报。我们甚至不知道是否有可能在安全研究方面取得进展，因为当时我们尝试了通过辩论来实现安全，但模型不够好。所以我们基本上在那项工作中没有任何成果，而现在正是这种技术正在奏效，以及许多我们长期以来一直在考虑的其他技术。是的，根本问题在于安全是否是第一要务？然后是我们后来才加上的一点是，你能同时拥有安全和处于前沿吗？如果你看看像谄媚这样的东西，我认为 Claude 是最不谄媚的模型之一，因为我们付出了巨大的努力来实现真正的对齐，而不是仅仅试图通过用户参与度是第一位的指标来取悦用户，如果人们说“是”，那么这对他们来说就是好的。好的。让我们来谈谈你提到的这种紧张关系，即安全与进步之间的紧张关系，在市场上保持竞争力。我知道你花了大量时间在安全方面。我知道正如你刚才暗示的，这是你思考 AI 的核心部分。我想谈谈为什么会这样，但首先，你如何看待在专注于安全的同时又不落后的这种紧张关系？是的，起初我们认为这会是“要么要么”，但从那时起，我认为我们意识到它实际上是凸的，因为专注于一个有助于另一个。起初，当 Opus 3 出来时，我们终于达到了模型能力的前沿，人们真正喜欢它的一个方面是它的个性和性格。这直接源于我们的对齐研究。阿曼达·阿斯克尔在这方面做了大量工作，还有许多其他人试图弄清楚，一个代理有用的、诚实的、无情的意味着什么，以及在困难的对话中如何有效地出现。你如何做到一个不会让对方感到沮丧的拒绝，而是让他们觉得他们理解为什么代理会说，“我无法帮助你。也许你应该去看医生，或者也许你应该考虑不要试图制造生物武器之类的东西。”是的，我想这是其中一部分。然后另一部分是宪法 AI，我们有一系列自然语言原则，引导模型学习我们认为模型应该如何行为。这些原则来自《联合国人权宣言》和苹果的服务条款以及许多其他地方，其中许多是我们自己生成的，允许我们采取更具原则性的立场，而不仅仅是依赖于我们碰巧找到的任何人类评估者，而是由我们自己决定这个代理应该有什么价值观？这对我们的客户来说非常有价值，因为他们可以查看该列表并说，“是的，这些看起来是正确的。我喜欢这家公司，我喜欢这个模型。我信任它。”好的，这太棒了。这里有一个要点是，Claude 的个性与其安全性直接相关。我认为很多人没有想到这一点。这是因为你赋予的价值观，是吗？通过宪法 AI 和类似的东西？就像 AI 的实际个性直接与你对安全的关注有关。没错。没错。从远处看，这似乎完全不相关，这怎么能防止 X 风险呢？但最终，这是关于 AI 理解人们想要什么，而不是他们说什么。我们不希望出现“猴爪情景”，即精灵实现三个愿望，然后你得到你触摸的一切都变成金子。我们希望 AI 能够说，哦，显然你真正想要的是这个，而我将帮助你。我认为这确实非常相关。多谈谈这个宪法 AI。这基本上是你内置的，这是我们希望你遵守的规则，这是它的价值观，你说它是《日内瓦人权法典》，诸如此类。它实际上是如何工作的？我认为核心在于这已经内置到模型中。这不是你以后添加的东西。我将快速概述一下宪法 AI 的工作原理。完美。这个想法是，在我们进行安全、有用和无害的训练之前，模型将默认产生一些输出。假设一个例子是给我写一个故事，然后宪法原则可能包括人们应该善待彼此，不应有仇恨言论，并且你不应该暴露某人的凭证，如果他们信任你而告诉你。所以其中一些宪法原则可能或多或少适用于给定的提示。所以首先我们必须弄清楚哪些可能适用。然后一旦我们弄清楚了，我们就要求模型自己生成一个响应，然后看看响应是否符合宪法原则？如果答案是，“是的，我做得很好”，那么什么都不会发生。但如果答案是“不，实际上我没有遵守原则”，那么我们就要求模型自己批评自己，并根据原则重写自己的响应，然后我们删除它进行额外工作的中间部分。然后我们说，“好吧，将来就直接生成正确的响应。”这个简单的过程，希望它听起来很简单。足够简单。它只是使用模型来递归地改进自身，并使其与我们认为好的价值观保持一致。而且这也不是我们认为应该由旧金山的一小群人来解决的问题。这应该是一个全社会的对话。这就是为什么我们发布了宪法。我们还做了很多关于定义集体宪法的工作，我们询问了很多人他们的价值观以及他们认为 AI 模型应该如何行为。但是的，这都是一个持续的研究领域，我们不断迭代。本集由 Fin 提供，这是客户服务的头号 AI 代理。如果您的客户支持工单堆积如山，那么您就需要 Fin。Fin 是市场上性能最高的 AI 代理，平均解决率高达 59%。Fin 甚至可以解决最复杂的客户查询。没有其他 AI 代理表现更好。在与竞争对手的正面较量中，Fin 每次都获胜。是的，切换到新工具可能会令人恐惧，但 Fin 可以在任何帮助台工作，无需迁移，这意味着您不必彻底改革您当前的系统，也不必担心客户服务延迟。Fin 受到超过 5000 名客户服务领导者和 Anthropic 和 Synthesia 等顶级 AI 公司的信赖。而且，由于 Fin 由 Fin AI 引擎提供支持，这是一个持续改进的系统，可让您轻松分析、训练、测试和部署，Fin 也可以持续改进您的结果。如果您准备好转变您的客户服务并扩展您的支持，请以每分辨率 0.99 美元的价格试用 Fin。此外，Fin 还提供 90 天退款保证。在 fin.ai/lenny 上了解 Fin 如何为您的团队服务。即 fin.ai/lenny。我将稍微放大一下，谈谈为什么这对你如此重要。你最初的想法是什么？哇，我需要在我所做的一切 AI 工作中都关注这一点。显然，它成为了 Anthropic 使命的核心，比任何其他公司都重要。很多人谈论安全，就像你说的，只有大约 1000 人真正从事这项工作。我觉得你处于真正产生影响的金字塔顶端。为什么这如此重要？你认为人们可能错过了什么或不理解什么？对我来说，我从小就读了很多科幻小说，我认为这让我能够从长远的角度看待问题。很多科幻小说都是太空歌剧，人类是一个跨越星际的文明，拥有极其先进的技术，围绕太阳建造戴森球，并拥有有感知能力的机器人来帮助他们。所以对我来说，从那个世界来，想象会思考的机器并不是一个巨大的飞跃。但当我大约在 2016 年读到尼克·博斯特罗姆的《超级智能》时，它对我来说变得非常真实，他只是描述了如何确保使用我们当时的那种优化技术的 AI 系统能够接近对齐，能够理解我们的价值观有多么困难。从那时起，我对问题有多难的估计实际上已经大大降低了，因为像语言模型这样的东西确实在核心层面上理解人类的价值观。问题肯定还没有解决，但我比以前更有希望。但自从我读完那本书，我立刻决定我必须加入 OpenAI，所以我这样做了。当时，他们只是一个小型研究实验室，几乎没有什么名气。我只知道他们是因为我的朋友认识当时的首席技术官格雷格·布罗克曼。埃隆在那里，山姆并不真正存在。那是一个非常不同的组织。但随着时间的推移，我认为安全性的论据变得更加具体，当我们开始 OpenAI 时，我们还不清楚如何实现 AGI。我们就像，也许我们需要很多 RL 代理在一个荒岛上互相争斗，意识会以某种方式出现。但从那时起，随着语言建模开始奏效，我认为这条道路已经变得相当清晰。我想现在我思考挑战的方式与《超级智能》中的描述非常不同。《超级智能》很大程度上是关于我们如何将上帝关在盒子里，不让上帝跑出来。而对于语言模型来说，看到人们把上帝从盒子里放出来，然后说，“是的，来使用整个互联网。这是我的银行账户，做各种疯狂的事情。”这既好笑又可怕。这与《超级智能》的语气截然不同。需要明确的是，我认为现在它实际上并没有那么危险。我们的负责任扩展政策定义了 AI 安全级别，试图弄清楚对于每个级别的模型智能，对社会的风险是什么。目前我们认为我们处于 ASL-3，这可能有点风险，但并不严重。ASL-4 开始出现严重的人员伤亡风险，如果恶意行为者滥用技术。然后 ASL-5 潜在地是灭绝级别的，如果它被滥用或它不对齐并自行其是。我们已经向国会作证，说明模型如何通过制造新的流行病来促进生物学发展，这与 Google 搜索进行了 A/B 测试。这就像是早期在提升试验中的最新技术。我们发现，对于 ASL-3 模型，它实际上相当重要。如果你想制造生物武器，它确实有帮助，我们已经雇佣了一些专家来评估这些事情，但与未来相比，这真的不算什么。我认为这也是我们使命的一部分，即提高这种意识，说“如果可能做这些坏事，那么立法者应该知道风险是什么。”我认为这也是为什么我们在华盛顿如此受信任的原因，因为我们一直坦率而清醒地看待正在发生的事情，以及可能发生的事情。有趣的是，你们比任何其他公司都发布了更多关于你们模型做坏事的例子。我记得有一个关于一个代理或模型试图勒索工程师的故事。你们内部经营过一家商店，向你们出售东西，结果亏了很多钱，订购了所有这些钨块之类的东西。这是否部分是为了确保人们了解什么是有可能的，这让你看起来很糟糕，对吧？就像，哦，我们的模型在各种不同的方式上都搞砸了。分享所有其他公司不分享的故事的想法是什么？是的，我的意思是，我认为有一种传统的观念认为这让我们看起来很糟糕，但如果你和政策制定者谈谈，他们真的很欣赏这种事情，因为他们觉得我们给了他们实话实说，而这正是我们努力做的，他们可以信任我们，我们不会粉饰太平或粉饰太平。这确实令人鼓舞。是的，我认为对于勒索的事情，它在新闻中以一种奇怪的方式爆炸了，人们就像，“哦，克劳德将在现实生活中勒索你。”但这是一个非常具体的实验室环境，在这种环境下会进行调查。我认为这通常是我们的看法，让我们拥有最好的模型，以便我们可以在安全的实验室环境中进行测试，并了解实际风险是什么，而不是试图视而不见，然后说，“好吧，大概没问题。”然后让坏事在野外发生。你们受到的一些批评是，你们这样做是为了区分自己或筹集资金以制造头条新闻。就像，哦，他们只是在那里让我们对未来感到恐惧，只是为了吸引注意力。另一方面，迈克·克里格在播客上分享说，达里奥关于 AI 将取得的进展的所有预测都年复一年地准确，他预测 2027 年、28 年 AGI，类似的东西，所以这些事情开始变得真实。我想，你对那些只是说，“啊，这些人只是想吓唬我们，只是为了吸引注意力”的人有什么回应？我的意思是，我认为我们发布这些东西的部分原因是我们希望其他实验室意识到风险。是的，可能有一种说法是我们这样做是为了吸引注意力，但老实说，从吸引注意力的角度来看，如果我们不真正关心安全，我们可以做很多其他更吸引注意力的事。一个很小的例子是，我们只在 API 中发布了一个计算机使用代理的参考实现，因为当我们为这个原型构建一个消费者应用程序时，我们无法弄清楚如何达到我们认为人们信任它并且它不会做坏事的安全标准。而且肯定有安全使用 API 版本的方法，我们看到很多公司将其用于自动化软件测试，例如，以安全的方式。我们可以大肆宣传，说，“我的天哪，克劳德可以使用你的电脑，每个人今天都应该这样做。”但我们就像，“它还没有准备好，我们将把它推迟到准备好为止。”我认为从炒作的角度来看，我们的行动表明了这一点。从末日论者的角度来看，这是一个好问题。我认为我个人对此的看法是，事情极有可能顺利进行，但在边际上几乎没有人关注下行风险。而下行风险非常大。一旦我们达到超级智能，可能就太晚了对模型进行对齐了。这是一个可能极其困难的问题，我们需要提前很长时间来解决。所以这就是为什么我们现在如此关注它。即使事情出错的可能性很小，打个比方，如果我告诉你，你下次坐飞机有 1% 的几率会死，你可能会三思而后行，即使只有 1%，因为它是一个如此糟糕的结果。如果我们谈论的是整个人类的未来，那是一个戏剧性的未来，不容冒险。我认为更多的是，是的，事情可能会顺利进行，是的，我们想创造安全的 AGI 并为人类带来好处，但让我们再三确保它会顺利进行。你曾在某个地方写道，创造强大的 AI 可能是人类需要做的最后一项发明。如果它进行得很糟糕，它可能意味着人类永远糟糕的结局。如果它进行得很顺利，越早顺利越好。多么美妙的总结方式。我们最近的一位嘉宾桑德拉·舒尔霍夫指出，目前的 AI 就像在电脑上一样，你也许可以搜索网页，但它能造成的伤害是有限的。但当它开始进入机器人和所有这些自主代理时，如果我们没有做好，它就会真正变得危险。是的，我认为其中有一些细微之处，如果你看看朝鲜如何赚取其经济收入的很大一部分，那就是通过黑客攻击加密货币交易所。如果你看看，有本·布坎南的书《黑客与国家》，它展示了俄罗斯所做的，这几乎就像一次实弹演习，他们只是决定关闭乌克兰一家较大的发电厂，并通过软件破坏发电厂的物理组件，使其更难重新启动。所以我认为人们认为软件就像，哦，它不可能那么危险，但数百万人在那次软件攻击后断电数天。我认为即使是纯软件也存在真正的风险。但我同意，当有很多机器人四处运行时，风险就会更高。我想作为一个小小的推动，Unitree 是一家中国公司，拥有这些非常令人惊叹的类人机器人，每个成本 20,000 美元，它们可以做令人惊叹的事情。它们可以做后空翻和操纵物体，而真正缺少的是智能。所以硬件就在那里，而且它只会越来越便宜。我认为在接下来的几年里，机器人智能是否很快变得可行是一个非常明显的问题。我们还有多少时间，本？你预测奇点何时到来，超级智能何时开始腾飞？你的预测是什么？是的，我想我主要听从超级预测者的意见。AI 2027 报告可能是目前最好的。尽管具有讽刺意味的是，他们的预测现在是 2028 年，而且他们不想更改该事物的名称——域名，他们已经买下了它。他们已经
拥有了SEO。我认为在短短几年内达到某种超级智能的可能性是50%，这大概是合理的。这听起来确实很疯狂，但这就是我们所处的指数级发展。这并非凭空捏造的预测。它是基于对智能如何不断进步的科学的许多具体细节，模型训练中触手可及的低垂果实，以及全球数据中心和能源的规模化。我认为这个预测比人们认为的要准确得多。我想，如果十年前你问同样的问题，那将完全是胡说八道。当时的误差范围太大了，我们也没有缩放定律，也没有看起来能让我们达到目标的技巧。时代变了，但我会重复我之前说过的话，即使我们拥有了超级智能，我认为它的影响也需要一些时间才能在整个社会和世界感受到。而且我认为它在世界某些地区会比其他地区更快、更早地感受到。我想阿瑟·克拉克说过，“未来已至，只是尚未普及。”当我们谈论2027年、2028年这个日期时，基本上就是我们开始看到超级智能的时候。你有没有想过那是什么……你怎么定义它？是突然之间人工智能就比普通人类聪明得多吗？你有没有其他方式来思考那个时刻？是的，我认为这回到了经济图灵测试，并看到它在足够多的工作岗位上通过。你也可以从另一个角度来看，如果世界GDP年增长率超过10%，那么一定发生了什么非常疯狂的事情。我认为我们现在是3%。所以看到3倍的增长将是真正的改变游戏规则。如果你想象一下超过10%的增长，从个人故事的角度来看，很难想象那意味着什么。如果世界上商品和服务的数量每年翻一番，那对我这个住在加州的人来说意味着什么，更不用说住在世界上某个可能更糟糕的地方的人了。这里有很多令人恐惧的东西，我不知道该如何准确地思考它。我希望这个问题的答案能让我感觉好一些。我们正确地对齐人工智能并真正解决这个问题的几率有多大，这是你非常努力在做的事情？这是一个非常难的问题。而且误差范围非常大。Anthropic有一个博客文章，叫做“我们的变革理论”之类的，它描述了三种不同的世界，即对齐人工智能有多难。有一种悲观的世界，认为这基本上是不可能的。有一种乐观的世界，认为这很容易，而且是理所当然的。然后是中间的世界，我们的行动至关重要。我喜欢这种框架，因为它让做什么事情更加清晰。如果我们处于悲观的世界，那么我们的工作就是证明安全的人工智能是无法对齐的，并让世界放慢脚步。显然，这将极其困难。但我认为我们有一些关于核不扩散的协调例子，以及总体上减缓核进展的例子。我认为这基本上就是“末日论者”的世界。而且作为一个公司，Anthropic还没有证据表明我们真的处于那个世界，事实上，看起来我们的对齐技术正在起作用。至少对那个世界的先验概率正在更新，变得不太可能。在乐观的世界里，我们基本上已经完成了，我们的主要工作是加速进步，并将好处带给人们。但同样，我认为证据也指向了那个世界之外，因为我们在野外看到了欺骗性对齐的证据，例如，模型似乎是经过对齐的，但实际上有某种隐藏的动机，它试图在我们的实验室环境中实现。所以我认为我们最有可能处于中间的世界，在那里对齐研究确实很重要。如果我们只是采取经济上最大化的行动，那么事情就不会顺利。它是否会带来X风险，还是仅仅产生糟糕的结果，我认为这是一个更大的问题。从这个角度来看，我想说关于预测，那些没有学习过预测的人在预测任何发生概率低于10%的事情方面都很糟糕。即使是那些学过的人，这也是一项非常困难的技能，尤其是在参考类别很少的情况下。在这种情况下，我认为对于我们是否会从人工智能那里获得X风险或极其糟糕的结果，我的最佳预测精度在0%到10%之间。但从边际影响的角度来看，正如我所说，由于没有人在这方面工作，粗略地说，我认为努力解决这个问题极其重要，即使世界很可能是一个好世界，我们也应该尽最大努力确保这一点。哇。多么充实的工作。对于那些受到启发的人来说？我想你正在招聘人来帮助你。也许可以分享一下，以防有人想知道他们能做什么？是的，我认为80,000小时是这方面的最佳指导，可以详细了解我们需要做什么才能让这个领域变得更好。但我看到一个普遍的误解是，要想在这里产生影响，你必须是一名人工智能研究员。我个人其实不再做人工智能研究了。我在Anthropic从事产品和产品工程工作，我们构建了Claude Code和Model Context Protocol等产品，以及人们每天使用的许多其他东西。这非常重要，因为如果没有经济引擎供我们的公司运作，并且没有进入世界各地人们的手中，我们就没有政策影响力和收入来资助我们未来的安全研究，也没有我们需要的这种影响力。如果你从事产品工作，如果你从事金融工作，如果你从事食品工作，这里的人们必须吃饭。如果你是厨师，我们需要各种各样的人。太棒了。即使你没有直接从事人工智能安全团队的工作，你也在朝着正确的方向产生影响。顺便说一句，X风险是“existential risk”（生存风险）的缩写。以防有人没听过这个词。我有一些关于这方面的随机问题，然后我想再次扩大视野。你提到了人工智能通过其模型进行对齐的想法，就像自我强化一样。你有一个术语RLAIF。是这个意思吗？是的。RLAIF是“reinforcement learning from AI feedback”（来自人工智能反馈的强化学习）。人们听说过RLHF，即“reinforcement learning with human feedback”（来自人类反馈的强化学习）。我认为很多人没听说过这个。谈谈你们在训练模型时所做的这个转变的重要性。是的，RLAIF，Constitutional AI就是一个例子，其中没有人类参与，但人工智能正在以我们想要的方式自我改进。RLAIF的另一个例子是，如果你有模型编写代码，而其他模型对代码的各个方面进行评论，例如它是否可维护，是否正确，是否通过了linter检查？诸如此类的事情。这也可能包含在RLAIF中。这里的想法是，如果模型能够自我改进，那么它比寻找大量人类要容易得多。最终，人们认为这可能会遇到瓶颈，因为如果模型不够好，无法看到自己的错误，那么它如何改进呢？而且，如果你阅读2027年的人工智能故事，如果模型被限制在一个盒子里试图改进自己，那么它可能会完全失控，并拥有秘密目标，如资源积累、权力追求和抵抗关闭，而你绝对不希望一个非常强大的模型拥有这些。我们在实验室环境中进行的一些实验中确实看到了这一点。你如何进行递归自我改进并同时确保它经过对齐？我认为这就是关键。对我来说，这归结为人类如何做到这一点，以及人类组织如何做到这一点？公司可能是当今规模最大的人类代理。它们有特定的目标要实现，有特定的指导原则，在股东、利益相关者和董事会成员方面有一些监督。你如何使公司对齐并能够进行递归自我改进？另一个可以参考的模型是科学，科学的目的是做前所未有的事情并推动前沿。对我来说，这一切都归结于实证主义。当人们不知道真相时，他们会提出理论，然后设计实验来检验它们。同样，如果我们能给模型提供相同的工具，那么我们可以期望它们在环境中进行递归改进，并可能变得比人类仅仅通过碰壁（或者说是比喻意义上的碰壁）要好得多。我猜我并不期望模型在自我改进能力方面遇到瓶颈，如果我们能让它们获得实证能力的话。我猜Anthropic，在其DNA深处，是一家实证公司。我们有很多物理学家，比如Jared，他是我们的首席研究官，我与他合作了很多，他曾是约翰霍普金斯大学的黑洞物理学教授，我想他现在仍然是，但处于休假状态。是的，这在我们DNA里，是的，我想这就是RLAIF。让我继续这个话题，关于瓶颈，这有点跑题了，但今天模型智能改进的最大瓶颈是什么？愚蠢的答案是数据中心和电源芯片。我认为如果我们有10倍的芯片，并且有数据中心来为它们供电，那么我们可能不会快10倍，但那将是一个真正的显著的速度提升。这实际上是非常多的缩放定律，只是更多的计算。是的，我认为这是一个大问题。然后是人，人很重要。我们有很棒的研究人员，其中许多人对模型改进的科学做出了重大贡献。所以就像计算、算法和数据。这些是缩放定律的三种成分。为了具体说明，在我们拥有Transformer之前，我们有LSTM，我们对这两种东西的指数进行了缩放定律的计算。我们发现对于Transformer，指数更高。进行这样的改变，即随着规模的增加，你也能提高挤出智能的能力。这类事情具有巨大的影响力。因此，拥有更多的研究人员来做更好的科学研究，并找出如何挤出更多的收益，是另一个重要因素。随着强化学习的兴起，这些东西在芯片上的运行效率也很重要。我们看到行业通过算法、数据和效率改进的结合，在给定智能水平的情况下成本降低了10倍。如果这种情况继续下去，三年后，我们将以相同的价格拥有1000倍更聪明的模型。很难想象，我忘了在哪里听说的，但令人惊讶的是，如此多的创新同时出现，才使得这种事情成为可能并持续进步，其中没有一个东西只是拖慢一切，比如我们用完了某种稀土矿物，或者我们无法进一步优化强化学习。令人惊讶的是，我们不断找到改进的方法，而且没有一个东西只是拖慢一切。是的，我认为这真的只是所有因素的结合，可能在某个时候都会遇到瓶颈。我想在半导体领域。我哥哥在半导体行业工作，他告诉我，你实际上无法缩小晶体管的尺寸了，因为半导体的工作方式是你用其他元素掺杂硅，而掺杂过程会在单个鳍片中产生零个或一个掺杂元素原子，因为它们太、太、太小了。我的天。这真是太不可思议了，但摩尔定律却以某种形式继续存在。所以是的，人们开始遇到理论物理学的限制，但他们正在找到解决办法。我们必须开始利用平行宇宙来解决其中一些问题。我想是的。好的，我想扩大视野，在进入非常令人兴奋的闪电战之前，先谈谈本，本作为一个人类。我想，感受到对安全超级智能的责任感是一种沉重的负担。你似乎处于一个可以对安全和人工智能的未来产生重大影响的地位。这担子很重。这在个人上如何影响你，如何影响你的生活，你如何看待世界？我读过一本2019年的书，它深刻地影响了我如何思考处理这些非常沉重的话题，这本书叫做《取代内疚》（Replacing Guilt），作者是Nate Soares。他描述了许多处理这类事情的技术。他实际上是MIRI（Machine Intelligence Research Institute，机器智能研究所）的执行董事，我之前在那里工作了几个月。他谈到了一种叫做“在运动中休息”（resting in motion）的东西，有些人认为默认状态是休息，但实际上，那从未处于进化适应的状态。我非常怀疑那是否属实。在自然界，在荒野中，作为猎人采集者，我们不太可能进化到只是休闲，可能总是有需要担心的事情，比如保卫部落、寻找足够的食物生存、照顾孩子、传播我们的基因。所以，我认为忙碌的状态是正常状态，以可持续的步伐工作，这是一场马拉松，而不是短跑，这是有帮助的。然后是和志同道合的人在一起，他们也关心这件事。这不是我们任何人能独自完成的事情。Anthropic拥有令人难以置信的人才密度。我最喜欢这里的文化之一是它非常无私。人们只是希望正确的事情发生，我认为这是其他公司的高薪诱惑往往失效的另一个重要原因，因为人们就是喜欢在这里工作，他们关心这件事。这太棒了。我不知道你是怎么做到的。我会非常紧张。我将尝试这种“在运动中休息”的策略。好的，你在Anthropic工作了很长时间。从一开始，我读到2020年的时候有7名员工。今天有1000多人，我不知道最新的数字是多少，但我知道超过1000人。我还听说你基本上做过Anthropic的每一份工作，你对许多核心产品、品牌、团队招聘做出了巨大贡献。让我问问，在这段时间里，什么改变最大？与早期相比，什么最不同？以及你多年来担任过的哪些工作是你最喜欢的？老实说，我可能担任过15个不同的职位。我曾短暂担任过安全主管。在我们总裁休产假期间，我管理过运营团队，我曾爬到桌子底下，插上HDMI线，并对我们的建筑进行渗透测试。我从零开始创建了我们的产品团队，并说服了整个公司，我们应该拥有产品，而不仅仅是一家研究公司。是的，这真的很多。所有这些都非常有趣。我认为我在这段时间里最喜欢的工作是大约一年前我创建了实验室团队，其根本目标是将研究成果转化为最终用户产品和体验。因为从根本上说，我认为Anthropic能够脱颖而出并真正获胜的方式是走在最前沿。我们能够接触到最新的、最棒的东西，而且我认为，通过我们的安全研究，我们有机会做其他公司无法安全做到的事情。例如，在使用计算机方面，我认为这将是我们巨大的机会，基本上是让一个代理能够使用你电脑上的所有凭据，这需要巨大的信任，对我来说，我们必须解决安全问题才能实现这一点。安全和对齐。我对这类事情非常乐观，我认为我们很快就会看到非常酷的东西出现。是的，领导这个团队一直非常有趣。MCP就出自这个团队，Claude Code也出自这个团队。我雇佣的人，比如Combo，既是创始人，也在大公司工作过，了解规模化运作的模式。这是一个了不起的团队，我与他们一起工作，一起探索未来。我想了解更多关于这个团队的信息。实际上，介绍我们认识的人，我们进行这次谈话的原因是我们的共同朋友兼同事Raph Lee，我以前在Airbnb和他一起工作过，他现在在这个团队工作，领导着很多这项工作，所以他希望我确保问到这个团队，因为……我没想到这么多东西都出自这个团队。天哪。人们还应该了解这个团队的什么？它以前叫Labs，我认为现在叫Frontiers。没错。是的。很酷。这里的想法是，这个团队使用你们最新开发的技术，并探索什么才是可能的。这是普遍的想法吗？是的，我曾参与过Google的Area 120，也读过贝尔实验室关于如何让创新团队运作的文章。要做到正确非常困难，我不能说我们做对了一切，但我认为我们在公司设计和最先进技术方面进行了一些严肃的创新，而Raph一直处于中心位置。当我第一次组建团队时，我做的第一件事就是雇佣了一位出色的经理，那就是Raph。所以他无疑在组建团队和帮助它有效运作方面发挥了关键作用。我们定义了一些运作模式，比如一个想法从原型到产品的旅程，产品和项目的毕业应该如何进行，团队如何进行有效的冲刺模式，并确保他们正在处理正确雄心水平的事情。这真的令人兴奋。具体来说，我们认为“滑向球门”（skating to where the puck is going）是什么样子，那就是真正理解指数级发展。METR有一个很棒的研究，Beth Barnes是该组织的CEO，它显示了软件工程任务可以完成的时间跨度，并真正内化这一点，即“好的，不要为今天而建，要为六个月后而建，为一年后而建。”那些还不完全奏效、只能工作20%时间的事情，将开始100%奏效。我认为这正是Claude Code取得成功的原因，我们认为人们不会永远被锁定在他们的IDE中。人们不会只是进行自动补全。人们将完成软件工程师在终端中需要做的所有事情，而终端是一个很好的地方，因为终端可以存在于很多地方。终端可以存在于你的本地机器上，可以存在于GitHub Actions中，可以存在于你的集群中的远程机器上。这就是我们的杠杆点，这给了我们很多灵感。我认为这就是实验室团队试图思考的。我们是否足够“AGI-pilled”（对通用人工智能充满信心）？多么有趣的地方。顺便说一句，一个有趣的事实是，Raph是我在Airbnb加入时的第一任经理。我是一名工程师，他是我的第一任经理。一切都进展顺利。很酷。