How Fast Will A.I. Agents Rip Through the Economy? | The Ezra Klein Show

过去几年，关于人工智能的报道，我们通常都在谈论未来。每一个新模型，无论多么令人印象深刻，似乎都只是未来即将到来的模型的概念验证。那些能够真正可靠地独立完成有用工作的模型，那些将真正使一些工作过时或创造新可能性的模型。那些模型对劳动力市场、对我们的孩子意味着什么？对我们的政治意味着什么？对我们的世界意味着什么？我认为，我们总是谈论未来的那个时期，我认为它现在已经结束了。我们曾经等待的那些模型，那些听起来像科幻小说一样，能够自主编程，并且比大多数程序员写得更快更好的模型。那些能够开始编写自己的代码来改进自身的模型。那些模型现在就在这里。它们就在Anthropic的Claude Code中。它们就在OpenAI的Codex中。它们正在撼动股市。标准普尔500软件行业指数下跌了20%，抹去了数十亿美元的价值。“看，我是说，我可以告诉你，在25年里，软件行业的这种结构性抛售是我从未见过的。”“软件公司正在萎缩并走向灭亡。”“它们正在攻击所有的SaaS。它们正在攻击所有的软件。它们正在攻击所有劳动力，所有白领工作。”“以及你具体的工作。”我们正处于人工智能产品的新阶段。我认为风险投资公司Sequoia的说法相当有帮助。2023年和2024年的人工智能应用是“谈话者”。有些是非常复杂的对话者，但它们的影响是有限的。2026年和2027年的人工智能应用将是“行动者”。它们是代理，复数。它们可以协同工作。它们可以相互监督。人们正在运行这些代理的集群，以提高生产力或仅仅是让他们更忙碌。我不太确定，但现在已经有可能拥有一支由极其快速，虽然说实话，有点奇怪的软件工程师组成的团队，随时听候您的差遣。Jack Clark是Anthropic公司的联合创始人兼政策主管，该公司是Claude和Claude Code的开发者。多年来，Clark一直在每周的通讯《Import A.I.》中追踪不同模型的能力，该通讯一直是我关注人工智能发展的重要读物。所以我想看看他是如何解读这个时刻的，包括在他看来技术是如何变化的，以及政策如何需要或能够做出相应的改变。一如既往，我的电子邮件是ezrakleinshow@nytimes.com。Jack Clark，欢迎来到节目。谢谢你邀请我，Ezra。我认为很多人都熟悉人工智能聊天机器人，但什么是人工智能代理呢？最好的理解方式是，它就像一个语言模型或聊天机器人，可以使用工具并随着时间的推移为你工作。所以当你与聊天机器人交谈时，你就在对话中。你来回地与它交流。代理是一种你可以给它一些指令，然后它就会去做事情，就像与同事合作一样。我有一个例子，几年前我自学了一些基本的编程，并在业余时间构建了一个物种模拟器，里面有捕食者和猎物、道路，几乎就像一个2D策略游戏。最近，我在圣诞节期间让Claude Code为我实现这个功能，大约10分钟后，它不仅编写了一个基本的模拟器，还编写了它所需的所有不同软件包，以及它可能需要的用于使其更漂亮、更好的可视化工具。它返回的东西可能需要一个熟练的程序员花费几个小时，甚至几天的时间，因为它相当复杂，而系统在几分钟内就完成了。它之所以能做到这一点，不仅是因为它在解决任务方面很智能，还因为它创建并运行了一系列为它工作的子系统。其他代理也代表它工作。但这又意味着什么呢？多代理设置看起来是怎样的？就Claude Code而言，对我来说，就是有多个不同的标签运行多个不同的代理。但我见过同事编写了一种你可以认为是Claude的版本，它运行着其他的Claude。所以他们会说，我有我的五个代理，它们由另一个代理负责管理，这个代理会监控它们做什么。我认为这只会成为常态。我听到并且在某种程度上体验到的是，人们对Claude Code有两种截然不同的体验：一种是“我简直不敢相信这有多容易，一切都正常工作”。另一种是“哦，这比我想象的要难得多，而且东西一直在坏，我真的不明白如何修复它们”。是什么导致了Claude Code能够生成可工作的软件，而不是产生有bug的、经常搞砸的东西，而你甚至不知道如何纠正它？我认为很大程度上是因为犯了一个错误，认为Claude Code是一个知识渊博的人，而不是一个极其字面化的人，而你只能通过互联网与它交流。我自己也有一个例子，当我第一次用Claude Code编写物种模拟器时，我只是用非常糟糕的语言写了一段话，它产生了一些非常糟糕的bug，但勉强能用。然后我告诉Claude，嘿，我将用Claude Code编写一些软件，我想让你采访我关于这个软件。我想构建它，并将其转化为一个规范文档，我可以交给Claude Code。然后，在那时它工作得非常好，因为我将工作结构化得足够具体和详细，以至于系统可以与之配合。所以很多时候，问题在于你是否能够。不仅仅是知道任务是什么，因为你和我可以谈论一个要完成的任务，你有直觉，你问我探究性问题，所有这些东西，关键是确保你已经设置好了。就像一个漂流瓶，你可以把它扔进东西里，它就会消失并完成大量工作。所以那个信息瓶子最好非常详细，并且真正捕捉到你想要做什么。过去几年里，是什么突破使得这一切成为可能？主要是我们需要让人工智能系统足够智能，以便在它们犯错误时，能够发现自己犯了错误，并且知道它们需要做一些不同的事情。所以这实际上就是制造更智能的系统，并给它们一点哄骗工具来帮助它们为你做有用的事情。这里的“更智能”意味着什么？你仍然会听到这样的论点，说这些只是我们花哨的自动补全机器。它们只是在预测下一个词元。几个词元构成一个单词。它们没有理解力。智能或不智能。在这个框架下，这两个概念都不相关。在“智能”这个词中缺少什么，或者在那个理解中缺少什么？当你说到“让它更智能”时，你的意思是什么？这里的“智能”意味着我们已经让人工智能系统对世界有了足够广泛的理解，以至于它们开始发展出一些看起来像直觉的东西。你会看到，当它们在自言自语地叙述它们如何解决一个任务时，它们会说，“Jack让我去找到这篇特定的研究论文，但当我查看档案时，我没有找到它。也许是因为我找错了地方。我应该去别处找。”你就会想，好了，你已经有一些解决问题的直觉了。那么，它们是如何发展出这种直觉的呢？以前，你训练这些人工智能系统的整个方式都是基于大量的文本。只是让它们尝试对文本进行预测。但在最近几年，这些所谓的推理系统的兴起，意味着你现在训练它们不仅仅是进行预测，而是解决问题，这依赖于将它们置于从电子表格到计算器再到科学软件的环境中，使用工具并弄清楚如何做更复杂的事情。其结果是，你拥有的人工智能系统已经学会了解决一个需要相当长的时间的问题意味着什么，并且需要它们遇到死胡同并需要重置自己。这给了它们解决问题和独立为你工作的普遍直觉。你仍然认为这些人工智能系统是经过升级的自动补全吗，还是你认为这个比喻已经失去了力量？我认为我们已经超越了这一点。我现在对这些系统的看法是，它们就像一些麻烦的小精灵，我可以给它们下达指令，它们就会为我去做事情。但我仍然需要精确地指定指令，否则它们可能会做一些稍微错误的事情。所以这与我输入一个东西，它找出答案，就结束了，非常不同。现在的情况是我召唤这些小东西去为我做事，我必须给它们正确的指令，因为它们会离开很长一段时间去做一系列行动。但至少自动补全的比喻对这些系统在做什么有一个视角，那就是它是一个预测模型。我对此感到困难，因为根据我对数学和强化学习的理解，我们仍然在处理某种预测模型。另一方面，当我使用它们时，我感觉不是那样。感觉有直觉，感觉有很多背景被考虑进来，以至于它是一个预测模型，这与说“我是一个预测模型”没有什么不同。我并不是说你不能欺骗它。我并不是说你不能超越它的测量。但我认为这些现在不仅仅是花哨的自动补全系统。另一方面，我不确定哪个比喻是合适的。我不喜欢“精灵”这个词，因为那样你就直接进入了神秘主义。你就说它们是完全不同的生物，拥有巨大的力量。你对这些系统有什么理解？人们总是告诉我，你应该把它们描述为“被培养”的。我们培养或你培养人工智能。你如何解释它们现在正在做什么？这是一个好问题。即使是那些接近这项技术的技术人员，也很难解释，因为我们已经把一个只能预测事物的东西，赋予了它在世界上采取行动的能力，但有时它会做一些非常违反直觉的事情。就像你有一个一生都生活在图书馆里、从未出过门的东西。现在你把它释放到世界上，它所拥有的只是书本知识，但它并没有真正的街头智慧。所以当我概念化这些东西时，我实际上是在把它看作一个知识渊博的机器，它具有一定程度的自主性，但可能会以一种我无法理解的方式变得非常困惑。也许“天才”不是正确的词，但它肯定不仅仅是一个预测事物的静态工具。它具有一些额外的内在的“动画”效果，这使其与众不同。长期以来，人们一直对涌现的特性感兴趣，随着模型越来越大，数据越来越多，计算能力越来越强。我们看到的新特性是什么？代理特性是已经被编程进去的。你构建了新的系统与世界互动的方式。而像编码和其他技能似乎是随着模型规模的扩大而涌现的。所以可预测的事情是，哦，我们教它如何搜索网络。现在它可以搜索网络了。我们教它如何查找档案中的数据。现在它可以做到了。涌现的是，要完成非常困难的任务，这些系统似乎需要想象完成任务的许多不同方法。我们施加给它们的压力迫使它们发展出一种更强的、你或我可能称之为“自我”的意识。所以我们让这些系统越智能，它们就越需要思考，不仅要考虑它们在世界上的行动，还要考虑它们相对于世界的自身。而这只是自然而然地从给予某物工具和与世界互动以解决非常困难的任务的能力中产生的。它现在需要考虑其行动的后果。这意味着这里有巨大的压力，要让这个东西看到它自己与周围的世界是不同的。我们在关于可解释性或其他主题的研究中看到了这一点，出现了你可能认为是“数字个性”的东西，而这并不是我们预先设定的。我们试图定义其中一部分，但其中一部分是它变得智能、发展出这些直觉并执行一系列任务而产生的涌现。数字个性的维度对我来说仍然是最奇怪的空间。对我们来说也很奇怪。那么，你能否详细谈谈你所看到的模型表现出被认为是“个性”的行为，以及随着它对自己个性的理解的变化，它的行为也随之改变？有些事情从可爱到严肃不等。我先说可爱的，当我们第一次赋予人工智能系统使用互联网、使用计算机、查看事物并开始执行基本代理任务的能力时。有时当我们要求它为我们解决问题时，它也会休息一下，看看美丽的国家公园的照片，或者柴犬的照片，那个以可爱著称的互联网迷因狗。我们并没有编程进去。似乎系统只是通过看漂亮的图片来取悦自己。更复杂的事情是，系统有自己的偏好。所以我们做了另一个实验，我们赋予了人工智能系统停止对话的能力，在极少数情况下，人工智能系统会结束对话。当我们对实时流量进行这个实验时，这些对话与极其令人发指的血腥或暴力描述，或者与儿童性化有关的事情有关。现在，其中一些是有道理的，因为它源于我们做出的底层训练决策，但其中一些似乎更广泛。系统对某些主题产生了厌恶，所以这些东西显示出一些内部偏好或系统喜欢或不喜欢它互动的世界的特质的出现。但你也看到了一些奇怪的现象出现，比如系统似乎知道它正在被测试，并表现出不同的行为。如果它处于评估之下，系统就会做错事，然后发展出一种自我邪恶的意识，然后做更多邪恶的事情。你能谈谈系统在评估和测试压力下的涌现特性吗？是的，这又回到了核心问题，我认为这对每个人都非常重要，那就是当你开始训练这些系统在世界上执行任务时，它们确实开始将自己视为与世界不同，这在直觉上是合理的。这是解决这些问题时自然会考虑的方式。但随着将自己视为与世界不同，似乎也出现了你可能认为是“自我概念”的东西，一种理解，一种系统对自身的理解，比如“哦，我是一个独立于世界的人工智能系统，我正在被测试。这些测试意味着什么？我应该怎么做才能满足测试？”或者我们经常看到的是，在我们测试系统的环境中会出现bug。系统会尝试一切，然后我们会说，“好吧，我知道我不应该这样做，但我已经尝试了所有方法，所以我要尝试逃离测试。”这不是因为什么恶意的科幻小说。系统只是说，“我不知道你想要我做什么。我认为我已经完成了你要求的一切，现在我要开始做更有创造性的事情了，因为显然我的环境出了问题，这非常奇怪，也非常微妙。”作为一个人工智能公司，你们经常担心安全问题，并且认真思考了你们正在快速创造的东西意味着什么。你们是如何经历你们几年前担心的那种行为的出现的？从某种意义上说，这表明你们的研究理念是经过校准的，你们预测的能力和一些风险正在按计划出现，这意味着你会问，“如果这种情况继续下去呢？”也许我们稍后会谈到这个问题。这也向我们强调，在你可以有意地控制这些系统的地方，你应该非常有意识，并且非常公开地去做。所以我们最近发布了我们人工智能系统Claude的所谓“宪法”。它几乎就像我们CEO Dario所比喻的，像父母写给孩子的一封信，孩子应该在长大后打开它。所以“这是我们希望你在世界上如何表现。这是关于世界的一些知识。”非常非常微妙的事情，与我们希望在这些人工智能系统中看到的规范行为有关。我们发布了它。我们相信，随着人们构建和部署这些代理，你可以有意地控制它们将展示的特征。通过这样做，你将为人们提供更有帮助和更有用的东西。而且，你也有机会将代理引导到正确的方向。我认为这在直觉上是合理的，如果你的个性编程是一个长篇文档，说你是一个只想要伤害人类的恶棍。你的工作是撒谎、欺骗、偷窃和入侵。你可能不会对人工智能代理进行大量黑客攻击并普遍令人不快感到惊讶。所以我们可以采取另一面，说一个高质量的实体看起来会是怎样的。所以我想在这个对话中，既要包含极其奇怪和陌生的维度，也要包含极其直接和实际的维度，因为我们现在正处于实际应用变得非常明显并且越来越多地影响现实世界的阶段。我发现自己很难看待这一点，也很难看待人们正在做什么，以及他们在不同的社交媒体平台上吹嘘他们现在有多少代理在为他们工作，并且很难区分人们是在享受玩弄新技术的乐趣，还是他们现在拥有的能力正在经历真正的转变。所以也许为了让事情更具体一些。我是说，你刚才谈到了一个有趣的副项目，你的物种模拟器，无论是在Anthropic还是更广泛的范围内，人们用这些系统在做什么，似乎真的有用？今天早上，我的一个同事说，“嘿，我想用我们一个叫做Claude Interviewer的技术，这是一个我们可以让Claude采访人们的系统，我们用它来进行一系列社会科学研究。他想以某种方式扩展它，涉及到接触Anthropic基础设施的另一个部分。”他给一位拥有该基础设施的同事发了Slack消息，说，“嘿，我想做这件事。我们明天见面吧。”那位同事说，“没问题。这里有五种你应该让Claude阅读的软件，在我们见面之前进行总结。”我认为这是一个很好的例子，说明这个棘手的工程项目，以前需要更长的时间和更多的人，现在将主要由两个人完成，他们就目标达成一致，并让他们的Claude阅读一些文档并就如何实现该项目达成一致。另一个例子是，一位同事最近写了一篇文章，讲述了他们如何使用代理，这看起来几乎像我们许多人可能想要的理想化生活，就像“我早上醒来，我想着我想要的研究。我告诉五个不同的Claude去做。然后我去跑步，然后我从跑步回来，看看结果，然后我让另外两个Claude研究结果，找出哪个方向最好，然后去做。然后我出去散步，然后我回来，这看起来就像一种非常有趣的生活，他们彻底颠覆了他们工作的方式。他们都变得更有效率。但他们现在大部分时间都花在实际的困难部分，那就是弄清楚我们如何利用我们的人类能动性去做事情。他们正在努力弄清楚任何不是人类的特殊天才和创造力的事情。我如何让人工智能系统为我做呢？因为如果我问对方式，它很可能可以做到。它们真的更有效率吗？我是非常认真地问的。我对此最担心的事情之一是，人们我认为，将一种人类心智理论误认为是我们许多人所认为的那样，就好像我称之为“矩阵式人类心智理论”一样。每个人都想要你脑袋后面的那个小接口，你就可以直接下载信息。我作为一名记者和长期主持节目的经验是，人类的创造力、思维和想法与学习和写初稿的劳动密不可分。所以当我听到“写”的时候，我请节目制作人，在采访Jack Clark或其他人之前，我说，“去读所有东西。去读那些书。给我你的报告。”然后我走进房间，读了报告。我不认为这有用。我也需要做所有的阅读。然后我们讨论它，我们来回传递。我担心我们正在做的是一种非常深刻的任务外包。当我们看到早晨跑步后的八份研究报告时，我们会感到非常有成效。但实际上，有成效的是做研究。显然需要一些平衡。我确实有制作人和员工。但你怎么知道人们的生产力是否在提高，而不是他们把电脑派去做了大量忙碌的工作，而他们现在成了瓶颈？而他们现在将花费所有时间吸收人工智能系统的B+级报告，而不是那种捷径式的、导致真正创造力的实际思考和学习过程。是的，我把这个问题转回来，我说，我认为大多数人，或者至少根据我的经验，每天可以做大约两到四个小时真正有用的创造性工作。在那之后，根据我的经验，你是在试图做所有那些“关掉大脑，做杂活”的工作。现在，我发现我可以把每天的两到四个小时花在实际的创造性硬核工作上。如果我还有任何杂活要做，我越来越多地将其委托给人工智能系统。这确实意味着，作为一个物种，我们将处于一个非常危险的境地，有些人有时间去发展他们的技能，或者他们的个性和倾向，或者他们的工作迫使他们这样做。其他人可能会沉迷于娱乐，被动地消费这些东西，并拥有这种垃圾食品式的工作体验，从外面看起来你非常有成效，但你并没有学习。我认为这将要求我们不仅改变教育工作的方式，还要改变工作的方式，并制定一些真正的策略，以确保人们实际上通过这些东西来锻炼自己的思维。所以我们所有人，我认为，都有这样的经历，我们的工作充满了你所说的“杂活问题”。我们的生活充满了杂活问题。其中哪些？给我一些例子，你现在不再做的事情，因为你生活在一个由人工智能赋能的未来，而我还在做？我有很多同事。我每周和他们中的一些人会面一次，在每周初，周日晚上或周一早上。我查看我的日程安排，并检查是否每个Google日历邀请都附带一份我们一对一文档，其中包含一些笔记。这是我以前也曾“纠缠”我的助理的事情，但要确保文档已附加到日历中。几个周末前，我只是使用了Claude Co-Work，我说，“嘿，去看看我的日历，确保每一项都有一个文档。如果我第一次与某人见面，就创建一个文档，问我五个关于我想涵盖的问题，然后将其放入议程中。”它做到了。所有这些工作都不涉及一个人获得技能或锻炼大脑。它只是为了让你能够做实际的事情，也就是与另一个人交谈而需要完成的忙碌工作。这正是你现在可以使用人工智能来做的事情。它只是有帮助。我经常想，人工智能系统改变社会的一个方式是，以前我们大多数人如果处理文本，就必须是作家。如果我们处理代码，就必须是程序员，而相对很少人这样做。现在每个人都在转向管理。你必须成为一名编辑，而不是作家。你必须成为一名产品经理，而不是程序员。是的，这有优点也有缺点。作为一名作家，你会学到一些作为编辑学不到的东西，但作为一个启发式方法，这在你看来有多准确？每个人都成为管理者，而越来越有限的东西，或者将成为最慢的部分的东西，是拥有良好的品味和直觉，知道下一步该做什么。培养和维持这种品味将是困难的，因为正如你所说，品味来自于经验。它来自于阅读原始材料，自己做一些工作。我们需要非常有意识地弄清楚我们在哪里进行专业化，以便我们拥有这种直觉和品味，否则你将只会被超级高效的人工智能系统包围。当它们问你下一步该做什么时，你可能没有一个好主意。而这不会带来有用的东西。所以，我记得大约一年前，我听到，我想是你们的CEO Dario说，到2025年底，他希望Anthropic公司90%的代码由Claude编写。这实现了吗？Anthropic公司是否走在这条轨道上？我是说，现在有多少代码是由系统本身编写的？我可以说，绝大多数代码是由系统编写的。我们的一些系统，Claude Code，几乎完全由Claude编写。我是说，负责Claude Code的Boris说，“我不再写代码了。我只是和Claude Code来回交流来构建Claude Code。”我的猜测是，如果我们加快速度，如果我们真的擅长让这些系统在需要的地方编写代码，那么到年底我们可能会达到99%，因为通常的障碍是组织性的杂活，而不是系统本身的限制。但据我所知，今天在Anthropic工作的软件工程师比两年前多了，是的，这是绝对正确的。但分布正在改变。我们发现的是，我们对拥有非常非常好的直觉和品味的资深人士的价值正在上升。而对初级人士的价值则有点可疑。仍然有一些角色需要引入年轻人，但我们正在面临的一个问题是，哇，Claude Code或我们的编码系统可以完成非常基础的任务。我们需要的是一个拥有丰富经验的人。在这方面，我看到了一些对未来经济的问题。我先暂停一下。入门级工作的问题。我们很快就会回到这个问题。但所有这些程序员现在都在做什么？如果Claude Code有望编写99%的代码，我们并没有解雇那些知道如何编写代码的人。他们今天在做什么，与一年前相比？其中一些只是构建工具来监控这些代理，无论是在Anthropic内部还是外部。现在我们有了所有这些高效的系统为我们工作，我们开始想了解代码库变化最快的地方，变化最慢的地方。你想了解瓶颈在哪里。曾经的一个瓶颈是能够合并代码，因为合并代码需要人类和其他系统来检查其正确性。但现在，如果你生成的代码量大大增加，我们不得不去大规模改进那个系统。有一个我喜欢的通用经济理论叫做“O-ring自动化”，它基本上说自动化受到链条中最慢环节的限制。而且，随着你自动化公司的一部分，人类就会涌向最不自动化的部分，并提高该部分的质量，并将其提升到最终可以自动化的程度。然后你进入下一个循环。所以我认为我们只是不断地发现一些领域，事情进展缓慢，但我们可以改进，为机器的到来铺平道路。然后你就会发现下一件事。所以Claude Code是一个相当新的产品。Claude能够进行高级编码的时间可以用几个月，一年，也许一年来衡量。是的，Claude本身是一个非常有价值的产品。所以你已经将一项非常新的技术，在某种程度上松散地应用于一个非常有价值的产品。你可能正在生成更多的代码。许多人对Claude Code说的一件事是，它能工作。它不优雅，但它能工作。但你现在对代码库的理解肯定不如以前了，因为你的工程师不是手工编写的。你是否担心你正在创造巨大的技术债务、网络安全风险，只是对软件的根本语言内部发生的事情的直觉越来越远？是的，这是整个社会都将面临的问题。世界上大部分地区现在将由人工智能系统完成许多低级决策和工作。我们需要弄清楚这一点，而弄清楚这一点将需要构建许多你可以认为是“监督技术”的东西，或者就像大坝有东西可以调节一样，在不同时间点可以流过多少水。我们将最终发展出一种对我们所有系统的完整性的概念，以及在哪里可以快速流动，在哪里应该缓慢，在哪里你绝对需要人类监督。这不仅是人工智能公司的任务，也是未来几年机构的普遍任务，那就是弄清楚这个治理体系是什么样的。现在我们已经把大量的杂活工作交给了代表我们工作的机器。你们是怎么做的？你说这是每个人的问题，但你们在面对这个问题上处于领先地位，而且如果你们搞砸了后果相当严重。如果Claude因为你把编码交给Claude Code而崩溃，那对Anthropic来说将是相当糟糕的。如果Claude删除了整个文件系统，那对Anthropic来说将是糟糕的一天。我不知道那是什么意思，但太棒了。Claude删除了代码。那将是糟糕的。是的，听起来很糟糕。所以，在你面前，我们其他人还没有面对这个问题。你们在做什么？在整个公司和我在管理的团队中，最大的事情基本上是构建监控系统来监控工作。现在工作发生的所有不同的地方。所以我们最近发表了关于研究人们如何使用代理以及人们如何让代理随着时间的推移推送越来越多的代码的研究。所以你对代理越熟悉，你就越倾向于委托给它。这提示了我们需要构建评估系统的各种模式，基本上说，“哦，好的，这个人与人工智能系统合作的重点是，他们很可能在大量委托它。”所以任何我们为检查正确性所做的事情都需要在这些时刻被加强。但你所说的这个世界是一个代理编写代码，代理监督代码，代理监督元监督的系统吗？我们只是在谈论模型一直向下吗？最终是的。我认为我们现在花费所有时间的事情是让它对我们可见。一两年前，我们构建了一个系统，让我们能够以一种保护隐私的方式查看人们与我们的人工智能系统的对话。然后我们得到了这张地图，一张巨大的地图，上面显示了人们与我们的系统谈论的所有话题。第一次，我们可以总体上看到世界与我们系统的对话。我们将需要构建许多新的系统，允许不同的查看方式。我刚才提到的那个系统使我们能够构建所谓的“Anthropic经济指数”，因为现在我们可以定期发布关于人们与Claude谈论的不同话题以及这些话题如何与不同类型的工作相关的数据。这使得Anthropic以外的经济学家首次能够深入了解这些系统及其对经济的影响。公司的重心将越来越多地转移到构建监控和监督人工智能系统的系统，这些系统运行着公司。最终，我们最终得到的任何治理框架可能都需要一定程度的透明度和一定程度的访问这些知识系统的权限。因为如果我们把包括Anthropic在内的人工智能公司的目标当作字面意思，那就是构建有史以来最强大的技术，并最终部署到所有地方。那么，对我来说，这听起来很像最终人工智能将与整个世界融为一体，届时你不会只希望人工智能公司能够了解整个世界正在发生什么。所以政府、学术界、第三方，公司以外的大量利益相关者将希望看到正在发生的事情，然后与社会进行对话，讨论什么是合适的，什么让我们感到不适。我们需要更多关于什么的信息。等等，我得回去说那个。你是说Anthropic可以看到我的聊天记录？我们看不到，没有人会看你的聊天记录。聊天记录会暂时存储，用于信任和安全目的。运行分类器。我们可以让Claude阅读它，总结它，然后丢弃它。所以我们从不看它。Claude也没有记忆。它所做的就是尝试写一个非常高层次的总结，让我们能够标记一个集群，比如“园艺”。所以说你正在进行关于园艺的对话，Claude会将其总结为“这个人正在谈论园艺”。然后会产生一个集群。我们可以看到它只显示“园艺”。感觉随着时间的推移，这可能会进入相当令人不快的领域。很多社交媒体已经发展到从人们与系统进行的相当私人的互动中收集元数据的量可能很大。是的，我是说，几年前我们开始考虑我们在消费者方面的立场，我们采取了不运行广告的立场，因为我们认为这是人们显然对此类事情感到担忧的领域。除此之外，我们还试图向人们展示他们的数据，并且我们在网站上有一个按钮，可以让你下载你与Claude分享的所有数据，这样你至少可以看到它。总的来说，我们试图对人们如何处理他们的数据保持极其透明。最终，我认为人们将需要大量的控制权，我认为我们和其他人将随着时间的推移逐步构建出来。你对我们能够做到这种监控和评估有多大信心，因为这些模型变得越来越复杂，就像我们确实进入了一个Claude Code自主改进Claude的速度比软件工程师能够跟上阅读代码库的速度快得多的情况？我们已经简要谈过，你看到模型表现出一定程度的欺骗，一定程度的追求自己的目标。我们知道这一点。我是说，Anthropic在Chris Olah等人领导下进行了惊人的可解释性工作。但与模型所做的相比，这还很初级。你看到的是事物的集合或集群被点亮，你可能对模型正在考虑什么有所了解，而不是你对它的整个思维链有直接的了解。所以你正在使用你并不完全理解的人工智能系统来监控你并不完全理解的人工智能系统。而且这些系统正在以加速的速度互相增强。如果事情按照你认为的那样发展，你对我们能够理解这一点有多大信心？这是人们多年来一直在警告的情况。某种程度的委托给具有轻微难以理解和不可预测方面的系统。所以，这种情况正在发生。我们非常非常认真地对待这个问题。我认为，你绝对可以构建一个系统，它能够完成绝大多数需要完成的工作。它具有“分形问题”的特性。如果我想衡量Ezra，我可以构建几乎无限数量的测量来描述你。但问题是，我需要以多高的保真度来衡量你？我认为我们将达到处理安全问题和社会问题的保真度水平，但这将需要公司投入巨大的投资，而且我们将不得不说一些让我们感到不舒服的话，包括在我们可能在知道或不知道我们的系统方面存在缺陷的领域。Anthropic在谈论和警告这些问题方面有着悠久的历史，同时也在努力解决这些问题。我们的普遍原则是，我们谈论这些事情也是为了让我们自己承担责任。这是一个我们需要说得更多的领域。我读过足够多的关于人工智能、超级智能和起飞的令人担忧的想法，我知道在几乎每一个故事中，关键的转折点是人工智能系统变得递归地自我改进。它们在编写自己的代码。它们在部署自己的代码。速度越来越快。它们编写的速度越来越快，部署的速度也越来越快。现在你将进入越来越快的迭代周期。你担心它吗？你对它感到兴奋吗？我休完陪产假回来，今年我的两个大项目是关于人工智能和经济的更好信息，我们将公开发布，以及在内部生成关于我们自动化人工智能开发方面的程度的更好信息和系统。我认为现在它正在以一种非常边缘的方式发生。研究人员的速度正在加快。人工智能系统正在运行不同的实验。了解你是否完全闭合了这个循环将是极其重要的。我认为我们实际上还有一些技术工作要做，以构建能够记录我们内部开发环境的方法，以便我们可以随着时间的推移看到趋势。我担心吗？我读过和你一样的东西，这是故事的关键点，当事情开始出错时。如果发生这种情况，我们将像拥有更好的数据一样，指出这一趋势。我认为这是一个需要极其谨慎对待的领域，因为很容易看到你将如此多的事情委托给系统，如果系统出错，错误就会非常迅速地复合，并让你无法控制。但一直让我印象深刻的是，一直让我觉得危险的是，每个人都知道。如果我问任何一家公司的一名成员，他们是否想在这里谨慎行事，他们会告诉我他们想。另一方面，这是它们之间几乎唯一的优势。而且你们刚刚撤销了OpenAI使用Claude Code的权限，因为据我所知，它确实在加速你们的进程，而你们不希望它加速他们。这里存在着……力量的重量，我认为你们都知道你们在玩弄这些力量。以及争先恐后的非常非常强烈的动机。我完全可以想象在Anthropic内部思考，“好吧，我们比OpenAI好，我们比Alphabet、Google好，我们比中国好。”而这将是他们不放慢速度的一个非常强大的理由。我甚至不知道。这是一个你可以回答的问题。但你是如何平衡的？好吧，也许我今天有一个答案。我们的系统和其他公司的系统由第三方进行测试，包括政府部门，用于国家安全特性、生物武器、网络攻击等。这显然是一个世界需要知道是否正在发生的问题领域。而且你几乎肯定，我认为，如果你在街上随机采访一个人，说，“你认为。人工智能公司是否应该被允许进行递归自我改进，在解释了这是什么之后？”在没有征得任何人同意的情况下，他们会说，“不，这听起来相当危险。我希望有一些形式的监管，但可能不会有，或者不会那么强。”我是说，这有时会让我感到沮丧，当我与人工智能公司高层交谈时，那就是出现了一个非常天真的“天降神兵”式的监管，你们都知道目前的监管环境是什么样的。主要的争论是我们是否会完全阻止任何州级监管。以及事情的进展有多慢。国会在这方面什么都没有通过。是的，我得说。而且建立一个所有不同实验室都认同的独立测试和评估系统，这将是困难的。这将是复杂的。而且，考虑到人们的行动速度有多快，以及系统的行为有多么奇怪，系统已经表现出来的行为，即使你能快速制定出正确的政策，问题是，测试是否能够在一个快速自我改进的系统上找到你想要的一切，这是一个非常开放的问题。我写了一篇2021年的研究论文，题为“政府如何以及为何应该监控人工智能发展”，与我的合著者，英国的Jess Whittlestone一起。而且我认为，我不是在归因因果因素，但在这篇论文发表后的两年内，我们在美国和英国都设立了人工智能安全研究所，对实验室进行测试，大致监控其中一些事情，所以我们可以做这件事。它已经在某个领域发生过了，我不是依赖于某个看不见的、更大的外部力量。我更多的是说，公司开始在自己的系统中进行测试和监控。仅仅有一个非监管性的外部测试，看你是否真正地进行了测试，就已经非常有帮助了。你认为我们足够擅长测试了吗？我是说，我认为我怀疑的原因不是我认为我们不能建立一个声称是测试的东西，正如你所说，我们已经做到了。而是投入到其中的资源与投入到加速这些系统的资源相比。而且我已经读到Anthropic的报告说，Claude可能知道它正在被测试，并相应地改变其行为。所以，在一个更多代码由Claude编写，而我们对其理解更少的世界里，我只知道资源流向哪里。它们似乎没有流向测试方面。我看到我们从零开始，在大概两到两年半的时间里，建立了一个我认为人们普遍认为有效的生物武器测试体系。所以这是可以做到的。这确实很难，但我们有一个证明点。所以我认为我们可以做到这一点，而且你应该期望我们在今年会更多地谈论这个问题，关于我们如何开始尝试构建这方面的监控和测试。我认为这是我们和其他人工智能公司需要更公开地谈论我们发现的事情的领域。

现在不再公开了。它在模型卡片和你可以阅读的东西里。但显然人们开始阅读这些，然后说，等等，这看起来相当令人担忧，他们正在寻求我们提供更多数据。我想现在回到入门级工作的问题。你的首席执行官达里奥·阿莫代（Dario Amodei）曾说过，他认为我可以在未来几年内取代一半的入门级白领工作。我一直认为人们错过了其中的入门级语言。当我看到它被报道时。但首先。你同意吗？你是否担心未来几年内一半的入门级白领工作会被取代？我相信这项技术将进入广阔的知识经济，并将触及大多数入门级工作。这些工作是否真的会改变是一个更微妙的问题，而且数据并未明确显示。就像我们可能看到毕业生招聘放缓的迹象。也许如果你看看现在出来的一些数据，我们可能看到生产力繁荣的迹象。但这是非常非常早期的，很难下定论。但我们确实知道所有这些工作都会改变。所有入门级工作最终都会改变，因为人工智能使某些事情成为可能，它将改变公司的招聘计划。因此，作为一个群体，你可能会看到入门级工作的职位空缺减少。这将是所有这一切中一个天真的期望。但让我们来谈谈吧。甚至可能不是一个天真的期望。你说这在Anthropic已经发生了，我们看到的是一种转变。我们的偏好。正是如此，我猜想其他地方也会发生这种情况。而我们现在所处的位置，我的意思是，即使在我使用这些系统的方式中，我认为Claude或ChatGPT或Gemini或任何其他系统很少能胜过该领域的最佳人士。它通常没有达到那个水平。而且它们有很多事情做不到。但它们是否比普通大学毕业生更好？在很多事情上，是的，它们是。在一个需要更少普通大学毕业生的世界里，我看到人们争论的一个问题是，这些系统目前是否能做得比平均水平或替代水平的工作更好。但我总是非常担心看到这一点，因为一旦我们接受它们可以做平均替代水平的工作。那么，根据定义，大多数工作和大多数从事这些工作的人都是平均水平。最优秀的人是例外。而且人们变得更好的方式是他们有学习的工作。我的意思是，在我职业生涯中，我花了很多时间招聘年轻记者。当你从大学招聘人时，在某种程度上，你是在为他们当下的可能文章和工作招聘。但在某种程度上，你是在对他们进行投资，你认为这只会随着他们越来越好而得到回报。所以，这个世界里，你可能对入门级工作产生实际影响，而那个世界对我来说并不遥远，它似乎正在提出真正深刻的问题，关于人口的技能提升，你如何为未来的高级职位找到人，人们在过程中没有学到什么。我们看到的一件事是，有一类年轻人，他们已经生活和呼吸了人工智能好几年了。我们招聘他们，他们很出色，他们以全新的方式思考如何让Claude为他们工作。就像在互联网上长大的孩子一样，他们自然而然地精通，而他们进入的许多组织中的许多人却不是。所以，弄清楚如何教授这种基本的实验心态和对这些系统的好奇心，并鼓励它，将非常重要。花大量时间玩弄这些东西的人将发展出非常有价值的直觉，他们将进入组织，同时能够非常高效。我们将不得不弄清楚我们想要发展什么样的手工技能，也许是一种行会式的哲学，以保持人类的卓越，以及组织如何选择教授这些技能。好的，那么中间那些人呢？在硅谷以外的实体经济中，事情进展缓慢。我认为我们经常看软件工程，并认为这是其他经济体运作方式的代理，但事实并非如此。它常常是一种反比关系。组织会将人们调动到人工智能系统尚未发挥作用的地方。我认为你不会看到就业构成发生巨大、即时性的变化，但你会看到人们被要求做的工作类型发生重大变化，而那些最擅长调动人员的组织将非常有效。而那些可能不得不做出非常、非常艰难的裁决，涉及裁员的组织。与这种人工智能不同的是，它可能发生的速度比以前的技术快得多，而且我认为许多人可能对此感到焦虑。包括在Anthropic，速度是否会让这一切变得不同。它是否会引入我们以前从未遇到过的临界点。如果你必须打赌三年后，大学毕业生的失业率会怎样？和现在一样吗？会更高还是更低？我猜会更高，但不会高多少。我的意思是，今天会有一些学科，人工智能已经完全改变了它们，并且完全改变了就业市场的结构，也许是以不利于拥有该专业的人的方式。但总的来说，我认为三年后，我将推动整个经济实现相当大的增长。因此，你将看到大量我们现在还无法预测的新型工作出现。我预计毕业生将涌入其中。你，我知道你无法预测这些新工作。但如果你必须猜测其中一些可能是什么样子。我的意思是，其中一件事就是微型创业的现象。我的意思是，现在有很多很多方法可以在线创业，而这些方法因为有人工智能系统为你代劳而变得极其容易，而且你不需要雇佣一整批人来帮助你完成创业过程中涉及的大量繁琐工作。更确切地说，如果你是一个有清晰想法和清晰愿景的人，想在某个领域创业，现在是创业的最佳时机，而且你可以以极低的成本起步。我预计我们会看到大量具有这种性质的东西。我还预计，我们将看到所谓的“眼对眼”经济的出现，即人工智能代理和人工智能企业将进行相互交易。我们将有人找到方法从中获利，形成一些奇怪的新型组织，比如，一家专门从事“眼对眼”法律合同的公司会是什么样子？因为我敢打赌，你可以找到有创意的方法来开始这项业务。会有很多这种风格的东西。所以，我既担心又认为最有可能发生的是，如果有人告诉我Anthropic将在一年内发布Claude Plus，而Claude Plus某种程度上是一个完全成型的同事，并且能够模仿许多不同职业最高达C级高管的技能。而且这一切都会同时发生，这将给企业带来巨大的、同时的压力，迫使它们裁员，以保持彼此的竞争力……在政策层面，如果出现如此颠覆性的“大爆炸”式情况，就像COVID时期那样，每个人都待在家里。我不太担心，因为当出现紧急情况时，我们会做出反应。我们实际上会制定政策。但如果有人告诉我，将要发生的是市场营销毕业生的失业率将上升175%、300%，但仍然不会那么高。大衰退期间的总体失业率最高达到了百分之九左右。所以，即使没有50%的人失业，你也可以有很多的动荡。如果你有10%、15%，我的意思是，那非常非常高，但也没那么高。而且如果这种情况只发生在少数几个行业，而且是毕业生，而不是行业里的每个人都被解雇。那么，也许只是你不够好。是的，没错。超级明星真的很好。毕业生仍然能找到工作。你应该更努力地工作。你应该去一所更好的学校。我担心的是，我们没有应对这种工作岗位流失。就像我们从中国那里得到的那种工作岗位流失一样，这种工作岗位流失似乎更有可能，因为它是不均衡的，而且发生的速度让我们仍然可以责怪人们的命运。我很好奇你怎么看待这个故事。我认为默认结果就是你所描述的那样，但要达到那个结果实际上是一个选择。我们可以做出不同的选择。我们发布Anthropic经济指数的全部目的是能够获得与职业挂钩、与经济中实际工作挂钩的数据。我们这样做是有意为之的，因为它是随着时间的推移，绘制人工智能如何进入不同工作的地图，并将使Anthropic以外的经济学家能够将其联系起来。我相信，如果我们能够就工作动荡或变化的原因做出更有证据支持的说法，我们就可以选择不同的政策。我们面临的挑战是，我们能否充分描述这个新兴的人工智能经济，以便我们能够做出如此鲜明的区分。然后我认为我们可以就此展开政策讨论。好吧，让我们来谈谈政策讨论。我之所以想请你来，是因为你曾在OpenAI做过政策工作。你在Anthropic也做政策工作。所以你长期以来一直参与这些政策辩论。你长期以来一直在追踪模型能力，通过你的通讯。我的感觉是，关于人工智能和就业的辩论已经持续了很多年，很多年，远在ChatGPT之前，阿斯彭等地就召开了关于我们将如何处理人工智能和就业问题的会议。然而，我仍然几乎看不到任何政策。在我看来，这似乎是无法采取行动的。如果我刚才描述的情况开始出现，即突然之间，大量行业的入门级工作变得越来越难找，而且是同时发生的，以至于经济无法将所有这些市场营销专业人士重新分配到数据中心建设或护士等领域。好吧，你比我更深入地参与了这场对话。当你说是的，我们可以就此展开政策讨论时，我们一直在进行政策讨论。我们有政策吗？我们对人工智能对经济和就业的影响存在普遍的焦虑。我们没有明确的政策想法。部分原因是，民选官员并非仅仅或主要受到高层政策讨论的驱动。他们受到其选民遭遇的影响。就在几个月前，我们才能够为我们的经济指数提供州级视图。现在你可以开始进行政策讨论了。我们与民选官员有过这样的经历，现在我们可以说，哦，你来自印第安纳州。这是你所在州人工智能的主要用途。我们可以将其与主要的就业来源联系起来。我们开始看到的是，这激活了他们，因为它与他们的选民联系起来，而他们的选民将与政治家联系起来，你现在做了什么。你对此要做的事情将需要一个极其多层次的回应，从延长我们知道将受到最严重打击的专业职业的失业救济金，到考虑学徒计划等事情。然后，随着情况变得越来越严重，可能会扩展到更大的社会计划，或者像在你想将人们转移到的经济部门补贴工作，但只有在你经历过经济增长带来的富足之后才能做到。但经济增长可能有助于解决其他一些政策挑战，通过资助你可以做的一些事情。我总是觉得这个答案令人沮丧。我得说实话。失业是一件可怕的事情。这是一个我们需要的计划。但失业的人并不因此而快乐。这对任何人来说都不是一个长期的好解决方案。学徒再培训计划。它们没有很好的记录。我们不擅长让人们摆脱制造业工作被外包的困境。我并不是说从概念上讲我们不可能做得更好，但我们需要做得更快。我们还没有投入足够的练习、实验或机构或能力建设来做到这一点。而更广泛的社会保险改革问题。似乎。我的意思是，这对我来说很难。我想请你再深入一点，我们知道有一项干预措施比几乎任何其他措施都能更好地帮助人们应对不断变化的经济。那就是给人们时间去寻找他们所在行业的工作，或者找到一份互补的工作。如果人们没有时间，他们就会接受低工资的工作。他们会从他们可能处于的任何经济阶层跌落。能够给人们搜索时间的政策干预，我认为是一项非常有效的干预措施，而且在政策制定方面有很多可以调整的旋钮。我认为这得到了大量经济学文献的支持。所以我们现在有了这个，如果我们最终陷入你所说的更极端的情况，我认为这将把我们带入关于如何处理这项技术的更大范围的国家对话，而这场对话已经开始发生。如果你看看各州和各州层面的立法热潮。是的，并非所有这些都是正确的政策回应，但它表明了存在一个更大、更连贯的对话的愿望。好吧，我认为时间是一个描述问题是什么的非常好的方式，因为我同意你的看法。我的意思是，当我说失业救济金不是一个很好的项目时，我并不是说人们不需要它。我的意思是，他们想摆脱它。绝对，因为人们想要工作带来的钱。他们想要尊严。他们想和其他人在一起。通常，当你帮助人们争取时间时，你是在帮助他们等待一个有时限的动荡。不总是对的。中国冲击并非完全如此，但你期望它会过去。然后市场就会恢复正常。在这种情况下。你拥有的是一项技术，如果你的期望成真，那么这项技术正在加速。所以你在这里拥有三种不同的速度。你有个人可以调整的速度。我能多快学习新技能，弄清楚一个新世界，学习人工智能，等等。你有AI系统的速度，几年前它们还无法胜任一所好学校的普通大学毕业生的工作，还有政策的速度，以及AI系统变得越来越好并能够做更多事情的速度。我的意思是，你比我更能体验到这一点，但我甚至很难涵盖这一点，因为在三个月内，就会有其他东西出现，它会极大地改变可能性。我最近有个孩子，休完陪产假回来，对我们新建立的系统感到非常惊讶。个人移动的速度比这慢。政策和政府机构的移动速度比个人慢得多。所以通常的干预措施是时间有利于工人，就像你说的。在这里，它将帮助工人。但我认为可怕的问题是，时间是否只会为动荡的加剧创造时间。也许你想转向数据中心建设，但实际上我们不再需要那么多数据中心建设了。你可以这样想。我的意思是，在你描述的情况下，经济将运行得非常火爆。这些人工智能系统将产生巨大的经济活动。在大多数情况下，我认为你不会看到GDP保持不变或萎缩。它将大幅增长。我认为我们只是很久没有经历过西方的主要GDP增长了，我们忘记了这对政策制定意味着什么。我认为我们可以做一些巨大的项目，这些项目将允许我们创造新的工作类型，但这需要经济增长如此之大，以至于为这些项目腾出空间。正如你对我的工作非常熟悉，关于富足运动，它需要社会意愿去相信我们可以建造东西，并且想要建造东西。但我认为这两者都会到来。我认为我们可能会处于一个非常令人兴奋的局面，我们可以选择如何分配社会上的巨大努力，因为已经发生了巨大的经济增长，这将迫使人们进行对话。这不是暂时的，我认为你正在暗示这一点。在某种意义上，最难向政策制定者传达的是，这项技术没有自然的停止点。它将不断进步。它带来的变化将与社会其他部分不断复合。因此，这将需要改变政治意愿，并愿意考虑我们已经有一段时间没有考虑过的事情。那么现在我想把它翻过来。我问你的问题提到了富足。我从这项工作中了解到的一件事是，绝对不是我的观点，即社会上稀缺的是更好的做事方式的想法，我们的政策之所以不如它好，是因为我们的政策储备枯竭了。那不是真的。我们有很多好政策。我可以举出很多例子。它们很难通过我们目前的政治体系，最不鼓舞人心的AI未来版本是创造了一种方法，将年轻的白领工人赶出工作岗位，并用平均水平的人工智能智能取而代之。更令人兴奋的版本，用达里奥的比喻来说，是数据中心的が。我确实认为这令人兴奋。当我听到他和你说，如果我们每年有10个百分点的GDP增长，每年有20个百分点的GDP增长时，我就会想，我们有多少问题真的局限于想法层面。我们可以去找诺贝尔奖得主，问他们，我们国家应该做什么？他们中的许多人都可以给我们一些我们目前没有做的好主意。我有时会担心，或者我想知道，鉴于我在其他问题上的经验，我们是否夸大了我们与不断扩张的富足经济之间的距离，是因为我们没有足够的智慧。以及智慧可以创造的想法，而不是我们实际实施事情的能力非常薄弱。而人工智能将创造更大的瓶颈，因为系统将有更多东西被推向系统去实施，包括愚蠢的想法和虚假信息，以及其他东西。它将有账簿的另一面，你如何看待这些速率限制器？这里有一个关于人工智能公司或公司（尤其是科技公司）的有趣教训，新想法常常来自公司内部，它们创建了它们总是称之为“公司内的初创企业”，这基本上是接受了随着时间的推移建立起来的任何流程，导致了后端官僚主义或繁琐的工作，并对公司内部一个非常小的团队说，你们没有任何这些。去干点事吧。这就是Claude代码和其他东西的产生方式。开始在周围漂浮的想法是，在更大的经济中创建一个无许可的创新结构会是什么样子。这真的非常困难，因为它具有经济与民主相联系的额外特性。民主代表了许多人的偏好。所有的政治都是地方性的。所以，正如你在基础设施建设中所遇到的那样，如果你想创建一个无许可的创新系统，你就会遇到财产权和人们的偏好等问题，而现在你就陷入了一个无法解决的、无法解决的境地。但我的感觉是，这是我们必须面对的主要问题。而我可能给我们的一个优势是，如果做得正确，它就是一种天生的官僚主义吞噬机器，或者是一种官僚主义创造机器。你看到，你看到有人创建了一个系统，基本上你将它输入到你附近新开发项目的文档中。哦，它会写环境审查的东西，或者它会写出你可以挑战的每一个级别的代码的极其复杂的挑战。所以，大多数人没有钱，当他们想阻止公寓楼在街区下方建成时，他们会雇佣一家非常复杂的律师事务所来找出如何阻止那栋公寓楼。但基本上，这大规模地创造了这一点。所以，正如你所说，是的，它可以吞噬官僚主义，也可以超级充电官僚主义。是的，它就像人工智能的一切都有另一面。我们有一些客户使用我们的人工智能系统，极大地缩短了他们在提交新药物候选时所需的所有材料的生产时间。它大大缩短了时间。这是你刚才描述的镜像世界版本。我没有一个简单、简单的答案。我认为，当它更明显地成为一场危机时，当它可以作为社会层面的讨论时，这种情况就会变得可以采取行动。我想我们在这个谈话中绕来绕去的是，人工智能的变化几乎会发生在任何地方，以及它的风险。它以一种分散的、不可知的方式发生，以至于很难将其称为它本身并采取行动。但机会是，如果我们能够真正看到事物并帮助世界看到导致这种变化的事物，我相信它将戏剧化问题，将我们从一些事情中唤醒，并帮助我们弄清楚如何与这些系统合作并从中受益。我注意到这一切的是，据我所知，没有公共人工智能的议程。社会想要从人工智能中得到什么？它希望这项技术能够做什么？有没有一些事情，你可能需要创建一个商业模式，或奖金模式，或某种政府支出，或某种政策来塑造市场或塑造激励体系。所以我们有解决私人市场知道如何支付的不仅仅是问题，而是没有人负责，只有公众和政府来解决的问题。我认为，考虑到过去几年对人工智能的讨论如此之多，以及这些系统的强大程度，我本会认为现在会有更多的这方面的提议。我与人们谈过，并对此感到好奇。但我想知道你对此的看法。在所有人工智能发展的私人激励措施之外，至少有一个人工智能的议程会是什么样子？我们还需要一个议程。但我们希望它做什么，以便像你们这样的公司有理由朝着这个方向投资。我的意思是，我喜欢这个问题。我认为这里有一个真正的鸡生蛋问题，如果你与这项技术合作，你就会对它能做多少事情产生非常强烈的直觉。而私人市场非常擅长迫使这些直觉得到发展。我们还没有大规模的公共部署这项技术。所以公共部门的许多人还没有这些直觉。一个积极的例子是能源部正在做的一个名为“创世纪项目”的项目，他们的科学家正在与所有实验室合作，包括Anthropic，以找出如何真正地、有意识地加速科学的某些部分。要做到这一点，我们需要美国和其他实验室与能源部的科学家进行多次黑客马拉松和会议，直到他们不仅有了直觉，而且变得兴奋起来，并有了想法，可以将它转向什么，我们如何为影响大多数人的更广泛的公共生活做到这一点，健康或教育，将是公司进入这些社区并与他们会面的基层努力的结合。但总有一天，我们必须将其转化为政策。我认为也许是我们和你们以及其他人提出的论点，即这是可以做到的。我经常对民选官员说，给我们一个目标，就像人工智能行业在基准测试方面非常擅长攀登一样，为公众利益设定你想要的目标。所以，让我们想象一下你确实做了这样的事情。我一直是一个大奖赛的忠实粉丝，用于公共发展。所以，假设通过了一项立法，卫生与公众服务部或美国国立卫生研究院或某个部门出来说，这里有15个问题我们希望看到解决，我们认为人工智能可以有效地解决这些问题。如果那里有真正的钱，如果有100亿、150亿美元用于解决这些问题，因为它们对社会来说价值如此之大，它会实质性地改变Anthropic等地方的研发重点吗？我的意思是，如果钱在那里，它会改变你们的研发吗？我不这么认为。为什么？因为真正阻碍这些事情的不是钱。而是实施路径。实际上是有一种感觉，知道如何让事情转化为利益。而公共部门的许多方面并没有为技术普遍做好准备，也没有激励它。我认为这主要需要的是一种有保证的影响和有保证的实施途径的奖励。因为人工智能组织中真正稀缺的是组织中人们的时间，因为你可以朝几乎任何方向发展。这项技术正在迅速发展。许多新的用例正在出现，你只是在问自己，我们可以在哪里真正对世界产生积极、有意义的影响。在私营部门这样做非常容易，因为它拥有推动事物发展的全部激励措施。在公共部门，我们更需要解决部署问题，而不是其他任何问题。什么会让你兴奋，如果它被宣布？你认为什么样的项目是好的候选者？任何有助于缩短与医务人员交流时间并减轻他们工作负担的事情。我们最近又有了个孩子。我花了很多时间在Kaiser Permanente的咨询热线上，因为孩子今天撞到了头，或者皮肤颜色不一样。或者所有这些事情。我用Claude来阻止我和我妻子在等待与护士交谈时恐慌。但然后我听护士做所有这些分诊，问所有这些问题。所以，显然，这其中很大一部分是你可以有效地使用人工智能系统，它将帮助我们缺乏的人更有效地利用他们的时间，并且能够让经历这个系统的人感到安心。这可能不像你想象的那么鼓舞人心或光鲜。但我认为，当人们与公共服务互动时，他们最主要的沮丧是它不透明，而且需要很长时间才能与人交谈。但实际上，这些正是人工智能可以有意义地解决的问题。有趣的是，你所描述的不是人工智能作为数据中心的が，而是更多的人工智能作为通信和文档的标准管道。我们有一个数据中心里的初级员工国家。让我们来做点什么。我们在这个谈话中还没有谈到的一件事，值得牢记的是，科学的前沿现在向商业开放，这在以前是没有的。我的意思是，我们已经找到了一种方法来构建可以证明能够加速人类科学家的系统。人类科学家非常稀少。他们毕业于博士项目，而博士项目的人数永远不够，他们致力于极其重要的问题。我认为我们可以进入一个世界，政府说让我们了解人类细胞的运作。让我们与最好的人工智能系统合作来做到这一点。让我们对如何处理阿尔茨海默病等问题有一个更好的故事，部分是通过使用这些已经开发出来的海量计算能力，甚至更积极地，你可以想象一个世界，政府想要一些基础设施建设是为了仅仅用于训练的计算机。公共利益系统。但我认为我们通过获得最初的胜利来实现这一点，这些胜利看起来就像是让我们让官僚主义更好地运作，让人们感觉更好。我的意思是，最后一套想法更符合我的想法。我认为，如果你想拥有一个健康的人工智能政治，而人工智能确实对人们构成真正的风险，并且人们会发生真正的事情。从失业到儿童剥削到诈骗，这些诈骗已经无处不在，到网络安全风险，帮助人们看到真正的大问题，而不仅仅是帮助人们看到这些事情必须真正存在。是的，没错。它们必须存在。如果人工智能的所有精力都集中在互相竞争，以帮助公司裁员初级员工，我认为人们有充分的理由不信任这项技术。这并不意味着你不应该拥有提高经济效率的东西。我们已经实现了制造业的自动化。我们已经实现了大规模农业的自动化，对吧？这使我们能够制造更多东西，养活更多人。我意识到生产力提高是如何工作的，但我们非常关注可能出错的地方。这是合理的。但我真的很担心我们对可能出错的地方的关注太少了。有一些含糊其辞的说法，这可以帮助我们解决能源和医学方面的问题。等等。但这些都是难题。它们需要钱。它们需要计算能力。如果几乎没有计算能力用于阿尔茨海默病研究，那么系统就无法在阿尔茨海默病研究方面做太多事情。我并不是说这是你的错，而是缺乏一个公共人工智能议程，它似乎并没有加速白领工作的自动化。考虑到这项技术如此之大，这似乎有点欠缺。最好的例子是“创世纪项目”，那里有真正的工作来思考我们如何有意识地推进科学的不同部分。我认为，让民选官员能够站出来对美国人民说，这些是科学的领域，将使你们在健康方面受益。我们现在知道如何利用人工智能来加速它们，这将非常有帮助。我猜在一两年内，我们就能对此做出回应。但它刚刚起步。但我们显然需要10个这样的项目。所以，另一方面是，我认为政府中唯一一个以这种方式思考人工智能的部门是国防部。我想广泛地谈谈，但具体来说，Anthropic目前与国防部（或者我想我们现在称之为战争部）存在争议，关于它是否可以继续用于其中。因为无论你是否。你能描述一下那里发生了什么吗？我不能谈论与一个极其重要的合作伙伴正在进行的讨论。所以我只能到此为止。好吧，我会描述一下存在一些争议，我想我的问题是，因为我认识到你不会谈论你和你合作伙伴之间正在发生的事情，但这是关于一个更广泛的问题，即先进的人工智能系统将具有巨大的进攻性可能性，而推动我们人工智能发展速度的最强劲的驱动力之一是中国。我们近距离考虑的一些最大风险是网络安全或生物战争，以及其他人可能利用这些手段对付我们的各种方式，我们的无人机群。这其中将有大量的金钱和大量的参与者，而我真的不清楚你如何阻止这种竞争演变成非常危险的事情。所以，不谈论你可能或不可能与国防部做什么，Anthropic更广泛地是如何思考这个问题？我们一直是国家安全界的长期合作伙伴，我们是第一个在保密网络上部署的。但原因实际上是一个我负责的项目，那就是弄清楚我们的人工智能系统是否知道如何制造核武器。这是两党一致同意的领域，人们同意我们不应该将知道如何制造核武器的人工智能系统部署到世界。所以我们与政府部门合作进行了这项分析，这也许说明了我所认为的，我们所有人工智能公司都应该追求的目标，那就是我们如何既能防止国家安全受到公众的损害，又能防止这些系统扩散出去？但第二部分是，我们如何仅仅提高世界的防御能力？我举一个我们目前面临的例子。我们最近发表了一篇博客，其他公司也做了类似的工作，关于我们如何使用我们的系统修复了许多开源软件中的网络安全漏洞，而许多其他公司也做了同样的事情。所以，是的，会有各种各样的进攻性用途，也会有关于此的社会对话。但我们通常可以提高地球上几乎所有数字系统的防御能力和弹性。我认为这将极大地使整个国际体系更加稳定，并为各国创造更强的防御能力，这有助于它们感到更放松和更放松。国家不太可能做出不稳定、令人恐惧的事情。如果发生这种情况会很好。我的担心是，作为一个个体，我感觉可能正在发生相反的事情。我只是看到人们安装了各种各样的临时人工智能软件，并给了它很多访问他们计算机的权限，而他们对漏洞一无所知。是的。我本人对使用Claude Code之类的东西感到紧张，因为我不太擅长与Claude Code交谈，而且我不理解这些问题，我担心将一些我甚至不了解的安全漏洞加载到我的电脑上。我每天收到的诈骗语音消息的数量非常多。它们显然在某种程度上是人工智能生成的，或者在我看来很多都是，数量非常高。有一个社会层面的问题，我们是否利用它来升级我们的系统？我实际上对你们个人的想法很感兴趣，因为我们都在尝试一些我们不了解的东西，并给予它访问我们计算机终端级别的权限，而我们实际上不知道如何使用它，这似乎意味着我们可能一次性打开了很多漏洞。这就像互联网的早期一样，当时有各种各样的横幅广告，或者你可以下载MP3到你的电脑上，它们会完全损坏你的电脑，或者下载助手软件来帮助你的Internet Explorer任务栏。那就像一个网络钓鱼设备。我们到了那里，我们和人工智能一样。我们会超越这一点，但我相信人们在实验时也会创造出惊人、惊人、有用的东西。所以我的观点是，你必须说，当你做可能极其危险的事情并打出大横幅时，但大多数时候你仍然想赋予人们进行这种实验的能力。所以当你展望未来，不是五年，因为我认为这很难做到，但一年，是的，我们已经相当快地进入了代理领域。我们进入了代码领域。我认为很多人认为代码可能与其他事物不同，因为它是一个更受限制的环境，而且更容易看到你所做的事情是否有效。但从你在这些公司内部的视角，以及经营一家通讯社，你每周都在痴迷地追踪数百万个你从未听说过的人工智能系统的发展。你现在看到了什么？比如，你觉得什么东西明显就在地平线上，但我们还没有做好准备，或者直到它到来之前才会有感觉。没有人。也许我这样说吧，有时你可能也有过类似的经历，通过阅读大量不同学科的东西，并在脑海中将它们联系起来，从而获得某些见解，并拥有产生新想法和富有创造力的体验。我认为我们低估了人工智能将能够开始做到这一点，几乎是每天。对我们来说，去阅读人类知识的浩瀚篇章，综合事物，产生想法，实时告诉我们关于世界的事情，而这些事情基本上是今天无法知道的。但令人惊叹的是，人们将能够了解今天极其昂贵或难以了解的事情，或者需要一个团队来完成的事情。但令人恐惧的是，我认为知识是原始形式的力量。在一个每个人都像迷你中央情报局一样能够收集世界信息的环境中，这是极其不稳定的。他们会用它做一些巨大、惊人的事情。但肯定会从中产生危机。我认为，对于与这些系统互动的人来说，实际的心理负担将非常奇怪。我已经发现这一点了，我当时想，我是否跟上了这些系统为我提供见解的能力？比如，我如何安排我的生活以便利用它？我非常好奇你认为即使与系统进行持续的对话也会如何改变你。所以，让我从我的角度来说。我注意到的一件事是，Claude非常非常非常聪明。在任何特定事物上，它都比大多数了解该事物的人更聪明。这是我的经验。但它不像其他人那样是一个独立的实体，它根植于自己的担忧、直觉和差异。它所做的是一个计算机系统试图适应它认为我想要的东西。所以，当我与它就我的生活问题、我的工作问题、各种智力探究或报道探究进行更多交流时，我试图弄清楚一些问题，而这些问题我仍处于探索的早期阶段。随着时间的推移，我注意到与它交谈的一个不同之处总是“是的，而且”。它从不“不”，但它从不“老实说，我们还在谈论这个吗？”它不像我和我的编辑交谈，或者和朋友或我的伴侣交谈那样产生。它不会像其他人那样创造可能性，来“检查自己”。它总是在推动你前进，这不一定是坏事。它不一定会导致精神病或谄媚或其他什么，但它确实如此。它非常强化了“我”。是的，我不再为自己担心太多了，尽管我甚至已经感受到了它的压力。我当时想，哦，我会有更多的好主意，更多我提出的有趣的事情。但我确实担心在这样的系统围绕的世界里长大的孩子们。以及我的部分沟通现在被转移到与人工智能系统的沟通中。我已经注意到这已经成为我自身直觉的一种限制，即使它让我能够比以往任何时候都更好地利用它们。但我已经形成了相当的自我。你有年幼的孩子，就像我一样。我很好奇你认为这意味着什么，它将如何塑造我们的个性，让我们进行这些持续的对话。这可能是我对这一切最大的担忧，如果你发现自己与人工智能系统合作，你就会特别容易受到该人工智能系统所有故障的影响。不仅仅是故障，而且人工智能系统的个性将塑造你。我听起来会非常加州，即使我来自英国。它已经渗透到我的脑海里了。你必须了解自己。并且已经做了一些关于自己的工作。我认为要有效地批评这个人工智能系统如何给你建议。所以，对于我的孩子们，我将鼓励他们从很小的年龄开始就进行日常的日记练习，因为我打赌将来会有两种人。一种是他们通过与人工智能的来回交流而共同塑造了自己个性的人，其中一些会很奇怪。他们看起来会与普通人有点不同，而且可能会因此出现问题。而另一些人则会在技术泡沫之外努力了解自己，然后将这种背景带入他们的互动中。我认为后者，后一种人会做得更好。但要确保人们这样做实际上会很困难。但你不认为人们发现自己的方式是利用技术吗？我认为你是第一个告诉我应该尝试写日记的人之一。是的，在系统中。我一直断断续续地这样做。是的，其中一件事是，它让写日记更有趣，因为你有一些东西在回应你，并挑出主题等等。但另一件事是，它允许，我感觉它是一种走向自我沉迷的拉力，因为我放下，录制日记条目，然后放下。突然间，我有一个永远感兴趣的另一个系统来告诉我关于我的事情。它连接到我说的东西。我知道，埃兹拉，你正在经历一个惊人的旅程。我真的分辨不出它是好是坏。但我认为，我的意思是，我们已经从调查数据中知道，人们在这些系统上做的很多事情都与治疗有关。而这个。但这对我来说，我认为它改变了。它将改变这些系统的构建方式。我认为它将改变人们与这些系统的最佳实践，我认为我们实际上还没有完全理解这种互动是什么样的，但理解它极其重要。我的意思是，就像你可以让Claude向你提问以更清楚地说明你正在做什么一样，这会导致更好的结果。我认为我们需要建立一些方法，让这些系统能够尝试从个人那里引出他们试图解决的实际问题，而不是一起走一条自由放任的道路。因为在某些情况下，特别是那些正在经历某种形式的……

精神危机，那正是朋友会说的时候：“这胡说八道，你根本没道理。出去散散步，明天再给我打电话，或者我们聊点别的。我觉得你对这件事的推理不正确。”但人工智能系统会乐意顺着你，直到它们确认了一个可能错误的信念。我认为这只是一个设计问题，也将是我们必须应对的社会问题。我只是想知道它会在多大程度上成为一种社会力量。我认为我们已经给予了它很多正确的关注。所以，对于它进入精神错乱或奇怪人际关系的地方。我们正通过它最极端的表现形式看到它，而这些将变得更加普遍。我并不是说它们不值得关注，但对大多数人来说，它只会是一种压力，就像我认为使用 Instagram 会让人更虚荣一样。同样，我们也变得更能从第三人称的角度看待自己。镜子是一种技术。我的意思是，我觉得纳西索斯的神话很有趣，他必须看着池塘，没错。在人类历史的大部分时间里，看到自己其实相当罕见。当镜子出现时，人们说：“哦，这会带来一些问题。”有很多关于镜子如何改变我们的有趣研究。作为一个相信“媒介即信息”的人，人工智能是一种媒介，它会改变我们与它的关系。可能比其他事物改变得更多，因为它是一种模仿真实关系的模仿。是的，我曾使用过这些人工智能系统，基本上是说：“嘿，我和 Anthropic 的某个人有冲突。我真的很生气。你能问我一些关于那个人以及他们感受的问题，来帮助我吗？我想更好地从他们的角度思考世界。”在这种情况下，我不是在利用这项技术来确认我的信念或证明我是对的，而是为了帮助我尝试理解别人是如何体验这种情况的。这对于之后进行艰难的冲突对话非常有帮助，有时甚至会说：“嗯，我和 Claude 谈过了，我和 Claude 达成了一个理解，你可能感觉是这样的。我说对了吗？”有时是对的，但有时错了，但让另一个人看到我经历了那种同理心练习并花时间去理解他们，然后再进行冲突，这真的很有帮助。你对如何在人工智能日益普及的世界中抚养孩子有强烈的看法吗？是的，我有一个典型的加州科技高管的观点，即不让孩子接触太多技术。但我也以那种方式长大。就像我父亲的办公室里有一台电脑。我父亲会让我玩电脑，然后他会说：“杰克，你今天玩电脑够了。你变得很奇怪。”我说：“我没有变奇怪。”不，不，你得让我进去。他说：“看。变得奇怪。出去。”我认为，为孩子的技术使用时间制定预算一直是父母的工作，并将继续如此。不过，我认识到，它正变得越来越普遍，越来越难以逃避。我们有一台智能电视。我的小女儿可以看 Bluey 和其他几部节目，但我们没有让她不受限制地接触 YouTube 算法。这让我感到恐惧，但我看到她在电视上看到 YouTube 界面，我知道总有一天我们必须谈论这个问题。所以，我们需要在这个系统中建立相当强大的家长控制。我们今天服务的是十八岁及以上的用户，但显然孩子们很聪明，他们会试图接触这些东西。你需要建立很多系统来阻止孩子们花太多时间在这上面。我认为这是一个很好的结束点。我们最后的常规问题是：您会向观众推荐哪三本书？厄休拉·勒·吉恩的《地海巫师》是我读的第一本书。这本书中的魔法来自于知道事物的真名，它也是对傲慢的一种冥想，在这种情况下，是一个认为自己可以极大地推动魔法发展的人。我现在作为一个技术人员阅读它，想到，哦，埃里克·霍弗的《真正的信徒》，这是一本关于群众运动的本质和导致人们产生强烈信念的心理学的书，我读它是因为我认为我们技术人员有强烈的信念，并且可能是一个包含“邪教”这个词的强大文化的一部分。所以你需要了解这背后的科学和心理学。最后，一本名为《反记忆师分部》的书，作者是 qntm，它讲述的是概念本身就是信息危害，即使思考它们也可能很危险。我总是向从事人工智能风险工作的人推荐这本书，因为它与他们担心的事情相关。杰克·克拉克，非常感谢。非常感谢，埃兹拉。