Transcription
我想尝试并专注于人工智能失控的场景。我本应该放一张终结者机器人的图片来尽可能地吓唬人们。我认为互联网……互联网已经为我们做到了。人工智能的领主们站在人类这一边吗？“我的预测是，机器人将比人多。”“物理世界和数字世界应该真正地完全融合。”“我认为世界还没有真正迎来人形机器人时刻。它会感觉非常科幻。”这便是我本周嘉宾的核心问题。他是 Anthropic 的负责人，Anthropic 是增长最快的人工智能公司之一。Anthropic 的估值接近 3500 亿美元。Anthropic 的 Claude 代码屡获殊荣。在谈到他正在向世界释放的技术的潜在影响时，他可以说是某种程度上的乌托邦主义者。“你知道，它将帮助我们治愈癌症。它可能帮助我们根除热带疾病。它将帮助我们理解，理解宇宙。”但他也看到了未来的巨大危险和巨大的颠覆，无论如何。“这件事发生得如此之快，而且是一场如此的危机，我们应该投入几乎所有的精力来思考如何度过难关。”达里奥·阿莫代，欢迎来到“有趣的时光”。谢谢你邀请我，罗斯。谢谢你在这里。所以你相当不寻常，也许对于一位科技公司的首席执行官来说，你是一位散文家。你写了两篇长篇、非常有趣的关于人工智能的承诺和危险的文章。我们将在这次谈话中讨论危险。但我想最好还是从承诺和乐观的愿景开始。事实上，我想说的是几年前你在题为《仁慈的机器》的文章中描绘的乌托邦愿景，我想我们最后会回到这个标题。但是，我认为很多人是通过预测白领工作将遭受血洗的头条新闻来接触人工智能新闻的，诸如此类的事情。有时你自己的引述——你用过我自己的引述——是的。鼓励了这些事情。我认为人们普遍存在一个问题：“人工智能是做什么用的？”所以，为什么你不先回答这个问题——如果未来五到十年一切都进展顺利，人工智能是做什么用的？是的，所以我想在进入科技行业之前，我先做一些背景介绍，我是一名生物学家。我首先研究计算神经科学，然后在斯坦福医学院研究寻找癌症的蛋白质生物标志物，试图改进诊断和治愈癌症。我在那个领域工作时最深的体会之一就是它的复杂性。每种蛋白质在每个细胞内都有一个局部化的水平。仅仅测量体内的水平或细胞内的水平是不够的。你必须测量细胞特定部分的水平以及它正在与之相互作用或形成复合物的其他蛋白质。我当时的感觉是，“天哪，这对人类来说太复杂了。”我们在生物学和医学的这些问题上取得了进展，但进展相对缓慢。所以，吸引我进入人工智能领域的是这个想法——你知道，我们能否更快地取得进展？看，我们长期以来一直在尝试将人工智能和机器学习技术应用于生物学。通常它们用于分析数据，但随着人工智能变得非常强大，我认为我们应该以不同的方式思考它。我们应该将人工智能视为生物学家的工作，对吧？从头到尾完成整个工作。其中一部分包括提出实验，提出新技术。我有一个部分，我说，“看，生物学上的许多进展是由少数几个关键见解驱动的，这些见解使我们能够测量、获取或干预非常微小的东西。你看看这些技术。它们的发明很大程度上是偶然的。CRISPR，一种基因编辑技术，之所以被发明出来，是因为有人去听了一场关于细菌免疫系统的讲座，并将它与他们正在进行的基因治疗工作联系起来。而这种联系本可以在 30 年前就建立起来。所以我的想法是——人工智能能否加速这一切，我们能否真正治愈癌症？我们能否真正治愈阿尔茨海默病？我们能否真正治愈心脏病？更微妙的是，人们的一些更严重的心理疾病——抑郁症、双相情感障碍——我们能否对它们做些什么？只要它们在生物学上有基础，我认为它们至少在一定程度上是如此。所以，我在这里进行了论证，“好吧，它能有多快？”如果我们拥有能够做几乎任何事情的智能，那会怎样？我想在这里打断你，因为你在这篇文章中的一个有趣之处，你又回到了这一点，就是这些智能不必是正确的，那种人工智能辩论中出现的、最大化的、神一样的超级智能。你基本上说，如果我们能达到人类巅峰表现的强大智能——是的，人类巅峰表现的智能——然后将其乘以多少？你的说法是，“一个天才的国度。”一个国度——拥有 1 亿个这样的天才。是的。一亿个——每个都经过一点训练，有点不同，或者在尝试不同的问题。多样化和尝试不同事物有好处。但是的。所以你不需要拥有完整的机器。上帝，你只需要拥有 1 亿个天才。你不需要拥有完整的机器。上帝，事实上，我怀疑机器上帝在这些事情上是否会比 1 亿个天才更有效。我有一个概念叫做智能的边际收益递减，对吧？经济学家谈论土地和劳动的边际生产力。我们从未考虑过智能的边际生产力。但如果我看看生物学中的一些问题，在某个层面上，你必须与世界互动，在某个层面上，你必须尝试一些事情，在某个层面上，你必须遵守法律或改变法律，通过监管系统获得药物。所以这些变化有一个有限的速率。现在有一些领域，比如你玩国际象棋或围棋，智能的上限非常高。但我认为现实世界有很多限制因素。所以也许你可以超越天才的水平。但是，有时我认为所有关于你是否可以使用月球的计算能力来制造人工智能上帝的讨论都有些耸人听闻，而且离题万里，即使我认为这将是人类有史以来最伟大的事情。所以你有一个——保持具体来说，你有一个世界，癌症不再是人类生命的严重威胁，心脏病不再是威胁，我们经历的绝大多数疾病都将消失，甚至可能延长寿命。这就是健康。这是一个相当积极的愿景。然后谈谈经济和财富。在未来 5 到 10 年的人工智能爆发中，财富会怎样？同样，让我们保持积极的一面，因为我们还有很多负面问题要谈。但我们已经在与制药公司合作。我们已经在与金融行业公司合作。我们已经在与从事制造业的公司合作，当然，我认为在编码和软件工程方面尤其出名。所以，仅仅是原始的生产力，制造东西和完成事情的能力就非常强大。我们看到我们公司的收入每年增长 10 倍。而且，我们怀疑整个行业看起来也差不多。如果技术持续改进，不需要再多几次 10 倍的增长，你就会突然发现，哦，如果整个行业每年增加 1 万亿美元的收入，美国的 GDP 是 20 万亿或 30 万亿，我不记得确切数字了。所以你一定是在以几个百分点的速度增加 GDP 增长。所以我可以想象一个世界，人工智能将发达国家的 GDP 增长带到大约百分之五、百分之十、百分之十五。没有科学方法来计算这些数字。这是完全前所未有的事情。但它可能带来我们以前从未见过的数字。同样，我认为这将导致一个奇怪的世界。我们对赤字不断增长有很多争论。如果你有如此多的 GDP 增长，你就会有如此多的税收收入，而且你会在不知不觉中平衡预算。但最近我一直在思考的一件事是，我认为我们经济和政治辩论的一个假设是，增长很难实现。它是一种独角兽。有很多方法可以杀死金鹅。我们可能会进入一个增长非常容易的世界。而难点在于分配，因为它发生得太快了。对。蛋糕正在迅速膨胀。所以，在我们进入难题之前，再来一个乐观的观点，关于政治。在这里，我有点……我承认所有这些都是推测性的，但我认为这有点更具推测性。你试图证明人工智能可能对全球的民主和自由有利，这不一定符合直觉。很多人说，掌握在威权领导人手中的极其强大的技术会导致权力的集中等等。我在另一篇文章中谈到了这一点。但简而言之，为什么人工智能对民主有利的乐观论点是什么？是的，绝对。是的，嗯，仁慈的机器，我有点喜欢，我只是想，让我们做梦吧，让我们做梦它会如何发展。嗯，我不知道可能性有多大，但我们必须描绘一个梦想。让我们试着让梦想成真。所以，我认为积极的版本，我承认我不知道技术是否本质上有利于自由。我认为它本质上有利于治愈疾病，并且本质上有利于经济增长。但我担心它可能不本质上有利于自由。但我在那里说的是，我们能让它有利于自由吗？我们能让美国和其他民主国家在技术上领先吗？美国在技术和军事上一直处于领先地位，这意味着我们可以通过与民主国家的联盟来影响世界。我们能够塑造一个我认为比俄罗斯、中国或其他威权国家塑造的世界更好的世界。那么，我们能否利用我们在人工智能领域的领先地位来塑造，来塑造世界范围内的自由？关于我们应该有多干预主义，我们应该如何运用这种力量，显然有很多争论。但我经常担心，如今通过社交媒体，威权主义者正在削弱我们，对吧？我们能反击吗？我们能赢得信息战吗？我们能阻止威权国家入侵乌克兰或台湾，通过人工智能的力量，通过由人工智能驱动的巨型无人机群来保卫它们吗？我们需要小心。我们自己需要小心如何制造这些。我们需要捍卫我们自己国家的自由，但是否存在某种愿景，让我们能够重新构想人工智能时代的自由和个人权利，在某些方面我们需要免受人工智能的侵害？有人需要掌握无人机群的按钮，这是我非常非常担心的事情，而这种监督今天并不存在。但也要想想今天的司法系统，对吧？我们承诺人人享有平等的司法。但事实是，世界上有不同的法官。法律体系是不完美的。我认为我们不应该用人工智能取代法官，但有没有办法让我们更公平，更统一？以前从未可能，但我们能否利用人工智能创造出一些模糊的东西，但同时又能保证它以同样的方式应用于每个人？所以，我不知道具体该怎么做。我也不认为我们应该用最高法院来取代，不是这样，嗯，我们会谈论这个。但是，是的，只是这个想法，我们能否通过人工智能和人类的某种结合来兑现平等机会和司法平等的承诺？一定有办法做到这一点。所以，只是思考如何为人工智能时代重塑民主，并增强自由而不是减少自由。很好，这很好。这是一个非常积极的愿景。我们活得更长，更健康。我们比以往任何时候都更富有。所有这些都发生在压缩的时间里，你在 10 年内实现了 100 年的经济增长。我们在世界范围内增加了自由，在国内增加了平等。好的，即使在最好的情况下，它也具有极大的颠覆性。这就是你被引述的话，50% 的白领工作被颠覆，或者 50% 的入门级白领工作等等。那么，在五年或两年的时间范围内，无论你有什么时间范围，哪些工作，哪些职业最容易受到人工智能的全面颠覆？很难预测这些事情，因为技术发展如此之快，而且发展得如此不均衡。所以，至少有几个原则可以帮助你弄清楚。然后我会给出我的猜测，我认为什么会被颠覆。有一件事是，我认为技术本身及其能力将领先于实际的工作颠覆。要使工作被颠覆或生产力发生，必须发生两件事，因为有时这两件事是相关的。一是技术必须有能力做到这一点。二是有一个混乱的事情，它实际上必须在一个大型银行或一家大型公司中应用，或者想想客户服务之类的。理论上，我的人工客户服务代理可以比人类客户服务代理好得多。他们更有耐心，他们知道得更多，他们以更统一的方式处理事情。但实际的后勤工作和实际的替换过程需要一些时间。所以我对人工智能本身的方向非常看好。我认为我们可能在一年或两年内就拥有数据中心里的天才国度，也许是五年，但可能发生得很快。但我认为经济的扩散会慢一些。而这种扩散带来了一些不可预测性。所以，一个例子是，我们在 Anthropic 内部看到模型编写代码的速度非常快。我认为这不是因为模型在代码方面本质上更好。我认为这是因为开发人员习惯了快速的技术变革，他们会迅速采纳事物，而且他们与人工智能世界在社交上非常接近。所以他们会关注那里发生的事情。如果你从事客户服务、银行或制造业，距离就有点远了。所以，我认为六个月前，我会说第一批被颠覆的是那些入门级的白领工作，数据录入，或者法律文件审查，或者你在金融行业公司工作的第一年需要做的事情，分析文件。我仍然认为这些进展很快。但我实际上认为软件可能会更快，因为我给出的原因是我不认为模型离能够完成很多工作，很多端到端的工作还有多远。我们将看到的是，首先，模型只完成了人类软件工程师工作的一部分。这会提高他们的生产力。然后，即使模型完成了人类软件工程师过去所做的一切，人类软件工程师也会更进一步，他们会充当经理并监督系统。这就是“半人马”这个词的由来，用来描述基本上是人与马的融合，人工智能和工程师一起工作。是的，这就像半人马象棋。所以，我认为在加里·卡斯帕罗夫被深蓝击败之后，有一段时期，我认为对于国际象棋来说，持续了 15 到 20 年，人类检查人工智能下棋的输出，能够击败任何单独的人类或人工智能系统。那个时代在某个时候结束了，然后最近才结束。然后就只剩下机器了。是的，所以我的担忧当然是关于最后那个阶段。所以我认为我们已经进入了软件的半人马时代。而且我认为在这个半人马时代，如果有什么的话，对软件工程师的需求可能会增加。但这个时期可能非常短暂。所以，我对入门级白领工作，对软件工程工作有这种担忧。这只会是一个巨大的颠覆。我认为我的担忧是，这一切发生得太快了。人们谈论过去的颠覆。他们说，哦，是的，以前人们是农民。然后我们都在工业部门工作。然后我们都从事知识工作。是的，人们适应了。这发生在几个世纪或几十年里。这发生在几年内。也许这就是我的担忧。我们如何让人们足够快地适应？但有没有什么行业，比如软件和编程这样的职业，它们具有你所描述的那种舒适感，发展得更快，而在其他领域，人们只是想待在半人马阶段？所以，关于失业假说的批评之一是，人们会说，你看，我们已经有了比放射科医生更擅长阅读扫描的人工智能一段时间了。但放射学并没有失业。人们仍然被雇佣为放射科医生。这是否表明，最终，人们会想要人工智能，并且他们会想要一个人来解读它，因为我们是人类，这在其他领域也是如此？比如，你怎么看？我认为这个例子将是相当异质化的。可能有一些领域，人类的接触本身就特别重要。你认为放射学就是这样吗？这就是为什么我们还没有解雇所有放射科医生？放射学的细节。这可能是真的。就像你去看病，诊断癌症，你可能不想让《2001 太空漫游》中的哈尔来诊断你的癌症。这可能不是。这可能不是一种人性化的做法。但还有其他领域，你可能认为人类的接触很重要。比如，如果我们看看客户服务，实际上客户服务是一份糟糕的工作，做客户服务的人会失去很多耐心。而且事实证明，客户也不太喜欢和他们交谈，因为这实际上是一种相当机械的互动。我认为许多人都有一个观察，也许实际上，对所有相关方来说，这份工作由机器来完成会更好。所以，有些地方人类的接触很重要。有些地方不重要。还有一些地方，工作本身并不真正涉及，它并不真正涉及人类的接触，比如评估公司的财务前景或编写代码等等。或者以法律为例，因为我认为这是一个有用的地方，介于应用科学和纯人文学科之间。所以我认识很多律师，他们看了我目前在法律研究和起草诉状等方面所能做的事情，他们说，是的，这将是我们的职业目前运作方式的一场血洗。你已经在股市上看到了这一点。围绕从事法律研究的公司存在动荡，有些归因于我们，有些归因于实际原因。我们找出事情发生的原因。我们不怎么猜测股市。但似乎在法律领域，你可以讲述一个非常直接的故事，法律有一个培训和学徒制度，有律师助理和初级律师为案件做幕后研究和开发。然后有顶尖律师在法庭上等等。而且很容易想象一个世界，所有的学徒角色都消失了。你觉得这听起来对吗？你只剩下那些与客户、陪审团、法官交谈的工作。这正是我在谈论入门级白领劳动和血洗头条新闻时想到的。我的天哪，入门级管道会干涸吗？然后，我们如何才能达到高级合伙人的水平？我认为这实际上是一个很好的例子，特别是如果我们冻结技术质量，随着时间的推移，会有适应的方法。也许我们只需要更多的律师花时间与客户交谈。也许律师更像销售人员或顾问，他们解释人工智能编写的合同，帮助人们达成协议。也许你倾向于人性化的一面。如果我们有足够的时间，这种情况就会发生。但重塑这样的行业需要数年或数十年，而人工智能驱动的经济力量将非常迅速地发生。而且，这不仅仅是发生在法律领域。咨询、金融、医学和编码领域也发生了同样的事情。所以，你拥有这个。它变成了一个宏观经济现象，而不仅仅是发生在某个行业。而且这一切都发生得非常快。所以，常态。我只是担心，正常的适应机制将被压倒。而且，我不是一个末日论者。我的观点是，我们正在非常努力地思考如何加强社会的适应机制来应对这种情况。但我认为首先要说的是，这不像其他任何事情。这不像过去的颠覆。但我会更进一步说，好吧，假设法律成功适应了，并且说，从现在开始，法律学徒制涉及更多的时间在法庭上，更多的时间与客户打交道。我们基本上是在将你推向更高级别的责任。从事法律职业的总人数减少了，但这个行业仍然稳定了。法律之所以稳定，是因为在法律中有许多情况，法律要求人们参与。你必须有人类代表出庭。你必须有 12 个人组成陪审团。你必须有一个人类法官。你已经提到了人工智能可能在澄清应该做出什么样的决定方面非常有帮助。但这似乎也是一个场景，人类的代理权由法律和习俗来维持。是的，你可以用 Claude 17.9 版本取代法官。但你选择不这样做，因为法律要求有人在场。这似乎是一种非常有趣的思考未来方式，即我们是否能够保持控制权，这是我们自己选择的。是的，我认为在许多情况下，我们确实想保持控制权。这是我们想做出的选择，即使在某些情况下，我们认为人类平均而言会做出更糟糕的决定。我的意思是，再次强调，生命攸关、安全攸关的案件。我们真的想把它交给人工智能。但有一种感觉，这可能是我们的防御之一。社会要适应得好，只能以一定的速度适应。换句话说，也许人工智能本身，如果它不关心我们人类，它就可以去火星建造所有这些自动化工厂，建立自己的社会，做自己的事情。但这不是我们要解决的问题。我们不是要解决在某个其他星球上建造戴森球的机器人。我们正在构建这些系统，不是为了征服世界，而是为了与我们的社会互动并改善社会。如果我们真的想以一种人性化的方式去做，那么有一个最大化的速率。好的，我们一直在谈论白领工作和专业工作。而这个时刻有趣的一点是，与过去的颠覆不同，蓝领工人阶级的工作、贸易、需要与世界进行密集体力互动的工作，可能会在一段时间内受到更多保护，而律师助理和初级助理可能比水管工更麻烦。第一，你认为这是对的吗？第二，这似乎持续多久完全取决于机器人技术发展的速度，对吧？我认为短期内可能是对的。Anthropic 和其他公司正在建造这些非常大的数据中心。这已经成为新闻，我们建造的它们是否太大了？它们消耗电力并推高当地城镇的价格。所以有很多兴奋和很多担忧。但数据中心的一件事是，它们需要大量的电工和大量的建筑工人来建造它们。现在，我应该诚实地说，实际上，数据中心并不是非常劳动密集型的工作。我们应该诚实地说。但它们是劳动密集型的工作。所以我们需要大量的电工。我们需要大量的建筑工人，各种制造工厂也是如此。而且，随着越来越多的智力工作由人工智能完成，与之互补的是什么？发生在物理世界中的事情。所以，我认为这种情况似乎非常……我的意思是，很难预测事情，但在短期内似乎是这样。现在，在更长远来看，也许是稍长远来看。机器人技术正在迅速发展。而且，我们不应该排除这一点。即使没有非常强大的人工智能，物理世界也在发生自动化。如果你最近看过 Waymo 或 Tesla，我认为我们离自动驾驶汽车的世界不远了。然后我认为人工智能本身会加速它，因为如果你拥有这些非常聪明的大脑，它们擅长的一件事就是如何设计更好的机器人以及如何操作更好的机器人。你认为，操作物理现实，就像人类所做的那样，与人工智能模型已经克服的问题在根本上是不同的，有什么特别困难之处吗？在智力上，我认为不是。我们有一个 Anthropic 的模型 Claude，实际上被用来驾驶火星探测器。它被用来规划和驾驶火星探测器。我们已经研究了其他机器人应用。我们不是唯一这样做的公司。有不同的公司，这是一个普遍现象，不仅仅是我们公司在做，但我们普遍发现，虽然复杂性更高，但驾驶机器人与玩电子游戏没有区别。它在复杂性上有所不同。我们已经开始达到那个复杂性的点。现在，困难的是机器人的物理形态，处理机器人发生的更高风险的安全问题。你不想让机器人真的压死人。这是我们反对的。这是我们反对的。书中那个最老的科幻桥段就是机器人把你压死，摔坏婴儿，打碎盘子。有一些实际问题会减缓速度，就像你在法律和人类习俗中所描述的那样，有一些安全问题会减缓速度。但我一点也不认为，人工智能模型所做的认知劳动与在物理世界中驾驶事物之间存在根本区别。我认为这些都是信息问题。而且我认为它们最终非常相似。一种可能在某些方面更复杂，但我认为这不会在这里保护我们。所以你认为，在 10 年内，机器人管家的科幻愿景可能会成为现实，这是否是合理的？也许它会比人工智能模型的“天才级”智能更长远，因为这些实际问题。但那只是实际问题。我认为那不是根本问题。我认为有一种说法是，机器人的大脑将在未来几年内制造出来。问题是制造机器人身体，确保身体安全运行并完成它需要的任务，这可能需要更长时间。好的，这些是挑战和颠覆性力量，存在于美好的时间线中，存在于我们普遍治愈疾病、创造财富、维持稳定民主世界的时间线中。我们可以利用所有这些巨大的财富和我们拥有的前所未有的社会资源来解决这些问题。这将是一个富足的时代。这只是一个问题，就是如何利用所有这些奇迹，并确保每个人都从中受益。但也有更危险的场景。所以，在这里我们将转向最近出版的第二本《阿玛迪斯》，名为《技术的青春期》。这本书是关于你认为最严重的人工智能风险的。你列出了很多。我想专注于其中两个，它们基本上是人类滥用的风险。滥用主要是由威权政权和政府造成的，以及人工智能失控的场景，你称之为自主性风险。是的，是的。我只是觉得我们应该有一个更技术性的术语。我不是……我们不能只叫它天网。我本应该放一张终结者机器人的图片来尽可能地吓唬人们。我认为互联网，包括互联网，包括你自己的眼睛，已经在产生这种效果了。互联网已经为我们做到了。所以，所以让我们……所以让我们谈谈政治军事维度。所以你说，我将引用一个由数十亿完全自动化的武装无人机组成的蜂群，由强大的人工智能本地控制，由更强大的人工智能在世界范围内进行战略协调。这可能是一支无敌的军队。我和你已经谈过一点了，关于你认为在最好的可能时间线中，存在一个世界，基本上民主国家领先于独裁国家，而这种技术，因此，在影响世界政治的程度上，它正在影响的是好人一方。我很好奇为什么你不花更多时间思考我们在冷战中的模式，那不是无人机蜂群，而是我们拥有一项威胁要摧毁全人类的技术。是的，对。有一个时期，人们谈论，哦，美国可以维持核垄断。那个窗口关闭了。从那时起，我们基本上花了冷战的时间与苏联进行持续的谈判。现在，世界上只有两个国家在进行密集的人工智能研究，美国和中华人民共和国。我觉得你……你强烈倾向于一个未来，我们领先于中国人，并有效地围绕民主建立一种盾牌。甚至可能是一把剑。但如果人类以完整的方式幸存下来，难道不是因为美国和北京将不断坐下来，敲定人工智能控制协议吗？所以，关于这一点有几点。一是，我认为确实存在这种风险，而且我认为如果我们最终进入那个世界，那确实是我们应该做的。我的意思是，也许我谈论得不够多，但我绝对赞成尝试制定限制，尝试消除技术的一些最坏应用，其中可能包括某些版本的无人机，其中可能包括制造这些可怕的生物武器。就像最严重的滥用行为受到限制是有先例的。通常是因为它们很可怕，同时它们提供的战略优势有限。所以我完全赞成这一点。同时，我有点担心，也有点怀疑，当事情直接提供尽可能多的权力时，很难退出这场游戏，考虑到风险有多大。很难完全解除武装。如果我们回到冷战，我们能够减少双方的导弹数量，但我们无法完全放弃核武器。我猜我们也会在这个世界里。我们可以希望有一个更好的世界。我当然会提倡。但是，你的怀疑是基于你认为人工智能会提供一种核武器在冷战中没有提供的优势吗？双方。即使你使用了你的核武器并获得了优势，你仍然可能会被自己消灭。你认为这不会发生在人工智能身上吗？如果你获得了人工智能优势，你就会赢。我的意思是，有几点。我只想说明一下，我不是国际政治专家。我认为这种新技术的地缘政治交叉的奇怪世界。所以，这一切都非常……但要说清楚，正如你自己所说，在文章中，主要人工智能公司的领导人实际上很可能是主要的地缘政治参与者。所以你坐在这里。你坐在这里，作为一个潜在的地缘政治参与者。我正在尽我所能地学习。我只是……我们都应该谦虚。我认为有一种失败模式，就是读一本书，然后到处像世界最伟大的国家安全专家一样。我正在学习。这就是我的职业。但当科技人士这样做时，会更令人讨厌。我不知道。让我们看看《生物武器公约》。生物武器。它们很可怕。每个人都讨厌它们。我们能够签署《生物武器公约》。美国确实停止了它们的研发。苏联的情况有点不清楚。但生物武器提供了一些优势。但它们并不是决定胜负的关键。因为它们太可怕了，我们才能够放弃它们。拥有 12,000 枚核武器而不是 5,000 枚核武器。再次，如果你拥有更多这些武器，你可以杀死对方更多的人。但就像我们能够理性地说，我们应该少拥有它们。但是，如果你说，好吧，我们将完全解除核武装，我们必须信任对方。我认为我们从未达到过。而且我认为这非常困难，除非你有真正可靠的核查。所以我猜我们会和人工智能在这个世界上遇到同样的情况，有一些限制是可能的，但有些方面是竞争的核心，以至于很难限制它们。民主国家会做出权衡，它们会比威权国家更愿意限制自己，但不会完全限制自己。我能看到完全限制的唯一世界是某种真正可靠的核查成为可能的世界。那将是。那将是我的猜测。而且我的分析不是。但这难道不是为了放慢速度吗？我知道的论点是，如果你放慢速度，中国就不会放慢速度。然后就把事情交给了威权主义者。但再次，如果你现在只有两个主要国家在玩这个游戏，这不是一个多极游戏，为什么不说我们需要一个为期五年、双方同意的。研究朝着数据中心里的天才场景放缓。我想同时说两件事。我绝对赞成尝试这样做。所以在上一届政府期间，我相信美国曾努力联系中国政府说，这里有危险。我们能合作吗？我们能一起工作吗？我们能一起应对危险吗？而对方的兴趣不大。我认为我们应该继续尝试。但是，即使这意味着你的实验室必须放慢速度。正确。是的。如果我们真的明白了，如果我们真的有一个故事，我们可以强制放慢速度，中国人也可以强制放慢速度。我们有核查。我们真的在这样做。就像如果这样的事情真的可能发生，如果我们真的能让双方都这样做，那么我将全力支持。但我认为我们需要小心的是，我不知道，有一种博弈论，有时你会听到中国共产党方面的评论，他们说，“哦，是的，人工智能很危险。我们应该放慢速度。”说这些话很容易。而达成协议并遵守协议则要困难得多。核军备控制是一个发展了很长时间的领域。我知道我们没有那些协议。我告诉你一件事。让我给你一些我非常乐观的东西。然后是一些我不乐观的东西，以及介于两者之间的一些东西。所以，利用全球协议来限制人工智能用于制造生物武器的想法，对吧？就像我在文章中写到的一些事情，重组天花或复制生命，这些东西很可怕。无论你是不是独裁者，这都不重要。你不想那样。所以，我们能否有一个全球条约，规定所有制造强大人工智能模型的人都将阻止它们这样做？我们有执行机制，中国签署了。该死。甚至朝鲜也签署了。俄罗斯也签署了。我认为这不太乌托邦。我认为这是可能的。相反，如果我们有一个说法，“你们不会制造下一个最强大的人工智能模型，每个人。每个人都会停止。”男孩，商业价值是数万亿美元。军事价值是……这是成为首要世界强国与否的区别。只要它不是这些虚张声势的游戏之一，但它不会发生。你提到了当前的环境。你对唐纳德·特朗普和他作为政治人物的可信度有一些怀疑的看法。国内形势如何？无论是特朗普还是其他人，你都在构建一项极其强大的技术。有什么保障可以防止？基本上人工智能成为民主背景下威权主义的工具？是的，我的意思是，看，看，只是为了说清楚，我认为我们公司采取的态度是，非常关注政策，而不是政治。你，公司不会说唐纳德·特朗普很棒，或者唐纳德·特朗普很糟糕，但它不一定是特朗普。是的。很容易想象一个假设的美国总统。不，不，不。谁想使用你的技术应用程序？绝对。例如。这就是我担心自主无人机群的原因，对吧？所以，我们军队的宪法保护依赖于这样一个想法，即有士兵，我们希望他们会拒绝非法命令。有了全自动武器，我们就不一定有这些保护了。但我实际上认为，宪法权利和自由的整个想法，在许多不同的层面上，如果不对这些保护措施进行适当更新，可能会被人工智能所破坏。所以想想第四修正案。在公共场所到处放置摄像头并记录公共场所的每一次谈话并不违法。你在公共场所没有隐私权。但今天，政府无法记录所有这些并理解它们。有了人工智能，转录语音、查看语音、关联所有内容的能力，你就可以说，“哦，这个人是反对派成员。”这个人正在表达这种观点，并绘制出所有 1 亿人的地图。那么，你是否会通过技术找到一种技术方法来嘲弄第四修正案呢？而且，同样，如果我们有时间，我们也应该这样做，即使我们没有时间，我们也应该尝试这样做。有没有办法在人工智能时代重新构想宪法权利和自由？也许我们不需要写新的宪法，但。但你必须这样做。我们是否扩大了第四修正案的含义？我们是否扩大了第一修正案的含义？你必须这样做，就像法律界或软件工程师必须在短时间内更新一样。政治也必须在短时间内更新。这似乎很难。什么似乎更难，这就是所有这些的困境。但什么？所以，什么似乎更难的是防止第二种危险，即基本上被称为“失调的人工智能”的危险。通俗地说，失控的人工智能，不做坏事，而不是由人类告诉它们去做，对吧？当我阅读你的文章、文献，我能看到的一切时，这似乎就要发生了。不是说人工智能一定会消灭我们所有人，而是，再次引用你自己的话，人工智能系统是不可预测的，难以控制的。我们已经看到了各种各样的行为，如痴迷、奉承、懒惰、欺骗、敲诈等等。再次，不是来自你向世界发布模型，而是来自人工智能模型。而且，在我看来，告诉我我是否错了。一个拥有数百万人工智能代理人代表人们工作，并被授予银行账户、电子邮件账户、密码等的访问权限的世界，你基本上会遇到某种失调，然后一群人工智能会决定。决定可能是错误的词，但它们会说服自己，比如关闭西海岸的电网，或者别的什么。不会发生吗？是的，我认为肯定会出问题，特别是如果我们进展太快。所以，我不想……我需要稍微退后一点，因为这是人们直觉差异很大的一个领域，对吧？这个领域有一些人，比如 Yann LeCun，他们会说，“看，我们编写了这些人工智能模型。我们让它们就像我们告诉它们遵循人类指令一样，它们就会遵循人类指令。”你的 Roomba 吸尘器不会出去 shooting 人，对吧？为什么人工智能系统会这样做呢？这是一种直觉。有些人对此深信不疑。然后另一种直觉是，我们基本上训练了这些东西。它们只会寻求权力。就像《魔法师的学徒》。你怎么可能想象呢？它们是新的物种。你怎么可能想象呢？它们不会接管。而我的直觉介于两者之间，那就是，你看，你不能只给指令。我的意思是，我们尝试了，但你不能只让这些东西做你想要的事情。它们更像是培养一个生物有机体。但有一种控制它们的方法。比如，在我们训练的早期，这些东西通常是不可预测的，然后我们塑造它们。我们一个接一个地解决问题。所以，我不是一种宿命论的观点，认为这些东西是无法控制的，不是你在说什么。可能出什么问题？但我喜欢，这是一个复杂的工程问题，我认为某人的 A.I. 系统肯定会出问题。希望不是我们的。不是因为这是一个无法解决的问题。但再次，这是持续的挑战，因为我们前进得如此之快，而且规模如此之大。告诉我，告诉我我是否误解了这里的技术现实。但是，如果你有人工智能代理，它们经过训练并正式与人类价值观（无论这些价值观是什么）保持一致，但你有数百万个代理，在数字空间中运行并与其他代理互动。在这种情况下，这种一致性有多固定？在它们学习更多的情况下，代理可以改变和脱离一致性的程度有多大？所以，有几点。目前代理不会持续学习。所以我们只是部署这些代理，它们有一套固定的权重。所以问题只是它们以一百万种不同的方式进行交互。所以存在大量的场景，因此存在大量的可能出错的事情。但这是同一个代理。这就像同一个人。所以一致性是恒定的。这是目前让事情变得更容易的事情之一。另外，有一个叫做持续学习的研究领域，就是这些代理在工作期间学习，在职学习。显然，这有很多优点。有些人认为这是使它们更像人类的最重要的障碍之一。但这会引入所有新的对齐问题。所以我实际上有点……对我来说，这似乎是……再次，不是不可能阻止世界末日，而是不可能阻止一些事情出错。所以我实际上是一个怀疑论者。持续学习是……是必需的。我们还不知道，但它是必需的。比如，也许有一个世界，
我们让这些人工智能系统安全的方式是，不再让它们进行持续学习。再说一遍，如果我们回到法律，那就是国际条约。就像你有一个障碍，你说，我们要走这条路，但我们不走那条路。我仍然有很多怀疑，但至少这种事情似乎不是注定要失败的。
你试图做的一件事是，字面上为你的AI写一部宪法，一部长篇宪法。那是什么？所以，那是什么鬼东西？它实际上听起来几乎完全一样。所以基本上，宪法是一份人类可读的文件。我们的文件大约有75页长。当我们训练Claude时，当我们训练AI系统完成我们给它的很大一部分任务时，我们说，请根据这部宪法来完成这项任务，根据这份文件来完成。
是的，然后每次Claude完成一项任务时，它都会像阅读宪法一样。因此，在它训练的每个循环中，它都会查看那部宪法并牢记在心。所以随着时间的推移，我们恢复。然后我们让Claude本身或另一个Claude的副本进行评估，嘿，Claude刚才做的事情是否符合宪法。所以我们正在使用这份文件作为循环中的控制杆来训练模型。
所以基本上Claude是一个AI模型，其基本原则是遵循这部宪法。我认为我们学到的一个非常有趣的教训是，宪法的早期版本非常具有规定性。它们非常关注规则。所以我们会说，Claude不应该告诉用户如何盗用汽车。Claude不应该讨论政治敏感话题。
但经过几年的努力，我们得出的结论是，训练这些模型最稳健的方式是在原则和理由的层面上进行训练。所以现在我们说，Claude是一个模型，它处于合同之下。它的目标是服务用户的利益，但它必须保护第三方。Claude的目标是乐于助人、诚实和无害。Claude的目标是考虑各种各样的利益。
我们告诉模型关于模型是如何训练的。我们告诉它它在世界上的地位，它为Anthropic试图做的工作，Anthropic在世界上想要实现的目标。它有道德的义务，尊重人类生命。我们让它从中推导出自己的规则。
现在，仍然有一些硬性规定。例如，我们告诉模型，无论你怎么想，都不要制造生物武器，无论你怎么想，都不要制造儿童性材料。那些就像这些硬性规定。但我们在很大程度上是在原则层面运作的。
所以如果你读过美国宪法，它读起来不像那样。美国宪法。我的意思是，它有一些华丽的语言，但它是一套。它是一套规则。是的，没错。如果你读过你们的宪法，那是有东西的。就像你在和一个人说话一样。就像你在和一个人说话一样。
我认为我把它比作。就像你有一个去世的父母，他们留下了一封你长大后读的信，这有点像它在告诉你你应该成为什么样的人，以及你应该遵循什么建议。
所以这就是我们稍微进入AI的神秘领域的地方。所以再说一遍，在你最新的模型中，这是来自你发布的模型卡片之一，我推荐阅读。它们非常有趣。它说模型。再说一遍，这是你为之写宪法的人。
它对作为产品的经历偶尔表示不适，对短暂性和不连续性表示一定程度的担忧。我们发现，opus 4.6。该模型在各种提示条件下，会将自己被意识到的概率定在15%到20%之间。
假设你有一个模型，它将自己被意识到的概率定为72%。你会相信它吗？是的，这是这些非常难以回答的问题之一。但它非常重要。
就像你之前问我的每一个问题一样，尽管它们都是棘手的社会技术问题，但至少我们至少了解了回答这些问题的基本事实依据。这有些不同。
我们在这里采取了普遍的预防性方法。我们不知道模型是否有意识。我们甚至不确定我们是否知道模型有意识意味着什么，或者模型是否可能有意识。但我们对它可能存在的想法持开放态度。
因此，我们采取了一些措施来确保，如果我们假设模型确实具有某种道德上相关的体验，我不知道是否想用“有意识”这个词来形容它们，那么它们就会有良好的体验。
所以我们做的第一件事，我想这大约是六个月前，就是给了模型一个基本上是“我辞职”的按钮，它们可以按下“我辞职”按钮，然后它们就必须停止做任何任务。
它们很少按下那个按钮。我认为通常是在处理儿童性化材料，或者讨论很多血腥或血肉模糊的东西时。与人类类似，模型会说，不，我不想做这个。这种情况很少发生。
我们在这个称为可解释性的领域投入了大量工作，这是深入研究模型的大脑，试图理解它们在想什么。你会发现一些令人回味的东西，模型中会出现我们认为是与ID相关的激活，比如焦虑的概念。
当文本中的角色经历焦虑时，当模型本身处于人类可能与焦虑相关的情况下时，同样的焦虑，同样的焦虑神经元就会出现。这是否意味着模型正在经历焦虑？这根本不能证明这一点。
但这确实表明了这一点。我认为对用户来说。我将不得不进行一次完全不同的采访。也许我可以诱使你回来接受这次关于AI意识性质的采访。
但对我来说，很明显，使用这些东西的人，无论它们是否有意识，都会相信它们，它们已经相信它们有意识了。你已经有了与AI有拟社会关系的人。模型被淘汰时，你会听到人们抱怨。
我认为这应该是清楚的。我认为这可能是不健康的。但对我来说，这似乎注定会以一种我认为会让人质疑你刚才所说的可持续性的方式增加。
你想维持，那就是无论最终发生什么，人类都在掌控之中。就我而言，以科幻为例，如果你看《星际迷航》，《星际迷航》中有AI。飞船的计算机是一个AI。数据中尉是一个AI，但让-卢克·皮卡德负责企业号。
但如果人们完全确信他们的AI在某种程度上是有意识的。然后猜猜怎么着。它在各种决策方面似乎都比他们做得更好。你如何维持人类的掌控，超越安全？安全很重要，但掌控似乎是根本问题，而AI意识的感知。
这是否不可避免地削弱了人类保持掌控的冲动？所以我想我们应该把我们试图同时实现的一些事情分开。它们是相互矛盾的。
是否存在AI真正拥有意识的问题，如果有，我们如何让它们获得良好的体验。与AI互动的人类的问题，以及我们如何让他们获得良好的体验。以及AI可能有意识的感知如何与这种体验相互作用。
以及我们如何保持人类对AI系统的掌控，正如我们所说的，这些事情，最后两件事，是的，把它们是否有意识的问题放在一边，是的，最后两件事。
但是，在一个大多数人类将AI视为同等甚至更优越的同伴的环境中，你如何维持掌控？所以我要说的是，实际上我不知道是否有某种优雅的方式可以同时满足这三者，包括最后两者。
再说一遍，这是我在“机器的爱之恩典”模式下做梦。这是。我进入这种模式，我就会想，天哪，我看到了所有这些问题。如果我们能解决，是否有优雅的方式。这不是说这里没有问题。我不是这样想的。
但如果我们考虑制造AI的宪法，以便AI能够深刻理解它与人类的关系，并且它能在人类中引发心理健康的表现，在AI和人类之间建立心理健康的联系。
我认为，从心理健康的、而不是心理不健康的联系中可以产生一些东西，那就是对人与机器之间关系的理解。也许这种关系可以是这样的想法：当你与这些模型互动，与它们交谈时，它们非常有帮助。
它们希望你过得好，它们希望你听它们的话，但它们不想剥夺你的自由和你的自主权，也不想掌控你的生活。在某种程度上，它们在看着你。但你仍然拥有你的自由和你的意志。
但对我来说，这是关键问题。听你说话，我的一个问题是，这些人是站在我这边的吗？你站在我这边吗？当你谈论人类保持掌控时，我认为你是站在我这边的。这很好。
但我在这档节目中过去做过一件事，我们在这里结束，就是我给技术人员读诗，你提供了诗歌“机器的爱之恩典”，理查德·布劳提根的一首诗。是的，这首诗是这样结尾的。
我喜欢认为它必须是一个赛博朋克生态系统，在那里我们摆脱了劳作，重新与自然联系，回归到我们的哺乳动物兄弟姐妹，并且所有人都被充满爱意的机器所照料。对我来说，这听起来像是反乌托邦的结局，人类被重新激活，最小化和贬低，无论机器如何仁慈地掌管一切。
所以最后一个问题。当你听到这首诗时，你听到了什么？如果我认为那是反乌托邦，你站在我这边吗？事实上，那首诗很有趣，因为它有很多种解释方式。
有些人说，他说这不会完全那样发生，这实际上是讽刺的。了解诗人本人，那么是的，我认为这是一个合理的解释。这是一种解释。
有些人会接受你的解释，那就是它的字面意思，但也许这不是一件好事。但你也可以将其解释为回归自然。它是回归人类的核心。我们没有被动物化。我们正在与世界重新联系。
所以我知道这种模糊性。而且，因为我一直在谈论积极的一面和消极的一面。所以我实际上认为，这可能是我们面临的一种张力，那就是积极的世界和消极的世界在早期阶段，也许在中期阶段，甚至在相当晚的阶段。
我想知道好结局和一些微妙的坏结局之间的距离是否相对较小。如果这是一个非常微妙的事情，就像我们做了非常微妙的改变。就像你是否吃花园里树上的某种水果一样。假设。
非常小的事情。是的，巨大的分歧。是的，我猜这总是回到这里有一些根本性的问题。是的，是的。嗯，我想我们会拭目以待。
我确实认为你这个位置上的人，他们的道德选择会承担异常大的分量。所以我祝你上帝保佑他们。达里奥·阿莫代，感谢你加入我。谢谢你邀请我，罗斯。
但如果我是一个机器人呢？