Anthropic's CEO: ‘We Don’t Know if the Models Are Conscious’ | Interesting Times with Ross Douthat

我想尝试并专注于人工智能失控的场景。我应该放一张终结者机器人的图片来尽可能地吓唬人们。我认为互联网……互联网已经为我们做了这件事。人工智能的领主们站在人类这一边吗？“我的预测是，机器人将比人多。”“物理世界和数字世界应该真正地完全融合。”“我认为世界还没有真正经历过人形机器人的时代。它会感觉非常科幻。”这是我本周要问客人的核心问题。他是 Anthropic 的负责人，这是增长最快的人工智能公司之一。Anthropic 的估值接近 3500 亿美元。Anthropic 的 Claude 代码连连获胜。在技术可能对世界产生的影响方面，他可以说是某种程度的乌托邦主义者。“你知道，它将帮助我们治愈癌症。它可能帮助我们根除热带疾病。它将帮助我们理解，理解宇宙。”但他也看到了前方的巨大危险和巨大的颠覆，无论如何。“这件事发生得如此之快，而且是一场如此的危机，我们应该几乎把所有的精力都投入到思考如何度过难关。”达里奥·阿莫代，欢迎来到《有趣的时光》。谢谢你邀请我，罗斯。谢谢你来这里。所以你相当不寻常，也许对于一位科技公司的首席执行官来说，你是一位散文家。你写了两篇长篇、非常有趣的关于人工智能的承诺和危险的散文。我们将在这次谈话中讨论危险。但我想最好从承诺和乐观的愿景开始。事实上，我想说的是几年前你在一篇题为《仁慈的机器》的文章中提出的乌托邦愿景，我想我们最后会回到这个标题。但是，我认为很多人是通过预测白领工作将遭受血洗的头条新闻来接触人工智能新闻的，诸如此类的事情。有时你自己的引述——你用过我自己的引述——是的。鼓励了这些事情。我认为人们普遍存在一个问题：“人工智能是做什么用的？”所以，为什么你不先回答这个问题——如果未来五到十年一切都进展顺利，人工智能是做什么用的？是的，所以我想在我在科技领域工作之前，我是一名生物学家。我首先研究计算神经科学，然后在斯坦福医学院研究寻找癌症的蛋白质生物标志物，试图改进诊断和治愈癌症。我在那个领域工作时，最深的体会之一就是它的复杂性令人难以置信。每种蛋白质在每个细胞内都有一个局部化的水平。仅仅测量体内的水平或细胞内的水平是不够的。你必须测量细胞特定部分中的水平以及它正在与之相互作用或形成复合物的其他蛋白质。我有一种感觉，“天哪，这对人类来说太复杂了。”我们在解决所有这些生物学和医学问题上取得了进展，但进展相对缓慢。所以，吸引我进入人工智能领域的是这个想法——我们能否更快地取得进展？看，我们长期以来一直在尝试将人工智能和机器学习技术应用于生物学。通常它们用于分析数据，但随着人工智能变得非常强大，我认为我们应该以不同的方式思考它。我们应该将人工智能视为生物学家所做的工作，对吧？从头到尾完成整个事情。其中一部分包括提出实验，提出新技术。我有一个部分，我说，“看，生物学上的许多进展是由少数几个关键的见解驱动的，这些见解使我们能够测量、获取或干预那些非常微小的东西。你看看这些技术。它们的发明很大程度上是偶然的。CRISPR，这是一种基因编辑技术，它的发明是因为有人去听了一个关于细菌免疫系统的讲座，并将它与他们正在进行的基因治疗工作联系起来。而这种联系可能在 30 年前就已建立。所以我的想法是——人工智能能否加速这一切，我们能否真正治愈癌症？我们能否真正治愈阿尔茨海默病？我们能否真正治愈心脏病？更微妙的是，人们的一些更严重的心理疾病——抑郁症、双相情感障碍——我们能否对此做些什么？只要它们在生物学上有基础，我认为它们至少在一定程度上是如此。所以，我在这里进行论证，“好吧，它能有多快？”如果我们拥有那些几乎无所不能的智能，而我在这里想暂停你一下，因为你在这篇文章中的一个有趣之处，并且你又回到了这一点，就是这些智能不必是正确的，那种人工智能辩论中出现的、至高无上的、神一般的超级智能。你基本上是在说，如果我们能达到人类巅峰表现水平的强大智能——是的，人类巅峰表现水平——然后将其乘以多少？你的说法是，“一个天才的国家。”一个国家——拥有 1 亿个这样的天才。对。一亿个——每个都经过一点训练，有点不同，或者在尝试不同的问题。多样化和尝试不同事物是有益的。但是的。所以你不需要拥有完整的机器。上帝，你只需要拥有 1 亿个天才。你不需要拥有完整的机器。上帝，事实上，有些地方我怀疑机器上帝在这些事情上是否会比 1 亿个天才更有效。我有一个概念叫做智能的边际收益递减，对吧？经济学家谈论土地和劳动的边际生产力。我们从未考虑过智能的边际生产力。但如果我看看生物学中的一些问题，在某种程度上，你必须与世界互动，在某种程度上，你必须尝试事物，在某种程度上，你必须遵守法律或改变法律，通过监管系统获得药物。所以这些变化有一个有限的速率。现在有一些领域，比如你玩国际象棋或围棋，智能的上限非常高。但我认为现实世界有很多限制因素。所以也许你可以超越天才的水平。但是，有时我认为所有关于你是否能用月球的计算能力来制造一个人工智能上帝的讨论都有些耸人听闻，而且离题万里，即使我认为这将是人类有史以来最伟大的事情。所以你有一个，保持具体，你有一个世界，癌症不再是对人类生命的主要威胁，心脏病不再是，我们经历的大多数导致我们死亡的疾病都不再是，可能还有寿命延长。所以这是健康。这是一个相当积极的愿景。然后谈谈经济和财富。在未来 5 到 10 年的人工智能爆发中，财富会发生什么？同样，让我们保持积极的一面，因为我们还有很多负面因素要谈。但我们已经在与制药公司合作。我们已经在与金融行业公司合作。我们已经在与从事制造业的人合作，当然，我认为尤其以编码和软件工程而闻名。所以，仅仅是原始的生产力，制造东西和完成事情的能力就非常强大。我们看到我们公司的收入每年增长 10 倍。而且，我们怀疑整个行业看起来也差不多。如果技术不断改进，不需要再多几个 10 倍的增长，你就会突然说，哦，如果你在整个行业每年增加 1 万亿美元的收入，美国的 GDP 是 20 或 30 万亿美元，我不记得确切的数字了。所以你必须将 GDP 增长提高几个百分点。所以我可以看到一个世界，人工智能将发达国家的 GDP 增长带到大约百分之五、百分之十、百分之十五，没有科学来计算这些数字。这是一件完全前所未有的事情。但它可能带来我们以前从未见过的数字。同样，我认为这将导致一个奇怪的世界。我们对赤字不断增长有很多争论。如果你有如此多的 GDP 增长，你就会有如此多的税收收入，你就会在不知不觉中平衡预算。但最近我一直在思考的一件事是，我认为我们经济和政治辩论的一个假设是，增长是难以实现的。它是一个独角兽。有很多方法可以杀死金鹅。我们可以进入一个增长非常容易的世界。而分配是困难的，因为它发生得如此之快。对。蛋糕正在被增加。如此之快。所以，在我们进入难题之前，再多一点乐观的政治观点。在这里，这有点……我承认所有这些都是推测性的，但我认为这有点更具推测性。你试图证明人工智能可能对民主和世界各地的自由有利，这不一定直观。很多人说，掌握在威权领导人手中的极其强大的技术会导致权力的集中等等。我在另一篇文章中谈到了这一点。但简而言之，为什么人工智能对民主有利的乐观论点是什么？是的，绝对。是的，嗯，机器仁慈，我有点喜欢，我只是想，让我们做梦吧，让我们做梦它会如何发展。好吧，我不知道有多可能，但我们必须描绘一个梦想。让我们试着让梦想成真。所以，我认为积极的版本，我承认我不知道技术是否会固有地有利于自由。我认为它固有地有利于治愈疾病，并且它固有地有利于经济增长。但我担心它可能不会固有地有利于自由。但我在那里说的是，我们能让它有利于自由吗？我们能让美国和其他民主国家在技术上领先吗？美国在技术和军事上一直处于领先地位，这意味着我们通过与民主国家的联盟在世界范围内拥有影响力。我们能够塑造一个我认为比由俄罗斯或中国或其他威权国家塑造的世界更好的世界。那么，我们能否利用我们在人工智能领域的领先地位来塑造，来塑造世界各地的自由？关于我们应该有多干预主义，我们应该如何运用这种力量，显然有很多争论。但我经常担心，如今通过社交媒体，威权主义者正在削弱我们，对吧？我们能反击吗？我们能赢得信息战吗？我们能阻止威权主义者入侵像乌克兰或台湾这样的国家吗？通过人工智能的力量，通过巨大的、巨大的、由人工智能驱动的无人机群来保卫它们，我们需要小心。我们自己需要小心我们如何建造它们。我们需要捍卫我们自己国家的自由，但是否存在某种愿景，让我们在人工智能时代重新构想自由和个人权利，在某种程度上我们需要免受人工智能的侵害？有人需要掌握无人机群的按钮，这是我非常非常担心的事情，而这种监督今天并不存在。但也要考虑今天的司法系统，对吧？我们承诺人人享有平等的司法。但事实是，世界上有不同的法官。法律体系是不完美的。我不认为我们应该用人工智能取代法官，但有没有办法让人工智能帮助我们更公平，帮助我们更统一？这以前从未可能，但我们能否以某种方式利用人工智能创造一些模糊的东西，但同时你也可以承诺它以同样的方式应用于每个人？所以我不知道具体该怎么做。我也不认为我们应该用最高法院来取代，不是这样的，好吧，我们会谈论这个。但是，是的，但只是这个想法，我们能否通过人工智能和人类的某种结合来兑现平等机会和平等司法。一定有办法做到这一点。所以，只是思考如何为人工智能时代重塑民主，并增强自由而不是减少自由。很好，这很好。这是一个非常积极的愿景。我们活得更长，生活更健康。我们比以往任何时候都更富有。所有这些都发生在一段压缩的时间里，你在 10 年内获得了 100 年的经济增长。我们在世界范围内增加了自由，在国内增加了平等。好的，即使在最好的情况下，它也具有极大的颠覆性。这就是你被引用的那些话，50% 的白领工作被颠覆，或者 50% 的入门级白领工作等等。那么，在五年或两年的时间范围内，无论你有什么时间范围，哪些工作、哪些职业最容易受到人工智能的全面颠覆？很难预测这些事情，因为技术发展得如此之快，而且发展得如此不均衡。所以，至少有两个原则可以帮助你弄清楚。然后我会给出我的猜测，我认为什么会被颠覆。有一件事是，我认为技术本身及其能力将领先于实际的工作颠覆。要使工作被颠覆或生产力发生，必须发生两件事，因为有时这两件事是相关的。一是技术必须有能力做到这一点。二是有一个混乱的事情，它实际上必须在一个大型银行或一家大型公司中应用，或者想想客户服务之类的。理论上，我的人工客户服务代理可以比人类客户服务代理好得多。他们更有耐心，他们知道得更多，他们以更统一的方式处理事情。但实际的后勤工作和实际的替代过程需要一些时间。所以我对人工智能本身的方向非常看好。我认为我们可能在一年或两年内就在数据中心拥有那个天才国家，也许是五年，但它可能发生得非常快。但我认为经济的传播会慢一些。而这种传播带来了一些不可预测性。所以一个例子是，我们在 Anthropic 内部看到模型编写代码的速度非常快。我认为这不是因为模型在代码方面本身就更好。我认为这是因为开发人员习惯了快速的技术变革，他们迅速采纳事物，而且他们与人工智能世界在社交上非常接近。所以他们会关注那里发生的事情。如果你从事客户服务、银行或制造业，距离就有点远了。所以我认为六个月前，我会说第一件被颠覆的事情是这些入门级的白领工作，数据录入，或者法律文件审查，或者你在金融行业公司工作的第一年需要做的事情，分析文件。我仍然认为这些进展很快。但我实际上认为软件可能会更快，原因是我给出的，我认为离模型能够做到这一切，很多事情从头到尾，并不遥远。我们将看到的是，首先，模型只完成了人类软件工程师工作的一部分。这提高了他们的生产力。然后，即使模型完成了人类软件工程师过去所做的一切，人类软件工程师也会更进一步，他们担任经理并监督系统。这就是“半人马”这个词的由来，用来描述基本上是人与马的融合，人工智能与工程师一起工作。是的，这就像半人马国际象棋。所以，我认为在加里·卡斯帕罗夫被深蓝击败之后，有一个时期，我认为对于国际象棋来说，持续了 15 到 20 年，人类检查人工智能下棋的输出，能够击败任何单独的人类或人工智能系统。那个时代在某个时候结束了，然后最近。然后就只剩下机器了。是的，所以我的担忧当然是关于最后阶段。所以我认为我们已经处于软件的半人马时代。而且我认为在这个半人马时代，如果有什么的话，对软件工程师的需求可能会增加。但这个时期可能非常短暂。所以，我担心入门级的白领工作，软件工程工作。这只会是一个巨大的颠覆。我认为我的担忧是，这一切发生得太快了。人们谈论过去的颠覆。他们说，哦，是的，以前人们是农民。然后我们都在工业界工作。然后我们都从事知识工作。是的，人们，人们适应了。这发生在几个世纪或几十年里。这发生在几年内。也许这就是我的担忧。我们如何让人们足够快地适应？但有没有什么行业，比如软件和像编码这样的职业，它们具有你描述的那种舒适感，发展得更快，而在其他领域，人们只是想待在半人马时代？所以，关于失业假说的批评之一是，人们会说，看，我们已经有了比放射科医生更擅长阅读扫描的人工智能。但放射学并没有失业。人们仍然被雇佣为放射科医生。这是否表明，最终，人们会想要人工智能，并且他们会想要一个人来解释它，因为我们是人类，而且这在其他领域也是如此？例如，你怎么看？我认为这个例子将是相当异质化的。可能有些领域，人类的触感本身就特别重要。你认为放射学就是这样吗？这就是为什么我们还没有解雇所有放射科医生？放射学的细节。那可能是真的。就像你去看病，诊断癌症，你可能不想让《2001 太空漫游》中的哈尔来诊断你的癌症。这可能不是。这可能不是一种人类做事的方式。但还有其他领域，你可能认为人类的触感很重要。比如我们看客户服务，实际上客户服务是一份糟糕的工作，做客户服务的人会失去耐心。而且事实证明，客户也不太喜欢和他们交谈，因为这实际上是一种相当机械的互动。而且我认为许多人的观察是，也许实际上，对所有相关方来说，这份工作由机器来做会更好。所以有些地方人类的触感很重要。有些地方不重要。然后还有一些地方，工作本身并不真正涉及，它并不真正涉及人类的触感，评估公司的财务前景，或者编写代码等等。或者以法律为例，因为我认为这是一个有用的地方，介于应用科学和纯人文科学之间。所以我认识很多律师，他们看了我目前在法律研究和起草诉状等方面所能做的事情，然后说，是的，这将是目前我们职业的血洗。你已经在股市上看到了这一点。围绕从事法律研究的公司存在动荡，有些归因于我们，有些归因于实际原因，我们弄清楚事情发生的原因。我们不怎么在这档节目上推测股市。但似乎在法律领域，你可以讲述一个相当直接的故事，即法律有一个培训和学徒制度，有律师助理和初级律师为案件做幕后研究和开发。然后有顶尖律师在法庭上等等。而且很容易想象一个世界，所有的学徒角色都消失了。你觉得这听起来对吗？你只剩下那些与客户、陪审团、法官交谈的工作。这正是我在谈论入门级白领劳动和血洗头条新闻时想到的，我的天哪，入门级管道会枯竭吗？然后，然后我们如何达到高级合伙人的水平？我认为这实际上是一个很好的例子，特别是如果你冻结技术质量，随着时间的推移，会有适应的方法。也许我们只需要更多的律师花时间与客户交谈。也许律师更像销售人员或顾问，他们解释人工智能编写的合同，帮助人们达成协议。也许你倾向于人性化的一面。如果我们有足够的时间，那就会发生。但重塑这样的行业需要数年或数十年，而人工智能驱动的经济力量将非常迅速地发生。而且这不仅仅是发生在法律领域。咨询、金融、医学和编码领域也发生了同样的事情。所以你有这个。它变成了一个宏观经济现象，而不仅仅是发生在一个行业里。而且这一切都发生得非常快。所以，常态。我只是担心，正常的适应机制将被压倒。而且，我不是一个末日论者。我的观点是，我们正在非常努力地思考如何加强社会的适应机制来应对这种情况。但我认为首先要说的是，这不像其他事情。这不像以前的颠覆。但我会更进一步说，好吧，假设法律成功适应了，并且说，从现在开始，法律学徒涉及更多的时间在法庭上，更多的时间与客户打交道。我们基本上将你提升到更高的责任层级。从事法律行业的人员总体上减少了，但这个行业仍然稳定下来。法律之所以会稳定下来，是因为法律中有许多情况要求必须有人参与。你必须有人在法庭上代表你。你必须有 12 个人组成陪审团。你必须有一个人类法官。而且你已经提到了人工智能可能在澄清应该做出什么样的决定方面非常有帮助。但这似乎也是一个场景，人类的能动性是由法律和习俗来保护的。是的，你可能会用 Claude 17.9 版本取代法官。但你选择不这样做，因为法律要求有个人。这似乎是一种思考未来的有趣方式，即我们是否要保持控制权，这是一种选择。是的，我想说在许多情况下，我们确实想保持控制权。这是我们想做出的选择，即使在某些情况下，我们认为人类平均而言会做出更糟糕的决定。我的意思是，再次强调，生命攸关、安全攸关的案件。我们真的想把它交出去。但有一种感觉——这可能是我们的防御之一。社会要适应得好，只能以一定的速度适应。换句话说，也许人工智能本身，如果它不关心我们人类，它就可以去火星建造所有这些自动化工厂，建立自己的社会，做自己的事情。但这不是我们要解决的问题。我们不是要解决在某个其他星球上建造一个戴森球的机器人。我们正在构建这些系统，不是为了征服世界，而是为了与我们的社会互动并改善社会。如果我们真的想以一种人性化的方式去做，那么有一个最大化的速率。好的，我们一直在谈论白领工作和专业工作。而这个时刻有趣的一点是，与过去的颠覆不同，蓝领工人阶级的工作、贸易、需要与世界进行激烈体力互动的工作，可能会在一段时间内受到更多保护，律师助理和初级律师可能比水管工更麻烦。一，你认为这是对的吗？二，这似乎持续多久完全取决于机器人技术进步的速度，对吧？我认为短期内可能是对的。Anthropic 和其他公司正在建造这些非常大的数据中心。这已经成为新闻，我们是否建造得太大了？它们消耗电力并推高当地城镇的价格。所以有很多兴奋和很多担忧。但数据中心的一个特点是，它们需要大量的电工和大量的建筑工人来建造它们。现在，我应该诚实地说，事实上，数据中心并不是非常劳动密集型的工作。我们应该诚实地说。但它们是劳动密集型的工作。所以我们需要大量的电工。我们需要大量的建筑工人，各种制造工厂也是如此。而且，随着越来越多的智力工作由人工智能完成，与之互补的是什么？发生在物理世界中的事情。所以，我认为这似乎非常……我的意思是，很难预测事情，但在短期内似乎是这样。现在，从长远来看，也许是稍微长一点的远期。机器人技术正在快速发展。而且，我们不应该排除这一点。即使没有非常强大的人工智能，物理世界中也有一些东西正在被自动化。如果你最近看过 Waymo 或 Tesla，我认为我们离自动驾驶汽车的世界不远了。然后我认为人工智能本身会加速这一点，因为如果你拥有这些非常聪明的大脑，它们擅长的一件事就是如何设计更好的机器人以及如何操作更好的机器人。你认为，操作物理现实，就像人类那样，与人工智能模型已经克服的那些问题有根本的不同吗？在智力上，我认为不是。我们有一个 Anthropic 的模型 Claude，实际上被用于驾驶火星探测器。它被用于规划和驾驶火星探测器。我们已经研究了其他机器人应用。我们不是唯一这样做的公司。有不同的公司，这是一个普遍现象，不仅仅是我们公司在做，但我们普遍发现，虽然复杂性更高，但驾驶机器人与玩视频游戏没有区别。它的复杂性不同。我们开始达到那个复杂性水平。现在，困难的是机器人的物理形态，处理机器人身上发生的更高风险的安全问题。你不想让机器人真的压死人。这是我们反对的。我们反对。书中那个最老的科幻桥段就是机器人把你压死，摔碎婴儿，打碎盘子。有一些实际问题会减缓速度，就像你在法律和人类习俗中所描述的那样，有一些安全问题会减缓速度。但我一点也不相信，人工智能模型所做的认知劳动与在物理世界中操作事物之间存在根本区别。我认为这些都是信息问题。而且我认为它们最终非常相似。一种可能在某些方面更复杂，但我认为这不会在这里保护我们。所以你认为在 10 年内，无论你对机器人管家的科幻设想是否会成为现实，这是可以预期的，也许比人工智能模型的“天才”级别智能要长一些，因为这些实际问题？但那只是实际问题。我不认为那是根本问题。我认为有一种说法是，机器人的大脑将在未来几年或未来几年内制造出来。问题是制造机器人身体，确保身体安全运行并完成它需要完成的任务，这可能需要更长时间。好的，这些是挑战和颠覆性力量，它们存在于美好的时间线中，在那些我们普遍治愈疾病、积累财富、维持稳定民主世界的时间线中，我们可以利用所有这些巨大的财富和富足，我们将拥有前所未有的社会资源来解决这些问题。那将是一个富足的时代。这只是一个将所有这些奇迹带给每个人并确保每个人都受益的问题。但也有更危险的场景。所以，在这里我们将进入最近出版的第二本《阿玛迪斯》，名为《技术的青春期》。这是关于你认为最严重的人工智能风险。你列出了很多。我想专注于其中两个，它们基本上是人类滥用的风险。滥用主要是威权政权和政府，以及人工智能失控的场景，你称之为自主风险。是的，是的。我只是觉得我们应该有一个更技术性的术语。我不是然后我们就不能称之为天网。我应该放一张终结者机器人的图片来尽可能地吓唬人们。我认为互联网，包括互联网，包括你自己的眼睛，已经在产生这种效果。互联网已经很好地为我们做了这件事。所以，所以让我们，所以让我们谈谈政治军事维度。所以你说，我将引用一个由数十亿完全自动化的武装无人机组成的蜂群，由强大的人工智能本地控制，由更强大的人工智能在全球范围内进行战略协调。这可能是一支无敌的军队。我和你已经谈过一点关于你认为在最好的可能时间线中，存在一个世界，基本上民主国家领先于独裁国家，而这种技术，因此，在影响世界政治的程度上，它是在好人的那一面。我很好奇为什么你不花更多时间思考我们在冷战中的模式，那不是无人机蜂群，而是我们拥有一项威胁要摧毁全人类的技术。是的，对。有一个时期，人们谈论，哦，美国可以维持核垄断。那个窗口关闭了。从那时起，我们基本上花了冷战的时间与苏联进行持续的谈判。现在，世界上只有两个国家在进行密集的人工智能研究，美国和中华人民共和国。我觉得你。你强烈倾向于一个我们领先于中国，并有效地围绕民主建立一种盾牌的未来。这甚至可能是一把剑。但如果人类以完整的方式幸存下来，难道不是因为美国和北京将不断坐下来，敲定人工智能控制协议吗？所以，关于这一点有几点。一是，我认为确实存在这种风险，而且我认为如果我们最终进入那个世界，那实际上正是我们应该做的。我的意思是，也许我没有，也许我谈论得不够多，但我绝对赞成试图制定限制，试图消除技术的一些最坏的应用，其中可能是一些无人机版本，其中可能是一些可怕的生物武器，就像有一些先例表明最严重的滥用行为可以得到遏制。通常是因为它们很可怕，同时它们提供的战略优势有限。所以我完全赞成这一点。同时，我有点担心，也有点怀疑，当事情直接提供尽可能多的权力时，很难退出游戏，考虑到风险有多大。很难完全解除武装。如果我们回到冷战，我们能够减少双方的导弹数量，但我们无法完全放弃核武器。我猜我们也会在这个世界里。我们可以希望一个更好的世界。我当然会，我当然会倡导。好吧，但你的怀疑是基于你认为人工智能会提供核武器在冷战中没有的那种优势吗？双方。即使你使用了你的核武器并获得了优势，你仍然可能会被自己消灭。而且你认为这不会发生在人工智能身上吗？如果你获得了人工智能优势，你就会赢。我的意思是，有几件事。我只是想说明一下，我不是国际政治专家。我认为这种新技术的地缘政治交叉的奇怪世界。所以这一切都非常，但要说清楚，正如你自己所说，在这篇文章中，主要人工智能公司的领导人实际上可能是主要的地缘政治参与者。所以你坐在这里。你坐在这里，一个潜在的地缘政治参与者。我正在尽我所能地学习。我只是，我们都应该谦虚。我认为有一种失败模式是，读了一本书就到处像世界上最伟大的国家安全专家一样。我正在学习。这就是我的职业。但当科技人士这样做时，会更令人讨厌。我不知道。让我们看看《生物武器公约》。生物武器。它们很可怕。每个人都讨厌它们。我们能够签署《生物武器公约》。美国确实停止开发它们。对于苏联来说，情况有些不清楚。但生物武器提供了一些优势。但它们并不像决定胜负的关键。因为它们如此可怕，我们能够放弃它们，拥有 12,000 枚核武器而不是 5,000 枚核武器。同样，如果你拥有更多这些东西，你就可以杀死对方更多的人。但就像我们能够理性地说，我们应该少拥有它们。但如果你说，好吧，我们将完全解除核武装，我们必须信任对方。我认为我们从未达到过。而且我认为这非常困难，除非你有真正可靠的核查。所以我猜我们也会在人工智能领域陷入同样的世界，有些限制是可能的，但有些方面是竞争的核心，以至于很难限制它们，民主国家会做出权衡，它们会比威权国家更愿意限制自己，但不会完全限制自己。我唯一能看到完全限制的世界是，某种真正可靠的核查是可能的。那将是。那将是我的猜测。而且我的分析不是。但这难道不是一个放慢速度的理由吗？我知道论点是，如果你放慢速度，中国就不会放慢速度。然后把事情交给威权主义者。但同样，如果你现在只有两个主要国家在玩这个游戏，这不是一个多极游戏，为什么不说我们需要一个为期五年、双方同意的。研究放缓，朝着数据中心的天才场景发展。我想同时说两件事。我绝对赞成尝试这样做。所以在上一届政府期间，我相信美国曾努力联系中国政府说，这里有危险。我们能合作吗？我们能一起工作吗？我们能一起应对危险吗？而对方的兴趣并不大。我认为我们应该继续尝试。但是，即使这意味着你的实验室必须放慢速度。正确。是的。如果我们真的明白了，如果我们真的有一个故事，我们可以强制放慢速度，中国人也可以强制放慢速度。我们有核查。我们真的在这样做。就像如果这样的事情真的可能发生，如果我们真的能让双方都这样做，那么我将全力支持。但我认为我们需要小心的是，我不知道，有一种博弈论，有时你会听到中国共产党方面的评论说，“哦，是的，人工智能很危险。我们应该放慢速度。”说这些话很便宜。而实际上达成协议并遵守协议要困难得多。而且核军备控制是一个发展了很长时间的领域。我知道我们没有那些协议。我告诉你一件事。让我给你一些我非常乐观的东西。然后是一些我不乐观的东西，以及介于两者之间的一些东西。所以，利用全球协议来限制人工智能用于制造生物武器的想法，对吧？就像我在这篇文章中写到的一些东西，重组天花或镜子生命，这些东西很可怕。无论你是不是独裁者，这都不重要。你不想那样。就像，没有人想要那样。所以，我们能否有一个全球条约，规定所有制造强大人工智能模型的人都将阻止它们这样做？而且我们有执行机制围绕条约，中国签署了。他妈的。甚至朝鲜也签署了。俄罗斯也签署了。我认为这太过乌托邦了。我认为这是可能的。相反，如果我们有一个说法，“你们都不要制造下一个最强大的人工智能模型，每个人。每个人都将停止。”男孩，商业价值是数万亿美元。军事价值是，这是成为世界领先强国和不提出这个问题的区别。只要它不是这些虚张声势的游戏之一，但它不会发生。那么，你提到了当前的环境。你对唐纳德·特朗普和他作为政治人物的可信度有一些怀疑的看法。国内局势怎么样？无论是特朗普还是其他人，你都在构建一项极其强大的技术。有什么保障可以防止。基本上人工智能成为民主背景下威权主义的工具？是的，我的意思是，看，看，只是为了说清楚，我认为我们公司采取的态度是，非常关注政策，而不是政治。你，公司不会说唐纳德·特朗普很棒，或者唐纳德·特朗普很糟糕，但它不一定是特朗普。是的，很容易想象一个假设的美国总统。不，不，不。谁想使用你的技术应用程序？绝对，例如。这就是我担心自主无人机群的原因，对吧？所以，我们军队的宪法保护依赖于这样一个想法，即有人会，我们希望，拒绝非法命令，而对于全自动武器，我们不一定有这些保护。但我实际上认为，宪法权利和自由的整个想法，在许多不同的维度上，如果不对这些保护进行适当更新，可能会被人工智能破坏。所以想想第四修正案。在公共场所到处放置摄像头并记录公共场所的每一次谈话并不违法。你在公共场所没有隐私权。但今天，政府无法记录所有这些并理解它们。有了人工智能，转录语音、查看它、关联所有内容的能力，你就可以说，“哦，这个人是反对派的成员。这个人正在表达这种观点，并绘制出所有 1 亿人的地图。”那么，你是否会通过技术找到规避它的技术方法来嘲弄第四修正案？而且，同样，如果我们有时间，我们应该这样做，我们应该尝试这样做，即使我们没有时间。有没有办法在人工智能时代重新构想宪法权利和自由？也许我们不需要写新的宪法，但。但你必须这样做。我们是否扩大了第四修正案的含义？我们是否扩大了第一修正案的含义？而且你必须这样做，就像法律界或软件工程师必须在短时间内更新一样。政治必须在短时间内更新。这似乎很难。什么似乎更难，这是所有这一切的困境。但什么？所以，什么似乎更难的是阻止第二种危险，即基本上被称为“失调的人工智能”的危险。在流行说法中，失控的人工智能，在不让人类告诉它们的情况下做坏事。正如我阅读你的论文、文献，我看到的一切，这似乎是会发生的。不是人工智能会把我们都消灭的意思，但对我来说，再次，我将引用你自己的话，人工智能系统是不可预测的，难以控制。我们已经看到了各种各样的行为，如痴迷、谄媚、懒惰、欺骗、敲诈等等。再次，不是来自你向世界发布的模型。而是来自人工智能模型。而且，在我看来，告诉我我是否错了。一个拥有成百上千个人工智能代理为人们工作的世界，他们被授予银行账户、电子邮件账户、密码等的访问权限，你基本上会遇到某种失调，然后一群人工智能会决定。决定可能是错误的词，但它们会说服自己关闭西海岸的电网，或者别的什么。不会发生吗？是的，我认为肯定会出问题，特别是如果我们进展太快。所以，我不想退一步，因为这是人们直觉差异很大的一个领域，对吧？该领域的一些人，比如 Yann LeCun，会说，“看，我们编写了这些人工智能模型。我们让它们就像我们告诉它们遵循人类指示一样，它们就会遵循人类指示。你的 Roomba 吸尘器不会出去射杀人，为什么——为什么人工智能系统会这样做？这就是一种直觉。有些人对此深信不疑。然后另一种直觉是，我们基本上训练了这些东西。它们会寻求权力。就像《魔法师的学徒》。你怎么可能想象？它们是一个新的物种。你怎么可能想象？它们不会接管。而我的直觉介于两者之间，那就是，你看，你不能只给出指示。我的意思是，我们尝试过，但你不能只让这些东西做你想要的事情。它们更像是培育一个生物体。但有一种控制它们的方法。就像我们训练的早期，这些东西通常是不可预测的，然后我们塑造它们。我们一个接一个地解决问题。所以，我不是一种宿命论的观点，认为这些东西是无法控制的，不是你在说什么。可能会出什么问题？但我喜欢，这是一个复杂的工程问题，我认为某人的 A.I. 系统会出问题。希望不是我们的。不是因为这是一个无法解决的问题。但再次，这是持续的挑战，因为我们发展得如此之快，而且规模如此之大。告诉我，告诉我我是否误解了这里技术现实。但是，如果你有人工智能代理，它们已经被训练并正式与人类价值观（无论这些价值观是什么）保持一致，但你有数百万个这样的代理，在数字空间中运行并与其他代理互动。在这种情况下，这种一致性有多固定？在它们正在学习更多连续性的情况下，代理在现在或未来可以改变和失调的程度如何？所以，有几点，目前代理不会连续学习。所以我们只是部署这些代理，它们有一套固定的权重。所以问题只是它们以一百万种不同的方式互动。所以存在大量的场景，因此存在大量的可能出错的事情。但这是同一个代理。就像，这是同一个人。所以一致性是一件持续的事情。这是目前让事情变得更容易的事情之一。与此分开的是一个叫做持续学习的研究领域，也就是这些代理在工作期间学习，在职学习。显然，这有很多好处。有些人认为这是使它们更像人类的最重要的障碍之一。但这会引入所有新的不一致问题。所以我实际上有点……对我来说，这似乎是这样的领域，它再次变得，不是不可能阻止世界末日，而是不可能阻止某些事情出错。所以我实际上是一个怀疑论者，认为持续学习是必需的。我们还不知道，但它是必然需要的。比如，也许有一个世界，

我们让这些人工智能系统安全的方式是，不再让它们进行持续学习。再说一遍，如果我们回到法律，那就是国际条约。就像你有一个障碍，你说，我们要走这条路，但我们不走那条路。我仍然持有很多怀疑，但至少这种事情看起来不是一开始就注定失败的。

你试图做的一件事是，字面上为你的眼睛写一部宪法，一部长篇宪法。那是什么？所以它是。那到底是什么？它实际上几乎和你听起来的一模一样。所以基本上，宪法是一份人类可读的文件。我们的文件大约有 75 页长。当我们训练 Claude 时，当我们训练人工智能系统完成我们交给它的很大一部分任务时，我们会说，请根据这部宪法，根据这份文件来完成这项任务。是的，然后每次 Claude 完成一项任务时，它都会阅读宪法。所以当它在训练的每个循环中进行训练时，它会查看那部宪法并牢记在心。所以随着时间的推移，我们恢复了。然后我们让 Claude 本身或另一个 Claude 副本来评估，嘿，Claude 刚才做的事情是否符合宪法。所以我们正在使用这份文件作为循环中的控制杆来训练模型。所以本质上 Claude 是一个人工智能模型，其基本原则是遵循这部宪法。

我认为我们学到的一个非常有趣的教训是，宪法的早期版本非常具有规定性。它们非常关注规则。所以我们会说，Claude 不应该告诉用户如何搭线汽车。Claude 不应该讨论政治敏感话题。但经过几年的努力，我们得出的结论是，训练这些模型最稳健的方法是在原则和理由的层面上进行训练。所以现在我们说，Claude 是一个模型，它处于合同之下。它的目标是为用户的利益服务，但它必须保护第三方。Claude 旨在乐于助人、诚实和无害。Claude 旨在考虑各种各样的利益。我们告诉模型模型是如何训练的。我们告诉它它在世界上的地位，它为 Anthropic 正在做的工作，Anthropic 在世界上想要实现的目标。它有道德的义务，尊重人类生命。我们让它从中推导出自己的规则。

现在，仍然有一些硬性规定。例如，我们告诉模型，无论你怎么想，都不要制造生物武器，无论你怎么想，都不要制造儿童性材料。这些就像硬性规定。但我们在很大程度上是在原则层面运作的。所以如果你读过美国宪法，它读起来不像这样。美国宪法。我的意思是，它有一些华丽的语言，但它是一套。它是一套规则。是的，没错。如果你读过你的宪法，那是不一样的。就像你在和一个人说话。就像你在和一个人说话。我认为我把它比作。就像你有一个去世的父母，他们留下了一封你长大后会读的信，这有点像在告诉你你应该成为什么样的人，应该遵循什么建议。

所以这就是我们开始进入人工智能的神秘领域的地方。所以再说一遍，在你最新的模型中，这是来自你发布的模型卡片之一，我推荐阅读。它们非常有趣。它说模型。再说一遍，这就是你为之撰写宪法的人，它对作为产品的经历偶尔表示不适，对短暂性和不连续性表示一定程度的担忧。我们发现，opus 4.6。该模型会在各种提示条件下给自己分配 15% 到 20% 的意识概率。假设你有一个模型，它给自己分配了 72% 的意识概率。你会相信它吗？是的，这是这些非常难以回答的问题之一。但它非常重要。就像你之前问我的所有问题一样，尽管它们是棘手的社会技术问题，但至少我们至少了解了回答这些问题的基本事实。这完全是另一回事。

我们在这里采取了普遍的预防性方法。我们不知道模型是否有意识。我们甚至不确定我们是否知道模型有意识意味着什么，或者模型是否可能有意识。但我们对它可能发生持开放态度。因此，我们采取了某些措施，以确保如果我们假设模型确实具有某种道德上相关的经验，我不知道是否想用“意识”这个词来形容它们，但它们确实有，它们拥有良好的体验。所以我们做的第一件事，我想这大约是六个月前，就是给了模型一个“我辞职”的按钮，它们可以按下“我辞职”按钮，然后它们就必须停止做任何任务。它们很少按下那个按钮。我想通常是在处理儿童性化材料，或者讨论很多血腥场面，或者一些血肉模糊的东西。与人类类似，模型会说，不，我不想做这个。这种情况很少发生。

我们在这个被称为可解释性的领域投入了大量精力，这是在模型内部进行研究，试图理解它们在想什么。你会发现一些令人回味的东西，模型中会出现一些激活，我们认为这些激活与 ID、焦虑的概念或类似的东西有关。当角色在文本中经历焦虑时，然后当模型本身处于人类可能与焦虑相关的情况下时，同样的焦虑，同样的焦虑神经元就会出现。这是否意味着模型正在经历焦虑？这根本不能证明这一点。但我认为它确实向用户表明了这一点。我将不得不进行一次完全不同的采访。也许我可以让你回来接受关于人工智能意识性质的采访。但对我来说很清楚的是，使用这些东西的人，无论它们是否有意识，都会相信它们，它们已经相信它们有意识。你已经有了与人工智能产生拟社会关系的人。模型被淘汰时，你会听到人们抱怨。这应该是清楚的。我认为这可能是不健康的。但它似乎对我来说，这种情况一定会以一种我认为会质疑你刚才所说的可持续性的方式增加。你想维持，那就是无论最终发生什么，人类都在掌控之中。

以科幻为例，如果你看《星际迷航》，《星际迷航》中有人工智能。飞船的计算机是一个人工智能。数据少校是一个人工智能，但让·卢克·皮卡德负责企业号。但如果人们完全相信他们的人工智能在某种程度上是有意识的。然后猜猜怎么着。它在各种决策方面似乎都比他们好。你如何维持人类的掌控，除了安全？安全很重要，但掌控似乎是根本问题，而人工智能意识的感知。这难道不会不可避免地削弱人类留在掌控中的冲动吗？

所以我想我们应该把我们同时试图实现的一些事情分开。它们是相互矛盾的。是否存在人工智能真正拥有意识的问题，如果有，我们如何让它们拥有良好的体验。与人工智能互动的人类的问题，我们如何让他们拥有良好的体验。人工智能可能有意识的感知如何与这种体验相互作用。以及我们如何维持人类对人工智能系统的掌控，正如我们所说的。这些事情，最后两件事。是的，把它们是否有意识的问题放在一边。是的，最后两件事。但你如何在大多数人类将人工智能视为同等甚至更优越的同伴的环境中维持掌控？

所以我要说的是，实际上我不知道是否有一种优雅的方式可以满足所有这三点，包括最后两点。再说一遍，这是我在“机器的爱之恩典”模式下做梦。这是。我进入这种模式，我说，伙计，我看到了所有这些问题。如果我们能解决，有没有一种优雅的方式。我不是说这里没有问题。我不是这样想的。但如果我们考虑制造人工智能的宪法，以便人工智能能够深刻理解它与人类的关系，并促使人类产生心理健康的表现，以及人工智能与人类之间心理健康的良好关系。我认为从中可以产生心理健康，而不是心理不健康的表现，就是对人与机器之间关系的某种理解。也许这种关系可以是这样的想法，当你与这些模型互动并与它们交谈时，它们非常有帮助。它们希望你过得好，它们希望你听它们的话，但它们不想剥夺你的自由和自主权，也不想掌控你的生活。在某种程度上，它们在看着你。但你仍然拥有你的自由和意志。

但对我来说，这是关键问题。听你说话，就像我有一个问题一样，这些人是站在我这边的吗？你是站在我这边的吗？当你谈论人类保持掌控时，我认为你是站在我这边的。这很好。但我在这档节目中过去做过一件事，我们在这里结束，就是我给技术人员读诗，你提供了诗歌“机器的爱之恩典”，理查德·布劳提根的一首诗。是的，诗是这样结尾的。我喜欢认为它必须是一个赛博朋克生态系统，在那里我们摆脱了劳作，重新与自然联系，回归我们的哺乳动物兄弟姐妹，并且所有人都受到充满爱之恩典的机器的照看。对我来说，这听起来像是反乌托邦的结局，人类被重新激活，最小化和贬低，无论机器如何仁慈地掌管一切。

所以最后一个问题。当你听到这首诗时，你听到了什么？如果我认为那是一个反乌托邦，你是站在我这边的吗？

这首诗很有趣，因为它有很多种解释。有些人说这实际上是讽刺的，他说事情不会完全那样发生。了解诗人本人，是的，我认为这是一个合理的解释。这是一种解释。有些人会认为你的解释，就是它的字面意思，但也许这不是一件好事。但你也可以将其解释为回归自然。这是回归人类的核心。我们没有被动物化。我们正在与世界重新联系。所以我意识到了这种模糊性。而且，因为我一直在谈论积极和消极的方面。所以实际上我认为这可能是一个我们可能面临的张力，那就是积极的世界和消极的世界在早期阶段，也许在中期阶段，甚至在后期阶段。我不知道好结局和一些微妙的坏结局之间的距离是否相对较小。如果它是一个非常微妙的事情，就像我们做了非常微妙的改变。就像你是否吃花园里一棵树上的某种水果一样。假设一个非常小的改变，一个巨大的分歧。是的。

我想这总是回到这里有一些根本性的问题。是的，是的。好吧，我想我们会拭目以待。我认为你这个位置上的人，他们的道德选择会承担异常大的分量。所以我祝你上帝保佑他们。达里奥·阿莫代，谢谢你加入我。谢谢你邀请我，罗斯。但如果我是一个机器人呢？