Transcription
它将帮助我们治愈癌症。它可能会帮助我们根除热带疾病。它将帮助我们理解宇宙。但存在这些[音乐]巨大而严重的风险。>> 欢迎收听达沃斯电台，这是世界经济论坛的播客，探讨最大的挑战以及我们如何解决它们。本周，当人工智能（AI）成为通用人工智能（AGI），即在几乎所有方面都比人类更智能时，会发生什么？
>> 通用人工智能（AGI）到来后[音乐]会发生什么？届时我们真的会进入未知领域。
谷歌DeepMind首席执行官德米斯·哈萨比和Anthropic的达里奥·阿马代，两位最聪明的人类头脑齐聚达沃斯，进行了一场名为“通用人工智能（AGI）之后的一天”的对话。
>> 对我来说，这就像是披头士乐队和滚石乐队之间的一次对话。
《经济学人》主编询问这些摇滚明星般的人工智能创始人，我们其他人应该了解哪些关于通用人工智能（AGI）的信息，而通用人工智能可能只剩下几年时间了。我们能否在不自我毁灭的情况下，度过这项技术的“技术青春期”？[音乐]
>> 我认为这是一个风险。这是一个如果我们齐心协力就能解决的风险。我们可以通过科学学习如何恰当地[音乐]控制和引导我们正在创造的这些造物。但如果我们建造得不好，[音乐]如果我们都在竞速，速度快到没有护栏，那么我认为就有出错的风险。
那么，通用人工智能（AGI）到底是什么？它何时会发生，又意味着什么？尽在本期达沃斯电台，您可以在任何播客平台和w.chodcast收听。我是世界经济论坛的罗宾·波梅莫罗伊，与您一同展望人工智能和人类的未来。
>> 作为人类，[音乐]接下来的故事由我们书写。
这里是达沃斯电台。欢迎收听达沃斯电台。本周我们正在讨论人工智能和通用人工智能。为了讨论这个话题，我请到了一位联合主持人，本杰明·拉森，他远道从旧金山而来。嗨，本杰明。你好吗？
>> 嗨，罗宾。很高兴来到这里。
很高兴有你。告诉我们你在世界经济论坛做什么。
>> 我是人工智能安全负责人。我在论坛的人工智能卓越中心工作。我常驻旧金山。我们有一个名为“人工智能全球联盟”的组织，其中有多个不同的工作流程，我正在领导其中一个名为“安全系统和技术”的工作流程，我们特别关注前沿模型、系统和人工智能代理的安全和保障等方面。你在这里和我一起，为几周前在2026年达沃斯世界经济论坛年会上举行的一场会议做铺垫。它在网上被观看了很多很多次。它是两位人工智能创始人兼首席执行官。你能告诉我们一些关于他们的事情吗？他们是达里奥·阿马代和德米斯·哈萨比。他们是谁，为什么值得我们倾听？
>> 是的，当然。所以，达里奥·阿马代和德米斯·哈萨比基本上是当今塑造先进人工智能方向的两位最具影响力的领导者。达里奥是Anthropic的首席执行官兼联合创始人，Anthropic是领先的人工智能研究公司之一。他实际上曾任职于OpenAI，最著名的可能是他专注于人工智能安全和对齐，以及构建强大但安全可控的系统。这对Anthropic来说是非常核心和重要的。然后是德米斯。德米斯是谷歌DeepMind的首席执行官兼联合创始人。他最初实际上是一名神经科学家。他以AlphaGo等突破性成就而闻名，AlphaGo是一个在2016年击败世界顶尖围棋选手的系统。但他也非常擅长科学人工智能，例如AlphaFold这样的蛋白质结构预测算法等先进突破，德米斯长期以来将人工智能视为一个旨在理解智能本身的科学项目，这也是人工智能（AGI）发挥作用的地方。
>> 那么通用人工智能（AGI），即人工通用智能，这是一个非常清晰的概念吗？我感觉它可能有好几种定义，或者说是一个定义尺度。你怎么看？如果我以前从未听过这个词，你会如何为我定义它？
>> 是的。所以，我想说，也许一种理解方式是，你可以拥有狭窄或特定的智能，或者你可以拥有非常通用的智能。所以AGI，它代表人工通用智能，它实际上指的是一个系统，能够理解、学习并在与人类相当的各种任务中应用知识。所以如果你想想我们的智能，罗宾，我们并非只在一个狭窄和非常特定的领域拥有智能，而是能够在物理世界中互动和操作，这需要一种非常广泛和通用的智能。所以你可以将其视为一种人工智能系统，它们正从非常简单和有范围的系统，发展到能够广泛理解并以与人类非常相似和非常通用的方式与世界互动和解释世界。对于那些在过去三年左右被生成式人工智能搞得有点困惑的人来说，他们可能会说，嗯，看起来有些模型已经能做到这一点了，因为你可以问这些大型语言模型任何问题。而且，它听起来非常权威。你也可以让它为你完成任务，解决问题或为你创造一些东西。这在某种程度上不已经是通用智能了吗？
>> 你可以说在某种程度上是的。而且是它的一个定义。所以我正在领导一个名为“通用人工智能全球未来理事会”的组织，由约书亚·本吉奥和日本人工智能安全研究所执行董事村上明子共同主持。我们使用的通用人工智能的工作定义是，它将是一个能够在各种数字环境中执行需要与人类认知功能相似的任务的系统。你可以说，在某种程度上，有些系统确实已经能够做到这一点。但它可能不具备“通用”性。所以一个系统可能在一个任务或一个领域表现出色，但要像人类一样在其他领域表现并切换任务，仍然需要大量的工程技术。所以你不能只是把任何系统插入任何数字环境，然后说根据这些规范执行这些和那些操作，这是目前仍然缺失的，但我们确实看到了朝这个方向发展的趋势和倾向。所以我们现在确实看到了这一点。
>> 为什么它如此重要？有些人还谈到“奇点”，我不太确定你是否能帮助我们解释那是什么意思。是不是有一天我们醒来，突然发现自己被拥有这种通用智能的、极其智能的机器——人工智能——包围了？为什么人们如此痴迷于通用人工智能（AGI）？因为你也听到很多这些公司的负责人说这就是他们正在努力的方向。也许存在一场实现通用人工智能的竞赛。为什么它如此重要？
>> 是的。所以奇点，只是稍微解释一下它是什么。这是一个假设的时间点，届时人工智能系统将能够以比人类理解或控制更快的速度自我改进。所以在这种情况下，你会看到加速的进步，这可能导致本质上快速或不可预测的社会变革。但我认为值得强调的是，并非所有人都相信奇点会发生，或者至少不会很快发生。但有些人也将其视为一个有用的思想实验，用于压力测试假设，例如关于指数增长的假设，而另一些人则可能将其视为一个真正的风险，需要今天就进行准备和重要的保障措施。所以我们之前在理事会工作中看待通用人工智能的方式，更像是一种渐进式的方法。它不是我们明天醒来就会拥有像我们理解的奇点那样的通用人工智能，但你可以将通用人工智能视为一种“参差不齐”的智能形式，它能够在某些领域表现出色并超越人类。例如，就现有语言模型中包含的底层信息而言，以及它们如何几乎像神谕一样回应，这与我们人类在有限记忆和对某些主题的理解方面的回应方式非常不同。但在其他我们人类擅长而这些系统不擅长的领域，我们可能会说，你为什么连我们五分钟前谈过什么都记不住？所以，所以，所以存在真正的差异，这就是为什么你可以将其理解为目前一种“参差不齐”的智能形式，它在某些领域加速发展，但在其他领域仍然非常有限。有一件事被提及，在我们即将听到的内容中，有一个概念被多次提及。他们谈论人工智能模型“闭环”。你能告诉我们那是什么意思吗？
>> “闭环”意味着从只能生成输出的人工智能系统发展。所以如果你今天提示一个大型语言模型，你会说，好的，我有一个输入，我期望一个输出。但“闭环”指的是那些也能采取行动、观察结果，然后相应地并随着时间调整其行为的系统。所以这意味着它更像是一个循环，类似于我们人类思考、学习和行动的方式。我不是想出一个答案，而是思考其含义是什么，我需要去哪里寻找额外的知识，我如何解决这个任务的一部分，然后根据我如何解决所有这些不同元素，我再回去重新审视最初的任务，这基本上就是闭环。所以你可以说这涉及某种迭代，而且它非常重要，因为它是迈向自主性的一步。你可以想象，如果你能够闭环，那么你实际上就拥有了更大的自主权，然后你可以在解决特定任务时采取更多无限的步骤。但当然，非常重要的是要强调，当你确实旨在闭环或旨在实现更大自主性时，例如在代理风险中，这需要新的治理方法，这也是我们在论坛工作中一直非常关注的。所以在一个闭环环境中，人工智能不再需要任何人类输入。它可以自主运行，学习新事物，自行决定做什么。还是我过于简化了？
>> 我认为就我们目前所处的位置而言，那会走得太远了。但从更大的图景来看，我们确实看到，例如计算机使用代理，你可以简单地给一个代理一台笔记本电脑，你可以让它做很多事情，然后也许你可以让它拥有一定程度的自由，它可以真正地出去做它自己的事情，它会继续并采取不可预测的行动。所以你当然不希望在任何工作环境中出现这种情况，因为这会带来许多风险，但你也可以说，这些系统在多大程度上是实际被转移或被引导去解决或优化特定问题的行动方面，比那更基本一些。所以这又回到了我们刚才谈到的奇点概念，以及方向从何而来？它是否来自一个旨在最大化自身目标或目的的算法？还是这些目标和目的是由实际运行系统的人类在循环中设定的？所以我认为这是控制方面的一个核心差异，与我们今天实际所处的位置相比。但当然，在某些情况下，你必须更仔细地思考我们正在创建的系统是什么，一旦我们拥有了能够闭环的人工通用智能，就像我们谈到的那样，其结果是什么，以及你如何能够控制并基本上保证这一点。
>> 最近有一种炒作周期，很有趣，我坐在日内瓦，你在旧金山，你离那些总是有趣事情发生的地方很近。偶尔会有故事从硅谷的泡沫中传出来。其中一个很多人一直在关注的是这个，嗯，它改了几次名字。我想OpenClaw是它的最新版本。我之所以提到它，是因为你提到你可以给人工智能一台笔记本电脑，让它去做自己的事情。据我所知，这里发生的事情就是这样。这就是一些人感到兴奋的原因。很多人也对它是什么持相当怀疑的态度。但是你能向任何没有听说过它的人解释一下它是什么，以及为什么有些人对此非常兴奋吗？
>> OpenClaw，当然是最新名称版本。所以这基本上就是个人人工智能助手的概念。假设我使用OpenClaw。OpenClaw是完全开源的。所以我基本上可以拥有一个私人助理。我可以授予它访问我的电子邮件、我的日历和我的日程安排的权限，这是你第一次拥有一个真正有用和有帮助的私人助理的概念。当然，它仍然很脆弱，可能会经常崩溃。但不同之处在于，罗宾，这次它是一个开源系统。每个人都可以调整代理并与之互动，并授予它访问个人资源等的权限。而我们迄今为止看到的许多代理，它们往往是专有的。它当然是闭源的。是公司正在开发这些系统，它们更针对特定的用例等等，这是一个很大的区别。但我们在OpenClaw上也看到了这一点，这是一个警示故事。一旦你开始授予早期代理访问权限，并允许它们访问你的所有系统等等，它也会增加黑客和恶意活动的攻击面，他们能够进入并利用网络安全漏洞等等。我当然不会在这种情况下或场景中感到舒服，因为我的某些个人数据可能会被泄露。所以这预示着未来的发展方向，我们将在代理和人工智能助手方面看到更多的创新，在开源领域也是如此，再加上模型上下文协议和代理间协议等底层协议，我们可以期待未来在人工智能和个人助手方面，以及更广泛的代理方面有更多的发展，以及这如何改变底层基础设施的概念，本质上拥有一个更具代理性的网络和更多代理性界面，这与我们之前谈到的闭环有关，即未来我们将在人工智能和一般软件系统中看到更多的自主性。
>> 好的。那么，让我们来听听达沃斯的这场会议。这两位，本场会议的主持人是《经济学人》主编赞妮·明顿·贝多斯，她说这就像主持，她之前和达里奥·阿莫德以及德米斯做过几次，她说这就像同时采访披头士乐队和滚石乐队，这是一个很好的铺垫。不过在我让你离开之前，本，你提到了全球未来理事会。这些是由世界经济论坛召集起来的，由来自世界各地十几位左右的专家组成的小组。在你的情况中，它是关于什么的全球未来理事会？你说了什么？
>> 它是关于通用人工智能（AGI）的全球未来理事会。
人们现在已经能找到相关资料了吗，还是那是未来需要关注的事情？
>> 是的。所以我们有一个网页，我们正在发布一些较短的简报文件，基本上是精确文件。所以我们正在研究我们在这里讨论过的代理和控制等领域，罗宾。我们正在研究国际合作，它会是什么样子。我们正在研究人工智能和政策触发因素。例如，对劳动力市场、经济和社会转型等方面的影响。当然，我们与即将收听的对话类似，在这些领域中的许多方面采取立场，并在这里基本上帮助利益相关者在面对日益强大的系统，即人工通用智能的概念时，做出更好的决策，思考它在未来会是什么样子？我们该怎么做？我们现在需要做些什么才能更好地准备？
我会把链接放在本期节目的节目说明中。你提到那个全球未来理事会的主席之一是约书亚·本吉奥。几周前我在达沃斯采访了他，他谈了很多关于人工智能的危险，就像我们现在即将听到的两个人一样，他们三位都是真正懂得自己在说什么的人。所以请留意达沃斯电台未来几周即将播出的那一集。暂时。本杰明·拉森，非常感谢你加入达沃斯电台。
>> 罗宾，很高兴来到这里。
太好了。那么，我们现在就去听吧。你可以观看这场会议。我也会放上链接。它在世界经济论坛的YouTube页面上。它的标题是《通用人工智能（AGI）之后的一天》。你听到的第一个声音将是《经济学人》主编赞妮·明顿·贝多斯。欢迎大家，也欢迎通过直播加入我们的人们，参加这场我不得不说期待已久的对话。去年在巴黎，我很幸运地主持了达里奥和德米斯·哈萨比斯之间的一场对话。恐怕那次对话最受关注的是，你们俩挤在一个非常小的双人沙发上，而我却坐在一个巨大的沙发上，这可能是我搞砸了。但我当时说，对我来说，这就像主持披头士乐队和滚石乐队之间的一场对话。从那以后，你们就没有在舞台上进行过对话了。所以，你知道，这是续集，乐队们再次聚首。我很高兴。你们无需介绍。我们对话的标题是“通用人工智能（AGI）之后的一天”，我认为这可能有点超前了，因为我们也许应该先谈谈我们能多快多容易地达到那里。我想对此做一些更新，然后再谈谈后果。所以首先是时间线，达里奥，你去年在巴黎说，到2026-2027年，我们将拥有一个模型，它能在许多领域达到诺贝尔奖得主的水平，完成人类能做的一切。我们现在是2026年。你还坚持那个时间线吗？
>> 所以你知道，总是很难确切知道什么时候会发生什么，但我认为那不会太遥远。所以，嗯，你知道，我设想它会发生的机制是，我们将制造擅长编码和人工智能研究的模型，并利用它来生产下一代模型，并加速它以创建一个循环，从而提高模型开发的速度。我们现在，就那些编写代码的模型而言，Anthropic内部的工程师说他们不再编写任何代码了。我只是让模型编写代码。我编辑它。我做它周围的事情。我想我不知道。我们可能离模型完成大部分甚至所有端到端工作还有六到十二个月。然后问题是那个循环闭合的速度有多快。并非那个循环的每个部分都能被人工智能加速，对吗？有像芯片，有芯片制造商，有模型的训练时间。所以，你知道，我认为有很多不确定性。很容易看出这可能需要几年时间。我很难想象它会比那更长。嗯，但如果我必须猜测，我会猜测这比人们想象的要快。而且代码和日益增长的研究比我们想象的要快，这是关键因素。那将是关键驱动力。再次很难预测这种指数增长会把我们加速多少，但肯定会发生一些快速的事情。
那么德米斯，你去年更谨慎一些。你说，到本十年末，出现一个能够展现人类所有认知能力的系统的可能性是50%。嗯，显然在编码方面，正如达里奥所说，它取得了显著的进展。你觉得你还坚持你的预测吗？过去一年有什么变化？
>> 是的，你看，我，我，我，我，我想我仍然在相同的时间线上。我认为已经取得了显著的进展。但我认为某些领域的工程工作，比如编码或者你可以说是数学，更容易看出它们如何被自动化，部分原因在于它们的输出是可验证的。嗯，自然科学的某些领域比那要难得多。你不一定会知道你构建的化合物或这个物理预测是否正确。可能你需要通过实验来测试，那都会花费更长的时间。所以，嗯，我还认为目前存在一些缺失的能力，比如不仅仅是解决现有的猜想或现有问题，而是首先提出问题，或者提出理论或假设。我认为那要困难得多，我认为那是科学创造力的最高水平，而且还不清楚。我认为我们会有那些系统，所以我认为这不是不可能的，但我认为可能缺少一两个关键要素。嗯，还有待观察，你知道，首先，我们都在努力的这个自我改进循环是否能在没有人类参与的情况下真正闭合。顺便说一句，我认为那种系统也存在风险，我们应该讨论，我相信我们会的。但如果那种系统确实有效，那可能会加速事情的进展。
我们稍后会谈到风险。但我认为过去一年另一个变化是，如果可以这么说的话，这场竞赛的“排位”发生了一些变化。一年前的这个时候，我们刚刚经历了DeepSeek时刻，每个人都对那里发生的事情感到无比兴奋，而且仍然有一种感觉，你知道，谷歌DeepMind有点落后于OpenAI。我会说现在看起来大不相同了。我的意思是，他们已经宣布了“红色代码”，对吗？嗯，这是相当不平凡的一年。那么，请告诉我你具体被什么所惊讶，以及你今年做得有多好，以及你是否认为，然后我将问你关于阵容的问题。
嗯，[哼]你看，我，我，我，我一直非常有信心我们能够重新回到排行榜的顶端，并在所有方面都拥有最先进的模型，因为我认为我们一直拥有最深入和最广泛的研究团队，而这关乎将所有这些整合起来，并让整个组织重新获得那种强度、专注和创业心态，这需要大量的工作，嗯，但我认为我们，而且我们还有很多工作要做，嗯，但我认为你已经可以看到，你知道，Gemini 3模型以及产品方面Gemini应用市场份额的不断增长所取得的进展。
所以我觉得我们正在取得巨大进展，但还有大量工作要做，而且你知道，我们正在发挥谷歌DeepMind作为谷歌“引擎室”的作用，我们正习惯于将我们的模型越来越快地推向产品界面。
达里奥，关于这方面我有一个问题，因为你刚刚或者正在进行一轮估值非凡的新融资。嗯，但你与德米斯不同，你是一个，我们称之为独立的模型制造商，我认为人们越来越担心独立的模型制造商无法持续足够长的时间，直到你们获得收入。
嗯，关于OpenAI，这一点非常公开，但请告诉我你是如何看待这个问题的，然后我们再谈通用人工智能本身。
是的，我的意思是，你知道，我认为我们对此的看法是，随着我们构建越来越好的模型，不仅在投入模型的计算量和其认知能力之间，而且在其认知能力和它能够产生的收入之间，都存在一种指数关系。
所以我们的收入在过去三年中增长了10倍，从2023年的0到1亿美元，2024年的1亿美元到10亿美元，以及2025年的10亿美元到100亿美元。
所以那些收入数字，你知道，我不知道那条曲线是否会真的持续下去。如果它真的持续下去，那会很疯狂。嗯，但这些数字已经开始与，你知道，世界上最大的公司的规模不远了。所以总是有不确定性。你知道，我们正在尝试从零开始引导这一切。这是一件疯狂的事情，但我相信，如果我们能够在我们关注的领域生产出最好的[哼]模型，那么，嗯，那么我认为事情会进展顺利。而且你知道，我，我，我，我通常会说，你知道，我认为对于谷歌和Anthropic来说，这都是一个好年头。而且我认为我们实际的共同点是，它们，你知道，它们都是那种，你知道，或者公司的研究部分，都是由专注于模型、专注于解决世界上重要问题的研究人员领导的，对吗？那些将这类困难的科学问题作为指引方向的公司。而且我认为这些公司将在未来取得成功，而且你知道，我认为我们之间共享这一点。
>> 非常。嗯，我，我将抵制住诱惑，不问你那些不是由研究人员领导的公司会发生什么[笑声]，嗯，因为我知道你不会回答。但现在让我们进入预测领域，我们本应该讨论人工智能之后的一天。但让我们谈谈闭环。你们将获得能够闭环并能够，你知道，自我驱动的模型的可能性，因为这才是“赢者通吃”门槛方法的真正关键。你仍然相信我们很可能会看到这种情况发生吗？还是说这会更像一种普通技术，追随者和后来者也能竞争？
>> 嗯，你看，我绝对不认为它会是一种普通技术。所以，我的意思是，正如达里奥提到的，它已经在某些方面帮助我们的编码和研究。然而，完全闭环，我认为是一个未知数。我的意思是，我认为这是可能做到的。你可能需要通用人工智能本身才能在某些领域做到这一点，这些领域你知道，周围有更多的混乱，不容易很快验证你的答案。嗯，有一些NP难领域，所以一旦你开始获得更多，你知道，顺便说一句，我也将通用人工智能包括物理人工智能、机器人技术等所有这些东西都包括在内，然后你就会有硬件在环，这可能会限制自我改进系统的工作速度，但我认为在编码和数学以及这些领域。我绝对能看到那会奏效。然后问题更多是一个理论性的，即工程和数学解决自然科学的极限是什么。
>> 达里奥，你去年，我想是去年，你发表了《爱与恩典的机器》，嗯，那是一篇非常，我想说，乐观的散文，关于你将看到的潜力。我听说你正在更新这篇文章，一篇新的散文。所以，你知道，大家等着吧。它还没有发布，但即将发布。但也许你可以给我们一个预告，一年后你的主要观点会是什么。
>> 是的。所以，你知道，我的看法，我的看法没有改变。我一直认为，你知道，人工智能将是极其强大的。我想德米斯和我，你知道，对此是认同的。这只是一个确切时间的问题。嗯，而且因为它极其强大，它会做所有这些美妙的事情，就像我在《爱与恩典的机器》中谈到的那样。它，你知道，会帮助我们治愈癌症。它可能会帮助我们根除热带疾病。它将帮助我们理解宇宙，但存在这些巨大而严重的风险，你知道，不是说我们无法解决它们，我不是一个悲观主义者，但我们确实需要思考它们，我们需要解决它们。我首先写了《爱与恩典的机器》，我很想给出一个复杂的理由说明我为什么先写那个，但事实是积极的散文比消极的散文更容易写也更有趣，所以你知道，我终于花了一些时间度假，然后我写了一篇关于风险的散文。即使我在写风险的时候，嗯，我，我，我，你知道，我，我，我是一个乐观的人，对吧？所以即使我在写这些风险的时候，我，我，我以一种“我们如何克服这些风险？”的方式来写。我们如何制定一个战斗计划来对抗它们？我构建它的方式是，你知道，卡尔·萨根的电影版《接触》中有一个场景，你知道，他们发现了外星生命，然后有一个国际小组正在面试，嗯，你知道，人们，你知道，作为人类的代表去会见外星人。嗯，而且他们问其中一个候选人的问题是，你知道，如果你能问外星人任何一个问题，那会是什么？其中一个角色说：“我会问，‘你们是怎么做到的？’你们是如何在不自我毁灭的情况下度过这个技术青春期的？你们是怎么挺过来的？”而且自从我看了它，大概是20年前，我想我看了那部电影。它一直萦绕在我心头。这就是我使用的框架，那就是，你知道，我们正在敲开这些不可思议的能力的大门，对吗？基本上用沙子建造机器的能力，对吗？我认为从我们开始用火的那一刻起，这都是不可避免的。嗯，但我们如何处理它并非不可避免。所以我认为接下来的几年我们将要处理的是，你知道，我们如何控制这些高度自主且比任何人类都更智能的系统？我们如何确保个人不会滥用它们？对吗？我担心像生物恐怖主义这样的事情。我们如何确保民族国家不会滥用它们？这就是为什么我一直如此关注，你知道，中国共产党，其他威权政府。经济影响是什么？对吗？我谈了很多关于劳动力替代的问题。而且，你知道，我们还有什么没想到的，这在很多情况下，你知道，可能可能是最难处理的事情。嗯，所以，你知道，我，我，我正在思考如何[哼]解决这些风险。而且你知道，对于每一个问题，它都是我们作为公司领导者个人需要做的事情，以及我们可以共同努力做的事情的混合。然后，更广泛的社会机构，比如政府，在解决所有这些问题方面也需要发挥一些作用。但是，你知道，我，我，我只是感到这种紧迫性，你知道，每天，你知道，在外部世界，在人工智能之外，正在发生各种疯狂的事情，对吧？嗯，但是，你知道，我，我，我的观点是，这发生得如此之快，而且是如此一场危机，我们应该投入几乎所有的精力来思考如何度过它。
所以我无法决定是更惊讶于你a休假，b休假时思考人工智能的风险，还是c你的文章以“我们能否在不自我毁灭的情况下度过这项技术的‘技术青春期’”为框架。所以，我有点头晕，但你，我迫不及待想读它，但你提到了几个可以指导我们接下来对话的领域。让我们从工作开始。
[哼]因为你实际上对此非常直言不讳，而且我认为你说过，未来1到5年内，一半的入门级白领工作可能会消失。但我要转向你，德米斯，因为到目前为止，我们实际上还没有看到对劳动力市场有任何明显的影响。嗯，是的，美国的失业率有所上升，但我所看过的所有经济研究以及我们撰写的文章都表明，这是疫情后过度招聘造成的，它实际上并非由人工智能驱动。如果有什么的话，人们正在招聘以构建人工智能能力。你认为这会像经济学家一直争论的那样，不是“劳动总量谬误”，实际上会创造新的就业机会吗？因为到目前为止的证据似乎表明了这一点。
>> 是的，我的意思是，我认为在短期内，这确实会发生。当一项突破性技术到来时，那种正常的演变。所以一些工作会受到冲击，但我认为会创造出新的、甚至更有价值、也许更有意义的工作。嗯，我认为今年我们将开始看到可能影响初级、入门级工作，比如实习这类事情。我认为有一些证据，我自己也能感觉到，可能在招聘方面有所放缓，但我认为这可以被这样一个事实所弥补：现在有这些令人惊叹的创意工具，几乎免费向所有人开放，如果我现在和一群本科生交谈，我会告诉他们要非常熟练地掌握这些工具，我认为甚至我们这些构建它的人，我们都忙于构建它，很难有时间真正探索即使是今天的模型和产品所拥有的几乎是能力过剩，更不用说明天的了，而且我认为这可能比传统的实习更好，就你作为一名有用的人才在某个行业中跳跃式发展而言，所以我认为这可能在未来5年内发生，嗯，也许我们在这方面的时间尺度上再次略有不同，但我认为通用人工智能（AGI）到来后会发生什么，那是一个不同的问题，因为我认为届时我们真的会进入未知领域。
你认为这会比你去年说的“一半白领工作”所需的时间更长吗？
工作。我持大致相同的观点。我实际上同意你和德米斯的观点，在我发表评论时，对劳动力市场没有影响。我当时并不是说劳动力市场在那一刻受到了影响。嗯，你知道，现在我认为我们可能开始看到它的一些小小的开端，你知道，在软件和编码领域。我甚至在Anthropic内部也看到了这一点，你知道，我，你知道，我可以期待，我可以期待一个时期，在初级岗位上，然后在更中级的岗位上，我们实际上需要更少而不是更多的人，而且你知道，我们正在思考如何在Anthropic内部以一种明智的方式处理这个问题。嗯，你知道，截至六个月前，我仍然坚持一到五年这个时间。你知道，如果你将此与我之前所说的联系起来，那就是，你知道，我们可能在，你知道，一到两年内，甚至可能更长一点，拥有在所有方面都比人类更好的人工智能。这些似乎并不一致。原因在于存在这种滞后和这种替代效应，对吗？我，我知道劳动力市场是适应性强的，对吗？就像你知道的，80%的人以前从事农业，你知道，农业自动化了，然后他们变成了工厂工人，然后是知识工作者。所以你知道这里也存在一定程度的适应性，对吧，我们应该对劳动力市场如何运作有经济上的复杂理解，但我的担忧是，随着这种指数级增长不断复合，而且我认为它不会再花那么长时间，在大约一到五年之间，它将压倒我们的适应能力。我想我可能在说同样的事情，德米斯只是从我们关于时间线的差异中抽离出来，我认为这最终归结于你多快地闭环代码和
你有多大信心政府能理解其规模，并开始思考他们需要采取哪些政策回应？
>> 我不认为在这方面有足够的工作正在进行。我总是很惊讶，即使在这样的地方遇到经济学家，他们也没有更多专业的经济学家、教授来思考会发生什么，嗯，不仅仅是在通往通用人工智能的路上，而且，嗯，即使我们把达里奥谈到的所有技术问题都解决了，工作替代是我们担心的一个问题，其经济学方面，但也许有办法更公平地分配这种新的生产力，这种新的财富。我不知道我们是否有合适的机构来做到这一点，但那是在那个时候应该发生的事情。应该有，你知道，我们可能处于一个后稀缺世界，但那时甚至有现在让我夜不能寐的事情，那时有比这更大的问题，与意义和目的有关，以及我们从工作中获得的许多东西，不仅仅是经济上的，那是一个问题，但我认为这可能比人类状况和整个人类会发生什么更容易解决，奇怪的是。而且我认为我也很乐观，我们会找到新的答案，我们今天做了很多事情，嗯，从极限运动到艺术，这些不一定直接与经济利益有关，所以我认为我们会找到意义，也许会有更复杂版本的这些活动。
嗯，此外，我认为我们将探索星辰。所以，所有这些也都需要考虑到目的方面。但我认为现在就值得思考，即使按照我的时间线，也只有5到10年了。在这到来之前，时间不多了。
>> 你认为公众对人工智能产生强烈反弹的风险有多大，这种反弹可能会以某种方式导致政府做出在你看来可能很愚蠢的事情？
因为我只是回想起20世纪90年代全球化时代，当时确实出现了一些工作岗位的替代，政府做得不够，公众的反弹如此之大，以至于我们现在陷入了某种境地。
嗯，你认为在政治体中，人们对你和你的公司所做的事情会产生日益增长的反感吗？
>> 嗯，我认为肯定有风险。我认为，嗯，我认为这有点合理。人们对工作和生计等事情感到恐惧和担忧。嗯，我认为有几件事，我的意思是，未来几年会非常复杂，我认为在地缘政治上，但也有这里的各种因素，比如我们想要，我们正在用AlphaFold和我们的科学工作以及同构的衍生公司来做这件事，解决所有疾病，治愈疾病，提出新的能源。我认为作为一个社会，我们显然会希望那样。我认为也许这个行业所做的事情的平衡，对那些类型的活动来说还不够。我认为我们应该有更多的例子。我知道达里奥同意像AlphaFold那样，有助于世界上明确的善事，而且我认为实际上行业和我们所有领先的参与者都有责任更多地展示这一点，不仅仅是谈论，而是展示出来，嗯，但随之而来的是其他意想不到的颠覆，而且，嗯，但我认为另一个问题是地缘政治竞争，公司之间显然存在竞争，但主要是美国和中国之间，所以除非有国际合作或对此的理解，嗯，我认为这实际上在部署的最低安全标准等方面会很好。我想达里奥也会同意这一点。我认为这是至关重要的。这项技术将是跨界的。它将影响每个人。它将影响全人类。嗯，实际上《接触》也是我最喜欢的电影之一。所以有趣的是，我没意识到你也是，达里奥。但我，我，我认为，嗯，嗯，你知道，这类事情需要解决。嗯，而且如果我们能，也许以比我们目前预测的，甚至我的时间线，稍微慢一点的速度会更好，这样我们才能在社会上把这件事做好，但这需要一些协调，那就是。
我更喜欢你的时间线。是的，我勉强承认。
但是，但是达里奥，现在让我们来谈谈这个，因为自从我们上次在巴黎交谈以来，地缘政治环境，如果有什么变化的话，我不知道，变得复杂、疯狂、离谱，随便你用什么词。
其次，美国现在对中国采取了截然不同的态度。
这更像是一种无所限制的态度，我们尽可能快地发展，但又向中国出售芯片。
嗯，所以你对美国有不同的态度。
你现在在地缘政治上，美国和欧洲之间有一种非常奇怪的关系，与此相对，我的意思是，我听你谈到，如果能有一个像欧洲核子研究中心（CERN）那样的组织会很好，我的意思是，这离我们现实世界还有一百万年，那么在现实世界中，地缘政治风险是否增加了？你认为应该对此做些什么？而且政府似乎正在做与你建议的相反的事情。
>> 是的，我的意思是，你看，你知道，我们，我们，我们只是尽力而为，你知道，我们只是一家公司，我们正在努力运营，
你知道，存在的环境，无论它有多么疯狂。但是，你知道，我认为，我认为至少我的政策建议没有改变，你知道，不销售芯片是我们能做的最重要的事情之一，以确保我们有时间处理这个问题。你知道，你知道，我之前说过，你知道，我更喜欢德米斯的时间表。我希望我们有五到十年，你知道。所以，他可能就是对的，而我就是错的。但是，假设我是对的，并且可以在一到两年内完成。我们为什么不能放慢速度，达到德米斯的时间表呢？嗯，你可以放慢速度。嗯，不。但是，但是，但是我们不能这样做的原因是，你知道，因为我们有地缘政治对手以类似的速度构建相同的技术。很难达成一项可执行的协议，让他们放慢速度，我们也放慢速度。所以，如果我们能做到，如果我们能做到不销售芯片，那么这就不再是美国和中国之间的竞争问题。这是我与德米斯之间的竞争问题，我非常有信心我们可以解决。
那么你如何看待政府的逻辑呢？据我理解，他们的逻辑是我们需要向他们出售芯片，因为我们需要将他们绑定到美国的供应链中。所以，你知道，我认为这不仅仅是时间尺度的问题，更是技术重要性的问题。如果这是电信或其他什么，那么所有关于推广美国技术栈，以及你知道，希望在世界各地构建我们的芯片，以确保，你知道，你知道，这些世界各地不同地区的随机国家，你知道，构建的数据中心使用英伟达芯片而不是华为芯片，所有这些事情。你知道，我更倾向于认为这就像一个决定。我们是要，你知道，向朝鲜出售核武器，你知道，因为那会为波音带来一些利润吗？嗯，你知道，我们可以说，好吧，是的，这些案例是波音制造的。就像，美国正在获胜。就像，这很棒。就像，我，我，我只是，你知道，那个类比应该清楚地说明我如何看待这种权衡，我只是不认为它有道理。嗯，而且我们已经对中国和其他参与者做了很多更具侵略性的事情，我认为那些远不如这一项措施有效。
对我来说还有一个领域，然后我希望我们能有一两个问题的时间。末日论者担心的另一个潜在风险领域是一种全能的恶意人工智能。嗯，我认为你们两位都对末日论者的做法有些怀疑，但在过去一年里，我们已经看到，你知道，这些模型表现出欺骗和两面性。你认为你现在对这种风险的看法与一年前不同吗？模型演变的方式有什么值得我们多加关注的地方吗？是的，我的意思是，你知道，自Anthropic成立以来，我们一直在思考这种风险。我的意思是，你知道，我们最初的研究是非常理论化的，对吧？你知道，我们开创了机械可解释性这一理念，即深入模型内部，试图理解，深入其大脑内部，试图理解它为什么会这样做，就像，你知道，作为人类神经科学家，我们两人都有这方面的背景，嗯，试图理解，试图理解大脑。我认为随着时间的推移，我们越来越多地记录了模型出现时的不良行为，现在正努力通过机械可解释性来解决它们。所以，你知道，我认为，嗯，你知道，我一直担心这些风险。我与德米斯谈过很多次。我认为他也一直，嗯，担心这些风险。我认为我肯定一直，而且我猜德米斯也是，尽管我会让他自己说，对末日论持怀疑态度，末日论就是，你知道，我们注定要失败。我们无能为力，或者这是最可能的结果。我认为这是一个风险。这是一个风险，如果我们所有人共同努力，我们可以解决。我们可以通过科学学习如何正确地，你知道，控制和引导我们正在构建的这些创造物。但是，如果我们构建它们的方式很糟糕，如果我们，你知道，如果我们都在竞速，速度快到没有护栏，那么我认为有事情出错的风险。所以，我将给你一个机会，在一个稍微更广泛的问题背景下回答这个问题，那就是在过去一年里，你对技术、科学以及你谈论过的所有领域的上行潜力更有信心了，还是更担心我们一直在讨论的风险？我从事这项工作已经20多年了，所以我们已经知道我将整个职业生涯投入到人工智能上的原因，是解决问题的优势，基本上是科学和理解我们周围宇宙的终极工具。我从小就对此着迷，而且，你知道，如果以正确的方式进行，构建人工智能将是实现这一目标的终极工具。风险我们也从一开始就在思考，至少从DeepMind十五年前成立时就在思考，嗯，我们预见到，如果你获得了好处，它是一种双重用途技术，所以它可能会被，比如说，不良行为者重新用于有害目的。所以我们一直需要思考这个问题，但我坚信人类的智慧。嗯，但问题是是否有时间、有重点，并且所有最优秀的头脑都在为此合作以解决这些问题。我确信如果我们有这些，我们就能解决技术风险问题。也许我们没有这些，那么那就会引入风险，因为我们会变得，它将是碎片化的。会有不同的项目，人们会互相竞争，那么就更难确保我们生产的这些系统在技术上是安全的。但我，我感觉那是一个非常容易解决的问题。如果你有时间，我想确保有一个问题，先生们，请简短，因为我们真的只有两分钟了。
谢谢。你好。是的。请说。非常感谢。我是菲利普，星云公司的联合创始人，该公司在太空建造数据中心。嗯，我想问一个稍微有点哲学性的问题。对我来说，末日论最强有力的论据是费米悖论，即我们没有在银河系中看到智能生命的观点。我想知道你们有什么想法。是的，我对此思考了很多。那不可能是原因，因为我们应该看到所有已经存在的AI。所以，只是为了让大家知道，这个想法是，嗯，不清楚为什么会发生，对吧？所以，如果费米悖论的原因是没有外星人，因为他们被自己的技术消灭了。我们应该看到来自银河系某个地方的回形针向我们飞来，但显然我们没有。我们没有看到任何结构，戴森球，无论是人工智能还是自然或生物的，什么都没有。所以对我来说，嗯，对费米悖论必须有一个不同的答案。我对此有我自己的理论，但这超出了接下来一分钟的范围，但是，嗯，你知道，我只是觉得，嗯，我预测，我的感觉是，我们已经通过了大过滤器。如果我必须猜测，那可能是多细胞生命。生物学进化出这一点是极其困难的。嗯，所以我们正在，你知道，没有那种“接下来会发生什么”的舒适感。我认为由我们人类来书写接下来会发生什么。
这可能是一个很棒的讨论，但超出了未来36次会议的范围。但不是每人15秒，当我们明年再次见面时，我希望我们三个人，我非常乐意，到那时会有什么变化？嗯，我认为最值得关注的是人工智能系统构建人工智能系统这个问题，它如何发展，无论是朝一个方向还是另一个方向，那将决定，你知道，我们是否还需要几年才能达到目标，或者我们是否面临着奇迹和巨大的紧急情况，我们必须面对。人工智能系统，构建人工智能系统。我同意这一点。所以，我们对此保持密切联系。嗯，但我也认为，嗯，除此之外，我认为还有其他有趣的，嗯，嗯，嗯，想法正在研究中，比如世界模型，持续学习。我认为这些是需要攻克的难题。如果自我改进本身不能带来成果，那么我们将需要这些其他东西来发挥作用。然后我认为像机器人技术可能会迎来它的突破时刻。但是，但是也许基于你刚才所说，我们都应该希望它能让你和其他人多花一点时间来给我们。我更希望那样。我认为那对世界会更好。嗯，你们可以为此做些什么。非常感谢你们两位。
[笑声]
[掌声]
[音乐]
苏诺尼·牛顿·博斯在达沃斯举行的2026年世界经济论坛年会上与德米斯和达里奥·阿马德对话。您可以在我们的网站或YouTube频道上观看该会议。链接在节目说明中。还有许多像那次一样从达沃斯直播的精彩对话，您可以在回放中观看所有这些内容，我们还在我们的姊妹播客平台《议程对话》上发布了其中许多内容，您可以在任何播客平台收听。要了解更多关于论坛人工智能卓越中心、人工智能全球联盟和通用人工智能全球未来理事会的工作，也请点击说明中的链接。不要错过我对约书亚·本吉奥的采访，他是一位人工智能教父，讲述了他如何努力应对这项技术带来的风险。即将登陆达沃斯电台。在您收听播客的任何地方关注我们，或访问w.ch/mpodcast，在那里您还可以找到《会见领导者》，其中也有一些来自达沃斯的精彩采访将在未来几周内发布。本期《达沃斯电台》由我罗宾·波默罗伊和我的同事本杰明·拉森撰写、主持、制作和编辑。录音室制作由塔兹·凯拉赫完成。《达沃斯电台》下周将回归，但现在，感谢您的收听，再见。