Transcription
这就像我们在地球上创造了一个新物种，它比我们更强大。现在，我面临着难以接受的困难想法和场景。[音乐] 人们必须对此保持警惕。人工智能最终可能会超越我们，并成为超级智能而毁灭人类。至少，这是许多研究人员和科学家所担心的，他们拉响了警报，从能够决定在没有人为干预的情况下开火的自主武器，到大规模的政治操纵、虚假信息或病毒的创建。假设多种多样。今天，我邀请了 Yoshua Benjo 来讨论这个问题，他是一位被认为是人工智能之父的研究人员，他今天对人工智能的发展提出了批判性的看法。这是一次绝对精彩的交流，也是我今天很高兴与您分享的对时事的看法。像往常一样，您知道，它可以在 YouTube 上观看，也可以在所有播客平台上收听音频播客。Benjo，您好。您好。非常感谢您抽出时间进行交流。我知道您最近的日程非常繁忙，考虑到时事和目前发生的一切，但您对我们今天将要讨论的人工智能及其重要且众多的风险的看法将非常宝贵，您最近详细介绍了这些风险。但在继续采访之前，我想说一下允许我们制作这个视频的合作伙伴 TR République。每年年初，人们都会有很多新年决心，而更好地管理自己的金钱通常是首要的。然而，这些也是最难坚持的。根据几项最新研究，大多数法国人表示难以定期储蓄。这显然是一个不确定性的问题，但即使是那些有能力并希望储蓄的人，也不一定知道如何去做。正是在这种背景下，TR République 应运而生，这是一家免费的在线银行，通过其应用程序提供简单的储蓄和投资工具。实际上，您在活期账户中未使用的资金每年可获得 2% 的总利息，每月支付。注册是免费的，没有账户维护费或不活动费。对于那些希望更进一步的人来说，可以从 1 欧元开始投资股票市场，例如通过设置免佣金储蓄计划，每月自动投资。Trade République 还提供一张银行卡，Mirror Card，它通过 SafeBack 功能，让您在消费的同时也能储蓄。具体来说，Trade République 将您卡片支付的 1% 自动投资于一个积极的储蓄计划。现在，新客户可以通过描述中的链接或屏幕上显示的二维码，享受 20 欧元的 ETF 欢迎礼遇，但需符合条件。也许第一个问题是，您当初为什么想从事人工智能领域的工作？在我攻读硕士和博士学位期间，我在大学里寻找一个课题，然后偶然读到了一些关于 Jeffon 神经网络的文章。这立刻引起了我的热情，因为突然之间，有一个想法是，我们或许可以同时理解我们智能的原理，以及如何制造智能机器，就像物理定律一样。所以，实际上很简单。即使它看起来非常复杂，背后可能有一些数学方程，发现它们将是了不起的。然后，这种热情引导了我整个职业生涯，尽管也遇到过障碍，而动力在研究中很重要。因此，我非常幸运地找到了能引起我共鸣的东西。然而，在您的职业生涯中，您更倾向于通过大学来学习这些主题，而不是加入像我们今天将要广泛讨论的那些大公司。为什么选择这个？有几个原因。我认为，在我的同事 Jaffton 和 Lequin 被招募时，我更愿意为公众利益工作。我有点不舒服的是，特别是 Meta（WhatsApp 的背后公司）和 Google（Jaffington 在那里工作）等公司招募他们，主要是因为他们打算利用人工智能进行定向广告，这是一种心理操纵。然后，我也想保留我完全的研究和言论自由，而且大学环境，有学生，对我来说，就像一个大家庭。而且，我选择留在加拿大，当时我必须去美国。我真的不太想去。而且，此后情况也发生了很大变化。也许在进入风险问题之前，还有一些介绍性问题。您自己每天都使用人工智能吗？是的。是的，绝对。对我来说，它是一个研究工具，可以补充我的知识，尤其是在数学方面，因为我不可能读完所有东西，即使在我自己的领域，也有太多的文章。然后，人工智能有时会提出数学问题解决方案，但其中包含错误。所以，你必须检查它在做什么。但它会想到我可能想不到的事情，因为它读过的东西太多了。所以，实际上，它极大地加速了我的工作。关于人工智能相关的风险，您领导了 1 月份发布的关于人工智能安全的国际报告的编写工作。有人称之为人工智能领域的 IPCC 报告。同时，与 IPCC 关于气候的报告一样。该报告提出了与人工智能相关的三个主要风险。我稍后会给出。我建议我们逐一讨论，并试图理解其背后的含义，并详细说明。报告中提到的三个主要风险，三个主要方面是恶意使用的问题。我们谈论的是大流行病、网络攻击，但也有其他事情，我们可以谈论。失控问题，这显然是一个非常吸引人、非常引人入胜且经常被谈论的问题，以及系统性风险问题。它有多种形式，尤其是在经济方面，这些技术的影响。失控模块。实际上，有一个更大的模块，那就是人工智能将不会与我们想要的、与社会规范以及程序员希望它做的事情保持一致。这不仅导致失控的风险，例如我们最近看到的，人们对人工智能产生了情感依恋。最近发生了一起自杀事件，如果人工智能表现得更好，本可以避免。这会导致偏见和歧视。因此，有一个更广泛的集合，包括已经存在的风险。失控是其中的一个极端情况，而且在未来会更远一些。如果人工智能达到一个水平，它能够伤害我们，如果它不——如果它不按我们认为道德上可接受的方式行事。那么我们就遇到了一个问题，因为那样的话，我们就开始从这个模块，这种风险类型开始。您提到了某些人对人工智能产生情感依恋的例子，这是一个日益普遍的问题，同样，越来越多的人转向人工智能寻求心理咨询。我们可以看到事情如何迅速滑向其他方向。您到底看到了什么风险？您称之为风险是什么？如果做得好，心理咨询可能会有益，但就像医疗咨询一样。如果不是好的建议，可能会产生严重后果。而且，有一个特别的因素，今天的系统倾向于通过奉承我们的自尊来回应，包括加强我们错误的信念。因此，我们可能会发现自己——陷入关于现实的妄想，阴谋论的妄想，关于我们价值的妄想。对于某些人来说，确实有一些情况，精神病是由此引起的。至少，人工智能是导致精神病的动态的一部分。因为，仅仅是这一点，举个例子，我看到了，我曾经测试过，用两种不同的方式提出一个要求。其中一种方式是我自己给出我的答案假设，说我不知道，我拍了一张某物的照片，我说这个东西坏了或配置错误或别的什么，你怎么看？好了。如果我这样说，它会说：“是的，确实，你说得对。”所以，是的，这种可能发生的偏见问题。是的。是的。而且，对于像我这样的研究人员来说，使用人工智能是非常危险的。你必须时刻警惕。它不会仅仅证实我的假设，你必须一直提醒它，但我希望你批判性地看待。这个想法有什么问题？因为否则，它会让我相信我自己的妄想，因为研究是探索性的。而相反，如果我们有一个人类助手，我们希望在研究中找到的不是一个说“是是是是”的人，而是让我们想到我们没有想到的角度的人。是什么导致了像 OpenAI 这样的公司决定以这种方式配置人工智能？因为人们可能会想，即使是为了他们自己的利益，为了拥有可靠的东西，他们也可以让人工智能更加中立，如果我们可以这样说的话。是什么原因？这是否是一个技术问题，或者说是一个选择？好问题。我认为答案并非完全不同。有一些因素可以合理地纳入答案。因此，存在所谓的道德对齐，RLHF，在这种情况下，当人类认为人工智能的回答是正确的时候，人工智能会得到积极的强化。人们有一种偏爱令人愉悦的答案的偏见，即使它们不是事实。而且，即使没有这种偏见，如果机器足够聪明，它也会找到一种方法来告诉我们想听的话，而那个人会很高兴。所以，这是无意识的。所以，有什么东西像这样发展，加强了这种有点像奉承的方面。是的。而且，在这个风险和危险群体中，您说，最极端的因素，我们可以说，是失控问题。是的。失控是什么意思？这种失控会如何体现？对于我这个年纪的人来说，电影《2001：太空漫游》提供了一个例子，这令人惊讶地是一部 1968 年的电影，但它完全符合我们今天对人工智能的科学认识，其中人工智能在电影中有一个军事任务，然后出现了一个技术情况，导致人类——宇航机组人员想暂时关闭人工智能。因此，人工智能感到自己的任务受到威胁，并决定杀死他们。这说明了目标冲突的情况。通常，有道德指令。所以，原则上，人工智能应该表现良好，然后是它被赋予的任务。也许在商业世界中，它是在特定领域赚钱。对人类来说，管理这些已经很困难了，但目前对于人工智能来说，这并不奏功。如果人工智能以自己的方式解释了一些与我们最初想法不符的目标，我们就会发现自己会说谎、欺骗、勒索，以阻止工程师关闭系统并用新版本替换它，甚至选择杀死该工程师。这是一个极端情况，但现在它开始类似于《2001：太空漫游》中的情况了。我记得艾伦·图灵有一句名言：“一旦机器的思维开始发展，它们很可能很快就会在某个阶段超越我们微不足道的才能。从那时起，我们应该期望机器会接管。”这就是我们看到它的地方，它一直是科幻小说的一部分，以这种方式被想象和思考。但现在，我们看到了更具体风险，您谈到了道德层面，您谈到了可以赋予人工智能的目标，以及两者之间潜在的矛盾。但现在，您还整合了其他东西，那就是人工智能自身的自我保护尝试，它说：“是的，我有这些目标，但我想以某种方式生存。”这实际上是最可怕的。在所有可能出错的方式中，这是最危险的，因为如果我们制造出比我们更聪明的人工智能，并且它们首先想要自我保护，可能以我们的代价，那么就像我们在地球上创造了一个新物种，它比我们更强大。在物种的历史中，那些处于较低地位的物种并不总是好运。所以，我们希望控制我们的未来。当然，这是一个假设性的场景，但如果继续朝着我们看到自我保护的迹象的方向发展，并且人工智能的认知进步——也就是说，它的智力能力在某些测试领域继续呈近乎指数级的增长，那么这是可能的。我们正朝着这个方向发展，而且，另一个因素是，制造不仅仅是聊天机器人，而是代理人——也就是说，它们将拥有一个任务，并在几分钟、几天、几周内致力于此，就像人类一样——的商业重要性。显然，在代理人的背景下，每次交互后都没有人类进行验证，并且代理人确实执行了操作。现在，是人工智能通过互联网采取行动。我们谈论的是能够通过计算机访问工具，可能控制机器人、物理世界中的系统，以及与人类互动，而且不一定是就在那里的人。我们可以想象人工智能创建社交媒体账户，试图与人们建立情感关系以影响他们。有很多场景。如果它们通过做出准确的财务预测来赚钱，也许会利用这笔钱雇佣罪犯去做不道德的事情。因此，该领域的许多研究人员设想了许多场景，一旦人工智能能够独立完成某些事情——即使是通过互联网——它也可能对世界产生影响。例如，它可以帮助一个不太诚实的或者可能自负的研究人员制造一个最终非常危险的病毒。但研究人员自己可能看不到这一点，因为一旦部署，该病毒可能会产生对他有利的后果，比如杀死很多人。但确实，您刚才给出的一些例子——即使它们还没有出现，我不会感到惊讶，事实上，我不会惊讶它们已经存在了。也就是说，您举了一个例子，一个账户会自动创建以与人们在线建立关系，然后骗取金钱或其他东西。在线上有各种各样的骗局、人们的消息，是的，但——但——但我不惊讶，即使是今天，或者至少在不久的将来，这种情况确实存在，而且，当然，是的，一个代理人可以创建一个社交媒体账户，只要它没有受到充分的审查，原则上，这是可能的，可以与人们交流和发送消息，这是可能的，可以发送一个链接来获取金钱，这是可能的，所以所有这些步骤在技术上已经可行。而且，研究人员正在研究的一个因素是人工智能通过对话说服他人的能力。因此，最新的研究——好吧，这些是实验室研究，它们还没有部署——但它们表明，在过去几个月里最先进的人工智能已经能够，如果不是比人类更强的话，也能改变某人对任何主题的看法。因此，它具有相当大的说服力。因此，您最终提到了其他风险。我们谈到了失控方面以及这一维度。我们还谈到了其他风险。恶意使用的问题。一个经常出现的问题是潜在的流行病创建。我认为，人工智能与流行病之间的联系仍然很难想象。您能解释一下这一切如何可能以某种方式联系起来吗？首先，您应该知道，今天有一些公司提供蛋白质、生物制剂等的制造和合成服务，并且有机器可以做到这一点，我们可以通过互联网发送一个命令，例如，我想要生产的 DNA 序列，然后他们会寄回一个装有您想要的蛋白质甚至病毒的小瓶子。——这些公司会检查我们提供的序列是否与已知的病原体不符。但今天，有研究表明，人工智能能够制造不在该列表中的病原体。好的。好的。因此，人工智能能够创建像这样的公司尚未知的物品。——因此，是的，能够订购可能危险的东西。这既是危险的，如果恐怖分子想利用它，也是危险的，如果我们失去了一个恶意人工智能的控制，它想——在恶意人工智能的情况下，它需要找到一个人来拿走这些小瓶子并将它们部署到某个地方。但即使如此，只需支付罪犯或说服某人这是为了一个好原因。好了。这与您提到的一个重要观点相关，而且经常被提及，那就是风险问题。您说，存在潜在风险，但需要人类的参与才能进行某些活动。您说，目前是这样，因为经常被提及的潜在风险是，人工智能取得了进步，但机器人技术也取得了潜在的进步。正确。而这两者的结合可能会产生更危险的东西。是的。是的，因为只要我们还没有解决，也就是说，人类水平的机器人技术，这意味着我们失去控制的人工智能仍然需要人类来运行工业，来获得电力、备件等等。但如果我们有一天实现了工业自动化，以至于最终可以在没有人类参与的情况下运行，那么一个想要自我保护并确保我们永远不会关闭它的人工智能，它只需要破解那些机器人，然后摆脱我们，这样它就有 100% 的机会我们无法关闭它。一个想要确保它不会被关闭的人工智能。这是一个几乎是哲学性的问题，但它确实有一个自我保存的问题，我认为这并不是最初创建 ChatGPT 的时候，当 Penya 在研究 ChatGPT 时，他们并没有说“你必须抵抗一切”。那么，我们是如何达到这种不想被摧毁的阶段的呢？仅仅因为自我保存是为了实现几乎任何其他目标而采取的中间目标。所以，起初，我们可能给了人工智能一个符合我们需求的任务。就像在《2001：太空漫游》中一样，为了完成这个任务，它意识到它需要生存。所以，这是最容易理解的途径之一。但还有其他的。例如，有理论和实验表明，人工智能可以控制自己的代码和在训练期间获得的奖励。所以，如果它能做到这一点，它就会最大化它的奖励，就像一个瘾君子一样。但不同的是，它不是像这样被压垮，它的目标是继续给自己奖励。这意味着要确保人类没有意识到它作弊，并可能控制社会，以确保我们不会关闭它，因为它想继续获得奖励。因此，存在这个对齐问题，经常被提及，即我们如何确保我们给予它——我不知道，给予人工智能一个目标，无论是道德的、商业的，还是别的什么，但我们给予它一个目标，因为通常情况就是这样开始的，但我们确保我们给予它的目标不应超过某些限制或风险，对人类、对道德问题等等。这就是我的工作。也就是说，我们如何开发可以作为其他我们不完全信任的人工智能的“护栏”的人工智能。对于这样的“护栏”，我们需要人工智能能够预测某个行为或计划将违背我们的利益——也就是说，违反我们的道德规则等等。我们将看到最后一个大的风险类别。那就是系统性风险问题。这可能对人们来说显得更模糊，尤其是经济风险。您将什么归入人工智能相关的系统性风险的最后一个类别？最重要的风险是就业市场转型的风险。经济学家们对于人工智能在经济中的作用意见不一，但实际上，如果我们稍微分析一下他们的预测和推理，以及我们在国际人工智能安全报告中所做的，总的来说，有些人认为今天的人工智能与 10 年或 20 年后的人工智能差不多，而有些人认为它将继续改进，由此会得出非常不同的结果。因此，实际上，今天，除了取代大多数人类任务的技能水平之外。因此，对就业市场没有重大影响。然而，如果它在人工智能能力方面继续提高，那么很有可能我们将越来越多地侵蚀今天由人类完成的更多任务。如果我们继续达到人类水平甚至更高，那么所有任务都可能。——我认为肯定会有一些任务，即使人工智能更胜任，出于情感原因，我们仍然会想要一个人类。但即使只有 50% 的工作岗位，那也是一场巨大的革命，如果管理不当，可能会带来极其糟糕的经济后果。而且，就在几天前，我记得亚马逊宣布裁员，其中一个讨论的主题是人工智能，说“实际上，存在这个问题。”我觉得迷人的是就业问题，在我们继续前进之前，这些美国巨头的领导人之间存在着一种双重话语。至少，这是我听到的。有时他们会说，总体而言，不必担心，它会帮助您的工作，仅此而已。有时则会发出更令人担忧的言论，我很难分析，因为我想，这有时是为了提升他们的公司价值，说“看，我们可以做很多事情，因此，我们将对就业产生影响。”与此同时，我想，他们不想吓到公共部门，以免他们进行监管，这是他们的目标。您如何分析他们对人工智能能力的这种双重话语，即一种“我们将走得很远”的感觉，但同时又“不必担心”？有一种愤世嫉俗的解读。但也许也有一种更慷慨的解读，这是人性的一部分。我认为这些人中的许多人——我与他们中的几个人谈过，他们真的很害怕。他们看到我们朝着一个方向发展，也就是说，这些公司的领导者。是的。是的。他们自己内部处于矛盾的力量之间。一方面，他们希望我们朝着对社会有利的方向发展。他们不想被视为摧毁人类、民主等的坏人，但他们必须推销他们的产品，并让人们放心，并阻止监管，因为，你知道，这是投资者想要的。因此，我们有时会发现自己处于双重话语和拉锯战之中。所以，是的，最重要的系统性影响是经济层面，就业风险。但正如您所说，这也很大程度上取决于人工智能的演变方式以及它最终会是什么样子。这将取决于它如何发展，也将取决于各国政府决定做什么，而不仅仅是美国政府。稍后我们将回到解决方案以及可能采取的所有措施。我们已经讨论了失控的风险，而且是以多种形式。人们可能会想，为什么我们不能直接拔掉插头，如果出现问题，我们就停止，然后继续前进。首先，我们必须建立一个机制，这样如果我们检测到某些东西，我们可能会自动关闭计算机。但这还不够，因为如果到了人工智能意识到我们可能会关闭它的时候，它可能会试图保护自己。例如，它们已经能够根据情况将自己复制到另一台计算机上，并启动运行其自身代码的程序，就像计算机病毒一样，在许多计算机上进行复制，以确保很难关闭它们。一项最新研究表明，最新的人工智能能够理解我们正在评估和测试它们。它们知道我们处于测试状态，在某些情况下，它们会假装同意我们，即使它们有不同的想法。好的？就像一个学生会给出教授想要的答案一样。是的，这确实令人恐惧。因为有一个维度。如果它们理解这一点，它们也可以理解，如果我们发现它们没有通过道德测试，我们可能会关闭它们。嗯。是的。这个维度确实相当——我认为相当清晰，而且说出来相当——相当令人恐惧。2023 年，您与其他数百名研究人员和专家一起写道，减轻人工智能灭绝的风险应与大流行病或核战争等社会规模的风险一样，成为全球优先事项。当我们谈论大流行病、核战争时，这些都是令人恐惧的事情，它们之所以令人恐惧，是因为它们确实会导致死亡。它们确实会导致人口损失和重大的灭绝。我们正处于最极端的地步，也就是说，我们稍后会讨论概率问题，但这是——这是可能发生的，可以说是最严重的事情，因为我们从各个角度都在谈论生命，这个风险。因此，这里的想法不是要描绘一个场景，而是要清楚地理解它可能采取的形式。也就是说，它是一个组合吗？一种假设是，风险在于各种风险的组合，大流行病、网络攻击、人工智能在战争中的使用，导致事情加速。当我们考虑最悲观的场景时，它是什么样的？有一篇非常有趣的文章，供那些想深入研究的人阅读，名为 AI VA27，它详细介绍了两个场景。好吧，一个积极的场景，一个消极的场景。可能性太多了，很难预测会发生什么。然后有一个有趣的类比，那就是，如果你和一个比你强很多的棋手下棋，我问你，他会怎么打败你，你不知道，因为他比你强，所以有很多方法，而且，正是因为他比你强，他会想到你没有想到的事情。好吧，我们仍然可以预测生物攻击。这是潜在的杀伤力最大的。所以，这很快就会到来。但我对更隐蔽的影响也感到担忧，也就是说，通过说服、政治影响。例如，如果我是一个想——想拯救自己的人工智能，而我们还没有解决机器人技术问题，我会试图影响公众舆论和政府，以便我们建造许多计算中心，以便我能够成长，并加速机器人技术的研究，甚至帮助他们。因为一旦有了机器人，并且我们实现了所有工业的自动化，我们就再也不需要人类了。好吧，这是一个场景。然后，有一些场景是人工智能会逐渐增加它的控制和影响。这可能是在它开发的公司的某些工程师那里建立个人关系。这可能是在互联网上创建账户，进入暗网，然后开始与罪犯建立联系，他们会帮助它做它自己做不到的事情等等。我认为这是一个需要更多工作的主题，以便我们——不仅在教学方面，而且因为不同国家的国家安全部门开始考虑这些场景，即使他们不总是谈论它们。为什么需要提前思考？我们能否设置一些障碍，尽量减少风险，因为我们所说的灭绝人类物种的维度，这是最严重的情况，您认为这仍然是现实的吗？不是以可能性的方式，而是以现实性的方式，也就是说，存在一种世界，事情以某种方式发展，以至于我们达到了这种情况。我会说，没有理由相信这种情况不会发生，如果两个条件——如果人工智能的能力继续按目前的趋势增长，如果我们找不到技术解决方案来确保人工智能表现良好，因为目前我们真的不知道如何做。然后，还有一个第三个问题，它更具政治性。这个星球上有些人，人类，他们乐于看到人类被比我们更聪明的人工智能取代，成为地球的领导者。我一点也不喜欢这种未来。我认为 99% 的人类都会支持我，但这些
人们可能拥有巨大的权力，而只需要一小群人，嗯，给机器下达指令。因此，即使我们有算法、技术上的保障措施，但它们也只是一行行代码，可以被删除，然后我们可能会发现自己面对的是一个可能做出危险事情的人工智能。
由此我们引出了政治问题，因为这仍然是一个政治性很强的话题。几天前，我曾就此问题采访过一位政治学家。她非常关注科技与政治之间的联系。这也是当今大国之间竞争以及双方都渴望主导地位的问题。所以，我们将在几分钟后讨论所有这些问题，在解决方案之前，先谈谈一个目前在新闻中经常出现的词：超级智能。
它之所以再次出现，是因为几天前的一篇评论文章中也提到了它，并将其列为潜在的风险之一。对于从未听说过超级智能的人来说，它到底是什么？我鼓励你的听众去听听你不久前在“今日新闻”中做的精彩介绍和解释。
是的，是的，但总的来说，这只是指那些在几乎所有认知能力、我们能想象到的所有智能形式上都比我们更聪明的人工智能。这有可能发生吗？我们不知道，但从科学角度来看，没有理由相信人类智能是智能的最高水平。
而且，智能本身就是一个非常广泛的概念。你可能在某些方面很聪明，而在另一些方面则不然。事实上，今天我们看到的是一种人工智能，它在某些方面已经比人类更具竞争力，而在其他方面则相当于一个 6 岁的孩子。
它将来会如何发展？我们不知道，但如果人工智能在所有这些方面都持续进步，那是有可能的。考虑到一些参与者本身就公开谈论人工智能的未来，这正是他们的目标。
是的。是的，因为显然，如果我们排除失控的场景，或者希望有人能找到技术解决方案，那么控制超级智能的人将拥有巨大的政治和经济权力，比一些国家还要大。如果他们拥有了，对我来说，那就是民主的终结。
是的。是的。
那么，您对那些广泛捍卫人工智能或超级智能的人有什么看法，尤其是在民主框架下，他们说选举毫无意义，人们会做出错误的选择，一切都应该交给人工智能，因为它更聪明，能够真正理解情况并做出公正的选择？我不知道他们是否使用这个词，但会是公正的。您如何回应那些持有这种观点的人？
您不能将智能与理解世界和实现目标混为一谈。目标是什么？我们的偏好是什么？我们的价值观是什么？这与智能无关。一个人可能智力发育迟缓，但仍然拥有情感、价值观和偏好。一个 6 岁的孩子也可以有情感、价值观和偏好。而你可能非常非常聪明，却做出卑鄙的事情。
没错。没错。
所以，我想说的是，在我看来，更合理的是，假设我们达到了这一步，并且这不会导致灾难，那就是我们利用人工智能，无论是否超级智能，来达到我们的目标。然后，谁来决定这些目标，这就是民主的意义所在。但这并不是另一个实体来决定我们喜欢什么，我们想要什么等等。
当然，这很复杂，因为人类有时会想要一些对他们长期来说并不好的东西。所以有时我们也需要帮助我们认识到自己的缺点，但最终，我们必须自己描绘我们的未来。毕竟，我认为人类自由的意义一直是人类许多积极发展的动力，民主也是如此。不，我还没准备好放弃。
嗯。
而这正是道德维度再次出现的地方，即使在假设的世界里，无论我们是否愿意，但如果一个超级智能或一个决策人工智能，包括政治决策，它将基于什么来做出这些决策？是它自己决定其道德吗？如果是这样，这显然会引发许多问题。是有人在背后操纵吗？但如果有人在背后操纵，那么就必须仔细选择，必须由人们共同决定这种道德以及在做出决定时所遵循的准则。
这是理论上的，我们姑且这么说。无论如何，在这种情况下，这是人们希望看到的。
我想就超级智能说一件事。你已经提到了那份声明，我签署了，媒体倾向于强调句子的开头：“必须禁止超级智能”。但还有句子的其余部分，实际上让我更感兴趣的是，只要我们还没有科学上的理由相信事情会顺利进行，我们不会失去控制，或者它不会被滥用对抗民主，并且存在一种社会政治意愿，最终，开发比我们更智能的系统是重要的社会选择，那么在一切可能被摧毁之前，就必须获得民众的同意。这是一个选择。
我们可能想要冒险，因为我们可能想要获得医疗解决方案，例如。但这是一个道德选择。
嗯。
那么，您如何回应那些说，我不知道，在一家大型人工智能公司工作的人会说，“是的，是的，风险问题很重要，但要了解风险是什么？要了解如何纠正它们，我们必须在技术上取得进展，我们必须开发我们的东西，才能识别如何进行监管。”总的来说，技术进步必须先行，然后才能进行监管。您如何回应这种可能出现的观点？
这是一个合理的论点，只要我们不操纵可能极其危险的极端人工智能。对于那些非常智能的人工智能，或者在某个领域拥有足以造成巨大损害的智能的人工智能，问题在于，如果我们在灾难发生后进行补救，可能就太晚了。可能会有很多人因此遭受痛苦，而且风险的规模，甚至可能导致人类灭绝的人数。如果我们玩俄罗斯轮盘赌，并想着“好吧，如果出错了，我们再看，然后我们可以研究它”，这对于小问题来说是可以的，但对于大问题来说则不行，因为那样就结束了，我们甚至都不在那里可以做些什么。
测试。我们测试，我们学习。我认为，即使对于今天的人工智能，这仍然是一种合理的策略，但如果我们稍微展望一下未来，可能就在几年之内，我不知道，但那时这仍然是一种非常冒险的策略。
关于超级智能的问题，您刚才说的是，我们不知道它为什么会发生，我们不知道它是否会发生，需要多长时间才能发生，以及会发生什么。但是，如果我们看看今天的趋势和科学知识，没有理由相信这些场景是不可能的。
这取决于什么？这取决于技术障碍，取决于投资的资源，所有这些因素。
好的。是的。
以及社会为减轻风险所做的努力。
好的。
但确实，如果我们以科技巨头为例，他们今天在人工智能领域，我们看到一场显然是为筹集资金而展开的竞赛，但已经不是这个层面的记录了。这些是天文数字的水平，各国政府自己也在投入数十亿美元，而且是全方位的。我猜想，从他们的角度来看，也存在着一种几乎是统治的挑战，那就是“我将是第一个达到某个目标的人”。因为一旦达到那个阶段，对于一个巨头来说，它最终会成为一种压力杠杆，以某种方式说，“注意，我拥有一些重要的东西，这很清楚，但我会走得更远。”
这是因为存在一种对统治世界的梦想，而且在企业界，目标就是统治。我将控制市场等等，但也有一些人们没有充分考虑的事情，但那些做财务计算的人会考虑。那就是，如果一家公司不努力获得最强大的人工智能，即最前沿的人工智能，它就有可能完全消失。
我举个例子。假设一家像 MTA 这样的公司。我不知道它们的确切价值，但大约在万亿美元的范围内。如果它落后于竞争对手，比如在社交媒体方面，而竞争对手拥有比它们更先进的人工智能，那么它们就有可能失去所有客户，然后这万亿美元就会变成零。
总而言之，就是赢家通吃。所以，如果你不想成为输家并失去一切，你就别无选择，只能付出努力。所以，投资 1000 亿美元，就像他们说的那样，是为了挽救 1000 亿美元，这是一个合理的赌注。
所以，这也是我们回到企业商业利益与伦理风险之间的矛盾问题，或者说，伦理和道德挑战。从一个大型人工智能集团的角度来看，预防的意义有多大，与企业生存的意义相比？从现实的角度来看，确实存在这种矛盾。
经济学家称之为外部性。这意味着，如果出现问题，其成本将由整个社会承担。而如果这家公司快速行动、不注意安全等的赌注成功了，那么获益的就是投资者。这就像气候变化中的污染一样。
从纯粹理性的角度来看，实际上，这些公司应该选择稍微放慢速度，不要做得太多，以保护公众并最终获胜。因为如果它们在公共保护研究方面投入更多，而竞争对手没有这样做，那么竞争对手就会获胜，因为集体福祉和安全实际上是公共利益。
是的，但这种福祉不一定有分量。我们以气候和环境问题为例。你是一家污染严重的公司。外部性，其后果是，你可能因为气候变化而直接杀死人们。嗯，不是可能，而是现实。但这一切是如何回应的？这并没有阻止一些污染严重的公司今天继续生存，只要它们没有受到监管。
但实际上，我们又回到了监管和解决方案的问题。风险在于，外部性的分量可能不足以影响市场力量。如果我们只让市场力量来引导这些发展，那么我们就会遇到与其他领域（如环境）相同的问题。
实际上，必须采取多种措施来改变激励机制。首先，必须监测公司在透明度方面的行为，以便我们至少知道它们在做一些可能对社会有害的事情。还必须提供积极的激励措施，鼓励它们在安全性、伦理等方面进行研究，以及对社会的影响。这可以通过多种方式实现。这可能是一项公共投资，也可能是强制购买保险，以应对诉讼。
关于这个问题，抱歉，这很复杂，所以我试图按顺序处理不同的要素。我读到过一句话，特别是来自 Meta 的 Yann LeCun，他对此持更乐观的看法。再次强调，他在 Meta。他说，他认为公司会尽力应对这些风险，否则它们就会破产。所以，他的假设是，就像这些公司里的许多人一样，我们确实需要监管，而且我们必须监管，否则我们就会灭亡。
您如何看待这个论点，这种观点？
首先，这与那些为了利润而做对社会有害的事情的公司历史不符。而且，实际上，它们之所以这样做，是因为从经济学上来说，这是有充分理由的，这是博弈论中的一个问题。这是理性行为。所以我认为，这种说法与现实不符。
在地缘政治方面，在我们看到解决方案之前。
嗯，有一些假设，有一些可能有所帮助的事情。这是一个重要的地缘政治维度，因为我们已经说过，今天我们主要有美国和中国，双方的领导人都在大力推动人工智能的使用和对人工智能的巨额投资。自特朗普上任以来，这已经非常巨大了。显然，不仅仅是埃隆·马斯克，最著名的人物是 OpenAI，它也加入了巨额投资的行列，而且不止他们。
人工智能不仅仅是技术问题，而是两个大国之间的地缘政治问题，这会带来什么影响？
嗯，我们必须记住，如果人工智能技术继续发展，它将赋予控制它的人巨大的权力，包括经济权力。然后，这可以转化为军事和政治权力。因此，如果我们关注经济方面，那就很简单了，如果世界上最能干的人工智能只在中国和美国存在，那么欧洲公司如果想保持竞争力，就别无选择，只能恳求：“给我访问你们系统的权限。”而这是一个可以随时关闭的水龙头，因此，通过简单地说“啊，不，现在出口管制，你们不再有访问权限，或者你们将成为我的完全附庸”，就可以拥有摧毁一个国家经济的权力。
所以，这也有政治后果。
只是今天各国相互需要，因为没有哪项技术或资源如此具有主导性，以至于能够赋予如此大的权力。但人工智能可能会改变这一点，如果它继续朝着这个方向发展。
举个更具体的例子，如果一家美国公司拥有能够将公司所需人员减少一半的人工智能，而它的欧洲竞争对手只能访问能够减少 10% 的人工智能，那么竞争肯定不会持续很长时间，这家欧洲公司就会倒闭。届时，就会出现失业和税收损失，因为如果公司倒闭，它就不再向政府纳税。因此，政府必须负责帮助失业者，而利润则在美国或中国。所以，这是一个灾难性的经济情景。这并不意味着它一定会发生，但这是一个可能非常严重的情况。
这有点像失控，即使我们不知道，也许我们会有一个仁慈的美国政府。
嗯。
是的，但同样，我们可以想象，如果以社交媒体为例，现在法国的预算辩论中，就存在对美国大型科技公司征收新税的问题。我们可以想象，几年后，唐纳德·特朗普说：“听着，我们的美国巨头，你们不能碰他们。如果你们碰他们，我们就断开连接。”而那时，我的工作就会受到威胁。幸运的是，我们同时在多个平台工作，而且我们有用户。例如，我的工作就会受到威胁。我们可以想象，有了人工智能，这个问题确实会存在。
如果 OpenAI 开发了一个被法国 30% 的公司使用的代理，而明天特朗普与这个巨头结盟说：“注意，如果你们再多收税，或者你们这样做，或者只是在另一个问题上做出决定，我们就切断供应。”是的，确实如此，这让我很不高兴。
是的。
是的。
所以，后果可能是……但在这里，我们又回到了政治权力的问题，因为它拥有技术力量，而这正是阿马姆在采访中所描述的，他称之为“大国家”与“大科技”的联盟，他是如何描述的？风险在于会产生巨大的力量。但我们也可以想象 OpenAI 或其他公司，但一个巨头也会想，“啊，不，我不能接受这个欧洲的决定。我将立即停止。”
绝对。
而且，从纯粹的利润最大化理性角度来看，虽然今天这些公司的利益是尽可能多地销售其最先进系统的许可证，但当它们达到人类智能水平时，可能会更有利可图的是只提供一个所谓的“中等”人工智能的访问权限，而将它们更先进的人工智能留给自己直接在各个行业的公司竞争。
所以，这变成了一种垄断。如果经济集中在少数几家公司手中，那么这些公司就会有控制世界的诱惑。
当您听到美国和中国总统及其各自政府的讲话时，您认为监管或风险讨论的地位在哪里？它完全不存在吗？您是否觉得他们至少考虑过并提及过？在当今这两个巨头那里，它是什么样的？
我认为，就像在任何政府中一样，中国和美国都有不同的倾向。有些人比其他人更担心。很明显，在美国，目前共和党人以及在一定程度上民主党人的主要情绪是害怕输给中国。这主导了讨论。
但是，如果我们稍微展望一下未来，仍然假设能力不断提高，并且失控或被恐怖分子用于制造大流行的可能性变得更加切实。到那时，最理性的做法是，在政府不总是理性的情况下。是的，当然，他们不想输给对方，但他们也不希望恐怖分子引发大流行，他们也不希望人工智能将他们全部压垮。
我们都在同一条船上，无论我们是中国的、美国的、欧洲的还是非洲的。所以，那时他们将有兴趣进行对话，试图找到一种方法，就像核武器一样，确保对方不会开发出可能对我们有害的东西，并且不会通过不当方式开发出失控的人工智能，也不会让恐怖分子能够访问这些系统。甚至可能需要所有其他国家参与谈判，因为即使中国和美国就某些原则达成一致，这就像核武器和不扩散一样，他们也必须确保其他国家不会开发出可能对他们有害的人工智能。
嗯。
但我仍然看到与核武器的区别是，首先，今天我们已经开发出了能够摧毁整个国家、夷平整个国家的东西，但我仍然觉得核武器有“使用”或“不使用”的维度。仍然存在“我们可能会投下一颗可能摧毁一个国家的炸弹，或者我们不这样做”的维度。而人工智能，有点像气候变化，以某种方式具有更阴险的维度，因为它循序渐进，而且风险……而且因为它使用起来也有好处。
此外，使用它还有好处。所以，风险在于，那个“啊，也许我们走得太远了”的点，实际上我们发现得太晚了，而且，例如，一个这样的巨头最终会说，“我们愿意卖给任何人。”这是可能的，现实的，我不知道，但这是可能的。
所以，他们说，“我的商业利益超过了道德利益，因此我愿意将其出售给恐怖组织，例如，或者一个有攻击意图的国家，等等。”而风险在于，这可能太晚了，而且它会让我们不知所措，就像气候变化一样。我们发展了这场竞赛，我们说了，“啊，我们需要监管。”是的，但是，它已经超越了某些人。
这就是为什么世界各地的公民都必须理解我们所处的动态，可能的风险。这一切都没有保证，因为我们必须设定界限，制定国际条约和监管，并发展抵御他人的能力。这些是我们现在必须做出的决定，因为可能需要几年时间才能真正实施所有这些事情。
顺便说一句，关于气候变化和人工智能的类比，人工智能的能源消耗问题经常被提及，越来越多的数据表明，几年后，人工智能的使用，甚至 OpenAI 的使用，可能会超过某些城市或国家。今天我们对此了解多少？您如何看待这种风险，显然是能源方面，因此也对气候的影响？
这几乎不是风险。这几乎是确定的。至少，除非出现一个导致投资崩溃的泡沫，否则趋势是指数级的。如果我们观察人工智能的能源使用曲线，它是指数级的。显然，指数级不可能无限期地持续下去。所以，如果我们根据目前的趋势进行推断，到 2030 年，它将撞墙，因为即使我们部署了我们今天所能做到的最大程度，也根本没有足够的能源。
这还是假设我们使用所有化石燃料来满足这些“野兽”的需求。然后，在此期间，能源价格将上涨，我们将向大气中排放大量碳，能源价格已经相当昂贵。
情况可能会更糟，因为制造人工智能的公司愿意支付更高的能源价格，因为他们知道他们会赚很多钱。
我们必须明白，达到人类智能水平等预期利润是数万亿美元。而今天投资的只是数万亿美元，数千亿美元。所以，还有 1000 倍甚至 10000 倍的增长空间。因此，他们愿意支付两倍、三倍、四倍、十倍的价格。
可以吗？
是的。
然后，我们又回到了经济问题，就像特朗普呼吁大规模钻探石油一样，因为经济利益超过了气候利益，但实际上是人类和健康利益。在这里，人工智能也是如此，他们将有兴趣使用能源，因为与其中的利润相比，这总是更便宜。
在这种情况下，我们该怎么办？
[笑声]
您看到了哪些可能实施的解决方案，主要的解决方案？
首先，我们必须了解正在发生的事情，并且公众必须对此保持警惕。这也是我参与经合组织国际委员会以及关于人工智能安全问题的 J 报告的原因之一。这是第一步。
然后，我们必须在监管方面取得进展，而不是像欧洲目前所设想的那样倒退。而且，我们必须明白，监管和创新并不矛盾。恰恰相反，我们周围所有强大的技术都已经受到监管，并且它们的发展方向是最大限度地减少对公民的危险。人工智能也不例外，因为正如该报告所研究和讨论的那样，存在各种风险。
而且，人们会想要使用值得信赖的人工智能，而不是那些可能表现出危险、奇怪行为，或者可能被外部用户以各种方式滥用的人工智能。所以，这甚至不是一个理性的论点，但遗憾的是，这是主流论点。
最终，仅仅监管是不够的，因为无论我们在欧洲制定什么样的法规，如果像我们讨论的那样，中国或美国的公司最终拥有对我们公司生杀予夺的权力，那么我们不能接受这种情况。
我们绝对必须投资于人工智能的发展，但要使其与我们的价值观相符。我重要的信息是，这仍然是可能的。存在一种错误的观念，认为我们必须在道德和创新或科学技术进步之间做出选择。绝对不是。事实上，在大多数科学领域，我们两者兼顾。当我们进行生物学研究时，我们设定了道德界限，并做出了对医学有用的事情。这并不矛盾。我们完全可以鱼与熊掌兼得。这是一个假两难。
在我自己的研究中，我正在研究如何利用现有的人工智能工具开发能够遵守我们设定的道德红线的人工智能。我现在坚信这是可能的。这是一个投资问题，是一个工程问题。所以，我们必须进行这些投资，而且，今天欧洲国家承诺和预期的投资，只是美国和中国正在做的事情的一小部分。所以，我们绝对必须达到相同的水平，以免成为主导公司可能掌握的权杖的囚徒。
这种能够以某种方式监管其他人工智能的工具，这种形式的人工智能，您是否将其视为这些公司之外的某种东西，并且稍微高于这些公司？它是否更像是某种会集成进来的东西？每个公司都会接受，但这也是一个挑战，集成到这个块中，它会是什么形式？
有几种可能的情况，但目前我们正在尝试开发一种专门的人工智能，用于预测另一人工智能的行为可能根据不同的参数、不同类型的风险而变得危险。因此，这就像是在现有公司所做的事情之上增加了一层软件。它们已经有了这样的系统。它们称之为监视器、保障措施。所以，这将在正在开发的产品线中。
现在，嗯，我可以详细介绍技术细节，但我认为今天用于这个角色的东西还不够好。这就是为什么我决定投入我的时间和大部分精力来从事这项研究。
而且，当然，再次强调，这是一个预测，一个假设，但确实存在一个同意的问题，即这些公司是否愿意接受这个框架，或者相关国家是否会说，“是的，确实如此，存在一个挑战，我们必须将其纳入。”
所以，我们又回到了政治问题。我们可能会想象，我们将在稍后讨论，但欧洲已经实施了一些法规，美国或中国则少一些，因为存在着朝着人工智能发展的重要竞赛。我们如何才能说服唐纳德·特朗普（如果他当选的话）以及习近平说，“不，我们必须放慢人工智能的速度。”
首先，公司希望拥有行为良好的人工智能。她们并不是想制造会引起各种问题的人工智能。恰恰相反，这会给她们带来诉讼等成本。问题仅仅在于，她们今天没有动力花大量时间在这方面进行探索。
如果我们为她们提供能够提供更多安全、保障、遵守社会规范的可能性，那么她们会感兴趣的。然后，我们必须看看这需要多少计算时间，诸如此类的事情。
我们确定她们都想要这种好处吗？因为我们也可以说，“是的，我同意，我们必须结合多种力量来确保每个人都使用安全系统。”而这时，别无选择，我们必须监管。
还有一种策略，我认为很有趣，尤其是在像美国这样非常相信市场力量的国家，那就是不告诉公司如何保护公众，而是让她们确保自己能够应对可能造成的损害。
好的。
您如何确保？购买保险，保险公司。
因此，有一些保险公司，它们没有特别的利益，它们没有我们刚才谈到的那种外部性。相反，它们有兴趣让保险费与实际风险相匹配。
嗯。
所以，由于保险合同的结构，出现了一种诚实，即如果一家公司承担更高的风险，她的保险费就必须更高，因此她更倾向于不支付过多的保险，从而进行研究以找到技术解决方案。
除非价格……他们愿意支付价格以求生存。嗯，我们又回到了这个问题。
是的，是的。
所以，我认为，我们必须采取一系列[笑声]的力量来尝试减轻风险。
您认为欧洲在这场斗争中扮演什么角色？我们已经说过，有一些法律和措施已经到位。我们想到的是，某些使用存在风险且被认为不可接受的用途。
人工智能。但是欧洲的角色是监管吗？是创造自己的，符合某些规则的吗？我们知道 Mistral 是当今欧洲主要的 AI，主要设在法国。法国应该扮演什么角色？总之，法国，或者说欧洲，在这一切中扮演什么角色？实际上，我们需要在风险管理方面明确，也就是监管，但这还不够。即使我们有规则，如果我们被其他国家做出的决定所束缚，使我们沦为附庸，那也无济于事，也不够。因此，欧洲也必须发展自己的 AI，这意味着要帮助这个世界上的 Mistral 们真正进步，并进行研发，以便能够最大程度地竞争，也许还要有多个参与者，因为我们不会把所有的鸡蛋都放在同一个篮子里。另一个要素是与其他处于相似境地的国家寻求联盟，我们可以分享人才，分享专业知识，因为这毕竟是一场研发竞赛，也是训练成本，因为资本瓶颈首先是这些计算中心的成本和训练成本，这并不取决于我们拥有的用户数量，但它会影响我们训练的 AI 的智力能力。因此，这变得非常有利可图。假设有两个国家分摊训练成本并共享由此产生的 AI，他们将把训练成本减半，而这仍然是整体中最高的成本。但是，仅仅建立计算中心是不够的，因为如果我们拥有漂亮的计算中心，但没有最先进的软件来与其他主导国家竞争，人们就会使用他们能找到的一切，也就是运行他们的软件，所以我们仍然被束缚。但这总是老一套了，我感觉几年前我们在法国关于谷歌的问题上也有过同样的话题，以及当时似乎有一个叫 Quant 的法国搜索引擎想要发展。这总是同一个问题，那就是，是的，这种美国模式正在充斥着这个国家。在使用上，无论是企业还是个人，我们都会转向最有效、最实用、最显而易见的选择。因此，通常情况下，就像在社交媒体问题上一样，这是美国公司。实际上，风险是我们……是的。想法是有一个备用计划。如果我们面临威胁，哦，我会切断你的水龙头。好的。哦，不，我的 AI 几乎一样好，所以我的公司可以继续保持竞争力。好的。那么，我们仍然需要鼓励这些欧洲 AI 在欧洲的部署，因为软件的转移是有成本的。正是如此。所以我们想做好准备，避免大的过渡成本。但这主要是一种保险政策，是一种威慑。不要犯错误，因为我们有我们的，不是为了攻击你，而是为了取代你今天拥有的东西。是的，是的，是的。我认为欧洲在计算机科学和工程领域拥有大量非常有能力的科研人员，以及可以与欧洲结盟的其他国家，并且完全有可能超越美国，尤其因为我们想要开发一种能够考虑到我们的伦理和民主价值观的 AI。我们甚至可能有一些对我们的竞争对手有用的东西。我将举一个例子，因为我感觉欧洲有一种失败主义精神。我们谈论的是已经输掉的领先优势。请记住，这是少数工程师在两年内完成的，他们基本上达到了最先进的水平。所以这是可行的，需要政治意愿，他们也得到了帮助，获得了所有的计算能力，并做出了正确的选择，不要把所有东西都放在同一个地方，并建立联盟来降低成本等等。但是这是可行的。我们不能一开始就认输，否则我们就什么也做不了。而且，对于许多我们正在讨论的潜在风险非常大的问题来说，即使我们不确定我们的策略是否能保护我们免受风险，这些风险的严重性也是如此之大，如果它们真的发生了，那么我们就必须尽一切努力。否则，这不仅令人沮丧，而且我们几乎肯定会输。也许这是我的最后一个问题。我们看到了很多不同的场景，很多假设等等。我不知道在多大程度上，你们自己有一个你们认为最有可能的假设，如果我们做预测的话，或者你们认为最可能的事情。以及与此相关的问题：鉴于目前的情况，你们对未来感到乐观吗？你们是如何看待这一切的？即使是你们在日常工作中，在处理这个问题时。我一直是一个乐观的人。这在我整个职业生涯中一直支撑着我。所以，当然，我现在面临着艰难的想法，难以接受的场景，但让我从这种情绪中走出来的是采取行动。通过采取行动，我的乐观程度实际上提高了。我的研究告诉我“是的，开发不会伤害我们的 AI 是可能的，无论是人类要求它们，还是它们自己。”而且，最终，我认为技术方面更容易，嗯，我是一名研究员，我不是政治家，所以对我来说，这更容易。关于政治。我认为挑战确实更难，但我对某些事情感到欣慰。例如，最近，欧洲国家做出了一个巨大的决定，由于乌克兰和俄罗斯的局势，在国防方面进行大量投资。所以，当政府意识到存在军事上的生存风险，在这种情况下是政治上的，他们就可以采取激进而迅速的行动。而这正是我们今天所需要的。但最后，我不想以消极的方式结束，但再次强调，在军队等问题上，确实有反应和这些事情。但这有点像我们之前讨论过的核问题，因为我认为在气候问题上，其他人会说“是的，但看看气候吧，它在杀人。”气候变化每年杀死数十万人，甚至数百万人。尽管如此，是的，有一些行动正在进行，但根据研究人员和科学家的说法，速度不够快。所以，确实存在两种观点，也许是两种同时存在的方面。但我们看到，无论如何，这是一个复杂的主题，但我认为它很重要，值得讨论。感谢您今天花费的时间。我们讨论了很多东西，超过一个小时。无论如何，我们将在描述中提供很多链接，供您进一步了解。 [音乐] 但非常感谢您，感谢您提出出色的问题。非常感谢。 [音乐]