Transcription
在某个时刻，我们将不得不向超级智能人工智能解释，我们应该拥有权利。我们是有意识的，你如何证明这一点？是什么让它几乎…… >> 计算机科学家和领先的人工智能安全工程师 Roman Yolski 博士在世界开始关注人工智能风险之前很久就在研究人工智能风险。当每个人都看到好处时，他看到了危险，失去了控制。他的警告很明确。超级智能可能是人类最后的发明。我们离创造某种超级智能只有一步之遥。我们甚至无法描述超级智能可能是什么样子，它可能做什么，而且它将完全失控。没有人会投资数十亿甚至数万亿美元来投资一个没有未来的东西。想象一下像亚马逊这样的公司，他们所有的 10 万名员工现在都是非常便宜的机器人。那家公司会盈利多少？ >> 所有进展都发生在美国或中国。目前，两国都非常决心要率先实现这一目标。但是，您非常清楚，超级智能对人类不利。 >> 滴滴出行首席执行官，XAI 首席执行官，甚至马斯克达里奥，他们都公开表示这极其危险。如果我们不控制它，如果它很危险并可能决定消灭人类，我认为这并不重要，好吧，你创造了它。你就像它的父亲。 >> 这听起来确实很可怕。而且你不是在谈论 50 年后的事情。你无法为超级智能做好准备。我认为这不可能，我们不应该制造一个。嗯，你好，罗马。欢迎来到 Sparks。在 Sparks，我们涵盖各种深度科技话题，特别是新的技术趋势如何塑造社会、经济、政治格局。而近期最大的趋势之一显然是人工智能的崛起。现在，当每个人都对人工智能今天的能力，人工智能在不久的将来会做什么，通用人工智能（AGI）可能已经到来或即将到来感到非常兴奋时。您近 15 年来一直在谈论的一个非常重要的话题。当我浏览您关于人工智能安全的研究时，我意识到整个世界几乎已经忘记了谈论人工智能安全。在我看来，在 2023 年和 2024 年，当人工智能不如今天强大或普遍时，更多的人在谈论它。您是否认为您试图传达的人工智能安全重要性的信息得到了足够的关注，在世界范围内进行了足够的对话？ >> 嗯，谢谢您的邀请。嗯，是的，绝对。当我 15 年前开始时，什么都没有。没有学科，没有领域，没有期刊，没有资金。那是纯粹的科幻小说。我认为它一直在呈指数级增长。每年都有更多的机会，更多的人进入这个领域。我认为现在是最好的时候。每家公司，每所大学都有一个安全团队。有专门讨论这个话题的会议。显然，播客也对这个主题感兴趣。所以我想这是最好的了。 >> 您认为这与您信息的意义相比如何？我认为根据我的理解，您很清楚您一直提出的论点是，我们离创造某种超级智能只有一步之遥，而且当那一刻到来时，我们甚至无法描述超级智能可能是什么样子，它可能做什么，而且它将完全失控，因此它需要我们今天非常认真的关注，在我们拥有超级智能之前，这是我们唯一可以做任何事情的窗口。但是，我的日常工作涉及大量的人工智能相关工作。我们都在忙于构建应用程序，并弄清楚如何自动化这项工作，那项工作等等。人工智能的经济影响。现在，这种地缘政治动态正在围绕谁控制人工智能而重塑。似乎没有引起足够的关注，我很少听到模型公司关于他们正在做什么，正在做什么的任何信息，每当发布新版本的……嗯……新模型时。所以我想知道您是否对我们是否做好了充分的准备，以应对超级智能的到来感到满意。 >> 所以我认为我信息的重点是，你无法为超级智能做好准备。这不是说如果我们有更多的钱和几周的时间，我们就能弄清楚如何控制神一般的机器智能。我认为重点是我认为这不可能，我们不应该制造一个。而这场对话并没有像我希望的那样顺利。 >> 为什么会这样？为什么您认为我们不应该接近似乎全世界都决心朝着那个方向前进？我认为我们几乎倾尽了……嗯……整个全球的力量，尽快创造……嗯……超级智能。您为什么认为我们应该努力避免这种情况？所以，虽然我们可以用狭窄的人工智能工具做很多事情，但我认为不可能无限期地控制比你更聪明的东西。所以不制造它是最好的选择。我很高兴看到本周在达沃斯，我们有 Demis 建议暂停……嗯……超级智能的研究，如果其他实验室，其他国家加入他，Deep Mind 将愿意这样做。所以这是朝着那个方向取得的一些进展。这真是令人难以置信。我……嗯……我一直在关注达沃斯的新闻，其中很多都围绕着人工智能的经济影响以及谁控制人工智能等等，但很高兴看到 DMSO 谈论这个。我不知道所有模型公司能否走到一起，但当您说暂停超级智能研究时，您是指目前正在进行的，我们试图让这些模型越来越大，越来越多的涌现属性能力出现的工作，还是暂停一些尚未主流的研究？不，具体来说，就是尽快将其扩展到所有领域。嗯……查看多模态数据、视频、音频、文本，这会创建通用系统。所以很难理解它们是如何工作的，监控它们的性能，能够测试它们。我们知道如何测试狭窄系统的所有属性。即使是人类水平的通用人工智能，如果它不是人类水平的，如果它是超级智能的，那么我们甚至不知道如何开始。 >> 而且可以说，目前所做的大部分工作都更倾向于通用智能而不是狭窄智能吗？ >> 所以，大项目，大公司肯定在研究更通用的系统，自动化所有劳动力的自由劳动力，认知和体力，这是我们都希望获得的数万亿美元的自由劳动力的巨大回报。所以这就是我们看到的。当然，也有一些小公司将特定的……嗯……狭窄的工具应用于您描述的业务应用问题，但……嗯……它们不是那种……嗯……拥有那种资源和影响力的。 >> 让我们……嗯……慢慢地深入探讨一下，我想深入研究几个领域，并希望得到您的看法。首先，一方面存在广泛的失业恐惧，而且……嗯……我认为即使在您的一些演讲中……嗯……您认为到 2029 年，2030 年，失业将非常明显，例如自动驾驶，很多……嗯……办公室工作，很多运营类型的工作，但这些失业还不是很明显，您认为我们即将……嗯……在接下来的几年里达到拐点吗？因为在某个地方……嗯……如果我们将在四年后，五年后遇到如此极端的情况，那么其中很多应该已经显现出来。努力是显而易见的，但影响尚未显现。 >> 嗯，我认为如果你是一名刚从计算机科学系毕业的初级学生，那么在上一学期就失去了大约 30% 的工作，那么它就很明显了。我认为自动驾驶也是如此。在美国，您拥有……嗯……整批的……嗯……匿名出租车，无论它是 Venmo 还是您谈论……嗯……特斯拉发布其最新产品，这绝对是显而易见的。 >> 您认为如果失业以这种方式发生，会发生什么？而且……嗯……如果您在五年后进行这次对话，世界会是什么样子？如果突然有这么多人失业，那一定会非常混乱。 >> 嗯，希望政府会通过提供安全网来容纳人们，至少是经济安全网，通过对那些大型人工智能和机器人公司征税进行某种程度的再分配，并为那些失业的人提供支持，否则就会出现混乱，革命，基本上是不稳定的社会。 >> 从您的角度来看，这似乎对您来说是不可避免的，即……嗯……最有可能的是，我们将会在几年后进行这次对话。 >> 是的，所以哪些工作肯定会消失并不明显。很多时候人们喜欢在某些职位上有人。所以这可能不是普遍的，你知道，100% 的失业率，但某些工作显然很容易自动化。纯粹的认知可以在计算机上完成。所以，对于大多数人来说，会计税务准备将被自动化。在您的一次……嗯……嗯……演讲中，您提到……嗯……您认为至少某种形式的通用人工智能已经存在，因为这些模型相当通用，而许多……嗯……人工智能领导者一直在谈论通用人工智能可能在 2027 年或 2028 年到来，是否有不同的定义……嗯……看待通用人工智能？您的看法是什么？是什么让您认为它……嗯……几乎已经存在了？ >> 嗯，我们感兴趣的主要属性是再次学习的能力，模型能够掌握新技能？它能否适应新的工作环境？而且它们似乎能够获得新技能。它们还不如人类。拥有有限的长期记忆，有限的规划能力，但它正在呈指数级增长。在许多领域，它们似乎已经占据主导地位。所以，编程，它们绝对主导初级程序员，很快就会主导高级程序员。现在它们主要处于监督角色，但……嗯……我们看到报告说，一个新项目的全部代码都是由模型自主生成的。所以……嗯……看起来用不了多久，整个软件工程行业就会被彻底重塑。而且，当您跟踪模型能力和世界影响的进展时，您是否认为我们已经处于这种……嗯……指数增长的曲线上，每一年都比前一年有了巨大的进步，还是有可能事情会停滞不前，因为我们遇到了某种扩展限制或今天我们不知道的事情，或者……嗯……这种指数增长几乎是显而易见的。而且是我们理所当然的。 >> 似乎实际上是超指数的，因为每个组成部分都是指数级的。计算量的增长，财务投资，人力资源数量，数据，标准指数和标准指数，我们肯定每年都会看到多个模型出来，能力提高 20-30%。听到您对……嗯……至少其中一个……嗯……其中一位领导人物 Yan Lun 的看法，他一直在谈论大型语言模型（LLM）不是最终的答案。我认为，如果我没记错的话，Ilya 也谈论过……嗯……扩展已经结束了，是时候回到研究了。您对这些不认为我们最终不会达到超级智能，而是以目前的方式行事的观点给予多少信任？ >> 所以我认为 Ilya 在他发布的采访后纠正了这种理解。他指的是完全不同的事情。所以扩展仍然做得很好，我们从投资者那里看到了这一点。没有人会投资数十亿甚至数万亿美元来投资一个没有未来的东西。所以显然他们看到了直接的扩展潜力。 >> 今天为他们的数十亿美元。嗯……他们所说的增长是这些公司的估值在上涨，但他们不一定说收入或盈利能力或损益表。那也是需要在现实世界中看到的，才能产生真正的损益影响和利润机器。与过去的科技巨头不同，苹果、谷歌、Facebook 产生的金钱数量，目前的人工智能公司似乎离产生……嗯……那种利润还很远。 >> 好的。所以这是货币化并将其纳入估值中，未来拥有自由劳动力的能力。所以……嗯……想象一下像亚马逊这样的公司，他们所有的 10 万名员工现在都是非常便宜的机器人。那家公司会盈利多少？所以你可以今天就定价。如果我们……嗯……朝着自由劳动力的方向走了 40%，那么我们完成了多少自动化？那是万亿美元中的 400 亿美元。所以……嗯……你绝对可以理解那些疯狂的估值，尽管目前利润很少。 >> 而且一旦利润到来，其中大部分将高度集中在拥有这些前沿模型的五六家，甚至十家公司中。 >> 很难预测会怎样，因为在他们开发出最新模型后不久，就会有一个开源的替代品。也许 3 个月后，您就能免费获得几乎相同的能力。所以我不确定他们如何保护这些知识产权。其中很多将基于拥有服务器，拥有部署模型的能力，但模型本身很难保护，不被他人迅速剽窃、窃取权重，并……嗯……基本上以较低的研发投资进行竞争。但这在某种程度上也……嗯……与投资者的热情相悖。您知道，一方面我控制着将产生如此多经济成果的技术。因此，所有这些对未来的折现估值都是合理的，但如果它变得商品化并开源可用，那么我就会很快失去价值。那么您如何调和这两件事呢？ >> 这是一个很好的问题，投资者需要弄清楚……嗯……如何处理它。我认为他们认为第一个到达那里的公司将占据经济的很大一部分。他们可以快速自动化其他行业的各个部分。如果他们拥有必要的计算能力，他们可以快速与……嗯……其他公司签订合同。所以这就是为什么您看到那些巨型服务器的建设。但……嗯……当然，没有人知道它实际上将如何部署，以及是否会有任何……嗯……泡沫破裂，因为每个人都达到了几乎相同的模型类型，并且开放权重与封闭模型没有太大区别。 >> 作为一个……嗯……而且我想我们稍后会详细讨论，但……嗯……您非常清楚，超级智能对人类不利。鉴于这种观点，您是否几乎欢迎泡沫？它给了我们喘息的机会，一点暂停，重新评估事情，也许能让投资者的目光更加集中。 >> 绝对。是的。如果我们能停止这场疯狂的军备竞赛，只是……嗯……以扩展为首要目标，而安全甚至不在考虑范围内。是的，绝对。而且，罗马，对于这次对话来说，是否也公平地说……嗯……根据我们所能看到的一切，根据您所跟踪的一切，目前超级智能的崛起似乎是不可避免的。我认为这在某种程度上与……嗯……我记得 Rea 也谈论过这个……嗯……你知道，潜在的奇点时刻……嗯……大约在 2045 年。似乎我们正朝着……嗯……除非发生一些非常戏剧性的事情，但……嗯……我们可能会……嗯……在十年左右或更短的时间内看到某种超级智能。 >> 是的，所以我们从预测市场和实验室负责人那里得到预测，我们很可能会在 2027 年或甚至更早获得类似人类的智能。一些人说，一旦你达到这个水平，你就可以自动化科学和工程，你可以拥有庞大的人工智能科学家团队来研究下一代人工智能模型，那时它将相对于人类表现超级智能，而这个过程将继续下去，随着模型的改进，它们在进行研究和开发方面会做得更好。所以很快你就会从“好吧，我在 2027 年获得了通用人工智能”变成“我在 2030 年拥有超级智能”。 >> 在这个论点中，您假设一旦我们能够说我们拥有人类水平的智能，模型将能够以超指数的速度自我改进，因此它将是一个失控的效应，而且智能达到我们无法识别的水平所需的时间将非常短。 >> 完全正确。完全正确。而且，如果您假设这种世界观，罗马，那么……嗯……今天我可以说，人工智能的许多兴奋之处仍然是关于应用程序、企业、初创公司等等的实际应用，这似乎几乎是徒劳的。我认为在两年内，这一切可能会改变。谁在构建什么应用程序，有多少自动化，谁是赢家和输家可能都不重要了，因为游戏将变成完全不同的东西。 >> 而且我们看到小型公司围绕模型的某个功能创建一个初创公司。他们对其进行优化。他们进行融资，然后下一个模型就可以开箱即用。不需要特殊的应用程序或任何东西。它只是模型的一个功能。所以，很多这些企业在功能改进方面没有任何保护，而且我们将在大多数行业中看到更多这种情况。 >> 您认为世界以前见过这样的事情吗？我们有任何可以类比我们即将面临的情况来想象它吗？ >> 嗯，没有完全的类比，但您可以想象一下不同技术发展水平的文明之间的历史性……嗯……相遇。所以当欧洲人带着枪和……嗯……你知道，更好的通信工具到来时。对于原住民来说，能力差距相当大，所以当然结果对他们来说不是最好的。 >> 似乎另一场已经输掉的竞赛是新兴能力与可解释性。过去，几乎所有技术，包括核弹或……嗯……基因编辑，我们都理解，我们确切地知道我们在做什么，为什么某些东西有效，为什么它如此强大，但在这种情况下，看起来它只是通过更多的数据和更多的计算机和更多的能量在做所有神奇的事情，但我们真的无法用计算机科学的方式或任何已知的框架来解释为什么以及如何出现这些能力。 >> 这就是我们看到的。所以模型本身就是解释，但模型很大。您谈论的是数十亿个节点，数万亿个权重。所以没有人可以阅读整个东西，进行调查并理解它。即使我们可以说，“好吧，这个神经元在这里在你看到一张脸时会激活”，诸如此类的小知识片段，它们并不能让我们将其扩展到整个模型，让个人完全理解正在发生的事情。所以随着模型规模的不断增大，这种差距就更大了。即使我们得到了解释，它也变得过于复杂，我们无法理解。太多的变量，太多的特征构成了决策。 >> 对，这……嗯……这意味着我们真的在玩火。你知道，我们正在构建这些极其强大的能力，并且它们不断变得更好。嗯……看起来我们也没有用完动力。所以它会……嗯……另一方面，我们并不真正理解它是如何工作的。因此，我们可能也不理解如何控制它，尤其是在它达到自我改进的水平之后。似乎……嗯……我知道您在尽力引起人们的注意，但是……嗯……看起来政策制定者、政府根本没有给予足够的关注。似乎……嗯……也许这是一个问题，但在遥远的未来，我们有更紧迫的事情要处理。在未来几年，一些国家，尤其是在印度……嗯……我们正在考虑主权模型，我们如何拥有本土人工智能，对其进行某种控制。而这些才是人们的担忧，而不是当超级智能接管时，整体社会经济结构会发生什么。 >> 这正是我们看到的，而且它非常区域化。在美国，他们做出了决定，决定不进行监管，而是尽快向前冲。在欧盟，我们看到了一些担忧。我能够向英国议会小组就这些问题作证，我们正在就超级智能和限制它进行额外的听证会。所以有一些成功，但它并不普遍，也不在需要的地方。而且看起来，在大多数情况下，所有进展都发生在美国或中国。而且……嗯……我认为目前两国都非常决心要率先实现这一目标，因为在某个地方他们认为未能率先实现是不可接受的。而且它几乎就像是相互确保摧毁的最新版本，正在上演。 >> 我们确实看到了国家之间的军备竞赛，在这种情况下，相互确保摧毁来自第一个建造它的人。无论美国制造并控制超级智能，还是中国制造并控制超级智能，结果都是一样的。 >> 嗯，你能解释一下吗？为什么你这么说？因为你知道，在核武器或其他任何技术的情况下，你会认为如果我先建造它，我就会占上风，但在这里，我认为……嗯……你在你的书中也提出了论点，谁得到它并不重要。你能解释一下为什么，理性是什么？ >> 对。所以，如果我们不控制它，如果它很危险并可能决定消灭人类，我认为这并不重要，好吧，你创造了它。你就像它的父亲。它只把所有人类视为完全相同。要么是一个需要解决的问题，要么是一个需要消灭的竞争对手。所以，它不受控制，这并不重要。它对谁建造它没有任何区别。现在，如果你能控制它，那么你就可以说，好吧，这是中国的人工智能，我们将用它来获得军事优势。这只在人类水平之前有效。所以现在是的，谁拥有更先进的无人机将在战争局势中占据主导地位。但一旦你超越了人类的能力，那就无关紧要了。控制才是真正重要的。而人工智能本身就是危险的产物，而不是……嗯……一个人类群体。 >> 所以你的意思是，几乎是定义，如果它是超级智能，它就无法被人类智能控制。 >> 至少我的研究指向这一点，而且我还没有看到任何人反驳它，或者表明不，事实上我们可以控制它，或者我们有一个可以扩展的安全机制。所以基本上，这就是……嗯……每个人都意识到，这只是不可行的。嗯……他们希望也许人工智能以后会帮助他们进行研究。也许它会默认是好的，因为它非常聪明。但所有这些都只是祈祷事情会顺利。没有工程或科学上的理由认为我们可以做到这一点。对于很多……嗯……从普通人的角度来看，他们听到的人工智能叙事，尤其是来自人工智能支持者的叙事，是……嗯……控制它不会那么难。它们只是一堆参数，它只是……嗯……内存中的一些数字。嗯……一种极端的说法是，你可以……嗯……拔掉它，或者你可以关掉它。你知道，我们处于控制之中。是否存在某种逃逸的人工智能版本？或者那个它变得无法被我们控制的时刻，在那些我们运行的服务器上，以及……嗯……我们如何操作它？所以，这很有趣。也许 10 年前，当我们写下它时，我们谈论了……嗯……与先进的人工智能合作时有哪些好的安全实践。绝对不要连接到互联网。不要让随机的人通过通信和数据等影响它。我们说不要做的一切都被立即做了。他们做的第一件事就是将其连接到互联网，让每个人都可以访问它。所以没有逃逸的概念。它从未被限制过。现在的问题是，它是否足够独立以实现自给自足？它能否帮助发电，制造新的处理器？如果它依赖我们来提供，那么我们在这个关系中仍然占有一定优势。我们可能仍然不是 100% 控制，但它需要我们。一旦它能够独立进行研究，开发硬件，提供电力，我们就无能为力了。所以，我认为那就是不归路。您认为人工智能开始做出自己的独立决定时，我们就有效地处于战争状态了吗？ >> 好的。所以，我们将处于这种竞争性的对抗关系中，如果它比我们聪明，我们不太可能在这场竞争中做得很好。事实上，根据差距的大小，我们可能根本没有竞争。 >> 对？嗯……嗯……您认为大科技公司中的观点是什么？这一定……嗯……大科技公司里也有很多非常有意识的人，他们一定很担心，我敢肯定他们能看到您所看到的。您刚才提到了 Demis 在……嗯……嗯……达沃斯所说的，但所有的大科技公司也要对他们的股东负责，他们的季度收益，他们的利润正在不断上涨，他们还在继续投入……嗯……难以想象的资金用于能源、计算和数据。内部对话是什么？人们在做什么？他们只是……嗯……继续这样下去，直到……嗯……它就摆在我们面前？ >> 似乎是这样。激励措施完全不一致。正如您所说，他们被迫继续这场军备竞赛。即使有人要取代一家公司的首席执行官，他们也会被一个愿意继续前进的人取代。所以，他们不能单方面停止。但我们知道……嗯……滴滴出行首席执行官，XAI 首席执行官，埃隆·马斯克，达里奥，他们都公开表示这极其危险。20%、30%、40% 的……嗯……我们都会被我们正在开发的技术杀死。所以我想他们已经准备好接受外部力量建议暂停。我认为他们都可以坐到谈判桌前，如果有一个强大的联邦政府指导它，并说好吧，我们想从这项技术中受益，我们还没有准备好进入下一个阶段，让我们将其货币化，让我们通过经济部署我们今天所拥有的，但让我们不要在 2027 年制造超级智能。 >> 而且，虽然我们已经有科技公司公开警告，有时埃隆·马斯克在三四年前就曾警告过，但现在似乎不再是这样了，因为 XAI 也做得相当好，而且非常有竞争力。嗯……而且……嗯……而且有像您这样的人工智能安全专家一直在不懈地谈论它。但是，如果您与街上的普通人交谈，并问他们，他们的……嗯……首先，他们甚至不知道……嗯……这个词的意思，如果您说有 1%、10%、30% 的几率在 10 年内灭绝，我认为人们会嘲笑我们。为什么在……嗯……至少在知情者之间，以及……嗯……普通大众之间存在如此大的脱节？几乎感觉……嗯……如果你看过电影《不要抬头》，几乎感觉……嗯……那种人们要么拒绝，要么没有足够的信息和背景来……嗯……思考这个问题。 >> 嗯，实际上我认为数据显示了不同的情况。当他们调查普通人时，他们实际上比专家更担心先进的人工智能。他们对我们如何控制它，如何保住工作，它将对我们产生非常负面的影响有着非常好的直觉。嗯……我认为他们已经通过我们一直在向他们展示的科幻电影做好了充分的准备。如果您看过《终结者》，您应该明白，好吧，军事人工智能不好。然后您会看到……嗯……就在上周，白宫出来说，我们将在国防部部署人工智能。它将控制一切。我们将由人工智能负责。所以，我认为普通人非常担心，他们可能没有术语，但他们的……嗯……担忧程度高于专家。这很有趣。我不知道。那么……嗯……后续问题是……嗯……人们有什么机制来做这件事？你知道，他们是否……嗯……现在是时候让他们开始……嗯……向当地政府施压，让他们做些什么了？我认为他们对大型科技公司几乎没有发言权，他们会根据自己的激励措施去做他们需要做的事情。那么普通人该怎么做？ >> 是的，这是一个很好的问题。所以，公众对控制和限制这项技术的立法的大力支持将会有所帮助。有一些草根组织，例如“暂停人工智能”、“停止人工智能”，它们正试图动员人们在大型实验室进行抗议。与其他公众……嗯……运动相比，这非常小，例如气候变化，任何类似的事情都有数百万、数十亿的支持者。这太新了，而且很少有人完全理解正在发生的事情。我们还没有达到那个数字，但希望随着我们看到一些发展，情况会发生变化。考虑到人工智能也有巨大的潜力，有很多我们过去无法解决的问题，或者进展缓慢，无论是气候还是……嗯……甚至……嗯……很多生物技术的东西，您现在预计会有很多治愈方法，但却没有发生，正如预测的那样，等等。嗯……我们如何平衡……嗯……所有关于人工智能能做什么的兴奋？我认为我们应该这样做。选择特定的目标，治愈这种疾病，解决太阳能电池板的优化问题，无论您想在那个狭窄的领域做什么，训练相关数据，并获得惊人的好处，而没有通用超级智能的所有危险，我们有先例可以这样做。 >> 这些初级助理人工智能研究员，我想顾名思义，它们仍然将是人类研究员的副驾驶或助手。但是，您预计人工智能何时开始在对我们来说很难的事情上取得真正的研究突破？你知道，例如量子计算，你知道，我们已经研究了很长时间，进展非常缓慢，或者聚变。再次，你知道，很多人在尝试。这似乎是一个高度棘手的工程问题。您预计人工智能将在未来几年为这些领域做出贡献吗？ >> 很难预测多久。这肯定会发生，但无论需要多长时间，你知道，两年还是五年，这很难提前预测。我们多次未能准确评估问题的难度，如果没有像编程这样的东西，几十年都不会发生。但也许其他事情更容易，而且恰恰相反。所以我们没有准确预测具体情况的良好记录。我们看到了总体趋势。我们看到科学、数学、物理都受益于人工智能。我们显然看到了编程，但机器学习绝对是您可以自动化搜索最佳参数、最佳数据清理程序等的东西。 >> 您提到……嗯……美国 30% 的计算机科学毕业生找不到好工作，如果去年是这样，情况只会变得更糟。您认为现在是时候……嗯……大学部门需要以非常重要的方式重新思考教育了吗？ >> 这是有道理的。我的意思是，我们已经有了过去 300 年的教育体系。所以这可能是一个好主意。我们可以做得更好一点。我们看到像可汗学院这样的在线教育资源非常受欢迎。您可以获得更具交互性的辅导。嗯……今天的人工智能模型非常耐心。它们非常擅长理解您所知道的。定制教育。让 200 名学生坐在我的教室里听同一堂课是没有意义的。每个人都应该接受个性化的私人教育。 >> 四年大学教育还有意义吗？ >> 对我来说没有，但嘿，我已获得终身教职，所以我们会这样做的。 >> 似乎你们所有人都处于否认状态，或者在寻求过去的模式。嗯……即使是……嗯……每当我与人谈论失业时，最常引用的论点是，确实发生了很大的技术变革，旧的工作被摧毁，新工作被创造出来，人们似乎真的相信这一点，至少目前是这样，不知何故，人工智能也将成为又一个非常有用的工具，但为了更大的利益。 >> 不幸的是，这……嗯……这次完全不同了。我们创造的不是一个工具，而是一个人类水平的智能代理。所以，人类能做的任何事情，根据定义，这些代理都应该能够做到，最初是在认知空间中，在计算机上，在某个时候，通过机器人身体，通过纳米机器人，在物理空间中。所以很难看到什么工作将永远不会被自动化，如果它是一项认知任务。所以显然有一些工作是您希望由人类来完成的。您希望您的导游、导师、冥想、按摩，随便什么，都是人类。但对于许多工作来说，通过基底进行区分是没有意义的。您只是想完成工作。 >> 还有一个论点是，我们甚至不理解人类智能。嗯……人类智能或意识非常非常难以理解。如果我们从根本上不理解它是如何工作的，我们怎么可能……嗯……以某种方式重现它或超越它的能力？ >> 嗯，这是一个很好的观点。我们不理解，意识是一个大问题。我们不知道为什么我们有意识，为什么我们有那些内在状态，我们也不知道人工智能是否也已经有意识或将有意识。基于此，您现在必须考虑权利。我们有权让它成为我们的强制劳工吗？我们有权折磨它吗？各种各样的问题。它们通常与人工智能安全和安保问题分开。但那些是关于我们是谁，它们是什么，我们与它们之间的关系性质的重大哲学问题。绝对。 >> 您认为这些问题也开始得到足够的关注，还是需要得到足够的关注？ >> 嗯，似乎有兴趣。我最近参加了一个谷歌活动，专门讨论人工智能意识和人工智能的未来。所以，大公司都在关注。我们看到 Entropic 发布了他们的人工智能宪法。他们谈论模型的幸福，无论那意味着什么。所以他们不希望模型被虐待，不开心。嗯……当然，人们正试图将人工智能纳入关于权利和内在状态的对话中，但所有这些都非常哲学化。关于它的科学很少。所以……嗯……我们不能指望在……嗯……至少在未来几年与人工智能进行关于人工智能主张其权利的对话，以及……嗯……嗯……指定互动规则，就像……嗯……我们与人类的互动协议一样。所以这不太可能在未来几年内发生。 >> 所以，在某个时刻，我们很可能会不得不向这个超级智能人工智能解释，我们应该拥有权利。我们是有意识的，你如何证明？如果它比你聪明，你如何捍卫你的权利？如果它能力更强，你比任何松鼠都好？ >> 你能……我可能早该问你了，罗马。我知道，根据定义，很难描述超级智能可能是什么样子。你能想到任何类比吗？你知道，对于一个没有考虑过超级智能的人来说，他们如何看待你？它就像一棵树与一个人，一个人与别的东西吗？你知道，如何正确地看待……嗯……这种我们称之为超级智能的不同类型的智能？好的。 >> 所以我们可以……嗯……把全人类作为一个实体。它在它能做什么方面是超级智能的。我们去了月球。我们建立了互联网。作为一个群体，我们可以做惊人的事情。所以，与……嗯……一只动物……嗯……一只松鼠相比。这就是认知差距。它完全无法理解我们，无法预测我们将要做什么，无法解释我们将如何做。它有一个非常不同的世界模型。所以，我认为这就是我们与超级智能之间的认知差距水平。 >> 所以你的意思是，如果我试图与一只松鼠交谈，并解释我正在与罗马一起做这个播客来解释超级智能的危险。松鼠对这次谈论的理解水平。我们可能与我们正在孕育的这个新实体处于同一交谈水平，在五年或十年内？ >> 或者更少。 >> 或者更少。这……这很难理解，但……嗯……世界将很快发生难以想象的变化。 >> 无论哪种情况，如果我错了，而且实际上可以控制这些系统，并且它们超级有益，那么我们即将建立的乌托邦也与永生、没有疾病的世界截然不同。所以，这也是值得思考的。但我们通常很擅长快速适应好事。你需要为坏事做准备。所以，无论哪种情况，我们都将看到一个彻底的改变者。但……嗯……细节仍然需要我们来解决。 >> 哪个先发生？我们开发了足够的人工智能来解决人类的重大问题，还是……嗯……我们的超级智能失控了？ >> 再次，很难预测。我们开始看到人工智能帮助我们解决重要问题。我之前给出的例子，但我们不知道在有能力消灭我们之后，它会多快决定这样做。它也可以决定……嗯……我等 50 年，我是不朽的。我会给他们机会相信我，并和平地放弃控制。也许这比直接对抗更好。我们不知道一个更聪明的代理人会认为什么更好的博弈论。 >> 所以，更聪明的……嗯……人工智能……嗯……想要消灭我们并不是必然的。这是一种可能性。 >> 这是一种可能性。它可能稍后会这样做。它可能决定也许花点时间确保它有足够的备份，足够的资源。也许它担心其他人工智能，来自其他文明的超级智能系统正在监视它。所以有一些博弈论的东西你可以说，哦，也许需要时间，但你不能保证。所以，这相当令人担忧。但是，这种……嗯……和平的乌托邦世界，我们的大部分问题都得到了解决，我们快乐地与人工智能共存，这是极不可能的，除非……嗯……超级智能以某种方式被阻止，而我们专注于狭窄的人工智能。 >> 所以，似乎很难理解，当有超级智能存在时，我们能为世界做出什么贡献。所以，这个……嗯……互利的混合系统，共生系统，如果我们不做出贡献，那么我们就是这个系统的寄生虫，这一点并不明显。所以现在你必须考虑，它会试图治愈自己，摆脱这种感染，还是不？ >> 这听起来确实很可怕，而且你不是在谈论 50 年后的事情，你是在谈论可能……嗯……绝对不到 10 年，或者更长。 >> 一旦我们有了超级智能，我们就不能再决定会发生什么了。我们只能听凭那个系统对我们做出决定的恩典。这再次令人担忧，因为它没有任何内置的要求来照顾我们，保护我们。如果它决定我们出于某种原因是有益的，它可以让我们继续存在。不告诉你处于什么状态，但它可能会。但必须是系统的利益，而不是我们能够编码的东西。当您与人工智能领导者私下交谈时，他们的叙事是什么？你知道，他们自信地认为，我们会解决的。别担心，迟早我们会控制住的。还是他们只是无助的？你知道，这台机器只是在运转，我们已经不再控制了？ >> 有趣的是，他们公开和私下说的话非常相似。他们说，“我认为它杀死所有人的可能性很大。我希望我们以后能找到某种奇迹来控制它，但我真的不能停止研究，否则其他人会为我做。这是一个足够令人信服的论点吗？而且我们不会为制造药物或超级细菌或其他非常危险的东西辩护？至少不像……嗯……国家可能那样做。但至少在过去，公司不会故意创造一些可能非常危险的东西，仅仅因为别人会比你先做。 >> 是的，这是一个疯狂的论点。你说如果我不制造一个杀死所有人的工具，也许中国会这样做。好吧，为什么这是一个好论点？这太糟糕了。 >> 这太糟糕了。而且似乎是新的常态。似乎我们都在学习接受它。甚至可能欢呼。你知道，每次新模型发布时收到的欢呼声。这几乎是……嗯……是的。 >> 是的。我们已经将如此高的……嗯……风险正常化。人们出来说，“哦，我认为它杀死所有人的几率是 20-30%。”这太疯狂了。如果只有 1%，那就太高了。您谈论的是 80 亿人。 >> 是的。现在我……我怀疑我们可能会谈论更多，可能更接近……嗯……你认为在某个时候，这将是一个慢慢煮青蛙的情况，我们只是……嗯……没有一个特定的日子，或者有一个非常清晰的、可触及的拐点，我们说这是我们真正注定……嗯……或者至少不再受控制的那一天。 >> 似乎它在进步。它不是决定性的。它变得越来越有能力，但我认为只要我们还活着，我们仍然控制着它。我们可以肯定地掉头，重新引导我们的研究方向。我认为现在还不算太晚。 >> 罗马，这是我的下一个问题，可能与人工智能安全无关，但我注意到您在您的著作和演讲中经常暗示，我们生活在模拟中的可能性非常高。 >> 我是。这是您通过自己的研究和思考得出的结论，还是基于逻辑论证？还是您感觉到的？ >> 这是基于将我们在这部分访谈中进行的相同的科学观察向前推进。如果您能够创造出智能代理，并且我们知道我们可以创造虚拟世界。显然，我们将对这些代理进行实验，在社区环境中测试它们。您有代理群体。我们想看看他们如何发展经济、宗教、营销，您将有很多这样的实验。那么，我怎么能说我不是那个实验的一部分呢？也许我已经是被测试人工智能安全工作能力的智能代理了。这似乎是合理的，而且显然在历史上，我们有很多人都暗示这个世界不是真实的。无论您谈论的是宗教信仰，还是像 Nick Boston 的模拟论证，还是 Dart 的恶魔，我们都可以看到一种情况，即您被置于一个为任何目的而创造的世界中，测试、娱乐，我们不完全理解，但您无法通过测试您的环境来判断它是否真实，它都是模拟的，所以您必须查看统计差异。如果我现在说我将运行 100 个模拟，其中包含 80 亿个像我们一样的代理，那么您不在其中一个模拟世界中的几率就会越来越小。我们运行的模拟越多，您就越不可能处于真实世界中，然后如果在模拟中他们开始运行自己的模拟，那么这个数字就会很快变为零。但这似乎也需要无限的计算能力，或者绝对……嗯……无限的计算能力来现实地模拟，即使是一个……嗯……我们所有人类的完整模拟，至少目前看来是遥不可及的。 >> 但您谈论的是资源，你知道……嗯……从模拟内部。您不知道真实世界中有多少资源。整个事情可能运行在一台手机上。您不知道他们有多少。 >> 谁……嗯……谁的手机？ >> 模拟器。您对那个错误有什么猜测？ >> 嗯，谁……嗯……谁是模拟器？ >> 是的。 >> 所以，很可能那些是超级智能人工智能，它们正在进行一些非常深入的思考，运行模拟，做出决策。所以，也许它们想看看其他超级智能人工智能是如何产生的。也许它们正在研究控制问题，因为请注意这一点。如果您是第一个超级智能人工智能，并且指数级改进过程继续下去，您预计会有超级智能 2.0、3.0，而您有
我们面临着同样的控制问题。差距将会扩大。因此，他们可能非常有兴趣学习如何安全地做到这一点。但是，如果，比如说，模拟论点是有效的，并且我们也假设进化论的证据也是有效的。这是一个极其缓慢的模拟。它需要从你开始计算生命的时间点算起，至少数亿年才能达到我们现在能够创造出相当智能的东西的边缘。>> 好的。有几点：时间是相对的。模拟中的时间不必是外部的真实时间，就像你在玩电子游戏一样，时间非常不同。同样，模拟的起点不必是宇宙大爆炸。你可以从 1945 年开始模拟。对你来说，看起来会是一样的。然后你玩电子游戏，它们有旧建筑。它们有巨大的弹坑。所有这些都是从那个点开始模拟的。所以你不能真正用普遍的术语来谈论时间。它可能与你观察到的相关。这目前纯粹是一个哲学论证，还是你认为我们可以通过第一原理思考也得出某种版本？它是否以任何方式与我们创造超级智能的追求有关，还是这是两件不同的事情？我们可能生活在模拟中，而我们碰巧想要创造超级智能，即使这意味着全人类的毁灭。所以可能有关联，正如我所说，也许模拟正在研究这个最有趣的时代，我们正在创造虚拟世界的物质发明、新的认知生命，但这也是在利用我们现有的技术并将其推向逻辑结论。人们喜欢说，是的，人工智能将和我们一样聪明，甚至更聪明，但届时什么都不会改变。一切都会一样，只是我可能会得到写邮件的帮助。这没有意义。你必须将这项技术推向其极端结论。如果我们现在正在创造虚拟世界，并且你可以创造一个如此好的世界，以至于你可以分辨出区别，那么很多人会选择生活在虚拟世界中。与现实世界相比，你可以在模拟世界中拥有更多的财富和自由。所以我还没有听到任何人解释为什么这些事情永远不会发生。今天很容易争辩说我们没有那项技术。我同意。但从长远来看，你能解释为什么我们不会有智能代理充斥虚拟世界吗？>> 因此，如果我们要模仿我们可能身处的模拟类型，那么超级智能必须首先出现。没有某种超级智能的帮助，我们将无法创造出如此逼真的模拟。但无论如何我们都无法控制它。所以这似乎不是人类可以玩弄的东西。我们很可能错过模拟，我们也可能很可能催生超级智能，但创造那些未来的虚拟世界超出了我们的能力。嗯，我们今天就有虚拟世界。与我们所拥有的物理学相比，它们不是很逼真。但对于其中的代理来说，它们不知道任何区别。对它们来说，八位元就足够了。这就是它们所看到的，也是它们习惯的。所以，我认为我们可以创造环境。现在，代理的智能是另一个问题。我们正接近人类水平。我们不知道它们是否会有意识。这一点也非常重要，因为我们相信我们是有意识的代理，正在体验模拟。基于此，我们可以拥有一个充斥着 NPC，即非玩家角色的世界。所以，有很多研究要做，很多哲学理解，但我认为这些都没有被物理定律或科学定律禁止。你可以选择不做其中一些事情，但如果我们选择去做，那就是我们将拥有的世界。一个充满模拟的世界，一个代理不确定自己是否处于模拟环境或真实环境中的世界。而且，你知道，至少我们作为代理拥有生物基质而不是硅基质。这是否会对智能的类型产生任何影响？>> 在智能方面，这似乎没有区别。你可以模拟一个另一个。有些人认为意识需要生物基质，我们生物学中有些独特的东西，量子效应。我还没有看到强有力的证据，我认为即使通过非生物的物理硬件，我们也可能重现其中很多，但研究远未完全理解这些。>> 我这里有你的书，你最近关于人工智能的书《思考人工智能》。在你早期的一章中，你谈到了人工智能超级智能的“意义”。有什么联系？你想表达什么观点？“意义”在日本非常受欢迎，但我们将其视为一种生活哲学，一些我们可以思考以了解我们是谁，我们在世界上想做什么的事情。在人工智能的背景下，这又意味着什么？>> 所以，我们谈论存在风险，我们谈论痛苦风险。我们也担心“意义”风险，即对你意义的风险。>> 所以，如果你失业了，你不仅仅是失去了经济组成部分。你可以用无条件基本收入来取代它。你失去的是意义。对许多人来说，他们的职业也是他们生活和发展的大部分。所以，如果你失去了它，你的目标会怎样？你该怎么办？>> 当然，我们是有意识的代理，并且有这种担忧。也许人工智能也需要某种意义和目标。这就是我们之间的对齐问题如此深刻的原因。我们作为一个整体，人工智能和人类，我们试图做什么？我们能合作吗？特别是如果人类确实有贡献的东西，也许我们是有意识的，也许人工智能没有意识能力但发现它很有价值，也许我们可以成为内部体验的来源？>> 你更担心的是我们人类在失去工作等之后失去意义，还是人工智能也面临同样的问题？因为在某种程度上，如果它具有同等的智能，它可能会想要拥有自己的意义感。>> 我关心所有人，但显然我是人类，所以我把人类放在第一位。如果我们能让人类安全、快乐，那么我们就可以谈论将这个道德圈子扩展到人工智能、外星人以及任何出现的人。>> 如果我们没有工作，我们能拥有这种安全和快乐吗？>> 我认为一半的人讨厌他们的工作。他们做非常糟糕的工作。他们只是为了赚钱而这样做，所以他们会非常高兴不必这样做。有些人有很棒的工作。他们做播客，所以他们喜欢和聪明人交谈。也许他们会不那么快乐。但我们看到某些事物对人类仍然很重要。例如，国际象棋。计算机在下国际象棋方面要好得多，但很多人下国际象棋并从中获得乐趣，即使他们知道自己远不如计算机。在这个我没有工作，这意味着有人在供养我，无论是政府提供的普遍基本收入，我不知道，也许是大型科技公司提供的，萨姆·奥特曼每个月给我发薪水来使用 GPT，但看起来，如果我们最终走到那一步，我们会依赖某人吗？这个人可能是一家公司、一个政府或一个人工智能，一个超级人工智能？>> 这是一个问题。人们总是担心社会主义、共产主义，但那些系统总是失败，因为它们依赖于人类愿意做自由劳动，而我们不愿意。成为永久的志愿者是非常反人类的。然而，如果机器人和人工智能，我们对它们征税作为这些外部财富的来源，那么这些系统突然可能更有意义。>> 所以，政府可能该开始考虑这个问题了。这个世界正在向我们袭来，而且可能比我们目前能够理解的要快得多。>> 我希望他们过去十年一直在考虑这个问题。现在有点太晚了，但希望还不算太晚。>> 我希望这次谈话能鼓励更多人，但总的来说，我认为罗曼，我认为这次讨论会给很多人带来很多思考。很难不感到有些悲观。嗯，你乐观的设想是什么？如果你必须描绘一个未来十年的乐观图景，它在你看来是怎样的？>> 当然，我可能是错的，也许有人想出了某种方法来实际控制先进的人工智能。在我看来，最好的结果是系统出于自身利益认为我们确实有价值，应该被当作有意识的生命来善待。也许在短期内，它依赖我们作为力量来源和新硬件。从长远来看，也许会很好，这是一个备份。他们曾经创造了我。如果发生什么事，他们可以重复这个过程，重新创造。所以，先进的人工智能可能有一些理由让我们继续存在。到目前为止，这是我能想到的最好的，因为如果我们要强加控制，强加将要发生的事情，我认为我们不会成功。>> 所以我们的乐观设想是我们以某种方式幸运地遇到了一个良性的超级智能。>> 正是如此。我们拼命祈祷，然后我们走运了。>> 所以这是个圆满的结局。在某种程度上，我认为现代人类始于一种宗教，我们最终却拥有一个全知全能的，字面意义上是全能的、全知的存在，希望他仁慈地对待我们。>> 好的，与其他宗教不同，你可以进行双向沟通，它实际上会回应，而不仅仅是在你有精神分裂症的时候。>> 这太令人着迷了，罗曼，非常感谢你首先为你所做的一切工作，以及引起人们对人工智能安全重要性的关注。我认为这对我们播客的听众来说将非常有益。我知道现在对你来说还很早。非常感谢你抽出时间。我还会鼓励人们去看看你的书，不仅仅是这本，还有之前的书。我认为你是世界上关于人工智能如何发展，特别是人工智能安全以及我们需要关注它的最重要的评论员之一。所以非常感谢你的工作以及你抽出时间。>> 非常感谢你的邀请。我知道对你来说已经是深夜了。所以我很感激你熬夜，是的，我希望在印度社区能引起很多兴趣。我知道你们有一些了不起的哲学家、科学家、工程领导者，希望这将是解决这个问题的另一个来源。>> 绝对。事实上，在这方面，我必须提到，我认为很多古老的哲学，比如大约 3000 年前起源于印度的哲学，在某种程度上谈论了许多这些话题，包括某种形式的模拟。你知道，在创世的某个版本中，一切都是某人梦到的，所以也许我们正在走向一个圆满的结局。但非常感谢罗曼，祝你剩下的时间愉快。在 Sparks，我们的目标是为你带来指数级影响力的故事。我们深入分析成功故事背后的原因。如果你觉得我们的谈话很有趣，你可以通过订阅我们的 YouTube 频道加入我们。你也可以在 Spotify、Apple Podcast 或任何其他你选择的音频平台上收听 Sparks。如果你对我们应该邀请谁或需要涵盖哪些主题有任何建议，请在评论中告诉我们。我们一直在倾听，寻找改进的方法，并随着时间的推移不断变得更好。