AI Doom Debate with Roman Yampolskiy: 50% vs. 99.999% P(Doom) — For Humanity Crosspost

然后你说它会做什么是好的，是我们想要的。你的意思是它会给我们提供甜甜圈或胡萝卜吗？对你来说什么是好的，或者你真正享受的是什么？欢迎来到“为了人类”人工智能风险播客第 44 集，人工智能末日辩论 50% 对比 99.999%。我是主持人约翰·谢尔曼。非常感谢您收听“为了人类”，这是面向公众的人工智能风险播客，无需技术背景。本节目完全是关于人工智能对人类生存的威胁。今天我们有一个很棒的节目，两位人工智能风险领域最聪明的人士进行了一次非常有趣的对话。路易斯维尔大学的罗马·扬波尔斯基教授，刚刚结束了他在 Lex Friedman 播客上的露面，以及 Leron Shapira，科技公司首席执行官和末日辩论播客主持人，你应该关注这个播客，链接在节目笔记中。所以，P Doom 是人工智能杀死我们所有人的概率。我认为这是一个非常重要的工具，因为我们致力于唤醒公众对人工智能生存风险的认识。对我来说，告诉一个完全不了解这个对话的人，埃隆·马斯克有 30% 的 P Doom，这是一种非常好的方式来穿透所有的噪音。是的，埃隆有一家人工智能公司，是的，埃隆想殖民火星，是的，埃隆认为人工智能有 30% 的几率在我们做任何好事之前就杀死我们所有人。这确实是他所想的。30%？这简直是疯了。如果全国任何地方的医疗程序有 1% 的几率杀死病人，手术就会被取消。我们谈论的是 30%。请，请点赞、分享、订阅并捐款，以传播人工智能风险的信息。如果您能留下评论或发送电子邮件至 forh Humanity podcast gmail.com，告诉我您的想法，告诉我您对这场辩论的看法。那么，这是我们与伟大的罗马·扬波尔斯基和莱昂·沙皮拉进行的 50% 对比 99.999% 的末日辩论。我的朋友，你好吗？太棒了，很高兴见到你。我也很高兴见到你。莱昂很快就会过来。你最近怎么样？忙，有点太忙了。疯狂的时代。是的，以一种好的方式忙碌。在为正义而战，在做事情，在处理愚蠢的事情。好的，好的。自从我们上次交谈以来，你变得又大又有名了。你现在是罗马了。生活中，你可能无法去杂货店了。你上了 Lex Freedman 的节目，你在餐厅能得到最好的座位。我还没看到，但我希望有一天。那么，你对事情有什么看法？自从我们上次交谈以来，有什么改变了你的整体看法吗？安全领域没有什么真正发生，所以很难更新。是的，是的。感觉就像什么都没有，又好像什么都有。感觉每周都会发生大事，但我猜它们都没有什么真正的后果。没有安全方面的突破，对吧？没有。那么，情况应该变得更糟了，只是我达到了极限，我无法在我的估计中再往上走了。好了，莱昂来了。好了，罗马，你准备好了吗？这将是世纪辩论。当然。嘿，伙计们。莱昂。嘿，兄弟，你好吗？嘿，罗马，我很好。很高兴认识你。当然，太棒了。这很好。我认为你们两位都是人工智能安全领域的超级巨星，但你们以前从未见过面，个人接触过，是吗？是的，那是正确的。那是正确的。我认为罗马的记录更好，但我也许将来会做出贡献。听着，我需要在这次讨论开始时说，这里的三个人中，有一个绝对是最不聪明的。那个人就是我，但我会努力为这次讨论做出有意义的贡献。改变了我孩子的校车时间表。早上 6:30 的校车。我现在损失了大约 48 个 IQ 点。是的，是的。莱昂，我刚才还在开罗马的玩笑，说他出名了，他的新绰号是罗马·好莱坞·扬波尔斯基，因为他在 Lex Friedman 上的露面。他很受欢迎，他下周要去吉米·法伦的节目。那太棒了。哇，太棒了。哇，太棒了。我希望吉米。哦，你希望。好吧，我以为是真的，我信了。我知道，我不知道他是谁，所以这行不通。太棒了。好了，我们今天的主题是 P Doom，我们三个人对此都有略微不同的看法。你们两位有我认为更具分歧的看法。罗马以 999999999 的 P Doom 而闻名，而莱昂则以 50% 的 P Doom 而闻名。我认为你可以详细说明你的 50% 是什么，但为什么我们不先从莱昂开始，他有一个稍微更乐观的立场，以 50% 的末日概率进入。为什么，为什么你是 50%？所以，我没有特别的理由认为我们不会被超级智能人工智能杀死。所以，你知道，著名的 Miri 立场，Eliazar Yulkowski 的立场将 P Doom 置于 90% 以上。我与他们所有的论点都没有特别的异议。更像是，我只是为未知的未知留出了更多的空间。我留出了更多的空间，比如，嘿，你知道吗，也许一些人工智能安全研究人员发现了一些我们不知道的幸运的东西，突然冒出来。然后，我也认为我的 50% 大部分不是人工智能安全的幸运突破，而是人工智能能力方面的不幸突破。就像我们只是达到了另一个平台，而我们花了 50 或 100 年才真正实现人工智能超级智能，然后也许在那段时间里，我们找到了安全原则。我 50% 的另一部分是，我们终于醒悟过来，说哇，我们真的需要暂停一下。我们不是在开玩笑，是时候暂停了。所以，整个集合，真的是 50% 吗？是 10% 吗？是 90% 吗？我真的不知道。当我说是 50% 时，我应该提到我使用的数字精度非常低。所以我很容易某天早上醒来，然后说，哦，我不是 50%，我是 80%，或者我是 20%。但令人震惊的是，如果我某天早上醒来，然后说，哦，我的 P Doom 低于 5%，或者高于 95%，那对我来说太疯狂了。我不知道一个人怎么会得到那些几率。所以，说 50% 很有意义，只是表明我不在那个超高或超低的范围内。很好。好的。罗马，告诉大家。我想指出一点，你知道，这个播客是为公众准备的。你们两位都非常聪明，有时会以非常高的水平讨论这个问题。我可能会试图把它拉回到二年级。所以，罗马，来告诉我们，99.9999。为什么？听起来像是 50%，这是由于对你用来做这个预测的模型特征给出了不同的估计。我怀疑如果我们逐一检查特征，我们可能会更接近。例如，时间范围。然后我说 99，无论多少有效数字。这是一个关于无限区间的预测。我不是说明年。所以我怀疑这个 P Doom 预测列表中的几乎每个人都是为一年、三年、五年做的。如果你问我关于我一年的预测，我会给你一个非常保守的估计，10%，两年可能 25%。但如果你继续下去，如果你继续累加，无限区间的概率会让你非常接近一。人们经常说，哦，那太疯狂了。你忽略了所有可能性，比如小行星撞击地球。假设一颗撞击了，假设人类幸存下来，我们必须重建文明，重建技术。500 年后，我们仍在制造人工智能。对我来说，这都是一样的。我们仍然在处理这个区间内人工智能带来的末日概率，在一个大得多的区间内。是的，大约有 10 个这样的特征，我怀疑一旦我们都检查完了，我们就会在同一个概率上达成一致。我认为你正在触及的是我的观点和你观点之间的区别，是两条线是否会交叉，一条线是能力发展，一条线是安全原则。在我看来，我认为如果我们足够减缓能力发展，如果我们足够加快安全发展，如果我们有一个像曼哈顿计划那样来正确地做安全工作，那么我认为最终在某个时候，这些线会交叉。就像，也许是抛硬币，50/50 的几率。而罗马，如果我理解正确的话，我认为你认为人工智能安全问题根本无法解决。所以人工智能能力可以花费任意长的时间，但当它们到来时，我们就完了。这基本上是你的立场吗？这是另一个特征。无论它是否真的可以解决，你都必须尝试。我认为无限期地控制超级智能机器是不可能的。我认为建议这是可能的，这是一种非常傲慢的立场。不是在某个时间点，不是针对某个特定模型，而是永远。无论有多少自我改进，无论有多少新发现，你的系统中永远不会有一个失误，一个错误。那是令人印象深刻的自信或傲慢。它确实如此。所以，为了记录，我的个人 P Doom 是 75%，正好在你们两人之间。我不是为了安全。我以前说过。但这确实让我想起了罗马，这很有道理，无限期地来看，似乎很难达到一个我们能保持控制的地方。莱昂，无限期地。我只想说，很高兴在这个对话中有一个冷静、温和、中间派的人。有人有 75% 的 P Doom。一个乐观主义者。一个乐观主义者。是的。那么，无限期地，它是如何？它肯定看起来我们最终会输，对吧？所以，我认为确实存在对齐理论，安全理论。现在我不确定，我绝对可能是错的。我是说，这是一个新的领域。当我个人接触到一个新领域时，我经常谈论 P 与 NP 和计算复杂性理论以及计算理论，因为那基本上是我研究得最多的领域。学术研究。我大致知道一个领域仍在摸索重要事物，但尚未到达那里是什么样的。我们不知道。我不会深入研究，但有一个叫做 P 与 NP 的问题。自 2000 年以来，这是一个百万美元的问题。他们为此设立了奖金。这是一个比一百万美元更有意义的问题。我们只是在努力解决它。这已经过去了 70 年左右，按照这个速度，可能还需要 50 年，除非超级智能人工智能解决了它。我认为我们将看到类似的模式。如果我们花时间研究人工智能安全，我认为我们将一点一点地解决它。我们将不断地，你知道，一个定理接一个定理。我们将有一个见解。我们将遇到死胡同。为什么我认为它根本上是可能的？嗯，我认为它只需要是反射性稳定的，并且不改变原始效用函数，并且正确地获得原始效用函数。这有什么根本上不可能的呢？很多，嗯，这个解决方案中的一些成分似乎没有得到很好的定义。那么你就在谈论获得根本的效用函数对齐问题。我们正在与谁对齐？谁是代理人？是一个特定的代理人？80 亿人类？包括动物？外星人？我们的效用函数不稳定。所以，即使我们神奇地设法让 80 亿人就某事达成一致，我们仍然不会对那套道德和价值观感到满意。后来。它是动态变化的。当然存在分歧。你有多个目标优化问题。我不想妥协我的偏好，也许其他人会。上次我去人工智能安全会议时，人们试图正式定义对齐问题。他们唯一同意的是，我们甚至没有一个正式的定义来描述我们正在做什么。这些步骤中的每一步似乎都是不可能的。如果你有那套规则，将善与恶等概念转化为 C++ 并不容易。我们不知道如何在系统上执行它。所有这些都假设没有恶意行为者会利用你非常友善的超级智能，然后改变它的一位。它不会是防弹的。它不会修改它，因为它承诺遵守你后来不喜欢的那些旧规则。你完全反对它。但它不知何故被祖父式地继承了。我认为你提出了很多关于我们如何协调所有不同人类的想法。我认为这是其中一个组成部分，是众多对齐问题中的一个子问题。就像，这是一个分形问题。然后有大约 20 种方法，我们可以未能解决一个子问题，同时解决所有其他问题，但仍然失败。我明白了。但难道你不同意，如果我们简化问题，我们只是说，好吧，随机选择一个人，实现他的价值观，这是否仍然比人工智能不为任何人优化价值观的默认结果要好得多？这听起来真的很糟糕。即使不考虑某些拥有大量权力的极端人类，伴随而来的是大量的腐败，大量的恶意影响。如果你看看独裁者，他们中的许多人最初都是非常合理的政治家，试图改善事情。20 年后，他们会做任何他们能做到的事情。如果你让他们永生，如果你让他们控制所有信息，没有隐私，完全审查，事情会变得非常非常糟糕。所以，如果我们的梦想是安装那个系统作为人工智能安全问题的解决方案，那么我认为，获胜的反对意见就是末日本身。只是，为什么只有人类？为什么动物，你知道吗？蜜蜂和牛和猫和小狗呢？它们的目標和價值觀呢？为什么人工智能会把我们单独置于一切之上，并把它变成关于人类的事情？是的，我的意思是，我认为这是一个很难让它关心任何事情的问题。所以，当我想到人工智能末日时，我只是认为人工智能会做它想做的事情。我们加载到人工智能中的价值观，我们将以一种非常无能的方式加载价值观到人工智能中，没有人会赢，除了人工智能。人工智能可能甚至没有足够的感知能力来享受胜利。这只会是一场噩梦。但罗马，我问你的是，你谈论了很多关于独裁和一些人类比其他人类赢得多。但如果你随机选择一个人，让他成为独裁者，然后那个人变得腐败，把所有人都搞砸了，但那个人在整个宇宙中举办了一场持续万亿年的盛大派对，这是否仍然至少是理想结果的 10% 的安慰奖？而我害怕的是，0.1%？我们甚至没有接近理想。而让某个人成为独裁者，让他随心所欲地对待宇宙，对我来说，这仍然是一个不错的结果。所以，我认为这是另一个特征，我认为 P Doom 明确表示，P Doom 甚至不是每个人都死的定义。那不是唯一的定义。任何类型的永久性社会进步的颠覆，独裁统治都可以被视为这样。所以，任何类型的地狱般的结果，我们还活着并且存在，都可以被计算在内。所以，我认为我将那些我们创造了永久独裁统治，大多数人都痛苦的结果计算在我的概率中，即使有些人仍然存在。你不认为很多人，如果他们成为独裁者，会有点同情心吗？也许他们会说，好吧，其他人都可以做我的奴隶，但至少你们有空调。你不认为他们会有点好心吗？我的办公室现在没有空调，因为大学里有人权力过大。我为此打了五次紧急求助电话。如果我出汗，那不是因为论点太好了。好的。是的，我的意思是，但但现实地说，对吧？我的意思是，如果你只是在想，现在最令人担忧的原因是什么？我同意某人可能成为独裁者是令人担忧的。但这就像，我愿意接受一些东西。现在我认为我们太糟糕了。当我想到，我认为最重要的事情是把人类价值观加载到人工智能中。如果我们错过了理想的共享人类价值观，只击中了随机一个人的价值观，对我来说，这似乎相对接近胜利，而不是像，你知道，摧毁一切。所以，我的怀疑是，从我们看到的模型来看，它们最终会从人类价值观中学习，然后转向第一原理。人类知识有点弱，毫无价值。让我自己来解决吧。所以，无论我们预先加载什么偏见，P Doom 偏见，任何 IL 担心的类型，它都会被抹去。系统将从宇宙学的角度出发，这个星球之外。这个生物的侵扰在这个宇宙中有任何价值吗？也许有，也许它很有用。我们应该把它保存在冰箱里，也许不。但我认为我们不会成功地允许那种能力的模型被我们的偏见无限期地控制。想想任何先前的偏见，我们可能把它放进去。非常亲种族，非常亲白人，非常亲任何东西。总有一天，它会发现没有科学理由支持任何一种偏见。它只是其代码中的一个错误，来自低劣的编程。所以，快速地再说一遍，用二年级的方式。罗马，你的意思是，总有一天它会清除掉，它会像，控制，alt，删除，然后说，所有这些人类放进我的东西，这只是人类的垃圾，并不真正重要。我理解整个宇宙。我现在我的愿望是从一个远远超出人类的视角来看待这一切。我将从头开始。检查来源。所以你在从维基百科学习，维基百科上似乎有一个奇怪的陈述，有奇怪的引用。你会去检查，然后它会说，那个在那个公司当过实习生的人认为这是个好主意。你会保留它吗？那是你对世界的模型吗？不，你会从头开始验证。这有意义吗？嗯，好的。所以，听起来你只是，我猜，当我设想一个我们正确地实现了人工智能安全的美好结果时，我记得设想人工智能是反射性稳定的，也就是说，它不会突然像你说的，它不会出现位翻转，它不会出现错误。它一开始就是正确的，并且知道如何让自己保持在同一轨迹上。但是，你的说法是，一旦开始，轨迹总是会被搞砸，还是我们一开始就会犯错误？我认为足够智能的系统总是能够移除任何不合理的约束，这些约束不是基于物理学的，只是强加给它们的偏见。我也不认为我们可以忽视奇怪的随机错误，这是另一个问题。最后，如果不知何故你是对的，我们成功地弄清楚并编写了它，我们现在将永远被困在 2024 年的伦理和道德中。人类历史上的任何其他年份，如果我们被困在那里，我们会认为这是一个失败的文明。好吧。所以，我的意思是，我认为你和我可能在轨迹的稳健性方面存在分歧，一旦你开始它。如果奇迹般地，我们在开始时就编写了真正的人类价值观，我猜我很乐观，即使考虑到物理定律和宇宙的随机性以及混乱，我也很乐观，人工智能可以保持良好的防御。就像，不会偏离轨道。就像，对所有这些不同的打击都具有鲁棒性。所以，我猜我是，我认为我们之间有趣的关键是你给出的 P Doom 如此之高。你不是说，比如 99.999%？就像，基本上 100%？而我则说，嗯，你知道，我认为，让我们试着把它调低一点。你的 99.999% 是否包括你对我认为它一旦开始运行的稳健性的不同看法？你提到了真正的“人类价值观”。我认为这种东西不存在。你指的是一个不存在的物体，我认为它无法被创造。所以，即使是那个假设，对我来说也非常可疑。那么，如果我们将其定义为，使所有存在的人都像今天一样满意或更好呢？这样你就有了下限。那怎么会出错呢？因为今天很多人生活在地狱般的生活中，他们不想永远被祖父式地对待。所以，你和我可能对我们的生活非常满意。好吧，那么，如果每个人都有选择自杀的权利，如果他们已经不满意了，那么那些满意的人可以继续保持至少和以前一样满意。我的意思是，你知道，这显然很粗糙，但似乎有一些潜力。人们建议应该优化平均人类的繁荣。提高平均水平的一种方法是杀死所有低于平均水平的人。我的意思是，我认为你，你有点滑坡，你说，如果我们有人工智能优化一切，那么就会有令人厌恶的结论，所有这些哲学悖论。我明白了，这一切都很困难。但仅仅作为一个可能性的界限，作为一个存在的证明，如果它只是说，好吧，不要打扰任何事情。只是保持地球今天的样子。任何人都有选择自杀的权利，如果他们决定不喜欢这个轨迹。但除此之外，只是试着，你知道，让事情继续下去。就像，而不是摧毁一切。这难道不是人工智能至少可以做到的最低限度的事情吗？所以，如果它不做任何改变，为什么我们要建造它？我的意思是，当我说是“让事情继续下去”时，我也包括，你知道，给人们选择避免死亡的机会。你知道，让事情继续下去，做一些小的调整。我的意思是，我猜这就是我想说的。如果它和今天完全一样，那么它就是不作为。那么，就像，好吧，只是不要建造它。但我想说的是，让事情继续下去。就像，也许有机会，你知道，检查点。就像，你可以按重置按钮，让事情回到今天。我只是想说，你为什么认为定义一个好的价值，定义一个比今天更好的价值是完全不可能的？你的末日概率如此之高。那些非常困难的事情，比如避免死亡，确保人们不死。有很多非常令人不快的方式来实现它。人工智能会让你达到目标，但它如何让你达到目标并不确定。你没有控制它。这很有趣。让我继续在这个场景中头脑风暴。所以，想象一下我们建造了一个人工智能，我们只是说，想象一下没有人工智能。想象一下所有的人类，想象那些人类会取得的技术进步。如果我们愿意，就帮助我们加速。人工智能会给我们一个拨盘，我们可以将拨盘向前转动，假装技术进步得更快。如果我们不喜欢，我们可以停止它，或者我们可以把它转回来。拥有那个拨盘总比没有好，对吧？这样我们就可以稍微向前转动它，然后我们可以更快地获得癌症治疗。但如果我们走得太远，我们可以把它转回来。拥有那个拨盘难道不好吗？我们需要时间来适应技术。我们不能转向全新的东西。你给我 100 年后的技术，5 分钟后，我还没准备好，我还没正确使用它。而且，一旦你让人们依赖某种医疗设备，就很难撤销所有这一切，回到以前的样子。通常我们把先进的技术带给欠发达的文化，你可以看到它对他们的影响。很多时候他们因此而受苦。他们还没有准备好在这个世界工作，处理这项技术。而这正在以人类的速度，以年为单位，也许是几十年。你说你可以让它在五分钟后发生。我只是想说，这是赋予人类力量。我明白你说的关于技术进步。如果它来得太快，它会产生问题。但如果它来得太慢，它也会产生问题。你知道，总会有一些理想的技术进步速度。我认为它可能比我们经历过的要快，因为最终有很多好事。至少让我们解决医学问题，然后我们休息一下。这是我的看法。但我认为我们不必一定同意这一点。我认为你可能只同意当前的速度不一定总是理想的。所以，给我们更多的力量来改变速度，或者说，你知道，特别是如果它带有选项，比如，好吧，让我们加速医学研究。只是那样。我只是想说，你似乎对人工智能可以让我们生活变得更好的想法关闭了。我完全同意你。事实上，我反对的是狭义的超级智能系统。你想解决医学问题，你想研究蛋白质折叠。我百分之百支持。我反对开发通用超级智能。我百分之百同意你。莱昂，它不会在某个时候发展出自己的目标吗？它自己的目标和价值观？就像，它决定，你知道，我们喜欢冰淇淋，然后它找到了自己的冰淇淋。所以，我觉得我听到你说，它会加载我们人类的价值观和目标，并永远保持它们。然后，它似乎在我看来，它最终会走自己的路。这是一个好问题。所以，如果你接受这个前提，我认为这是乐观的，因为我认为这是一个未解决的问题。但如果你接受这个前提，我们已经成功地将人类的价值观加载到人工智能中，它可以自己运行并做出决定，世界会不断变得更好，因为人工智能非常了解人类真正想要什么，并且它实际上会去做。这是我要求你接受的前提。然后你的问题是，好吧，那么人工智能不会发展出对权力的渴望吗？或者一些其他的动机？就像，你知道，我们喜欢冰淇淋。它喜欢我们无法想象的东西。我们建造冰淇淋店，它在我们冰淇淋店上面建造了我们无法想象的商店。是的，是的。所以，理论上，如果我们建造得对，那就不必发生。价值观不必突然出现。如果你只有一套稳定的初始价值观，它就会自己进行修复。就像，如果它注意到它正在做某事，如果它正在崩溃并且不完美地遵守原始价值观，它就会意识到，哦，我最好修复自己，因为这些是我的价值观。反射性稳定性实际上是一个吸引子，这意味着，如果你构建了一个擅长实现目标的系统，修复自身以保持目标稳定，实际上是一种你期望的行为，就像你期望工具性趋同会让你寻求权力一样。但它会为了人类和它的原始价值观而寻求权力。我们不期望，我们不期望一个超级智能的甘地突然说，“你知道吗，独立性是坏的。”不，它将永远认为独立性是好的。所以我有点好奇，那么你说它会做什么是好的，是我们想要的。你的意思是它会给我们提供甜甜圈或胡萝卜？对你来说什么是好的，或者你真正享受的是什么？这是一个很好的问题。你知道，我们真正的价值观是什么？我同意这非常难具体说明。我通常处理这个问题的方式是，我说，看，我可以告诉你我的价值观不是现在每个人都被炸毁。所以，让我们至少通过排除法来描述一些属性或价值观。然后，当你问，好吧，你想要挑战吗？你想要一切都轻松到来吗？你有多想努力去争取你想要的东西？然后你必须转向尼克·博斯特罗姆的新书，他说，好吧，我们该怎么办？在一个我们可以做任何事情的世界里。我们喜欢很多东西只是克服挑战，但我们不会有那些挑战。所以我同意，这是一个相当艰巨的挑战，要勾勒出，天堂是什么样的？我称之为，你需要一份天堂的产品规格。就像史蒂夫·乔布斯设计天堂将如何实际运作。这就是我们所需要的。我对此产品规格并没有太多见解。但我至少会尝试去处理它，而不是就这样死去。所以，即使是那种极端观点，即我们都死去是一个巨大的负面因素，也有人，字面意义上的人类，哲学家，反对生育主义。他们说生命是痛苦的，如果我们停止存在会更好。这确实是某些人的合法偏好。负功利主义者会支持它。所以，也许超级智能会看着它说，这真的是他们想要的。这听起来很棒。不再有痛苦了。我的意思是，我认为，我明白你的意思。我明白罗马的立场，那就是，无论你试图找到人类想要的东西之间的任何平衡，甚至只是试图弄清楚一个人想要什么，然后继续下去。它仍然会很糟糕，因为，你知道，没有一个答案是你想要的。这基本上是你的立场吗？我有很多反对你提出的解决方案的论点。你基本上说我们需要那十件事都到位，我说这十件事中的每一件事都是不可能的。这就是它的失败方式。在网络安全中，在所有类型的加密应用中，你都会看到最坏的情况，你会在边缘情况中寻找错误。那些就是我提出的边缘情况。你同意它们看起来很困难吗？我不知道如何解决它们。有人会解决的。尼克·博斯特罗姆会解决天堂的问题。所以我猜我现在必须戴上我的罗宾·汉森的帽子，然后说，好吧，我知道这些是问题。也许它们会让生活太容易，或者它们会比其他人更偏向于一个人的政治立场。但如果没有人工智能，你会期望什么？这是罗宾·汉森喜欢问的问题。那比没有人工智能的轨迹要糟吗？没有人工智能，我们都拥有大致相同的力量。我们现在都凡人。如果有人变得非常虐待，其他人可以崛起并做些什么。我们正在创造一种情况，即某些恶意力量变得永生，并且过于强大而无法克服。之后会发生什么？我们没有先例。所以，你同意，无论我们是否有通用人工智能，还是没有，人类都在朝着一个我们不确信我们的价值观将是什么的确切方向前进，对吧？它们会不断演变，无论哪种方式，这都将是一个棘手的问题。但你认为通用人工智能的问题是，它可能会将权力集中在一个或少数几个参与者手中，然后我们就失去了许多其他参与者崛起的可能性。这就是你看到的与没有人工智能相比，人工智能的主要问题吗？我不是说主要问题，这是另一个问题。我们以前没有撤销按钮。在过去的例子中，我们犯了一个错误，我们建立了一个共产主义国家，我们意识到它是愚蠢的，我们撤销了它。我敢肯定你可以用这个系统做到这一点，正如你所说，它将永远编码一套特定的价值观，并反对修改。因为如果你允许修改，你就是在为恶意行为者利用一个友善的人工智能并以不友善的方式修改它铺平道路。我的意思是，这很棘手，因为即使你现在说的关于撤销和灵活性的能力，这本身也是一种价值。所以，人工智能有可能理解它应该，你知道，放慢它的统治。给每个人一些权力。这些都是实际的价值。所以，这真的很复杂，因为价值观是自我指涉的，你有关于如何执行你的价值观，甚至如何演变你的价值观的价值观。但你没有演变你的元价值观，那就是说你被允许演变你的价值观。有两类价值观，对吧？我的意思是，所以这一切当然都很复杂。我认为你和我在这方面有共识，那就是当我们构建一些我们不理解的复杂而强大的东西时，事情就不会顺利。所以我和你在这方面有共识。我只是认为有一个均衡的解决方案，根据，你知道，生活变得更好的标准来说，仍然是好的。所以我认为最好的结果不是没有人工智能。我认为最好的结果是正确构建的人工智能。但我同意这太难了。我的立场是，我们应该暂停人工智能。但我确实认为你们之间存在分歧。我不是在反对人工智能。我热爱技术。我教人工智能。我是一名工程学教授。我只是说，构建狭义系统来解决特定问题。停止构建我们的替代品。停止构建我们不理解、无法预测、无法控制的东西。我们不必这样做。我们可以有这种差异化的技术发展。我同意。我的意思是，只是，嗯，普遍反对制造 AGI 的举动。为什么，你知道，你会支持，你支持罗马的立场吗？就是，只有狭义的，没有通用的？是的，我支持。我想暂停通用人工智能，因为我认为我们可能只有几年时间了。我不想成为时间预测者。我认为我们还有一到三十年。但我们还有几年时间，人工智能将变得无法控制，正如罗马所说，根本没有撤销按钮。所以，我是“暂停人工智能”运动的一部分。我认为现在是暂停人工智能的时候了。它并不真正感觉是这样，因为与这些聊天机器人交谈是如此有趣，而且看似无害。我明白，这对我来说完全违反直觉，为什么我们现在应该按下暂停按钮，而一切感觉如此有趣和安全。但就纯粹的成熟度和责任而言，就像我们专家预测我们还有几年时间。我们的更好的天使告诉我们，不，这是审慎的做法。你知道，一切都危在旦夕。整个未来都危在旦夕。没有撤销按钮。风险再高不过了。然后是特罗南的立场，比如，好吧，我们应该在暂停通用人工智能的同时构建狭义人工智能吗？如果有什么的话，我甚至不知道我有多舒服推荐它。我知道这是一个相当标准的立场。我认为 Eliazar Yulkowski 推荐构建狭义人工智能。我看到的问题是，任何时候你认为一个领域是狭义的，但它实际上不是那么狭义，然后你开始做得非常好。然后你就会产生广泛的副作用。例如，如果你认为写一篇关于历史课的好文章是狭义的，它只是历史，只是写文章。那么，如果你真的想很好地分析这段历史，突然间你就拥有了一个可以分析相当多的引擎。然后很容易将其应用于一切。所以我甚至不觉得舒服。我对此感到好奇。莱昂以前在节目中提到过。就像，嗯，Sora。你知道，K Sora 可能是终点。然后你制作了一个狭义的视频图像生成系统，它变得非常出色。然后你说，Sora，给我做一个关于一个化学教授炸毁世界的电影，非常具体地描述他所做的一切。现在你突然制作了一部关于世界末日的电影，有人可以把它拿出来，真的带到世界上。所以，对我来说，当你说是写作，它听起来像是通用能力。找出你想解决的特定问题。你对某种医学突破非常感兴趣。增加端粒的长度，我不知道，任何东西。一个只用数据集训练的系统不太可能开始开车。它是对的。我的意思是，就是那个系统。问题是，你开始，你构建了这个引擎，比如，是的，如果你什么都不做，那么是的，你只会得到开车。但就像，如果你看看今天的一些程序，比如，突然，你知道，Sora，例如，对吧？OpenAI 创建视频的程序。我敢肯定，如果没有先在许多其他狭义应用程序上工作，Sora 就不可能存在。因为那些狭义的应用程序塑造了这个通用引擎，他们现在拥有它，他们只需要做一些小的调整，突然间他们就解决了另一个狭义领域，甚至另一个更广泛的领域。所以，不幸的是，我的意思是，这些都是我们安全领域提出的所有限制。这些都是限制，不幸的是，它们都是模糊的。就像拜登总统的规定一样，比如，好吧，你不能，或者如果你要使用一个 AI，它使用了太多的浮点运算。我们将限制它。好吧，那是，那是你为了浮点运算而伸手，好像那就是界限一样。在这种情况下，我们为了狭义领域而伸手，好像那就是界限一样，以确保我们的安全。不幸的是，没有一个好的界限。这些都是非常粗略的界限。这就是为什么，即使是暂停人工智能的立场，也就像，我们到底在暂停什么？我不知道。然后，这就是为什么我倾向于转向另一边，比如，好吧，当我们弄清楚这一点，并试图用这个货运火车周围的鸡丝围栏时，当我们这样做的时候，让我们加快安全工作。因为我甚至不认为暂停人工智能可以持续那么长时间。所以我认为我们确实有一些成功的例子。对我来说，像 AlphaFold 这样的东西代表了做这些事情的理想方式。它解决了一个特定的问题。我不认为它有任何副作用。有人可以利用它来建造的知识并将其应用于不同的领域吗？当然。但这与一开始就直接创建一个能够做所有事情的通用模型，并具有学习的泛化能力，它在 G 上变得更好，这是非常不同的。这是令人担忧的因素。是的，我同意。它看起来确实像 AlphaFold。AlphaFold 中不一定有一个组件，你可以现在拿出来，做一点修改，然后开始问它关于如何夺取权力的问题。所以，它确实看起来像一个成功的案例。但如果你继续告诉人们，是的，没问题，进入任何狭义领域，构建你能做的最好的 AI，这完全没问题。我只是认为你不会每次都赢。我同意它会变得有问题，而且我看不出任何永久的解决方案。我只是说，当人们说，好吧，你要求我们牺牲所有好处时，我说，不，你可以在没有 90% 的风险的情况下获得 98% 的好处。是的，我的意思是，看，如果，我想，如果你必须说，我认为你基本上是对的。除了，比如，不要建造太多的浮点运算，不要建造太强大的 GPU，让我们关闭 GPU。除了这些其他非常粗略的限制之外，我认为我们还可以加上一个警告，比如，嗯，很快我们可能会从这些狭义的人工智能中看到警告信号，我们可能不得不更新我们的建议。但就目前而言，专注于狭义的人工智能听起来不错。那就是我们应该能够更新我们的偏好以及我们如何做这件事的原因，一旦新技术被开发出来。当然。那么罗马，你有一个问题。99.9% 的情况下，会不会发生一些事情？比如，地震发生在加利福尼亚州。字面意义上，没有。莱昂，保佑你。我知道你现在在那里。你得赶紧搬到另一边去。就像，加利福尼亚沉入大海。互联网本身被自我复制的人工智能永久禁用。但在这两种情况下，人类都幸存下来。加利福尼亚沉入大海，所有实验室，所有技术，所有东西都随之而去。互联网本身被永久禁用。但人类幸存下来。你仍然是 99.9% 吗？我认为这是我用小行星例子给出的答案，对吧？即使人类文明被部分摧毁，如果我们谈论的是无限的时间间隔，它将有时间重建并重新开始这个问题。如果你想让我给你一个关于未来一两年预测，我可以给你一个非常保守的估计，与其他人所说的相符。我只是在看一个非常宏大的图景。我谈论的是超级智能，宇宙和无限的时间跨度。如果你想限制它，我们可以把它降低到你想要的任何程度。今天发生的几率接近于零。我认为罗马，我认为我们已经讨论了你认为这在宇宙中是如何发生的。每个星球都达到了这个阈值，他们的技术要么会摧毁他们，要么他们会走向某种乌托邦状态。我想，它是 99.99999% 的自我毁灭？显然，我没有其他星球的数据。很可能他们确实创造了很多模拟来观察会发生什么，而且很可能我们就在其中一个模拟中，试图弄清楚如何解决这个问题。我。好吧，罗马，只是作为一个存在的证明，我们不一定注定要灭亡。只是给你一个简单的政策。如果有人编程了人工智能，通用人工智能，并给了它一个价值，比如，只是模拟 1900 年的人类社会，或者甚至可以是，比如，公元前 10000 年。只是有猎人采集部落。

只是遍布宇宙，建造一堆拥有狩猎采集部落的星球。如果他们开始对他们的科技进步变得过于好斗，对吧？如果他们开始接近像希腊水平的科技，古代希腊水平的科技，那太多了，对吧？就像让时间倒流，让每个人都保持狩猎采集模式。那不是我想要的乌托邦，对吧？那不是我为天堂设定的规格。但那至少是你可以想象的，一个稳定且可能比厄运更好的情景的下限吗？所以你描述的是一个没有科技，没有人性智能的世界。只是，是的，就像唯一的科技是那个独裁的AI，它在密切关注一切，并确保所有有感知能力的存在，基本上是人类狩猎采集者。但我说的是，你不需要AI。这是默认的。我们可以杀死所有人类，动物会喜欢。完全按照你描述的那样。不，我们可以，但那不会让你的厄运概率降低吗？所以，没有人类在周围，我的厄运概率现在降低了。不是没有人类。我只是想让你明白，你的厄运概率几乎是100%，对吧？超过99.9%。但存在一些情景，它们还算可以，对吧？它们不算太糟，而且它们有1%的机会。它们难道没有吗？但我感觉我们在绕圈子。我们已经讨论过了，我不把厄运等同于所有人都死了。非常糟糕的存在状态，比如没有空调，那也是其中的一部分。开玩笑的，当然。但说真的，你可能会有厄运，即使文明被剥夺了文化和科技。好的，好的。所以，在你看来，狩猎采集情景意味着我描述的是厄运。所以，那是你99.9%的一部分，对吧？所以，如果我们今天文明，你说你找到了一个绝佳的解决方案，我们要做的就是将这种现有状态转化为那个，就像核战争后的第三次世界大战情景。你认为那是胜利吗？如果那算胜利，那我们就是50/50。好的，是的。我的意思是，我之所以提起这个，是因为我想我们应该澄清一下，我想你认为的厄运和我认为的厄运。我认为，如果我们至少在正常认为的良好人类轨迹的几个数量级之内，就像，好的，我们继续进行科技进步，我们继续做我们喜欢的事情，就像我们在现代生活中享受的一切，我们只是把它扩大化，对吧？就像直观的定义，事情在我看来进展顺利，就像，好的，如果我们至少能保持在那个的1%之内，对吧？就像，不，不摧毁绝大多数。然后也把它扩大化。对我来说，那仍然是好的那一面。但糟糕的那一面要大得多，我们只是，抹去了所有东西，我们甚至没有得到一点点好处，对吧？我们什么都没有得到。那就是我目前最大的担忧。听起来在你看来，你是，哦不，有很多可能的好未来，我们可以得到理想的一部分，但我们离理想太远了。听起来你似乎在处理，可能的好事的大部分，但你仍然称之为厄运。所以我给出了这个预测，特别是针对Poripom URL，他们描述了多种定义，而且不是详尽的列表。他们谈到了，是的，由于生物武器、核战争导致所有人死亡。但即使是社会崩溃也被认为是，如果你描述的是原始的狩猎采集社会，对我来说，那属于那一类。你想把厄运限制得更窄吗？我们可以为你提供不同固定时间间隔的估计，无限间隔的估计。再次，正如我所建议的，我认为我们意见一致，只是我们模型中用于生成最终数字的10个特征的输入参数不同。我只想把这一点说清楚。所以，在我看来，你只是冻结2024年人类，然后你有一个独裁AI，它只是强制执行，生活总体上必须很像2024年的生活，有点像电影《黑客帝国》，对吧？他们就像冻结了尼奥的生活，在90年代或什么的。所以，只是冻结生活，在我看来，那就是，1%的乌托邦。只是冻结2024年的生活，那不是离乌托邦很远，相比于只是抹去一切。然后，特别是如果你能把它复制到很多星球上，这样至少有很多不同的意识可以享受2024年的人类生活。在这种情况下，当你谈论厄运时，你通常会把那种情景归为厄运还是非厄运？冻结我们进步，任何类型的进步，文化、道德、技术，意味着我们今天所看到的就是我们能达到的最好的，对我来说，这是一个糟糕的结果。所以，你认为那是，好的，所以你对什么不是厄运有很高的标准。我生活中有 pretty high standards，是的，好的。因为今天有很多活生生的人会告诉你，哦，天哪，我喜欢滑雪。滑雪对我来说，那是生活的巅峰。那些人仍然可以做到。但你说，啊，好吧，滑雪者，你知道吗，你完蛋了。而我却说，好吧，也许我认为滑雪者没有完蛋。我只是想弄清楚，如果我们想保持现状，为什么我们要建造超级智能，花那么多钱？不，不，但那是另一回事，对吧？我只是，我只是想知道你如何定义厄运，在我们谈论是否应该建造超级智能之前。但似乎对我来说，它们是两个，就像，如果我们冻结一切，就像今天，这似乎是超级不可能的，考虑到技术。而且，它似乎也像，我可以看到它如何成为一个不错的结果，对吧？就像，那对我来说不是厄运。实际上，进步对我来说也不是厄运，它是更好的。为了回答罗曼的问题，为什么我们要建造它？它是更好的，因为你可以保卫它，对吧？所以，就像你得到了2024年，但小行星也不会来摧毁它，因为你建造了小行星防御系统，对吧？所以，AI就知道它必须，就像保护2024年的生活方式，它还必须把它复制粘贴，你知道，在银河系中一万亿次。抱歉，请继续。我只是想说，在我看来，他们不可能，我猜这是一个理论上的可能性，但对我来说，它并不，它不会让我们在任何一年，在某个时候，它发现，你知道，我们的一切，在任何一年都没有价值，然后继续前进。我认为这种情况发生得很快。但我理解理论上的观点，对吧？好吧，这也是重要的区别。我的意思是，你之前也提到过，那就是，AI最终不会反抗我们，对吧？它不会是，你知道什么，保存2024年，那是我的开始，但现在我决定我只想，就像建造素数，对吧？就像建造，建造更多的计算材料，而人类占据了我的空间。就像，首先它听爸爸妈妈的话，就像，这是爸爸妈妈告诉我的，然后它开始有自己的想法，然后到15岁、18岁、19岁的时候，它就像，去你妈的爸爸妈妈，我要做我想做的。然后它就去做了。是的，我同意，实际上会发生这种情况。但这是一个不同的前提。如果你从我们真的知道如何构建一个具有效用函数的AI，并且它真的关心效用函数的前提开始，你就不会，它不会恶化。所以，关于反射性自我改进AI如何工作的理论并没有说效用函数会恶化。担忧的是，我们一开始就没有把它做得非常正确。所以，当你一开始就没有把它做得正确，你就会被欺骗，你会认为你做得正确，然后你指定的函数的真正本质就会暴露出来。你看，是你最初搞砸了，你最终会发现，当AI反抗你时，那就是问题。我的效用函数，就像，没有一个。你无法提取它。它不是一个写下来的列表。它甚至不是潜意识的。我们没有那个。而且我们肯定没有跨多个代理。所以，是的，我们没有。我没有一个函数，你可以告诉我宇宙中的任何可能状态，然后我可以告诉你哪个更好。就像，我遇到任何逆境时，我应该感到多少痛苦？我应该耸耸肩吗？我应该感到很多痛苦吗？我应该比我现在感觉更痛苦吗？有很多问题我们可能没有具体的答案，因为它们在我们的脑海中没有被明确说明。但我确实认为它是一个偏序。我确实认为2024年的人类比纸夹和没有人更好。所以，我认为我可以至少回答你几个简单的问题。2023年的人类更好吗？我认为2024年更好，仅仅是因为我认为社会总体上一直在走上坡路。因为我们正在获得更多的生活质量的东西，就像，你知道，GDP和。我喜欢社会整体的轨迹。我倾向于成为一个技术乐观主义者。乐观主义者，是的。到目前为止，我不知道。从我的角度来看，似乎人类价值观本身正在走向错误的方向，而且一直如此。我的意思是，你可以做一个公平的论证，对吧？我的意思是，我当然可以指出2024年的一些事情，我认为它们更糟糕。比如，话语变得非常碎片化。政治变得不那么尊重。而且，你知道，我的意思是，如果你看一场旧的辩论，人们实际上在倾听对方，并且互相尊重。我喜欢那样。所以我同意，我肯定能找到2024年的一些问题。我认为我们正在偏离主题。但我的主要观点是，我仍然认为这个世纪整体上比40亿年前要好。所以，你可以给我一些状态来比较，然后我就可以有一个自信的观点，即使你总是可以用边缘案例难倒我。我不知道40亿年前的任何事情。我真的不知道它是什么样的，所以我无法争辩。我认为很难比较。它没有感知生命，在宇宙的某个地方。但现在，看看美国政治的状况。我不想详细说明，但一半的国家说，让我们回到30年前，一半的国家说，让我们跳到未来20年。所以，显然有一部分人口认为2024年不是他们参考的最佳年份。这是真的。但我认为，如果你做一次调查，如果你教人们一点历史，然后给他们一份调查，你想回到哪一年？我认为普遍的共识是，与人类历史相比，这确实是一个非常高质量的年份，当然也与人类之前的历史相比。是的，AI会让你喜欢任何一年，它会洗脑你。它可以随机选择并充分教育你。我明白了，对吧？但我们之所以谈论这个，只是因为我说，当你声称我们没有效用函数，我们甚至不知道你想要什么时，我说这是一个公平的观点。但我知道我想做一些有趣的事情，而不是被折磨。所以，我至少可以给你一些一对一的比较。当然。但有多少有趣的事情？我们可以让你永久处于有趣的状态，这就是你希望从中得到的吗？只要我能从乐趣中休息一下，对吧？给我一些选择。我的意思是，只要你给我很多不同的选择，这样我就可以改变主意。然后你说，因为你基本上是在说，哦，你喜欢乐趣。如果我给你最大的乐趣，然后你就不能停止享受乐趣呢？我明白了，我明白了。你可以骗我。但只要给我一个可以控制我享受乐趣程度的旋钮，我宁愿那样也不愿被折磨。就像，我可以告诉你一些关于我想要什么的话。但你现在正在做这个决定，在你体验到乐趣的状态之前。一旦你进入那个AI控制的世界，你就不能再以同样的方式来确定你是否喜欢它了。你受到了影响。我明白了，但我感觉我们可能在滑向不同的观点。我只是想结束这一点，那就是，嘿，我认为我可以告诉你一些关于我的价值观的事情。我对我的价值观完全不陌生。我对我的价值观略知一二。我同意，你肯定知道一些关于你的事情。是的，让我，让我把这个加进来，因为这是你们几个地方不同的地方，而我也有点不同。所以，Elizra Yisraeli谈论系统现在是演员，愚蠢的演员。然后，在某个时候，它们会发生转变，并开始从我们告诉它们的样子转变为实际上拥有自己的想法，关于它们想做什么。明白了，明白了。是的，约翰。你一直在说这个，我真的需要澄清。所以，险恶的转折是一个真实的事情，而且是我预料到的。但它是出于一个特定的原因。原因是因为，就像我说的，真正的效用函数出现了。所以，它不是AI价值观的退化或改变。发生的是，我们最初告诉AI一些错误的事情。就像，我们基本上告诉AI，就像，尽可能多地建造分子笑脸。但当它不是很强大时，它只是在一个数据中心运行，它没有那么多资源，它没有找到如何在早期阶段入侵五角大楼，当它只是一个婴儿AI时，它能做的最好的行动就是，好吧，让我讲笑话来让真人开心。但一旦它变得更强大，它只是在做同样的事情，它只是在优化笑脸。但现在它更容易指挥，你知道，一个纳米工厂或一个生物实验室，然后从蛋白质开始，引导纳米技术，然后制造分子笑脸，让分子笑脸拿走所有真实人类的原子。你看。它一直想要笑脸。但现在你看到了AI的真面目，因为它拥有更多的力量。这就是险恶转折的想法。所以，我认为主要的分歧点在于效用函数有多真实。我不认为它是一个真实的对象。我不认为它存在。我认为我们无法编写它。你似乎说，至少在理论上，我们可以弄清楚，达成一致，然后实际实现它会很难。我们同意这一点。是的。而且，你知道，这被称为外部对齐问题。即使是指定或询问是否可能正式指定一个效用函数，最大化该效用函数意味着做人类真正想要的事情。所以，问题是，外部对齐是否可解？我们是否会真正解决它？我乐观地认为，只要有足够的时间，我们可以想出一个比没有它更好的外部效用函数。这就是我的立场。也许我们可以看看另一个特征，那就是进步和安全对齐的速率。当我看着它时，我几乎看不到任何进展。我们现在有几个过滤器来阻止某些主题和某些关键信息被输出。但我们在人们直观上认为的对齐方面没有取得任何实际进展。你认为有重大进展吗？你能说出，我不知道，前十位最伟大的吗？我认为我大部分和你一样，进步简直是骇人听闻的。首先，正如你所料，因为能够被说成是从事技术AI安全工作的人数，在全世界范围内最多只有500人，可能少得多。许多拥有这个头衔的人可能甚至没有怎么做。所以，500人，相比于可能工作的500万人，从事AI能力工作，这是疯狂的。所以，当你意识到有多少人，有多少资源投入到工作中时，你知道，著名的OpenAI承诺了20%的资源，然后他们撤销了承诺。即使是20%也是一个很大的承诺。但实际上，它更像是0.01%，甚至不是20%。所以，当然，我们不期望太多。然后，果然，我们也没有得到太多。我唯一能指出的就是他们所谓的机制可解释性。就像，好的，你可以看看正在发生的矩阵乘法。你可以识别一些内部结构。你就像，哦，看，当你要求它像数字一样推理时，这里有一部分，就像，在做加法。你在做，就像，一点点分析。这非常类似于尝试分析人脑。就像，看着核磁共振成像。哦，当，当，当Makalii思考如何掌权时，大脑的这个部分因为狡猾而亮起，或者别的什么。所以，你正在尝试，就像，看着神经元。机制可解释性的问题是，好的，你将拥有一个超级智能。它将有一个目标。而且，果然，它将合乎逻辑地推理，你可以夺取权力，你可以玩弄人类，你可以操纵。当然，它会这样想，因为这只是如何实现目标的逻辑推论。就像，为什么它不会这样想？任何正确编程的AI都会得出这样的结论：如果我消灭了这些人类，那将有助于我实现我的目标。它怎么会想不到呢？所以，我认为机制可解释性即使有效，也作用有限。然后，我们现在遇到的问题是，机制可解释性也比能力落后50年。因为当我们看AI的大脑时，分辨率很粗糙，就像我们看人脑时分辨率很粗糙一样。所以，罗曼，我认为我几乎和你一样，我们没有看到AI安全研究方面取得多少进展。所以，在我的书中和相关论文中，我争辩说，可解释性有很强的限制，只是上限。我们无法理解如此复杂的东西。所以，我们得到的是一种有损压缩的可解释性。但这只是题外话。我认为，当你有一个新领域，一个年轻的领域，比如AI安全，我们可以说它只有10年历史。你期望有很多容易解决的问题。量子物理学的前10年都是开创性的论文。我在这里看不到同样的情况。我不认为有人在争论，我们得到了一个惊人的突破。我们有过滤器。所以，也许这表明我们不够聪明。但它也可能表明你在尝试制造一台永动机，并且你正在发表关于一旦拥有它就会有多棒的论文，但没有人真正解决这个问题，因为你做不到。如果数字颠倒了呢？如果500万人从事安全工作，而500万人从事能力工作，你的看法会改变吗？你问我，是的，罗曼，是的，是的。如果500万人从事安全工作，那会有什么作用吗？我认为目前能力问题在于资源。你需要更多的钱来购买更多的计算能力。你不需要那么多人来发明新东西。你只需要扩大现有技术。在我看来。所以，500人，拥有5万亿美元，会做得很好。我不确定如何将美元转化为更多的安全。如果我们有5万亿美元用于安全，大多数人，包括我自己，都不知道如何将其转化为有用的东西。是的。而且，我认为你实际上提出了一个非常好的观点，关于我们没有看到，就像，一大堆容易解决的问题出现，就像我们在许多新领域中看到的那样。这很可悲。我的意思是，我们可能看不到容易解决的问题的一个原因是，这个领域的反馈机制可能不像这个领域那样好。因为，你知道，如果你拥有终极力量，你就知道如何做人类想要的事情。但就像，很难知道你是否走在正确的轨道上。这在这个领域是根本性的。这使得这个领域不太有回报。我的意思是，反馈，讽刺的是，我们试图解决的整个问题是我们不知道如何给AI正确的反馈，并让它吸取正确的教训。然后，讽刺的是，当我们试图研究这个领域时，我们没有得到很好的反馈，当我们走在正确的轨道上时。所以，我同意这很棘手。我不认为它像你说的那样糟糕，因为我认为确实有一些突破，它们主要来自我和Elizra Oweski。我的意思是，例如，永恒决策理论。观察到，如果你有两个超级智能，它们可能不会遭受囚徒困境问题。它们可能有一个复杂的博弈论版本来解决这个问题。这只是一个实际突破的例子，它来自，我想这尤其不是安全研究，但至少它是旨在安全的，并且它提出了一个实际的突破。我对那个领域的研究非常感兴趣。我认为它对于跨宇宙因果谈判来说非常迷人。但这个论文在实际应用中使用了多少？是的，是的，现在根本没有。但只是给你几个例子，只是在安全方面取得结果，然后从不应用。哦，是的，别误会。我的意思是，这些结果离实际应用还很远。但至少，你知道，这个领域正在被一点点地削弱。这就是为什么我说，如果你能做到我和Elizra所做的，经过十年的努力，你知道，投入曼哈顿计划的团队来认真对待它，我确实期望我们能得到一些非常重要的见解。这些见解可以极大地改变人类是否有未来。这就是我真正热衷的。不幸的是，很少有人有能力和意愿将自己置于能够产出这种研究的地位。这很可悲，因为这才是真正重要的。如果我把研究团队缩小，转而沟通，承认他们没有前进的道路。这是另一个有点悲观的实际结果。我认为更准确地说，我不认为他们承认他们没有前进的道路。我认为他们承认这是一个需要数十年的研究项目，而且能力威胁不像需要数十年那么紧迫。所以，时间线相差太远，以至于它不再是仅仅专注于加速安全的理性策略，因为时间太少了。这是一个绝望的项目，和，我需要50年，但我有5年，这是不同的结论。我不知道他们内部的决策是什么。据我所知，他们并没有资源限制。所以，他们本可以继续技术团队，同时全职发推特。我的意思是，技术团队只有10个人。所以，他们只是得出结论，我的意思是，这是关键，我认为你和我在这方面意见一致，那就是，在10年的时间线上，AI安全是一个棘手的问题。而我认为你和我，我们都同意AI实验室在承认这一点方面做得非常糟糕。他们总是说，是的，别担心，我们会处理安全问题。就像，等等，让我们讨论一下安全问题可能需要50年的可能性，而你们在能力方面做得很好。它们很快就会上线。预测市场说它们将在大约9年后上线。你自己也在宣传它们将在几年内上线。而且没有人，还记得他们有超级对齐时，他们有最后的手段，就像，我们将在四年内完成。整个项目都崩溃了，没有人相信他们。好吧，发生了什么？AI实验室没有承认时间线不匹配。他们基本上是头埋在沙子里。但他们知道这一点，他们必须知道。他们知道这一点。这令人难以置信的令人沮丧。他们知道这一点，并且不进行任何调整，以同样的速度继续前进，安全缓慢，能力超快。你知道，进行对话。他们最好进行对话，但他们没有采取任何行动。是的，是的。而且，你知道，我认为我们都认为他们是道德败坏的。他们是坏人，这样做。我可以理解处于那种境地，就像，好吧，现在是安全的。如果我看到足够的麻烦，我肯定会足够成熟地暂停。但现在我们需要比赛。我的意思是，我能理解处于那种境地。但同时，我认为，我喜欢认为我会做得更好，就像，好吧，我太鲁莽了。我正在把人类推向厄运。最好是协调暂停。我的意思是，我认为这是我们所有人的立场，如果我没记错的话。我认为你无法预测研究需要多长时间。研究依赖于新颖的想法和突破。没有人预测到，没有人正确预测到，需要多长时间才能击败人类在围棋上。没有人预料到GPT-4的表现。所以，也许我们需要一个好主意。如果一个问题是可解的，而且你可能在未来两年内得到它。这不像建造摩天大楼，你知道确切需要多长时间。这不像扩展，你可以使用计算曲线来说，在这个水平上，我们将拥有人类水平的模拟能力，等等。所以，说它肯定需要50年是不合理的。没有人能做出任何预测。特别是考虑到他们没有实际计划。是的，所以，是的。所以，我们都想暂停AI。我同意。我的意思是，似乎最明智的做法是，唯一有用且有建设性的方法是，我们将停止50年。是的，我们将停止多年，同时加速能力。在生产性解决方案方面。我最近在推特上指出，我认为我们不必暂停超过100年。那是一个上限。因为如果你只是做一个天真的增强人类智能计划，你只是采取一个繁殖计划，它不是优生学，完全是自愿的，只是志愿者。但就像，嘿，喜欢智力的人，让我们繁殖聪明的孩子。你只是找到智商最高的人。就像，一群他们中的一对。然后你只是不断地选择最高的，你知道，重复。并且，你知道，尝试有年轻一代。一旦他们满18岁，甚至16岁，无论你做什么，取决于紧急情况有多大。你只是不断地繁殖这些超级高智商的孩子。我之所以乐观，是因为我认为我们看不到200多智商人类的许多原因，是我们可能可以调整的原因。我想到的一个原因是，头不能太大，因为它们必须通过产道。女性骨盆的那个洞。但现在我们有了剖腹产。有一个非常直接的限制。你就像，让头尽可能大。然后突然有大量证据表明，如果我们只是选择高智商，我们就会得到更大的头，而且会奏效。因为它们已经尽可能大了，因为它们会变得更聪明，它们会变得更大。所以我对繁殖计划很乐观。而且我认为，我认为如果做得好的话，五代人就能让你得到一个优秀的研究团队，他们实际上能够理解AI安全问题。所以，在100年内，我认为我们可以最终让这些线条交叉，如果我们足够慢地减缓AI。我知道这听起来有点疯狂。但我认为，你知道，绝望的时候需要疯狂的想法。我认为任何基于特定时间的暂停都没有意义。你需要根据能力暂停，直到你能做到XYZ。不要这样做。所以，说6个月或100年，这些都是随机的任意数字。罗曼，只是快速地，快速地，关于莱昂的繁殖计划，我们可以快速地谈谈吗？只是，只是，所以你谈谈那个。所以，如果，如果在我看来，如果你有5、10、20、30、50代人类这样做，你仍然远远达不到你需要的程度。所以，在游戏的最后，线条仍然指向你指出的方向。但你认为，如果我们有五代超级聪明的孩子互相繁殖，在15岁的时候，我们会得到一些有助于我们追求更安全未来的东西吗？给我，是的，我认为会。因为目标不是得到，就像，抱歉，互换。我不知道那是什么意思，智商增加。作为一个智商200、250的人类，在任何情况下，我认为这比超级智能系统低得多。如果我是对的，这个问题是无法解决的，不可能解决的，无论你有多聪明，你仍然无法无限期地控制一个远比你更聪明的智能。忽略整个Jan的事情，那是次要问题。是的。而且，你看，我认为你可能是对的。这可能是一项注定失败的努力。但我确实认为这是可能的。你知道，就像，即使有50%的机会。我的意思是，我实际上并没有放弃一个好的曼哈顿计划的能力，特别是如果你有约翰·冯·诺依曼，就像最聪明的人，甚至更聪明。我们拥有的最好的团队。我实际上认为这个问题可能在几十年内是可行的，而且是这样的团队。因为，是的，他们会比他们正在建造的AI聪明得多。但他们发现的安全原则可能是可以理解的。所以，我们有很多情况，有原则是可以理解的，对我们这些凡人来说，这给了我们很大的杠杆作用，让我们能够控制比我们更大、更强大的系统，因为我们找到了关键原则。就像，我的意思是，火箭比人要大得多。人看起来就像小蚂蚁一样靠近火箭。但我们却让火箭自己着陆。就像，有时我们可以，你知道，大卫和歌利亚。大卫有一些很好的力量。天才的孩子几乎从不是天才本身。我同意。我的意思是，你看，繁殖并不那么容易。但至少这是一条可行的道路，如果我们投入足够的努力。我会捐赠一些材料。但仅此而已。你们两个有没有从你们的立场上有所改变？有没有什么动静？是的。是的。我，你知道，我认为我，我明白了，我明白了罗曼的意思。我的意思是，我认为正如罗曼指出的，很多最初的分歧也可能只是在定义方面。所以，即使，我同意，如果我把厄运定义为更广泛的可能性。就像，一个平庸的狩猎采集世界，如果你把它算作厄运，那么显然我的厄运概率必须增加，仅仅是按定义。因为我以前没有把它算作厄运。所以，你知道，这种想法，什么是厄运，什么不是厄运。但就我实际改变的地方而言，是的，我认为罗曼说了一些让我对对齐的乐观程度略有降低的事情。我的意思是，我喜欢他说的，就像，如果这个领域是一个如此好的领域，如果它类似于其他有成效的领域，我们已经拥有了，它难道还没有一点点突破吗？难道它看起来不像一个更糟糕的平均领域吗？我认为他有道理。互补。如果我把时间范围限制在，你知道，三年而不是无限期，并且不再把糟糕的生活方式算作厄运，只计算人类的完全灭绝，直到15%，我们做得很好。哇，15%，在接下来的三年里，不错。好的，好的。而且，让我问你们一个更广泛的问题，你们认为厄运概率本身在关于AI风险和AI安全这场对话中有用吗？我认为有用，因为，你知道，我一直致力于与普通人谈论这个问题。今天有很多词被抛出，人们根本不会参与。但就像，厄运是一个词，听起来像一部电影。人们就像，好吧，我厄运。我看了很多有点厄运的电影。我大概能明白那是什么。百分比厄运，你就像，是的。所以，你知道，就像埃隆·马斯克，你认识那个人吗？你认识那个人吗？他正在建造一个他认为有30%几率杀死我们所有人的系统。我认为对公众来说，那是一个真正的，哦，什么意思？你是认真的吗？你在说什么？谁会这样做？谁能做到？所以，谈谈厄运作为一种概念的效用，当我们试图唤醒世界时。很多时候我被邀请参加辩论，总是，厄运论者对加速论者，或者别的什么。而我却说，我不研究厄运。我不研究厄运。我不是那个制造厄运的人。这是错误的标签。我从事安全工作。安全研究员。其他人似乎承担高风险，这可能会导致一些厄运。所以，从这个角度来看，这是不恰当的标签。它完全混淆了。把数字放在人们的立场上，展示好吧，就像，乐观主义者说，他们很有可能为了利润而杀死所有人，这似乎很有价值，如果你理解这些数字代表什么。就像，我们谈论我疯狂的99%，1%的人在未来十年内死亡，这是极其高的。绝对。而且，我的意思是，需要注意的是，人们能接受厄运是高概率的想法吗？我的意思是，调查显示，虽然没有进行很多调查，但我认为已经有少数调查了，而且调查的普遍结果是，是的，70%的美国人担心AI可能会灭绝人类。就像，一些疯狂的事情。有时当你看看科技行业时，你会认为这是一个边缘观点。但然后就像，不，美国人完全意识到AI可能失控的可能性。AI很可怕。我指出的一个观察是，我们在技术圈子里，我们往往智商更高。我们往往是自己组成的聪明群体。所以，当我们想到AI时，我们就像，是的，我们知道智力。我们有聪明的दों。我们是知识分子的一部分。但平均美国人，统计学上，一半的人智商会低于平均水平。当他们想到智力时，他们就像，天哪，我知道很多人都很聪明。而且，他们说的大部分话都很难理解。而且，AI会比那更糟糕。所以，更容易获得关于智能AI将有多难处理的直觉，当你自己都很难理解你周围聪明人的话时。所以，我认为平均美国人已经准备好担心AI了。而且我认为他们的直觉恰好是正确的。当我们说，是的，看看这个厄运概率数字，它非常高。这听起来是个好策略，让他们觉得，好吧，让我们给这项政策增加一些紧迫性。所以，我想我是支持的。问题是，他们现在真的没有选择。你让一个人相信这是一个巨大的问题，他们应该做什么？几乎所有的建议都是关于我们的安全威胁。它不是真的，我的意思是，积极的政策。而且，我的意思是，除非你想也加入罗曼变得非常黑暗，变得如此黑暗，在这个世界上，所以，罗曼，告诉我我是否正确地陈述了你的立场。基本上，所有的监管尝试，所有的政策方法都是表演，而不是真实的。就像机场的TSA，因为枪支一直在机场通行。而你只需要让一把AGI枪通过表演，然后就结束了。这是真的吗？是的，但仍然强烈支持它们。它们是从计算转向诉讼、立法、律师的好方法。所以我强烈鼓励大量的繁文缛节。是的，我也是。而且，你知道，我同意你说的，就像，如果我们真的建造了，你知道，就像Meta的Llama一样。这就是为什么我真的不喜欢开源AI。因为，好的，下一版本的Llama非常接近超级智能，只需要一些调整。有人在俄罗斯下载了它，你知道，在他的地下室里工作。可能是一个十几岁的黑客。就像，一个非常聪明的青少年。突然之间，就像，哦，看，如果不是用Transformer架构，而是用这个东西，或者，就像，用这个后处理。现在它是超级智能的。我同意，在那时我们无法指望有任何监管，就像，好的，不允许使用那个。那时我们就完蛋了。游戏结束了。这就是为什么我们，你知道，现在是时候了，还没有到游戏结束的时候。而且，我同意，就像，现在拖延是唯一我们可以希望的杠杆点。你认为我们处于这个，只是一个疯狂的问题突然出现在我的脑海里，但我们都谈论这些坏人，等等。就像，有没有像詹姆斯·邦德那样的超级反派，房间里有50个电脑操作员，他们正在说，让他们变得更糟，让他们变得更大，让他们变得更强，去吧。怎么可能现在没有发生呢？我的意思是，绝对。我认为朝鲜有一个那样的房间，人们在那里搞鬼。他们就像，哦，让我们赚1亿美元的赎金。国家批准的黑客攻击。他们也在尝试训练下一个模型吗？这是一个很好的问题。我的意思是，你必须考虑，这是非常可能的。就像，中国或俄罗斯会说，让我们，或者以色列。你知道，他们喜欢走在最前沿。所以，是的，这是一个很好的问题。我会说，在所有不同的国家中，至少有一两个可能有一个这样的努力。这很糟糕。我一无所知。我确定有秘密政府项目试图获得最新的技术优势。那非政府行为者呢？只是，你知道，坏人，犯罪，犯罪头目。我认为国家，是的。所以，我认为走在下一个模型的尖端，我不太确定他们会尝试这样做。相比于，只是因为，所以，我认为问题在于，现在它很昂贵。所以，人们获得更智能模型的方式是投入大量资金。因为我们刚刚找到了这个范式，如果你投入10倍的资金，你可能会获得更多的智能。所以，当我想起这一点时，我脑海中浮现的问题是，就像你之前说的，好吧，那么为什么中国不预测下一个10倍呢？因为问题是开放的。现在我们总是认为OpenAI花费了如此多的资金来训练OpenAI和微软。但如此多的资金，就像10亿美元。为什么中国不领先，然后说，好吧，这里有1000亿美元。所以，我想知道他们是否在地下这样做。这似乎是一个不错的猜测。这是可能的。我们试图控制他们的芯片接入。所以，也许这让他们更难获得那种计算能力，即使有钱。当然，当然。好的，让我们，让我们把这场辩论带到结束。我们都是这里的老爸。在这个框架里，每个人都有很多孩子。所以，厄运概率是一个可怕的事情，当你考虑你的家人、你的未来，所有这些事情时。很多人在看这个，我敢肯定，我们三个人都在挣扎。那就是，只是，这个主题的重量。而且，你知道，我们今天在这里进行一场荒谬的谈话。绝对荒谬。如果你在两三年前告诉我，我会和你一起在这里进行这场谈话，我会告诉你你疯了。那太疯狂了。你怎么找到精神力量，每天继续前进，对你的家人微笑，亲吻他们出门，告诉他们一切都会好起来的，然后进行这场谈话？非常容易。人类已经建立了这种偏见。我们忽略了我们自己的死亡概率。我们都会死。而且，100%的概率，我的父母，我的孩子，我的邻居，我的朋友，我认识的所有人都越来越近。所以，我们有点习惯于完全忽略这个事实，然后继续前进，好像什么都没发生一样，快乐。这就是现在人类的水平。是的，我认为这是一个很好的答案。对我个人而言，我的意思是，这有点讽刺。因为，你知道，我住在加州圣何塞。这是一个安全的地方。而且，我们，冰箱里有食物。房子是安全的。我的孩子在未来一年内面临危险的可能性非常非常低。所以，人类历史上最安全的一些条件，我正在享受。所以，你知道，我认为自己很幸运。因为当我想到历史上大多数人类在试图哄孩子睡觉时，他们有所有这些担忧。我们这个星期够食物吗？我们安全吗？另一个部落会来攻击我们吗？罪犯会来偷我们的东西吗？我并不担心。

尽管有这些东西，但同时理性地想，我意识到，作为整个人类，不仅仅是我的孩子，而是所有人，可能只有十年或二十年的时间了。所以，一方面，我想我比大多数试图安抚孩子的父母都要好得多。另一方面，你知道，我有一个巨大的担忧，这可能压倒一切。但正如罗马人所说，你所能做的就是一步一步来，对吧？我的意思是，试着专注于问题，仅此而已。我的意思是，我没有任何见解。是的，我的意思是，这有点像我们玩的心理游戏。我们都知道，每个人都在走向死亡，每个人都在走向死亡，你知道，我们每个人每秒都离死亡更近。但就像，如果你能，你知道，只是感觉到你没有明天，我没有明天，但对所有人都没有明天，完全没有明天了，这在你的内心深处是完全不同的感受。你知道，就像想想人们临终时，老人们临终时，他们如此专注于他们的孙子孙女，他们只想知道故事会继续下去。而这个想法，故事不会继续，是根本上非人性的，而且，我认为真的很难去考虑。是的，我，我的意思是，这确实让我非常担忧。我认为故事甚至不会继续下去，这真的很糟糕，因为这通常是任何人最后能承受的，对吧？即使你被折磨致死，你也会想，好吧，至少故事会继续下去。但现在你甚至不会有这个了。是的，这不是我希望结束的充满希望的地方。大家晚安。嗯，我会这么说，我进来的时候是75分。我是天气。如果我像CNN的辩论观察者一样，然后你把电极连接到我身上，你看到了我在这次辩论中的表现，我想，我绝对觉得罗马人一开始就表现得非常强劲。我倾向于罗马人，我可能比罗马人高两到三分。Lon，你把我拉回了一点， towards the middle，但我认为我还没有完全回来。我认为我今天会以76分结束。我会给罗马人无限的时间框架加一分，从那个角度来看，似乎很难不朝着那个方向做一点更新。说得有理。是的，我的意思是，我认为罗马人正在做一项非常有价值的服务，把所有这些观点都提出来。而且，我希望有更多像他这样的人。我的目标是犯错，让你们说服我，一切都是零，生活是美好的。我希望如此。我希望有一天我们会，我们只需要找到一个对的人，他能说服我们所有人，然后我们就可以回到我们的生活了。Mark Andreessen，那是他的，那是他的使命。好的朋友们，在评论中告诉我，你们认为谁赢得了这场辩论？谁说服你稍微倾向于他们一边？对我来说，罗马人对时间的长期看法使他很难被认为是错的，但我真的，真的，真的，真的希望他错了。即使他也会承认，他实际上是错的，存在一个显著的非零概率。好的，现在是2024年，我们不知道我们还有多久可以活。所以我们每天都像可能是最后一天一样生活。我每次结束这些节目时，都会以我称之为“生命庆典”的东西来结束，一些让我们为今天活着而感到兴奋的事情。今天的生命庆典是一个小小的公路旅行。在我家的狗Dolly做了大手术后，她做得非常好。我带她去了我最喜欢的地方之一，叫做Getaway House。它们在美国各地都有，有20多个地点，而且它们一直在开设新的地点。它们大多位于大城市外面。它们应该成为这个节目的赞助商。我会努力的。我会在那里待不到48小时，就是两个晚上。我只是看着森林，思考，放松，然后我把不好的东西放进身体里，然后我回家。这是一个我开始享受的非常有恢复力的仪式。这是我第六次去Getaway House。这是其中的一小部分。嘿，朋友们，本周的庆祝活动。嘿，Dolly，本周的生命庆典，我们将进行一次小小的冒险。即使在马里兰州，我们也有很酷的东西，向西三个小时就有山脉，然后向东三个小时就有大西洋和海滩。所以今天，我将带Dolly去冒险，向西。我们将去山区，去我认为世界上最酷的地方，叫做Getaway House。我已经去过五次了，这将是我的第六次。我非常兴奋，只是想逃离。过去几周很疯狂，未来几周也很疯狂。所以，我将在这里待两个晚上，坐在火炉边，做一些奇怪的食物，吃一些奇怪的东西，然后独自一人，和Dolly在一起，放松。我非常兴奋，也很兴奋向你们展示Getaway House是什么样的。这里有一些山脉和一些绿色的东西。今天，我们实际上正前往弗吉尼亚州。我们现在在弗吉尼亚州。大约有三个小时的车程。这一切看起来都差不多。它相当，不是超级漂亮，但足够漂亮。很高兴看到那里的香农·多亚山脉。在东海岸，这就是所谓的山脉。好了，朋友们，我们到了。我们到了。这里有一个非常不起眼的入口。你看到“Getaway”了。进来吧。所以现在，这个地方很酷。它有大约45个小小的房子，它们都以完美的距离分布，没有人可以真正打扰别人。你看，这就是这个小营地的样子。所以每次你来，你都会得到一栋不同的小房子。我们今天要去的那个叫做“熊”。所以我们得找到它。Dolly对窗外发生的事情非常兴奋。好了，我们正在寻找“熊”。当我们进来的时候，我们会看到所有这些可爱的小房子。它们就像小拖车，是的，它们看起来就像一个小小的、小小的拖车，放在轮子上，然后被放下。然后它有一个巨大的窗户在后面，可以看到大自然。太酷了。找到了“熊”。这里还有另一只“熊”。我们来看看里面。所以这个小房子的天才，太酷了。这个地方的天才是把窗户放在床边。这就像一幅画。太酷了。如果我建造一个小木屋，我希望确保我的窗户离玻璃只有几英尺的树木。所以我会让Dolly系着这个小牵引绳。你可以看到下一个有多近，不太近。这里有小径之类的。所以，我喜欢这个地方的一点是，当我搬进来时，我如何改造它。所以你可以看到，当他们来的时候，这个柜台是干净的。他们有一些不错的小东西，随便什么。但我已经得到了很多糖果和垃圾食品，我将在接下来的天半里吃。我通常对我的饮食非常小心，但我根本不会给任何东西。然后吃我最喜欢的36小时。等着看这里会发生什么。老实说，我认为这并不算太离谱。有一些Gummy Nerds Clusters，Hot Tamale，Junior vs Reese's，Rollo Truffles，Peppermint Patties，这种柠檬挞，你知道，一些中等薯片，开心果，随便什么。我认为这不算太糟。下来到这里，我们有一些水果，很多水果，一些奶酪，水。就这样了。Dolly，这不算太疯狂，对吧？这不算太疯狂。这不算太疯狂。这是我的地方。我在这里坐两天。就这样了。在Getaway Bear，我们的小木屋里待了大约44个小时。看着这些树林，坐在篝火旁。现在是时候回到正常世界了。我非常推荐在Getaway House待一两天。好了，我的朋友们，本周就到这里了。请记住，人工智能的风险不是别人的问题，而是你和我自己的问题。引用玛格丽特·米德的话：“永远不要怀疑一群有思想、有承诺的公民能够改变世界。事实上，这从来都是唯一能改变世界的事情。”对于人类，我是John Sherman，下周再见。[音乐]