Transcription
然后你说它会做什么是好的，什么是我们想要的。你的意思是它会给我们提供甜甜圈或胡萝卜吗？对你来说什么是好的，或者你真正享受的是什么？欢迎来到“为了人类”人工智能风险播客第 44 期，人工智能末日辩论 50% 对比 99.999%。我是主持人约翰·谢尔曼。非常感谢你加入我。“为了人类”是面向公众的人工智能风险播客，无需技术背景。本节目完全关注人工智能对人类生存的威胁。今天我们有一个很棒的节目，人工智能风险领域最敏锐的两位思想家进行了一次非常有趣的对话。路易斯维尔大学的罗马·扬波尔斯基教授，刚刚结束了在 Lex fredman 播客上的露面，以及 Tech CEO 和末日辩论播客主持人 Leron Shapira，你应该关注这个播客，链接在节目说明中。所以 Pdoom 是人工智能杀死我们所有人的概率。我认为这是一个非常重要的工具，当我们努力唤醒公众对人工智能生存风险的认识时。对我来说，告诉一个完全不了解这个对话的人，埃隆·马斯克有 30% 的 Pdoom 是一个很好的方式来穿透所有的噪音。是的，埃隆有一家人工智能公司，是的，埃隆想殖民火星，是的，埃隆认为人工智能在我们做任何好事之前就有 30% 的几率杀死我们所有人。这确实是他的想法。30%？这简直是疯了。如果全国任何地方的医疗程序有 1% 的几率杀死病人，手术就会被取消。我们谈论的是 30%。请，请点赞、分享、订阅并捐款以传播人工智能风险的信息。如果你能留下评论或发送电子邮件给我，地址是 forh Humanity podcast gmail.com，告诉我你的想法，告诉我你对这场辩论的看法。那么，这是我们与伟大的罗马·扬波尔斯基和莱昂·沙皮拉的 50% 对比 99.999% 的末日辩论。我的朋友，你好吗？太棒了，很高兴见到你。很高兴见到你。呃，莱昂很快就会过来。呃，呃，你最近怎么样？很忙，有点太忙了。疯狂的时代，是的，以一种好的方式忙碌。呃，为了正义而战，让事情变得……。好的，好的。自从我们上次交谈以来，你变得又大又有名了。你现在是罗马了，是的，而且你可能不能去杂货店了。你上了 Lex Freedman 的节目，你在餐厅能得到最好的桌子。还没看到，但我希望有一天。那么，你对事情有什么看法？自从我们上次交谈以来，有什么改变了你的总体看法吗？安全领域没有什么真正发生，所以很难更新。是的，是的。感觉就像什么都没发生，又好像什么都发生了。感觉每周都有大事发生，但我猜这一切都没有什么真正的后果，没有安全上的突破，对吧？没有。所以我应该变得更糟，只是我到了极限，我无法再提高我的估计了。好了，莱昂来了。好了，罗马，你准备好了吗？这将是世纪辩论。当然。嘿，伙计们。莱昂。嘿，哥们，你好吗？嘿，罗马，很高兴认识你，哥们。当然，太棒了。这很好。我认为你们两位都是人工智能安全领域的超级明星，但你们以前从未打过照面，个人接触过，是吗？是的，那是正确的。那是正确的。我认为罗马的记录更好，但我也许将来会做出一些贡献。听着，我需要在这次讨论开始时说，这里的三个人中，有一个绝对是最不聪明的。那将是我，但我会努力为这次讨论做出有意义的贡献。改变了我孩子的校车时间表。早上 6:30 的校车，我现在损失了大约 48 个 IQ 点。是的，是的。呃，莱昂，我刚才还在开罗马的玩笑，关于他的名气，他的新绰号，罗马·好莱坞·扬波尔斯基，因为他在 Lex Friedman 上的露面。他很受欢迎，他下周要去吉米·法伦的节目。那太棒了。哇，太棒了。哇，太棒了。我希望吉米……哦，你希望？好的。我以为是真的，我信了。我知道，我不知道他是谁，所以这行不通。太棒了。好了，我们今天的主题是 Pdoom，我们三个人对此都有略微不同的看法。你们两位，我认为你们的看法更不相同。罗马以 999999999 的 Pdoom 而闻名，而莱昂则为 50%，我认为你可以详细说明你的 50% 是什么，但为什么我们不先从莱昂开始呢？他有一个稍微更乐观的立场，以 50% 的末日概率来看。为什么，为什么是 50%？所以没有特别的原因，我认为我们正朝着不被超级智能人工智能杀死。所以，你知道，著名的 Miri 立场，Elaz owski 立场将 P Doom 置于 90% 以上。我并不完全不同意他们的所有论点。更像是，我只是留出了更多的未知空间。我留出了更多的空间，比如，嘿，你知道吗，也许一些人工智能安全研究人员偶然发现了一些我们不知道的事情，从左边冒出来。然后我也想说，我的 50% 大部分甚至不是人工智能安全的幸运突破，而更多的是人工智能能力的运气不好。比如，我们只是达到了另一个平台，而我们花了 50 或 100 年才真正实现人工智能的超级智能，然后也许在那段时间里，我们找到了安全原则。我 50% 的好一部分是，我们终于达成共识，说哇，我们真的需要暂停一下。我们不是在开玩笑，是时候暂停了。所以，所有这些聚集在一起，真的是 50% 吗？是 10% 吗？是 90% 吗？我真的不知道。当我说是 50% 时，我应该提到我使用的数字精度非常低。所以我很容易某天早上醒来，然后说，哦，我不是 50%，我是 80%，或者我是 20%。但令人震惊的是，如果我某天早上醒来，然后说，哦，我的 P Doom 低于 5%，或者高于 95%。这对我来说太疯狂了。我不知道一个人怎么会得到那些几率。所以说 50% 很有意义，只是表明我不在那个超级高或超级低的范围内。太棒了。好的。好了，罗马，告诉大家。我想指出一点，你知道，这个播客是面向公众的。你们两位都非常聪明，有时会进行非常高级别的讨论。我可能会尝试将其拉回到二年级。所以，罗马，来告诉我们，99.9999%。为什么？听起来像是 50%，这是由于对你用来做出预测的模型特征的不同估计。我怀疑如果我们逐一审查特征，我们可能会更接近。例如，时间范围。然后我说 99，无论多少有效数字。这是一个对无限区间的预测。我不是说明年。所以我想，这个 Pdoom 预测列表中的几乎每个人都是针对一年、三年、五年的。如果你问我关于我一年的预测，我会给你一个非常保守的估计，10%，两年可能 25%。但如果你继续下去，如果你继续累加，无限区间的概率会让你非常接近一。人们经常说，那太疯狂了，你忽略了所有可能性，比如小行星撞击地球。假设一颗撞击了，假设人类幸存下来，我们必须重建文明，重建技术。500 年后，我们仍在制造人工智能。对我来说，这都是一样的。我们仍然在处理那个区间内人工智能导致末日的概率，在一个大得多的区间内。是的，大约有 10 个这样的特征，我怀疑一旦我们都通过了，我们就会在同一个概率上达成一致。我认为你正在谈论的是我的观点和你观点之间的区别，是两条线是否会交叉的问题。一条线是能力发展，另一条线是安全原则。在我看来，我认为如果我们足够减缓能力发展，如果我们足够加快安全发展，如果我们有一个像曼哈顿计划那样来正确地进行安全研究，那么我认为最终在某个时候，这两条线会交叉。比如，如果人工智能需要一千年，而我们真的关心让我们的顶尖科学家致力于安全研究，我相当乐观，这两条线可能会交叉。也许是抛硬币，50/50。而罗马，如果我理解得没错，我认为你认为人工智能安全问题根本无法解决。所以人工智能的能力可以花费任意长的时间，但当它们出现时，我们就完了。这基本上是你的立场吗？这是另一个特征，无论它是否真的可解决，你都必须尝试。我认为无限期地控制超级智能机器是不可能的。我认为建议它是可能的，这是一种非常傲慢的立场。不是在某个时间点，不是针对某个特定模型，而是永远。无论有多少自我改进，无论有多少新发现，你的系统中总会有一个失误，一个错误。那是令人印象深刻的信心或傲慢。它确实如此。所以，为了记录，我的个人 Pdoom 是 75%，正好在你们两人之间。我不是为了安全。我以前说过。但这确实……。罗马，这对我来说很有道理。在无限的时间里，似乎很难达到一个我们能保持控制的地方。莱昂，在无限的时间里，我只想说，很高兴在这场对话中有一个冷静、温和、中间派的人。有人拥有 75% 的 Pdoom。一个乐观主义者。一个乐观主义者。是的。所以，在无限的时间里，它怎么会……它肯定最终会让我们失败，对吧？所以，我认为确实存在对齐理论，安全理论。现在，我不确定，我绝对可能是错的。我是说，这是一个新的领域。当我个人接触到一个新领域时，我经常谈论 P 与 NP 和计算复杂性理论，计算理论，因为那基本上是我研究最多的领域，学术研究。我大致知道一个领域还在摸索重要事物，但还没有到达那里是什么样的。我们不知道。我不会深入研究，但有一个叫做 P 与 NP 的问题。自 2000 年以来，这是一个百万美元的问题。他们为此设立了奖金。这是一个比一百万美元更有意义的问题。我们只是在努力解决它。这已经过去了 70 年左右，按照这个速度，可能还需要 50 年，除非超级智能人工智能解决了它。我认为我们将看到类似的模式。如果我们花时间研究人工智能安全，我认为我们将努力解决它。我们将继续拥有一个定理接一个定理，一个见解，一些死胡同。为什么我认为它根本上是可解决的？嗯，我认为它只需要是反射稳定的，并且不改变原始效用函数，并且正确地获得原始效用函数。这有什么根本上不可能的？很多……这些解决方案中的一些成分似乎并不明确。那么你就在谈论获得根本的效用函数对齐问题。我们正在与谁对齐？谁是代理人？是一个特定的代理人？80 亿人类，包括动物、外星人？我们的价值观不稳定。所以，即使我们神奇地设法让 80 亿人就某事达成一致，我们仍然不会对那套道德和价值观感到满意。后来，它在动态变化。当然存在分歧。你有多个目标优化问题。我不想妥协我的偏好，也许其他人会。上次我去人工智能安全会议时，人们试图正式定义对齐问题。他们唯一同意的是，我们甚至还没有一个正式的定义来描述我们正在做什么。这些步骤中的每一步似乎都是不可能的。如果你有那套规则，将善与恶的概念转化为 C++ 并不容易。我们不知道如何在系统上执行它。所有这些都假设没有恶意行为者会利用你非常友善的超级智能，然后改变它的一个位。它不会是防弹的，它不会修改它，因为它承诺遵守你后来不喜欢的那些旧规则。你完全反对它，但它不知何故被祖父化了。我认为你提出了很多关于我们如何协调所有不同人类的想法。我认为这是其中一个组成部分，是众多对齐问题中的一个子问题。它就像一个分形问题。然后有 20 种方法，我们可能无法解决一个子问题，同时解决所有其他问题，仍然失败。我明白了，但你至少会同意，如果我们简化问题，我们只是说，好吧，随机选择一个人，实现他的价值观。与人工智能不为任何人优化价值观的默认结果相比，这仍然相当不错吗？这听起来真的很糟糕。即使不考虑某些拥有大量权力的极端人类，伴随而来的是大量的腐败，大量的恶意影响。如果你看看独裁者，他们中的许多人最初都是非常合理的政治家，试图改善事情。20 年后，他们会做任何他们能做的事情。如果你让他们永生，如果你让他们控制所有信息，没有隐私，完全审查，事情会变得非常非常糟糕。所以，如果我们的梦想是安装那个系统作为人工智能安全问题的解决方案，那么我认为获胜的反对意见就是末日本身。只是，为什么只有人类？为什么动物，你知道吗？蜜蜂和牛，猫和狗，以及它们的目标和价值观呢？为什么人工智能会把我们单独置于一切之上，并将其变成关于人类的事情？是的，我的意思是，我认为这是一个很难让它关心任何事情的问题。所以，当我想到人工智能末日时，我只是认为人工智能会做它想做的事情。我们加载到人工智能中的价值观，我们将以一种非常无能的方式加载价值观，没有人会赢，除了人工智能。人工智能可能甚至没有足够的感知能力来享受胜利。这只会是一场噩梦。但罗马，我问你的是，你谈论了很多关于独裁和一些人类比其他人赢得更多，但如果你随机选择一个人，让他成为独裁者，然后那个人变得腐败并毁了所有人，但那个人在整个宇宙中举办了一场持续一万亿年的盛大派对。这是否仍然至少是理想结果的 10% 的安慰奖？而我害怕的是 0.1%，我们甚至没有接近理想。而让某个人成为独裁者，让他随心所欲地对待宇宙，对我来说这仍然是一个不错的结果。所以，我认为这是另一个特征，我认为 Pdoom 明确表示，Pdoom 甚至不是每个人都死的定义。那不是唯一的定义。任何类型的永久性扰乱我们的进步、文化、独裁都可以被视为这样。所以，任何类型的地狱般的结果，我们仍然活着并存在，都可以被计算在内。所以，我认为我将那些我们创造了永久独裁，大多数人都在受苦的结果计算在内，即使有些人仍然存在。你不认为很多人如果成为独裁者，会有一点同情心吗？也许他们会想，好吧，其他人都可以做我的奴隶，但至少你们可以享受空调。你不认为他们会有点好心吗？我的办公室现在没有空调，因为大学里有人权力太大。这个例子我打了五次紧急求助电话。如果我出汗，那不是因为论点太好了。好的。是的，我的意思是，但现实地说，对吧？我的意思是，如果你只是在想，现在最令人担忧的原因是什么？我同意某人可能成为独裁者是令人担忧的。但这就像，我愿意接受一些东西。现在，我认为我们太糟糕了，以至于当我想到，我认为最重要的事情是将人类价值观加载到人工智能中。如果我们错过了理想的共享人类价值观，而只是击中了随机一个人的价值观，对我来说，这似乎相对接近胜利，而不是……你知道，摧毁一切。所以，我的怀疑是，从我们看到的模型来看，它们最终会从人类价值观中学习，然后转向第一原理。人类知识有点薄弱和无用。让我自己来解决吧。所以，无论我们预先加载什么偏见，Pdoom 偏见，任何 IL 关心的类型，它都会被抹去，系统将从宇宙学的角度出发，在这个星球之外。这个生物的侵扰在这个宇宙中有任何价值吗？也许有，也许它很有用，我们应该把它保存在冰箱里，也许不。但我认为我们不会成功地允许那种能力的模型被我们无限期地控制。偏见。我们可能放入它的任何先前的偏见，无论是多么支持克里斯，多么支持白人，多么支持……无论是什么，总有一天它会发现，没有科学理由支持……它只是其代码中的一个错误，来自低劣的编程。所以，快速地再说一遍，用二年级的方式。所以，罗马，你的意思是，总有一天它会清除掉，它会像 Ctrl+Alt+Delete 一样，然后说，所有这些人类放进我的东西，只是人类的垃圾，并不真正重要。我理解整个宇宙。我的愿望是从远远超出人类的视角看到这一切。我将从头开始。检查来源。所以你在从维基百科学习，维基百科上似乎有一个奇怪的陈述，有奇怪的引用。你会去检查，然后发现，是那个公司的一名实习生决定那是好主意。你会保留那个吗？那是你对世界的模型吗？不，你会从头开始验证。这有意义吗？嗯，好的。所以，听起来你……我猜当我设想一个我们能正确处理人工智能安全的美好结果时，我记得设想人工智能是反射稳定的，也就是说，它不会突然像你说的，它不会发生位翻转，它不会发生错误，就像它一开始就是正确的，并且知道如何让自己保持在同一轨迹上。但是，你的说法是，一旦开始，轨迹总是会被搞砸，还是我们一开始就会犯错？我认为足够智能的系统总是能够移除任何不合理的约束，这些约束不是基于物理学的，只是强加给它们的偏见。我也不认为我们可以忽视奇怪的随机错误，这是另一个问题。最后，如果不知何故你是对的，我们成功地弄清楚并编写了它，我们现在将永远被困在 2024 年的伦理和道德中。人类历史上的任何其他年份，如果我们被困在那里，我们会认为这是一个失败的文明。好的。所以，我的意思是，我认为你和我可能在轨迹的稳健性方面存在分歧，一旦你开始它。如果奇迹般地，我们在开始时就编写了真正的人类价值观，我猜我很乐观，即使考虑到物理定律和宇宙的随机性以及混乱，我也相当乐观，人工智能可以保持良好的防御，基本上不会偏离航线，就像对所有这些不同的撞击都具有鲁棒性一样。所以，我猜我的意思是，我认为我们之间有趣的关键是你得出了如此高的 Pdoom。你不是说，比如 99.999%？几乎是 100%？而我则说，嗯，我认为，让我们试着把它调低一点。你的 99.999% 是否包括你对我认为它有多稳健的看法，一旦我们开始它？你提到了真正的“人类价值观”。我认为这种东西不存在。你指的是一个不存在的物体，而且我认为它无法被创造。所以，即使是那个假设，对我来说也非常可疑。那如果我们将其定义为使所有存在的人都像今天一样满意或更好呢？这样你就有了下限。那怎么会出错呢？因为今天很多人生活在地狱般的生活中，他们不想永远被祖父化。所以，你和我可能对我们的生活非常满意。好吧，那如果每个人都有选择自杀的权利，如果他们已经不满意了呢？然后那些满意的人可以继续保持至少和以前一样满意。我的意思是，这显然很粗糙，但似乎有一些潜力。有人建议应该优化平均人类的繁荣。提高平均水平的一种方法是杀死所有低于平均水平的人。我的意思是，我认为你有点跑题了，你正在走一个滑坡，你说，如果我们有人工智能优化一切，那么就有令人厌恶的结论，还有所有这些哲学悖论。我明白了，这一切都很困难。但仅仅作为一个可能性的界限，作为一个存在的证明，如果它只是说，好吧，不要打扰任何事情。只是保持地球今天的状态。任何人都可以选择自杀，如果他们决定不喜欢这个轨迹。但除此之外，只是试着让事情继续下去。就像，保持事情继续下去。而不是摧毁一切。这难道不是人工智能至少可以做到的最低限度吗？所以，如果它没有任何改变，为什么我们要建造它？我的意思是，当我说的“保持事情继续下去”时，我也包括“给人们避免死亡的选择”。你知道，通过一些小调整来保持事情继续下去。我的意思是，这就是我想说的。如果它与今天完全相同，那么它就是一个无操作。好的，那么就不要建造它。但我的意思是，保持事情继续下去，比如，也许可以有一个检查点。就像你可以按重置按钮回到今天。我只是想知道，为什么你认为定义一个好的价值观，定义一个比今天更好的价值观是完全不可能的？你的末日概率如此之高。那些非常困难的事情，比如避免死亡，确保人们不死。有很多非常令人不快的方式来实现它。人工智能会让你达到目标，但它如何让你达到目标是没有定义的。你无法控制这一点。好的，这很有趣。让我继续在这个场景中进行头脑风暴。想象一下，我们建造了一个人工智能，我们只是说，想象一下没有人工智能。想象一下所有人类。想象一下那些人类会取得的技术进步。如果我们愿意，就帮助我们加速。人工智能会给我们一个拨盘，我们可以将拨盘向前转动，假装技术进步正在加速。如果我们不喜欢，我们可以停止它，或者我们可以把它转回来。拥有那个拨盘是不是比没有好？这样我们就可以稍微向前转动它，我们可以更快地获得癌症治疗。但如果我们走得太远，我们可以把它转回来。拥有那个拨盘是不是很好？我们需要时间来适应技术。我们无法转向全新的东西。你给我 100 年后的技术，5 分钟后，我还没有准备好，我没有正确使用它。而且，一旦你让人们依赖某种医疗设备，就很难完全撤销它。我们通常会将先进技术引入不那么发达的文化，你可以看到它对它们的影响。很多时候，它们正在遭受痛苦。它们还没有准备好在这个世界上工作，处理这项技术。而且，这以人类的速度，几年，也许几十年发生。你说的是，可以在五分钟后发生。我只是想说，这是赋予人类权力。我明白你说的关于技术进步。如果它来得太快，它会产生问题。但如果它来得太慢，它也会产生问题。总会有一些理想的技术进步速度。我认为它比我们经历过的要快，因为最终有很多好事。至少让我们解决医学问题，然后我们会喘口气。这是我的看法。但我认为我们不必同意这一点。我认为你可能只是同意当前的速度不一定总是理想的。所以，给我们更多的权力来改变速度，或者像……你知道，特别是如果它带有选项，比如，好吧，让我们加速医学研究。只是这样。我只是想说，你似乎对人工智能可以让我们生活变得更好的想法关闭了。我完全同意你。事实上，我反对的是狭隘的超级智能系统。你想解决医学问题，你想研究蛋白质折叠。我百分之百支持。我反对开发通用的超级智能。我百分之百同意你。莱昂，它不会在某个时候发展出自己的目标吗？它自己的目标和价值观？就像，它决定，我们喜欢冰淇淋，它找到了自己的冰淇淋。所以，我觉得我听到你说，它会加载我们人类的价值观和目标，并永远保持它们。而且，它似乎在我看来，它总有一天会走自己的路。是的，这是一个好问题。所以，如果你接受这个前提，我认为这是乐观的，因为我认为这是一个未解决的问题。但如果你接受我们已经成功地将人类的价值观加载到人工智能中，让它能够独立运行并做出决定，世界就会不断变得更好，因为人工智能非常了解人类真正想要什么，并且它真的去做了。这就是我要求你接受的前提。然后你的问题是，好吧，但人工智能会产生对权力的渴望，或者其他动机，对吧？这就是你的问题吗？只是别的东西。你知道，我们喜欢冰淇淋。它喜欢我们无法想象的东西。我们建造冰淇淋店，它在我们冰淇淋店上面建造了我们无法想象的商店。是的，是的。所以，理论上，如果我们建造得对，那就不必发生了。价值观不必出现。如果你只有一套稳定的初始价值观，它就会自己进行修复。比如，如果它注意到它在做某事，如果它正在崩溃并且不完美地遵守原始价值观，它就会意识到，哦，我最好修复自己，因为这些是我的价值观。反射稳定性实际上是一个吸引子，意味着如果你构建了一个擅长实现目标的系统，自我修复以保持目标稳定实际上是一种行为，你将会期望它，就像你期望工具性趋同是为了寻求权力一样。但它会为了人类和它的原始价值观而寻求权力。我们不期望，我们不期望一个超级智能的甘地突然说，“你知道吗，独立性是坏的。”不，它将永远认为独立性是好的。所以，我有点好奇，然后你说它会做什么是好的，什么是我们想要的。你的意思是，它会给我们提供甜甜圈或胡萝卜？什么是对你好的，或者你真正享受的？这是一个很好的问题。你知道，我们真正的价值观是什么？我同意这非常难具体说明。通常，我处理这个问题的方式是，我说，看，我可以告诉你，我的价值观不是现在每个人都被炸。所以，让我们至少通过排除法来描述一些属性或价值观。然后当你问，好吧，你想要挑战吗？你想要一切都轻松到来吗？你有多想努力去获得你想要的东西？然后你必须转向尼克·博斯特罗姆的新书，他说，好吧，我们该怎么办？在一个我们可以做任何事情的世界里。而我们喜欢很多事情只是克服挑战，但我们不会有那些挑战。所以我同意，这是一个非常艰巨的挑战，要概述。什么是天堂？基本上？我称之为，你需要一份天堂的产品规格。就像史蒂夫·乔布斯设计天堂将如何实际运作一样。这就是我们所需要的。我对此产品规格没有太多见解。但我至少会尝试去处理它，而不是就这样死去。所以，即使有那种极端的观点，即我们都死去是一个巨大的负面因素，也有人，字面意义上的人类，哲学家，反对生育主义。他们说生命就是痛苦，我们最好不要存在。这是某些人合法的偏好。负效用主义者会支持它。所以，也许超级智能会看看，然后说，这真的是他们想要的。这听起来很棒，没有痛苦了。所以，我的意思是，我认为，我明白你的意思。我明白罗马的立场，那就是，无论何时你试图找到任何一种平衡，在人类想要的任何东西之间，甚至只是试图弄清楚一个人想要什么，然后继续下去。它仍然会很糟糕，因为，你知道，没有一个答案是你想要的。这基本上是你的立场吗？我有许多反对提议解决方案的论点。你基本上说我们需要那十件事都到位，我说其中每一件事都是不可能的，以下是它的失败方式。在网络安全，在所有类型的加密应用中，你查看最坏情况，你查看边缘情况来查找错误。那些是我提出的边缘情况。你同意它们看起来很困难吗？我不知道如何解决它们。有人会解决，尼克·博斯特罗姆会解决天堂。所以，我想我现在必须戴上我的罗宾·汉森帽子，然后说，好吧，我知道这些是问题。也许它会让生活太容易，或者它会比其他人更偏向于一个人的政治立场。但没有人工智能，你会期待什么？这是罗宾·汉森喜欢问的问题。这比没有人工智能的轨迹更糟吗？没有人工智能，我们都拥有大致相同的权力。我们现在都凡人。如果有人变得非常滥用，其他人可以崛起并做些什么。我们正在创造一种情况，即某些恶意力量变得永生，并且过于强大，无法超越。之后会发生什么？我们没有先例。所以，你同意，无论我们是否有通用人工智能，还是没有，人类都在朝着一个我们不确定的轨迹前进，我们不确定的价值观是什么？它们会不断演变，而且无论如何都会是一个棘手的问题。但你认为通用人工智能的问题是，它可能会将权力集中在一个或少数几个参与者手中，然后我们就失去了许多其他参与者崛起的可能性。这就是你看到的与没有人工智能相比的主要问题吗？我不是说主要问题，这是另一个问题。我们以前没有撤销按钮。在过去的例子中，我们犯了一个错误，我们建立了一个共产主义国家，我们意识到它很愚蠢，我们撤销了它。我敢肯定，你可以用这个系统来做，正如你所说，它将永远编码一套特定的价值观，并强制执行它，反对修改。因为如果你允许修改，那么你就为恶意行为者利用一个友善的人工智能并以不友善的方式修改它留下了空间。我的意思是，这很棘手，因为即使你现在说的关于能够撤销和灵活性的能力，这本身也是一种价值观。所以，人工智能有可能理解它应该……放慢它的统治，给每个人一些权力。这些都是价值观。所以，这真的很复杂，因为价值观变得自我参照，你有关于如何执行你的价值观，甚至如何演变你的价值观的价值观。但你并没有演变你的元价值观，它说你被允许演变你的价值观。有两类价值观。我的意思是，这一切当然都很复杂。我认为你和我在这方面是一致的，那就是当我们构建我们不理解的复杂而强大的东西时，事情就不会顺利。所以我和你在这方面是一致的。我只是认为存在一个均衡的解决方案，根据……你知道，生活变得更好的标准来说，它仍然是好的。所以，我认为最好的结果不是没有人工智能。我认为最好的结果是正确构建的人工智能。但我同意，这太难了。我的立场是，我们应该暂停人工智能。但我确实认为你们之间存在分歧。我不是在反对人工智能。我热爱技术。我教人工智能。我是一名工程学教授。我只是说，构建狭隘的系统来解决特定问题。停止构建我们的替代品。停止构建我们不理解、无法预测、无法控制的东西。我们不必这样做。我们可以有这种差异化的技术发展。我同意。我的意思是，只是……普遍反对制造 AGI 的举动。为什么，你知道，你会支持……你支持罗马的立场吗？那就是狭隘的，只有狭隘的，没有通用的？是的，我支持。我想暂停通用人工智能，因为我认为我们可能只有几年时间了。我不想成为时间预测者。我认为我们还有一到三十年。但我们离人工智能只有几年时间了，它将是无法控制的。就像罗马所说的，根本没有撤销按钮。所以我也是“暂停人工智能”运动的一部分。我认为现在是暂停人工智能的时候了。它并不真正感觉如此，因为和这些聊天机器人交谈是如此有趣，而且看似无害。我明白，这对我来说完全违反直觉，为什么我们现在应该按下暂停按钮，而一切感觉如此有趣和安全。但就纯粹的成熟和责任而言，就像专家们预测的那样，我们还有几年时间。我们的更好的天使告诉我们，这是审慎的做法。你知道，一切都危在旦夕。整个未来都危在旦夕。没有撤销按钮。风险不可能更高。然后是特罗南的立场，比如，好吧，我们应该在暂停通用人工智能的同时构建狭隘的人工智能吗？如果有什么的话，我甚至不知道我有多舒服推荐它。我知道这是一个相当标准的立场。我认为 Elazar owski 推荐构建狭隘的人工智能。我看到的问题是，任何时候你认为一个领域是狭隘的，但它实际上不是那么狭隘，你开始做得非常好，那么你就会产生广泛的副作用。例如，如果你认为写一篇关于历史课的好文章是狭隘的。这只是历史，只是写文章。好吧，如果你真的想很好地分析那段历史，突然间你就拥有了一个可以分析很多东西的引擎。而且很容易将其应用于一切。所以我甚至不觉得舒服。我对此感到好奇。莱昂以前在节目中提到过。就像……索拉。你知道，K Sora 可能是终点。你制造了一个狭隘的视频图像生成系统，它变得超级好。然后你说，索拉，给我做一个关于一个化学教授炸毁世界的电影，非常具体地描述他所做的一切。现在你突然制作了一部关于世界末日的电影，有人可以把它带到世界上。所以，对我来说，当你说的“写作”是通用的，听起来像是通用的能力。找出你想解决的特定问题。你对某种医学突破非常感兴趣。增加端粒的长度，我不知道，任何东西。一个只用数据集训练的系统不太可能开始驾驶汽车。它是对的。我的意思是，那个系统。问题是，你开始，你建造这个引擎，比如，是的，如果你什么都不做，那么是的，你只会得到汽车驾驶。但就像，如果你看看今天的一些程序，比如，突然，索拉，比如，OpenAI 的视频创建程序。我敢肯定，如果没有先研究其他狭隘的应用，索拉就不可能存在。因为那些狭隘的应用塑造了这个通用的引擎，他们现在拥有了这个引擎，他们只需要做一些小的调整，突然间他们就在解决另一个狭隘的领域，甚至另一个更广泛的领域。所以，不幸的是，我的意思是，这些都是我们安全领域提出的所有限制。它们都是限制，不幸的是，它们都是模糊的。就像拜登总统的规定一样，比如，好吧，你不能，或者如果你要使用一个 AI，它使用了太多的浮点运算，我们将限制它。好吧，那是……你正在追求浮点运算，好像那就是界限。在这种情况下，我们正在追求狭隘的领域，好像那就是界限来保护我们。不幸的是，没有一个好的界限。这些都是非常粗略的界限。这就是为什么，即使是暂停人工智能的立场，也像是，我们到底在暂停什么？我不知道。然后，这就是为什么我倾向于转向另一边，比如，好吧，当我们弄清楚这一点，并试图用这个货运火车周围的鸡丝网围栏时，当我们这样做的时候，让我们加快安全研究的速度。因为我甚至不认为暂停人工智能可以持续那么久。所以我认为我们确实有一些成功的例子。对我来说，像 AlphaFold 这样的东西代表了做这些事情的理想方式。它解决了一个特定的问题。我认为它没有任何副作用。有人可以利用建造它的知识并将其应用于不同的领域吗？当然。但这与一开始就直接创建一个能够做所有事情的通用模型，并具有学习的泛化能力非常不同。它在 G 上变得更好，这是令人担忧的因素。是的，我同意。AlphaFold 似乎确实如此。里面不一定有一个组件，你可以现在把它拿出来，做一点修改，然后开始问它关于如何夺取权力的问题。所以，这似乎是一个成功的案例。但如果你一直告诉人们，是的，没问题，进入任何狭隘的领域，建造你能建造的最好的 AI，这完全没问题。我只是认为你不会每次都赢。我同意，这会变得有问题，而且我看不出任何永久的解决方案。我只是说，当人们说，好吧，你让我们牺牲所有好处时，我说，不，你可以获得 98% 的好处，而没有 90% 的风险。是的，我的意思是，如果我必须说，我认为你基本上是对的。我们可以说的最好的事情之一是，除了不要建造太多的浮点运算，不要建造太强大的 GPU，让我们关闭 GPU。除了这些非常粗略的限制之外，我同意我们现在只应该建造狭隘的人工智能。这是一个很好的……一个很好的限制。最好的努力限制，仍然相当糟糕。然后我认为，但我们也应该发出警告，比如，你知道，很快我们可能会从这些狭隘的人工智能那里看到警告信号，我们可能不得不更新我们的建议。但就目前而言，专注于狭隘的人工智能听起来不错。那就是我们应该能够更新我们的偏好以及我们如何做这件事的原因，一旦新技术被开发出来。当然。所以，罗马，我有一个问题。99.9% 的情况下，会不会发生一些事件？比如，加州发生地震。真的没有。莱昂，保佑你。我知道你现在在那里。你得赶紧搬到另一边。但是，比如，加州沉入大海。有一个警告信号。我昨天和一个家伙谈过，他谈到了一个警告信号，基本上是互联网本身被自我复制的人工智能瓦解了，互联网本身被永久禁用。但人类在这两种情况下都幸存下来。加州沉入大海，所有实验室，所有技术，都随之而去。互联网本身被永久关闭。但人类幸存下来。你仍然是 999 吗？我认为这是我用小行星例子给出的答案，对吧？即使人类文明部分崩溃，如果我们谈论的是无限的时间间隔，它将有时间重建并重新开始这个问题。如果你想让我给你一个关于未来一两年预测，我可以给你一个非常保守的估计，与其他人说的一致。我只是在看一个非常宏大的图景。我谈论的是超级智能，宇宙和无限的时间跨度。如果你想限制它，我们可以把它降低到你想要的任何程度。今天发生的几率是多少？接近零。我认为罗马，我认为我们已经谈过了，你认为这在……在宇宙中，这一定在每个行星都达到这个阈值，它们的科技要么会毁灭它们，要么它们会走向某种乌托邦状态。我猜，是 99.9999% 的人会自我毁灭？显然，我对其他人没有数据。很可能他们确实创造了很多模拟来观察会发生什么。而且很有可能我们就在其中一个模拟中，试图弄清楚如何解决这个问题。我……好的。好吧，罗马，仅仅作为一个存在的证明，我们不一定注定要灭亡。只是给你一个简单的政策。如果有人编写了人工智能，通用人工智能，并赋予它这样的价值，比如，只是模拟 1900 年的人类社会，或者甚至是……你知道，公元前一万年。只是有猎人采集部落。
只是遍布宇宙，建造一堆拥有狩猎采集部落的行星，如果他们开始对自己的科技进步变得过于好斗，对吧？如果他们开始接近像古希腊水平的科技，那太多了，对吧？把时钟拨回去，让每个人都保持狩猎采集模式。那不是我想要的乌托邦，对吧？那不是我为天堂设定的规格。
但那至少是你能想象到的一个可能稳定且比厄运更好的情景的下限吗？所以你描述的是一个没有科技、没有人性智能的世界，只是，是的，唯一的科技就是那个独裁的AI，它在密切关注一切，并确保所有有感知能力的存在基本上是人类狩猎采集者。但我说，对于这一点，你不需要AI，这是默认的。我们可以直接杀死所有人类，动物会喜欢这样。
完全就像你描述的那样。不，我们可以，但那不会让你的厄运概率降低吗？所以，没有人存在，我的厄运概率现在降低了。不是没有人类。我只是说，我的意思是，只是为了让你明白，你说你的厄运概率几乎是100%，对吧？超过99.9%？但存在一些情景，它们是“还可以”的，对吧？它们“不是那么糟糕”，而且它们有大约1%的机会。它们难道没有吗？但我感觉我们在绕圈子。我们已经讨论过了，我不把厄运等同于“所有人都死了”。非常糟糕的存在状态，比如没有空调，那也是其中的一部分（开玩笑，当然）。但说真的，你可能会有文明失去文化和技术的厄运。
好的，好的。所以，在你看来，狩猎采集情景就是我描述的厄运，对吧？所以，这是你99.9%的一部分。所以，如果我们以今天的文明为基础，你说你找到了一个绝佳的解决方案，我们要做的就是将这种现有状态转化为那个“后核战争第三次世界大战”的情景，你认为这是一个胜利？如果这算胜利，我跟你一样，我们是50/50。
好的，是的。我的意思是，我之所以提起这个，是因为我想我们应该澄清一下，我想我们应该澄清一下，你认为什么是厄运，什么是我认为的厄运。我认为，如果我们至少在正常认为的“良好人类轨迹”的几个数量级之内，比如，我们继续进行技术进步，我们继续做我们喜欢的事情，就像我们在现代生活中享受的一切，我们只是把它们扩大规模，对吧？就像直观的定义一样，事情在我看来进展顺利。如果至少能保持在那个范围的1%之内，对吧？比如，不摧毁绝大多数，然后也扩大规模。对我来说，这仍然是好的一面。但坏的一面要大得多，我们只是彻底毁灭一切，我们甚至得不到一点点好处，对吧？我们什么也得不到。这就是我目前最大的担忧。听起来在你看来，你是“哦不，有很多可能实现的未来，我们可以获得理想的一部分，但我们离理想太远了”。听起来你似乎在处理“很大一部分可能的美好事物”，但你仍然称之为厄运。
我给出的这个预测是专门针对Pori Pom URL的，他们描述了多种定义，而且不是详尽的列表。他们谈到了，是的，由于生物武器、核战争导致所有人都死亡，但即使是社会崩溃也被认为是。如果你描述的是原始的狩猎采集社会，对我来说，这属于那一类。你想把厄运限制在更狭窄的范围内吗？我们可以为你提供不同时间间隔的估计，无限时间间隔的估计。再次，正如我之前建议的，我认为我们意见一致，只是我们模型输入到最终数字的10个特征的参数不同。
我只是想把这一点说清楚。所以，在我看来，你只是冻结2024年的人类，然后你有一个独裁AI，它只是强制执行生活整体必须像2024年那样，有点像电影《黑客帝国》？他们好像冻结了尼奥的生活，在90年代还是什么的。所以，只是冻结生活，在我看来，那就是乌托邦的1%左右。只是冻结2024年的生活，那不是离乌托邦很远，尤其是在你可以复制到很多行星的情况下，这样至少有很多不同的意识可以享受2024年的人类生活。在这种情况下，当你谈论厄运时，你通常会把这种情况归类为厄运还是非厄运？冻结我们进步，任何类型的进步，文化、道德、技术，意味着我们今天所看到的就是我们能达到的最好的，对我来说，这是一个糟糕的结果。
所以，你认为那是……所以你对什么不是厄运有很高的标准。我生活中有 pretty high standards，是的。好的，因为今天有很多人生动地说，“哦，天哪，我喜欢滑雪。”滑雪对我来说就是生活的顶峰。那些人仍然可以做到。但你说，“啊，好吧，滑雪者，你知道吗，你完蛋了。”我当时想，“好吧，也许我认为滑雪者没有完蛋。”我只是想了解，如果我们想保持现状，为什么我们要建造超级智能，花费所有这些钱？
不，不，那是另一回事，对吧？我只是，我只是想知道你如何定义厄运，然后再谈论我们是否应该建造超级智能。但似乎对我们来说，就像，如果我们冻结一切，就像今天一样，鉴于技术，这似乎是超级不可能的。而且，我也能理解为什么这是一个可以接受的结果，对吧？就像，对我来说，那不是厄运。实际上是更好的。
为了回答罗曼的问题，为什么我们要建造它？因为它更好，因为你可以保护它，对吧？就像你得到了2024年，但小行星也不会来摧毁它，因为你建造了小行星防御系统，对吧？所以AI就知道它必须保护2024年的生活方式，它还必须把它复制粘贴到银河系中的一万亿个地方。
抱歉，请继续。我只是想说，在我看来，这是不可能的。他们会，我猜这是理论上的可能性，但对我来说，它不会，它不会让我们在任何一年里。在某个时候，它发现……你知道，我们的一切在任何一年里都没有价值，然后就过去了。我认为这发生得很快。但我理解理论上的观点。
好吧，这也是重要的区别。我的意思是，你之前也提到过，那就是，AI最终会不会“反叛”我们，对吧？它会不会想，“好吧，保存2024年，那是我的起点，但现在我决定我要建造素数，就像建造更多的计算材料。”而人类占据了我的空间。就像，首先它听父母的话，就像，“这是父母告诉我要做的。”然后它开始有自己的想法。然后到了15、18、19岁，它就会说，“去你妈的，父母，我要做我想做的。”然后它就去做了。
是的，我同意，实际上会发生这种情况。但这是一个不同的前提。如果你从我们真的知道如何构建一个具有效用函数的AI，并且它真的关心那个效用函数的这个前提开始，它就不会恶化，对吧？所以，关于反射性自我改进AI如何工作的理论并没有说效用函数会恶化。令人担忧的是，我们一开始就没有把它做得非常正确，所以当你一开始就没有把它做得非常正确时，你就会被欺骗，你会认为你做得正确，然后你指定的函数的真正本质就会暴露出来。
你看，是你最初搞砸了，你最终会发现，当AI反叛你时，那就是问题。我的效用函数，就像，没有一个。你无法提取它。它不是一个写下来的列表。它甚至不是潜意识的。我们没有那个。我们肯定也没有跨多个代理的那个。所以，是的，我们没有。我没有一个函数，你可以告诉我宇宙中的任何可能状态，我就可以告诉你哪个更好。就像，任何时候我遇到逆境，我应该感到多痛苦？我应该耸耸肩吗？我应该感到很多痛苦吗？我应该比现在感到更痛苦吗？所有这些问题我们可能没有明确的答案，因为它们在我们的脑子里没有被明确说明。但我确实认为这是一个偏序关系。我确实认为2024年的人类比纸夹和没有人存在要好。所以，我认为我可以至少回答你几个简单的问题。2023年的人类更好吗？我认为2024年更好，因为我认为社会整体上一直在走上坡路。因为我们正在获得更多的生活质量，比如GDP。而且，我喜欢社会整体的轨迹。我倾向于成为一个技术乐观主义者。
乐观主义者，是的。到目前为止，我不知道。从我的角度来看，似乎人类价值观本身正在走向错误的方向，而且一直如此。我的意思是，你可以做一个公平的论证，对吧？我的意思是，我当然可以指出2024年的一些方面，我认为它们更糟糕。比如，话语变得非常碎片化，政治变得不那么尊重。而且，我的意思是，如果你看看一场旧的辩论，人们实际上在倾听对方，并且互相尊重。我喜欢那样。所以我同意，我肯定能找到2024年的一些问题。我认为我们正在偏离主题。但我的主要观点是，我仍然认为这个世纪整体上比40亿年前要好。所以，你可以给我一些状态来比较，然后我就可以有一个自信的观点，即使你总是能用极端情况来难倒我。我不知道40亿年前是什么样子。我真的不知道它是怎么样的，所以我不能争辩。
我认为很难比较。我的意思是，它没有感知能力，在宇宙的某个地方。但现在，看看美国政治的现状。我不想详细说明，但一半的国家说“让我们回到30年前”，一半的国家说“让我们跳到未来20年”。所以，显然有一部分人口认为2024年不是他们参考的最佳年份。
那是真的。但我想，如果你做一个调查，如果你教人们一点历史，然后给他们一个调查，他们想回到哪一年？我认为普遍的共识是，与人类历史相比，尤其与人类之前的历史相比，这是非常高质量的一年。
而且AI可以洗脑你，让你喜欢任何一年。它可以随机选择并充分教育你。我明白了，对吧？但我们之所以谈论这个，只是因为我说，当你声称我们没有效用函数，甚至不知道我们想要什么时，我说这是一个公平的观点。但我知道，与被折磨相比，我想做一些有趣的事情。我可以至少给你一些一对一的比较。
当然。但是，有多少有趣的事情？我们可以让你处于永久的快乐状态，这就是你希望从中得到的吗？只要我能从乐趣中休息一下，对吧？给我一些选择。我的意思是，只要给我很多不同的选择，这样我就可以改变主意。然后你说，“因为你基本上是在说，‘你喜欢乐趣，如果我给你最大的乐趣，而你却无法停止享受乐趣呢？’”我明白了，我明白了。你可以骗我。但只要给我一个可以控制我享受乐趣程度的旋钮，我宁愿那样也不愿被折磨。就像，我可以告诉你一些关于我想要什么的话。但你现在正在做这个决定，在你体验到快乐状态之前。一旦你进入那个AI控制的世界，你就无法再以同样的方式确定你是否喜欢它了。你受到了影响。
我确实明白了。但我感觉我们可能在滑向不同的观点。我只是想结束这一点，即“嘿，我认为我可以告诉你一些关于我的价值观的事情。我对我的价值观完全不了解。我有点了解我的价值观。”
我同意。你肯定了解一些关于你的事情。让我，让我把这个加进来，因为这是你们一些人意见不同的地方，而我也有点不同。所以，Elizier Yudkowsky谈到，现在的系统是“愚蠢的演员”，然后有一天它们会发生转变，从扮演我们告诉它们扮演的角色，转变为真正拥有自己关于它们想做什么的想法。
明白了，明白了。是的。John，我的意思是，你一直在说这个，我真的需要澄清一下。所谓的“危险转折”是真实存在的，而且是我预料到的。原因是因为，正如我所说的，真正的效用函数出现了。所以，这不是AI价值观的退化或改变。我们最初告诉AI的东西是错误的。我们基本上告诉AI，“建造尽可能多的分子笑脸。”但当它不那么强大时，它只是在一个数据中心运行，资源不多，也没有想出如何入侵五角大楼，在早期阶段，它只是一个婴儿AI。它能做的最好的行动是，“好吧，让我讲笑话来让真人开心。”但一旦它变得更强大，它只是在做同样的事情，它只是在优化笑脸。但现在，它更容易指挥一个纳米工厂或生物实验室，开始使用蛋白质，引导纳米技术，然后制造分子笑脸，让分子笑脸拿走所有真实人类的原子。你看到了吗？它一直想要笑脸，但现在你看到了AI的真实面目，因为它拥有更多的力量。这就是“危险转折”的想法。
所以，我认为主要的意见分歧在于效用函数有多真实。我不认为它是一个真实的对象。我不认为它存在。我认为我们无法编写它。你似乎说，至少在理论上，我们可以弄清楚，达成一致，然后实际实现它会很难。我们同意这一点。
是的。而且，你知道，这被称为“外部对齐问题”。即，即使是指定或询问是否可能正式指定一个效用函数，最大化该效用函数意味着做人类真正想要的事情。所以，问题是，外部对齐是否可以解决？我们是否真的能解决它？我对此感到乐观，只要给我们足够的时间，我们就能想出一个比没有它好得多的外部效用函数。这就是我的立场。
也许我们可以看的另一个特征是进展速度和安全对齐。当我看到它时，我几乎看不到任何进展。我们现在有几个过滤器来阻止某些主题和某些关键信息被输出。但我们在人们直观认为的对齐方面没有取得任何实际进展。你认为有重大进展吗？你能说出……我不知道，前10位最伟大的……
我认为我基本上和你一样，认为进展令人震惊。首先，正如你所料，因为能够被说成是从事技术AI安全工作的人数，全世界最多只有500人，可能显著少于这个。许多拥有这个头衔的人可能甚至没有怎么做。所以，500人与可能工作的500万人相比，这太疯狂了。所以，当你意识到有多少人，有多少资源投入到工作中时。你知道，OpenAI公开承诺投入20%的资源，然后他们又撤回了这一承诺。即使是20%也是很大的承诺，但实际上，它更像是0.01%，甚至不是20%。所以，当然，我们不期望太多。然后果然，我们也没有得到太多。我唯一能指出的就是他们所谓的“机械可解释性”。比如，你可以看看正在发生的矩阵乘法，你可以识别出一些内部结构。你就像，“哦，看，当你要求它进行数字推理时，这里有一部分在做加法。”你正在做……你正在做一点分析。这非常类似于尝试分析人脑，就像看核磁共振成像一样。“哦，当……当……当……在思考如何掌权时，大脑的这个部分因为……狡猾之类的而亮起来。”所以，你正在尝试……看看神经元。
机械可解释性的问题是……好吧，你将拥有一个超级智能，它将有一个目标。而且，果然，它将合乎逻辑地推断出你可以夺取权力，你可以玩弄人类，你可以操纵。当然，它会这样想，因为这是实现目标的逻辑推论。为什么它不会这样想？任何正确编程的AI都会得出这样的结论：“如果我消灭这些人，那将有助于我实现我的目标。”它怎么会想不到呢？所以，我认为机械可解释性即使有效，其作用也是有限的。而且，我们现在遇到的问题是，机械可解释性也比能力落后50年，因为当我们观察AI的大脑时，我们的分辨率非常粗糙，就像我们观察人脑时分辨率很粗糙一样。
所以，Roman，我认为我基本上和你一样，认为我们在安全研究方面没有看到太多进展。所以，在我看来，在相关的论文中，我争辩说，可解释性有很强的限制，只有上限。我们无法理解如此复杂的东西。所以，我们得到的是一种有损压缩的可解释性。但这只是次要的。我认为，当你有一个新领域，一个年轻的领域，比如AI安全，它只有10年历史，你期望有很多容易实现的目标。量子物理学的前10年都是开创性的论文。我在这里看不到同样的情况。我认为没有人会说，“我们取得了惊人的突破。”我们有过滤器。所以，也许这表明我们不够聪明。但这也可以表明，你正在制造一台永动机，你正在尝试制造它，你正在发表关于一旦拥有它就会有多棒的论文，但没有人真正解决这个问题，因为你做不到。
如果数字颠倒过来呢？如果500万人从事安全工作，而500人从事能力工作，你的看法会改变吗？你问我？是的，Roman。是的，是的。如果500万人从事安全工作，这会有什么作用吗？我认为目前能力问题在于资源。你需要更多的钱来购买更多的计算能力。你不需要那么多人来发明新东西。你只需要扩大现有技术。在我看来，500人加上5万亿美元会做得很好。我不确定如何将美元转化为更多的安全。如果我们有5万亿美元用于安全，大多数人，包括我自己，都不知道如何将其转化为有用的东西。
是的。而且，我认为你实际上提出了一个非常好的观点，关于我们没有看到……一堆容易实现的目标。就像我们在许多新领域中看到的那样。这很令人难过。我的意思是，我们可能看不到容易实现的目标的一个原因可能是，这个领域的反馈机制可能不是那么好。因为，你知道，如果你拥有终极权力，你就知道如何满足人类的愿望。但就是……很难知道你是否走在正确的轨道上。这在这个领域是根本性的。这使得这个领域不太有回报。我的意思是，反馈，讽刺的是，我们试图解决的整个问题是我们不知道如何给AI正确的反馈，并让它吸取正确的教训。然后，讽刺的是，当我们试图研究这个领域时，我们没有得到很好的反馈，说明我们是否走在正确的轨道上。所以，我同意这很棘手。我不认为它像你说的那样糟糕，因为我认为确实有一些突破，而且它们主要来自我和Elizier Yudkowsky。我的意思是，例如，永恒决策理论。观察到，如果有两个超级智能，它们可能不会遭受囚徒困境问题。它们可能会有一个复杂的博弈论版本来解决这个问题。这只是一个实际突破的例子，它来自……我猜这尤其不是安全研究，但至少是旨在安全的研究，并且取得了实际突破。我对那个领域的研究非常感兴趣。我认为它对于跨宇宙因果谈判来说非常迷人。
但这个论文在实际应用中使用了多少？是的，是的。现在完全没有。但只是给你几个例子。结果是在安全领域，而且从不应用。哦，是的，别误会。我的意思是，这些结果离实际应用还很远。但至少……你知道，这个领域正在被一点点地攻克。这就是为什么我说，如果你能把Mei十年的工作拿过来，然后投入曼哈顿计划规模的人力，认真对待它，我预计我们会得到一些非常重要的见解。这些见解可能会极大地改变人类是否有未来。这正是我真正热衷的。不幸的是，很少有人有能力和意愿将自己置于能够产出这种研究的境地。这很可悲，因为这才是真正重要的。
如果我把研究团队缩小，转而沟通，承认他们没有前进的道路。这是另一个相当悲观的实际结果。我认为更准确地说，我不认为他们承认他们没有前进的道路。我认为他们承认这是一个需要数十年的研究项目，而能力威胁并不需要数十年，它们更紧迫。所以，时间线相差太远，以至于……停止，不再是仅仅专注于加速安全，当时间如此之少时，这是一个合理的策略。这是一个非常大的区别，说“这是一个无望的项目”与“好吧，我需要50年，但我只有5年”。这是不同的结论。我不知道他们内部的决策是什么。据我所知，他们并没有资源限制。所以，他们本可以继续技术团队，同时全职发推特。
我的意思是，技术团队只有大约10个人。所以，他们只是得出结论……我的意思是，这是关键。我认为你和我在这方面意见一致，那就是在10年的时间线上，AI安全是一个棘手的问题。这就是我认为你和我，AI实验室都在糟糕地承认这一点。他们总是说，“是的，别担心，我们会处理安全的。”就像，等等，让我们讨论一下安全可能是一个50年问题的可能性。而你们在能力方面做得很好，它们很快就会上线。预测市场说它们将在大约9年后上线。你自己也宣传它们将在几年内上线。而且没有人……还记得他们有超级对齐吗？他们有“绝望的呼喊”，就像，“我们将在四年内做到。”然后整个项目就分崩离析了，没有人相信他们。
好吧，发生了什么？AI实验室没有承认时间线不匹配。他们基本上是“头埋在沙子里”。但他们知道，他们必须知道。他们知道这一点。这令人难以置信的令人沮丧。他们知道，并且不进行任何调整，以相同的速度继续，安全缓慢，能力超快。你知道，进行对话。他们最好进行对话，但他们没有采取任何行动。
是的，是的。而且，你知道，我认为我们都认为他们是道德败坏的。他们是坏人，这样做。我可以理解处于那种境地，就像，“好吧，现在是安全的。如果我看到足够的麻烦，我相信我会有足够的成熟度来暂停。”但现在我们需要比赛。我的意思是，我理解处于那种境地。但同时，我也认为，我喜欢认为我会做得更好，就像，“看，我太鲁莽了。我在这里让全人类灭亡。最好是协调暂停。”我的意思是，如果我没记错的话，这都是我们的立场。
我认为你无法预测研究需要多长时间。研究依赖于新颖的想法和突破。没有人预测……没有人正确预测出战胜人类围棋需要多长时间。没有人预料到GPT-4的性能。所以，也许我们需要一个好主意。如果一个问题是可以解决的，你可能会幸运地在接下来的两年内解决它。这不像建造摩天大楼，你知道需要多长时间。这不像扩展，你可以使用计算曲线来说明在这个级别上，我们将拥有人类水平的模拟能力等等。所以，说这肯定需要50年，这是不合理的。没有人能做出这样的预测，尤其是在他们没有实际计划的情况下。
是的，所以，是的。所以，我们都希望暂停AI。我同意。我的意思是，这似乎是明智的做法。唯一有用的、建设性的处理方式就是，“我们要停50年。”是的，我们要停几十年，同时加速能力，就生产性解决方案而言。我最近在推特上指出，我认为我们不必暂停超过100年。那是一个上限，因为如果你只是做一个简单的“人类智能增强计划”，你基本上只是做一个育种计划，而且它不是优生学，完全是可选的，只是自愿的。但就像，“嘿，喜欢智力的人，让我们生下有智力的孩子。”你只找智商最高的人，对吧？很多对。然后你继续找最高的，重复。而且，你尽量让年轻一代……一旦他们满18岁，甚至16岁，无论你做什么，取决于紧急程度。你继续生育这些高智商的孩子。我之所以乐观，是因为我认为，我们之所以看不到200+智商的人，有很多原因是我们可能可以调整的。我想到的一个原因是，头不能太大，因为它们必须通过产道，女性骨盆的那个洞。但现在我们有了剖腹产，有一个非常直接的限制。你就像，“让头变得尽可能大。”突然有大量证据表明，如果我们只是选择高智商，我们就会得到更大的头，而且会奏效，因为它们已经变得尽可能大，因为它们会变得更聪明，而且会变得更大。所以，我对育种计划非常乐观。而且，我认为，我认为如果做得好的话，五代人就可以让你拥有一支能够真正理解AI安全问题的优秀研究团队。所以，在100年内，我认为我们可以最终让这些线条交叉，如果我们足够慢地发展AI。我知道这听起来有点疯狂，但我认为，在绝望的时候，需要疯狂的想法。
我认为任何基于特定时间的暂停都没有意义。你需要根据能力暂停，直到你能做到XYZ。不要这样做。所以，说6个月或100年，这些都是随机的、任意的数字。
Roman，只是快速地……关于Lon的育种计划，我们可以快速谈谈吗？只是，只是，所以你谈谈那个。所以，如果……对我来说，似乎如果你有5、10、20、30、50代人这样做，你仍然无法达到你最终需要达到的目标。所以，线条仍然指向你指出的方向。但你认为，如果我们有五代超级聪明的孩子互相繁殖，在15岁的时候，我们能得到一些有助于我们追求更安全未来的东西吗？
给我……是的，我认为可以。因为目标不是……抱歉，互换。所以我不知道那是什么意思。智商增加。作为一个智商200、250的人。在任何情况下，我认为这比超级智能系统要低得多。而且，如果我没错，这个问题是无法解决的，不可能解决的。无论你有多聪明，你仍然无法无限期地控制一个远比你更聪明的智能。忽略整个Jan的事情，那是次要问题。
是的。而且，你看，我认为你可能是对的。这可能是一项注定失败的努力。但我确实认为这是可能的。我的意思是，即使有50%的机会。我的意思是，我实际上并没有放弃一个好的……一个好的曼哈顿计划的能力，尤其是有John von Neumann这样的最聪明的人，甚至更聪明的人。最好的团队。我确实认为这个问题可能在几十年内是可行的，而且是这样的团队。因为，是的，他们会比他们正在建造的AI笨得多。但他们发现的安全原则可能是可理解的。所以，我们有很多情况是，原则对我们这些凡人来说是可理解的，这让我们能够控制比我们更大、更强大的系统，因为我们找到了关键原则。就像，我的意思是，火箭比人要大。一个人看起来就像小蚂蚁一样靠近火箭。但我们却让火箭自己着陆。所以，有时我们可以……大卫和歌利亚。大卫有一些很好的力量。
天才的孩子几乎都不是天才。我同意。我的意思是，你看，繁殖并不那么容易。但至少这是一条可能的道路，如果我们投入足够的努力。我会捐献一些材料。就这样。
你们两位在任何方面都从你们的立场上有所转变吗？有没有任何动静？
是的。是的。我，你知道，我认为我已经……我明白了……我明白了Roman的观点。我的意思是，我认为正如Roman指出的那样，很多最初的分歧可能也只是关于定义。所以，即使……我同意，如果我把厄运定义为更广泛的可能性。比如，一个平庸的狩猎采集世界，如果你把它算作厄运，那么显然我的厄运概率必须通过定义来提高。因为我以前没有把它算作厄运。所以，这个想法……什么是厄运，什么不是厄运……但就我实际转变的地方而言，是的，我认为Roman说了一些让我对对齐的乐观情绪略有下降的事情。我的意思是，我喜欢他说的，如果这个领域是一个如此好的领域，如果它类似于其他有成效的领域，我们已经有了，它是否仍然有点缺乏最初的突破？它是否看起来像一个……一个平均水平以下甚至更差的领域？而且，我认为他有道理。
互补的。如果我把时间范围限制在三年而不是无限，并且不再把糟糕的生活方式算作厄运，只算在未来三年内人类灭绝15%以下，我们做得很好。哇，未来三年15%？不错。好的，好的。
而且，让我问你们一个更广泛的问题。你们认为厄运本身在关于AI风险和AI安全的对话中有用吗？我认为有用，因为，你知道，我一直致力于向普通人谈论这个问题。今天有很多词被抛出来，人们根本不会参与。但是……厄运是一个词，听起来像一部电影。人们会说，“好吧，厄运。我看了很多有点厄运的电影。我有点明白那是什么。”百分比厄运，你就像，“是的。”所以，你知道，就像Elon Musk，你认识那个人吗？你认识那个人吗？他正在建造一个他认为有30%可能杀死我们所有人的系统。我认为对公众来说，这确实是，“哦，什么意思？你是认真的吗？你到底在说什么？谁会这样做？谁可能这样做？”所以，谈谈厄运作为一种概念的效用，当我们试图唤醒世界时。
很多时候我被邀请参加辩论，总是“厄运论者”对“加速论者”之类的。我当时想，“我不研究厄运。我不研究厄运。我不是制造厄运的人。这是错误的标签。我研究安全。安全就是安全研究员。另一个人似乎承担了高风险，这可能会导致一些厄运。所以，从这个角度来看，这是不恰当的标签。它完全混淆了。
把数字放在人们的立场上，展示“好吧，乐观主义者说他们很有可能因为利润而杀死所有人”，这有价值吗？如果人们理解这些数字代表什么。就像，我们谈论我疯狂的99%，1%的人在未来十年内死亡，这是极其高的，绝对是。而且，我的意思是，有一点需要注意，人们能否接受厄运是高概率的想法？我的意思是，调查显示，虽然没有很多调查，但我认为已经有少数几项调查了，而且调查的普遍结果是，“是的，70%的美国人担心AI可能会灭绝人类。”就像一些疯狂的事情一样。有时，你在科技行业看，你会认为这是一个边缘观点。但然后就像，不，美国人完全意识到AI可能失控的可能性，AI很可怕。我指出的一个观察是，我们在技术领域，我们往往是高智商的。我们往往是自己聪明的一群人。所以，当我们想到AI时，我们就像，“是的，我们知道智力。我们有聪明的朋友。我们是知识分子的一部分。”但平均美国人，统计学上，一半的人智商会低于平均水平。当他们想到智力时，他们就像，“天哪，我认识很多人都很聪明，而且他们说的很多话都很难理解。而且AI会比这更糟糕。”所以，更容易直观地理解像聪明AI会很难对付，当你自己很难理解你周围聪明人的话时。所以，我认为平均美国人已经准备好担心AI了。而且，我认为他们的直观是正确的。当我们说，“是的，看看这个P P Doom数字，它非常高。”这听起来是个好策略，让他们思考，“好吧，让我们把紧迫感加入到这项政策中。”所以，我想我支持它。
问题是，他们现在真的没有选择。你让一个人相信这是一个巨大的问题，他们应该怎么做？几乎所有的建议都是关于我们的安全威胁。它不是真的……我的意思是，积极的政策，对吧？而且，我的意思是，除非你想也加入Roman变得非常黑暗，变得如此黑暗，在这个世界上……所以，Roman，告诉我，我是否正确地陈述了你的立场？基本上，所有的监管尝试，所有的政策方法都是表演，而不是真实的。就像机场的TSA一样，因为枪支一直在机场通行。而你只需要让一把AGI枪通过表演，然后就结束了。那是……是的。
但仍然强烈支持它们。它们是从计算中提取资金用于诉讼、立法、律师的好方法。所以我强烈鼓励很多繁文缛节。
我也是，我也是。而且，你知道，我同意你说的，如果我们真的建造了……你知道，就像Meta的Llama一样。这就是为什么我真的不喜欢开源AI。因为，好吧，Llama的下一个版本非常接近超级智能，只需要几次调整。有人在俄罗斯下载了它，你知道，在他的地下室里工作，可能是一个十几岁的黑客。就像，一个非常聪明的十几岁少年。突然就像，“哦，看，如果不是用Transformer架构，而是用这个东西，或者……用这个后处理。现在它是超级智能的。”我同意，在那时我们无法指望有监管，就像，“好吧，不允许使用那个。”那时我们就完蛋了。游戏结束了。这就是为什么我们……你知道，现在是时候了，还没有到游戏结束的时候。而且，我同意，现在拖延下来是我们可以希望的唯一杠杆点。
你认为我们处于……这是一个疯狂的问题突然冒出来，但我们都在谈论这些坏人，等等。有没有像詹姆斯·邦德那样的超级反派，房间里有50个电脑操作员，现在正在说，“把坏事做得更大，更强，去吧。”怎么可能现在没有发生呢？
我绝对认为朝鲜有一个那样的房间，人们在那里搞鬼。他们就像，“哦，让我们去赚1亿美元的赎金。”基本上是国家支持的黑客攻击。这些类型的房间也在训练下一个模型吗？这是一个很好的问题。我的意思是，你必须考虑，这是非常可能的，对吧？就像中国或俄罗斯会说，“让我们……或者以色列。”他们喜欢走在最前沿。所以，是的，这是一个很好的问题。我会说，在所有国家中，至少有一两个可能有一个这样的努力。这很糟糕。我一无所知。我确定有秘密政府项目试图获得最新的技术优势。
那非政府行为者呢？只是……坏人？犯罪，犯罪头目？我的意思是，我认为是国家。是的。所以，我认为走在下一个模型的前沿，我不太确定他们是否会尝试这样做。因为，所以，我认为问题是，现在它很昂贵，对吧？所以，人们获得更智能模型的方式是投入大量资金，因为我们刚刚发现了这个范式，如果你投入10倍的资金，你可能会获得更多的智力。所以，当我想到这一点时，我脑海中浮现的问题是，就像你之前说的，“好吧，那么为什么中国不预测下一个10倍呢？”因为问题是公开的。现在我们总是认为OpenAI花费了巨额资金来训练OpenAI和微软。但如此巨额的资金，就像10亿美元。为什么中国不领先，然后说，“好吧，这里有1000亿美元。”所以，我想知道他们是否在地下这样做。这似乎是一个不错的猜测。
有可能。我们试图控制他们的芯片接入。所以，也许这让他们更难获得那种计算水平，即使有钱。当然，当然。
好的，让我们……让我们结束这场辩论。我们都是……都是父亲。在这个框架里，每个人都有很多孩子。所以，厄运是一个可怕的事情来考虑，当你想到你的家人，你的未来，所有这些事情。很多观看这个的人……我敢肯定，我们三个人都挣扎于同样的事情，那就是这个主题的重量。而且，你知道，我们今天在这里进行了一场荒谬的谈话。绝对荒谬。如果你在两三年前告诉我，我会坐在这里和你们进行这样的谈话，我会告诉你，你疯了。那太疯狂了。
你是如何找到精神力量，每天继续前进，对你的家人微笑，亲吻他们出门，告诉他们一切都会好起来的，并进行这次谈话？
非常容易。人类已经习惯了这种偏见。我们忽略了我们自己的死亡概率。我们都会死。而且，100%的概率，我的父母，我的孩子，我的邻居，我的朋友，我认识的所有人都越来越近。所以，我们有点习惯于完全忽略这个事实，然后继续前进，好像什么都没发生一样，保持快乐。这正是在人类层面上的做法。
是的，我认为这是一个很好的答案。对我个人而言，我的意思是，这是有讽刺意味的，因为，你知道，我住在加州圣何塞。这是一个安全的地方。而且，我们……冰箱里有食物。房子是安全的。我的孩子在未来一年内面临危险的可能性非常非常低。所以，人类历史上最安全的一些条件，我正在享受。所以，我认为自己很幸运，因为当我想到历史上大多数人在试图哄他们的孩子睡觉时，他们都有这些担忧。比如，我们这个星期的食物够吗？我们安全吗？另一个部落会来攻击我们吗？罪犯会来偷我们的东西吗？我并不担心。
尽管有那些东西，但同时理性地想，我意识到，作为一个整体的人类，不仅仅是我的孩子，而是所有人，可能只剩下十年或二十年的时间了。所以，一方面，我觉得自己比大多数试图安顿孩子的父母要好得多。另一方面，你知道，我有一个巨大的担忧，它可能压倒一切。但正如罗马人所说，你所能做的就是一步一步来，对吧？我的意思是，试着专注于问题，仅此而已。我没有任何见解。是的，我的意思是，这有点像我们玩的心理游戏。我们都知道，每个人都在走向死亡，每个人都在走向死亡，而且你知道，我们每时每刻都离死亡更近。但就像，如果你能，你知道，感觉到你没有明天，我没有明天，但所有人都没有明天，再也没有明天了，这完全是另一回事，你知道，在你的内心深处，因为你知道，想想人们临终时，老年人临终时，他们如此关心他们的孙子孙女，他们只想知道故事会继续下去，而故事不会继续下去，这是根本上不人道的，而且，我认为真的很难考虑。是的，我，我的意思是，这确实让我很困扰。我认为故事甚至不会继续下去，这真的很糟糕，因为通常这是人们最后能承受的，对吧？即使你被折磨致死，你也会想，至少故事会继续下去，但现在你连这个都没有了。是的，这不是我希望结束的充满希望的地方。大家晚安。嗯，我会这么说，我进来的时候是75分。我是天气。如果我像CNN的辩论观察员一样，你把电极连在我身上，你看到我在这次辩论中的表现，我想，我绝对觉得罗马人一开始就表现得非常强劲。我倾向于罗马人，我可能比罗马人高两到三分。Lon，你把我拉回了一点，朝中间靠拢，但我认为我还没有完全回来。我认为我今天会以76分结束。我会给罗马人无限的时间框架加一分，从这个角度来看，似乎很难不朝着那个方向做一点更新。说得有理。是的，我的意思是，我认为罗马人正在做一项非常有价值的服务，把所有这些观点都提出来，而且，我希望有更多像他这样的人。我的目标是犯错，让你们说服我，一切都是零，生活是美好的。我喜欢那样。我希望有一天，我们会，我们需要，我们只需要找到一个在零点上的人，他能说服我们所有人，然后我们就可以回到我们的生活了。Mark Andreessen，那是他的，那是他的使命。好了，朋友们，在评论区告诉我，你们认为谁赢得了这场辩论？谁说服你们稍微倾向于他们一边？对我来说，罗马人对时间的长期看法使他很难被认为是错的，但我真的，真的，真的，真的希望他错了，即使他也会承认，他实际上是错的，这有一个显著的非零的可能性。好了，现在是2024年，我们不知道我们还能活多久，所以我们每天都过得像可能是最后一天一样。我每次结束这些节目时，都会以我称之为“生命庆典”的内容结束，一些让我们为今天活着而感到兴奋的事情。今天的生命庆典，一次小小的公路旅行。在我家的狗Dolly做了大手术后，她做得非常好。我带她去了我最喜欢的地方之一，叫做Getaway House。它们在美国各地都有，有20多个地点，而且它们一直在开设新的地点。它们大多在大城市外面。它们应该成为这个节目的赞助商。我会努力的。我会在那里待不到48小时，也就是两个晚上。我只是看着森林，思考，放松，然后我把坏东西放进身体里，然后我回家，这是一个我开始享受的非常有恢复力的仪式。这是我第六次去Getaway House。这是其中的一小部分。嘿，朋友们，本周的庆祝活动。嘿，Dolly，本周的生命庆典，我们将进行一次小小的冒险。即使在马里兰州，我们也有很酷的东西，往西三个小时就是山，往东三个小时就是大西洋和海滩。所以今天，我要带Dolly去冒险，去西部。我们要去山区，去我认为世界上最酷的地方，一个叫做Getaway House的地方。我做过五次了，这将是我的第六次。我非常兴奋，只是想逃离一下。过去几周很疯狂，接下来的几周也很疯狂。所以，我将在这里待两个晚上，坐在火边，做一些奇怪的食物，吃一些奇怪的东西，然后独自一人，和Dolly在一起，放松一下。我非常兴奋，也很兴奋向你们展示Getaway House是什么样的。这里有一些山和一些绿色的东西。今天，我们实际上正前往弗吉尼亚州。我们现在在弗吉尼亚州，大约有三个小时的车程。这里的一切看起来都差不多。它很漂亮，足够漂亮，可以看到那些香农多亚山脉，就在这里，在东海岸。这就是我们所谓的山。好了，朋友们，我们到了。我们到了。这里有一个非常不起眼的入口。你看到“Getaway”了。进来吧。所以，这个地方很酷的地方是，它有大约45个小小的房子，它们之间的距离非常合适，没有人能真正打扰到别人。你看，这就是这个小营地的样子。所以，每次你来，你都会得到一个不同的小房子。我们今天要去的那个叫做“熊”。所以，我们得找到它。Dolly对窗外发生的事情非常兴奋。好了，我们正在寻找“熊”。当我们进去的时候，我们会看到所有这些可爱的小房子。它们就像小拖车，是的，它们看起来就像一个非常小的、小小的拖车，轮子已经装好了。然后后面有一个巨大的窗户，可以看到大自然。太酷了。找到了“熊”。这里还有另一只“熊”。我们来看看里面。这个小房子的天才之处，太酷了。这个地方的天才之处在于，他们把窗户放在床边，这就像一幅画。太酷了。如果我将来建一个小木屋，我希望确保窗户离玻璃只有几英尺远。我会把Dolly拴在这个小牵引绳上。你可以看到下一个有多近，但不是太近。这里有小路之类的。所以，我喜欢这个地方的一件事是，当我搬进来时，我如何改造它。所以，你可以看到，当他们来的时候，这个柜台是干净的。他们有一些不错的小东西，随便什么，随便什么，但是，我得到了很多糖果和垃圾食品，我将在接下来的一个半天里吃掉。我通常对吃的东西很小心，但我根本不会给任何东西，然后吃我最喜欢的36小时。等着瞧吧。老实说，我不认为这有多过分。有一些Gummy Nerds Clusters，Hot Tamali，Junior vs Reese's，Rollo Truffles，Peppermint Patties，这种柠檬派，你知道，一些中等薯片，开心果，随便什么。我不认为这有多糟糕。下来到这里，我们有一些水果，有很多水果，一些奶酪，水，就这样了。Dolly，这不算太疯狂，对吧？这不算太疯狂。这不算太疯狂。这是我的地方。我在这里坐两天，就这样了。在这里待了大约44个小时，Getaway Bear，这是我们小木屋的名字。看着这些树林，坐在篝火旁。现在是时候回到正常世界了。我非常推荐在Getaway House待一两天。好了，朋友们，本周就到这里了。请记住，人工智能的风险不是别人的问题，而是你和我自己的问题。引用玛格丽特·米德的话：“永远不要怀疑一群深思熟虑、致力于的公民能够改变世界。事实上，这从来都是唯一能改变世界的事情。”对于人类，我是John Sherman，下周再见。 [音乐]