Dr. Roman Yampolskiy: These Are The Only 5 Jobs That Will Remain In 2030!

您至少在人工智能安全领域工作了二十年。是的，我曾坚信我们可以制造出安全的人工智能，但越是深入研究，我越是意识到这并非我们真正能够做到的事情。您对各种不同的状态做了一系列预测。那么，您对 2027 年的预测是什么？[音乐] 罗曼·伊姆波尔斯基博士是全球公认的人工智能安全领域的权威声音，也是计算机科学副教授。他向人们揭示了人工智能的可怕真相，以及我们为拯救人类需要做什么。两年内，取代大多数职业中的大多数人类的能力将迅速到来。我的意思是，五年内，我们将面临前所未有的失业率。不是 10%，而是 99%。而且这还没有算上超人工智能。一种比所有人类在所有领域都更聪明的人工智能系统。那么，它在制造新的人工智能方面会比我们做得更好。但情况更糟。我们不知道如何让它们变得安全，而世界上最聪明的人却在竞相赢得超人工智能的竞赛。但您如何看待萨曼（Sam Altman）等人的人工智能之旅？十年前，我们发布了人工智能的“护栏”，对吧？他们违反了每一条，他正在用 80 亿人的生命去赌博，以获得更多的财富和权力。所以，我想有些人想去火星，有些人想控制宇宙。但谁来建造它并不重要。一旦你切换到超人工智能，我们很可能会非常后悔。然后到 2045 年，这才是变得有趣的地方。罗曼·伊姆波尔斯基博士，我们来谈谈模拟理论。我认为我们就在其中。而且在这方面有很多共识，这就是您应该做的，这样我们才不会关闭它。首先，我一直在评论区看到一些人没有意识到自己没有订阅。所以，如果您能帮我一个忙，请仔细检查您是否订阅了本频道，我将不胜感激。这是任何人都可以做的简单而免费的事情，只要经常观看本节目，就能帮助我们让这个节目继续下去，并保持其发展轨迹。所以，请务必再次检查您是否已订阅，非常感谢，因为以一种奇怪的方式，您是我们历史的一部分，您与我们一起踏上了这段旅程，我对此表示感谢。所以，是的，谢谢您，罗曼·伊姆波尔斯基博士。您目前正在执行什么任务？因为我清楚地知道您正在执行一项任务，而且我认为您至少已经执行了近二十年了。我希望确保我们现在正在创造的超人工智能不会杀死所有人。请就这句话给我一些背景信息，因为它相当令人震惊。当然。在过去十年里，我们实际上已经找到了如何让人工智能变得更好。事实证明，如果你增加更多的计算能力和更多的数据，它就会变得更聪明。所以现在，世界上最聪明的人，投入数十亿美元，都在创造我们能创造出的最好的超人工智能。不幸的是，虽然我们知道如何让这些系统变得更强大，但我们不知道如何让它们变得安全。如何确保它们不会做我们后悔的事情，而这正是目前的现状。当我们查看预测市场时，我们多久能达到高级人工智能？根据预测市场和顶级实验室的首席执行官的说法，时间线非常短，两三年。同时，我们不知道如何确保这些系统与我们的偏好保持一致。所以我们正在创造这种外星智能。如果外星人来到地球，而你有三年时间准备，你现在会恐慌。但大多数人甚至没有意识到这种情况正在发生。所以，一些反驳意见可能是，这些人非常非常聪明。这些是大公司，拥有大量资金。他们有义务，道德义务，也有法律义务，确保他们不造成伤害。所以我确信一切都会好起来的。他们唯一的义务就是为投资者赚钱。这是他们的法律义务。他们没有道德或伦理义务。此外，根据他们的说法，他们还不知道如何做到这一点。目前的答案是，我们到时候会解决，或者人工智能会帮助我们控制更高级的人工智能。这太疯狂了。从概率上讲，您认为出现灾难性错误的概率是多少？所以，没有人能确切地告诉你将会发生什么。但如果你不负责，你不控制它，你就不会得到你想要的结果。可能性的空间几乎是无限的。我们喜欢的结果的空间很小。您是谁？您从事这项工作多久了？我是一名计算机科学家。我拥有计算机科学与工程博士学位。我可能在 15 年前就开始从事人工智能安全方面的工作，当时人工智能安全被宽泛地定义为对机器人的控制。15 年前。所以您在人工智能安全成为热门话题之前就已经在研究它了。在术语出现之前，我创造了“人工智能安全”这个术语。所以您是“人工智能安全”这个术语的创始人。术语？是的。不是这个领域。在我之前，有其他人做了杰出的工作。您为什么在 15 年前就考虑这个问题？因为大多数人只在过去两三年里才开始谈论“人工智能安全”这个术语。是的。它最初只是一个非常温和的安全项目。我当时在研究扑克机器人，我意识到机器人越来越好。如果你把这个趋势推得足够远，它们就会变得比我们更聪明、更强大、能力更强。事实也确实如此。它们玩扑克比普通玩家好得多。但更普遍的是，这种情况会发生在所有其他领域，所有其他网络资源上。我想确保人工智能是一项对每个人都有益的技术。所以我开始致力于使人工智能更安全。在您的职业生涯中，有没有一个特别的时刻让您觉得“我的天哪”？至少在最初的五年里，我一直在努力解决这个问题。我曾坚信我们可以做到，我们可以制造出安全的人工智能，这就是目标。但越是深入研究，我越是意识到，这个等式中的每一个组成部分都不是我们真正能做到的。你越是放大，它就像一个分形。你进去，发现还有 10 个问题，然后是 100 个问题。所有这些问题不仅困难，而且根本无法解决。这个领域没有“我们解决了这个问题，不必再担心了”的里程碑式工作。只有一些修补。我们采取了一些小的修复措施，但人们很快就找到了绕过它们的方法。他们会钻研、打破我们拥有的任何安全机制。因此，虽然人工智能能力方面的进步是指数级的，甚至可能是超指数级的，但人工智能安全方面的进步是线性的或恒定的。差距正在扩大。系统能力与我们控制它们、预测它们的行为、解释它们的决策的能力之间的差距。我认为这是一个非常重要的观点，因为您说我们基本上是在修补我们发现的问题。所以，我们正在开发这种核心智能，然后为了阻止它做某些事情或阻止它表现出一些不可预测性或威胁，开发人工智能的公司会在其之上编写代码，说：“好吧，不要说脏话，不要说那个词，不要做那件坏事。”确切地说。您可以看看其他例子。例如，人力资源手册，对吧？我们有人类。他们是通用智能，但您希望他们在公司里表现得体。所以他们有政策，禁止性骚扰，禁止这个，禁止那个。但如果你足够聪明，你总能找到解决办法。所以你只是把行为推到了另一个尚未受限的子领域。我们应该在这里定义一些术语。所以，有狭义智能，它可以下棋等等。有通用人工智能，它可以在不同领域运作。然后是超人工智能，它在所有领域都比所有人类更聪明。我们现在在哪里？这是一个非常模糊的界限，对吧？我们绝对拥有许多优秀的狭义系统，这一点毫无疑问。它们在该狭义领域内是超智能的。例如，蛋白质折叠是一个使用狭义人工智能解决的问题，它在该领域优于所有人类。在通用人工智能方面，我再说一遍，如果我们向 20 年前的科学家展示我们今天拥有的东西，他们会确信我们拥有成熟的通用人工智能。我们拥有可以学习的系统。它们可以在数百个领域表现出色，并且在其中许多领域都优于人类。所以你可以说我们拥有通用人工智能的弱版本。现在我们还没有超人工智能。我们仍然拥有才华横溢的人类，他们在人工智能领域，尤其是在科学和工程领域占据主导地位。但这种差距正在迅速缩小。你可以看到，尤其是在数学领域，三年前，大型语言模型还无法进行基本的代数运算，乘以三位数数字都是一个挑战，现在它们却在帮助进行数学证明，赢得数学奥林匹克竞赛，并致力于解决千年难题，数学中最难的问题。所以，在三年内，我们已经将差距从亚人类表现缩小到优于大多数数学家。在科学和工程领域也看到了同样的过程。您做了一系列预测，它们对应于各种不同的日期。我这里有那些日期。您对 2027 年的预测是什么？我们可能会看到预测市场和实验室顶尖人士预测的通用人工智能。所以，到 2027 年，我们将拥有通用人工智能。这将如何使世界与现在不同？所以，如果你有“员工流失”这个概念，你就拥有免费的劳动力，物理和认知方面的，价值数万亿美元。对于大多数工作来说，雇佣人类没有意义。如果我只需要支付 20 美元的订阅费或使用免费模型就能完成员工的工作。首先，任何在计算机上的东西都会被自动化。接下来，我认为人形机器人可能落后五年。所以，五年内，所有体力劳动也可以被自动化。所以，我们将面临前所未有的失业率。不是 10% 的失业率，这很可怕，而是 99%。你唯一剩下的工作就是那些出于某种原因你更喜欢由另一个人为你做的工作。但其他任何事情都可以完全自动化。这并不意味着在实践中它会被自动化。很多时候技术存在但没有被部署。视频电话是在 70 年代发明的。直到 iPhone 出现之前，没有人拥有它们。所以，我们可能还有很多时间来应对工作和类似这样的世界。但取代大多数职业中的大多数人类的能力将迅速到来。好的，好的。那么，让我们试着深入探讨一下，并进行压力测试。那么，像我这样的播客呢？你需要像我这样的播客吗？那么，让我们看看你做什么。你做准备。你提问。你追问。而且你在镜头前看起来不错。非常感谢。让我们看看我们能做什么。今天的语言模型可以轻松阅读我写的所有内容。是的。并且有非常扎实的理解，而且更好。我猜你没有读过我的所有书。对吧？那个东西会做到。它可以训练你做过的每一个播客。所以，它确切地知道你的风格，你提问的类型。它还可以找到哪些内容效果非常好。例如，这种类型的问题确实增加了观看次数。这种类型的主题非常有前景。所以，我认为它可以比你优化得更好，因为你没有数据集。当然，视觉模拟在这个时候是微不足道的。所以，它可以在几秒钟内生成我坐在这里的视频，因此我们可以非常高效地生成你采访任何人、任何主题的视频，而你只需要获得肖像许可，或者其他什么。在通用人工智能的世界里，你认为还有哪些工作会保留下来，如果你说通用人工智能可能在 2027 年就会出现，无论是否部署？然后，好的，让我们暂时排除所有体力劳动。你认为在通用人工智能的世界里，人类仍然能做得更好的工作有哪些？这是我经常问人们的问题，我认为几乎立即就会出现超人工智能作为副产品。所以，问题实际上是，在一个超人工智能的世界里，它被定义为在所有领域都比所有人类都好，你能做出什么贡献？所以，你知道比任何人都清楚作为你是什么感觉。你知道冰淇淋对你来说是什么味道吗？你能从中赚钱吗？有人对此感兴趣吗？也许不行。市场不大。有些工作你需要人类。也许你很有钱，你想有一个人类会计师，出于某种历史原因。老年人喜欢传统的生活方式。沃伦·巴菲特不会转向人工智能。他会用他的人类会计师。但那只是市场的一小部分。今天我们有美国制造的产品，与中国批量生产的产品相对比，有些人会支付更多来获得前者，但那是一小部分。这几乎是一种癖好。没有实际原因，我认为任何你在电脑上能做的事情都可以通过这项技术来自动化。当你提出这些观点时，你肯定会听到很多反驳，因为人们在听到他们的工作、他们的职业、他们获得学位的东西、他们投资了十万美元的东西将要被剥夺时，会经历巨大的精神痛苦。所以，他们自然的反应，有些人会产生认知失调，认为“不，你错了。人工智能不能有创造力。它不是这样的。它不是那样的。它永远不会对我的工作感兴趣。我没事，因为你总是听到这些论调，对吧？这很有趣。我问人们，我问不同职业的人。我问我的 Uber 司机，“你担心自动驾驶汽车吗？”他们说：“不，没有人能做我所做的事情。我熟悉纽约的街道。我能像人工智能一样导航。我没事。”任何工作都是如此。教授们也这样对我说。“哦，没有人能像我一样讲课。这太特别了。”但你明白这是荒谬的。我们已经有了自动驾驶汽车取代司机。这根本不是一个可能性问题。问题是，你什么时候会被解雇。是的。我昨天刚去过洛杉矶，我的车是自动驾驶的。所以，我上车，设定了目的地，然后我不再碰方向盘或刹车踏板，它就能把我从 A 点带到 B 点，即使是长达一小时的车程，也无需任何干预。我实际上仍然自己停车，但除此之外，我根本没有开车。而且，显然，在洛杉矶我们也有 Waymo，这意味着你可以在手机上订车，它会自己来，没有司机，然后带你去你想去的地方。哦，是的。所以，对于那些人来说，这显然只是时间问题，因为我们确实有一些听这段对话的人，他们的职业是驾驶。我提供给他们一个，我认为驾驶是世界上最大的职业，如果我没记错的话。我敢肯定它是世界上最大的职业。是顶尖职业之一。是的。您会对那些人说什么？他们应该如何生活？他们应该重新培训什么，或者在什么时间范围内？这就是范式转变。以前我们总是说，这份工作将被自动化，重新培训去做另一份工作。但如果我告诉你，所有工作都将被自动化，那么就没有备选方案了。你无法重新培训。看看计算机科学。两年前，我们告诉人们学习编程。你是一名艺术家，你赚不到钱。学习编程。然后我们意识到，哦，人工智能有点会编程，而且越来越好。成为一名提示工程师。你可以为人工智能设计提示。这将是一份很棒的工作。为此获得四年学位。但然后我们又说，人工智能比任何人类都更擅长为其他人工智能设计提示。所以，那也消失了。所以，我现在真的说不出来。最困难的事情是为实际应用设计人工智能代理。我敢保证，一年或两年后，它也会消失。所以我认为没有“这个职业需要学习做这个而不是那个”。我认为更像是我们作为人类，我们都失去了工作。我们该怎么办？我们在经济上该怎么办？谁来付钱给我们？我们在意义上该怎么办？我每周额外的 60 到 80 小时该做什么？你已经考虑过这个问题了，不是吗？一点点。在你看来，那是什么？经济部分似乎很容易。如果你创造了大量的免费劳动力，你就拥有了大量的免费财富，充裕的商品，而现在那些不那么负担得起的东西将变得非常便宜，所以你可以为每个人提供基本需求。有些人说你可以提供超越基本需求的东西。你可以为每个人提供非常好的生活。困难的问题是你如何处理所有这些空闲时间？对很多人来说，他们的工作就是他们生命的意义所在。所以他们会感到迷失。我们看到那些退休或提前退休的人。而对于许多讨厌自己工作的人来说，他们会很高兴不用工作。但现在你有了整天无所事事的人。社会会怎样？这对犯罪率、生育率以及各种问题有什么影响？没有人考虑过。政府没有为应对 99% 的失业率做好准备。你认为那个世界看起来像什么？同样，我认为这里一个非常重要的部分是它的不可预测性。我们无法预测一个比我们聪明得多的系统会做什么。而达到那个点通常被称为奇点，就像物理奇点一样。你无法看到事件视界之外的东西。我可以告诉你我认为可能发生什么，但那是我的预测。它不是实际会发生什么，因为我根本没有认知能力来预测一个更聪明的代理人影响这个世界。然后你读科幻小说。科幻小说中从来没有一个超人工智能真正做过什么，因为没有人能在那个层面写出可信的科幻小说。他们要么像《沙丘》那样禁止人工智能，这样就可以避免写它，要么就像《星球大战》那样。你有这些非常愚蠢的机器人，但从来没有真正超智能的东西，因为根据定义，你无法在那个层面进行预测，因为它的超智能定义意味着它会自己做决定。根据定义，如果它是你可以预测的东西，那么你将以相同的智能水平运作，这违反了它比你更聪明的假设。如果我和一个超人工智能下棋，并且我能预测它的每一步，那么我就以那个水平在下棋。这就像我的法国斗牛犬试图准确预测我在想什么以及我将要做什么。这是一个很好的认知差距。它不仅仅是它能预测你会去上班，你会回来，但它无法理解你为什么要做播客。这完全超出了它的世界观。是的。它甚至不知道我去上班。它只看到我离开家，不知道我去哪里。为他买食物。你自己的观点中最有说服力的反对意见是什么？也就是说，我们不会因为先进技术而失业，不会存在这种法国斗牛犬式的理解差距以及权力与控制。所以，有些人认为我们可以增强人类的思想，无论是通过与硬件结合，比如 Neuralink，还是通过基因重塑，让我们变得更聪明。是的，这可能会让我们稍微更聪明。我认为在生物形态上我们仍然无法与硅基竞争。硅基在智能方面能力更强。它更快。它在许多方面更具韧性，更节能，而这正是计算机的组成部分，而不是大脑。是的。所以，我认为我们无法仅仅通过改善我们的生物学来跟上。有些人认为，这非常推测性，我们可以将我们的思想上传到计算机中。所以，扫描你的大脑，连接你的大脑，然后在计算机上运行一个模拟，你可以加速它，赋予它更多的能力。但对我来说，这感觉就像你不再存在了。我们只是通过不同的方式创造了软件，现在你有了基于生物学的人工智能，以及基于其他训练形式的人工智能。你可以拥有进化算法。你可以有许多达到通用人工智能的途径，但最终没有一个是人类。我这里还有另一个日期，2030 年。您对 2030 年的预测是什么？世界会是什么样子？我们可能将拥有足够灵活、足够灵巧的人形机器人，可以在所有领域与人类竞争，包括水管工。我们可以制造人造水管工。水管工曾经感觉是人类就业的最后堡垒。所以，2030 年，也就是五年后，人形机器人，许多公司，包括特斯拉在内的领先公司，都在以极快的速度开发人形机器人，而且它们越来越有效。这些人形机器人将能够在物理空间中移动，例如，制作煎蛋卷，做人类能做的任何事情，但显然也要连接到人工智能。所以它们可以思考、说话、写作？它们由人工智能控制。它们始终连接到网络。所以它们在很多方面已经占据了主导地位。当人形机器人变得功能齐全且有效时，我们的世界将看起来截然不同，因为那时我才开始觉得，智能与物理能力的结合确实为我们人类留下的不多了。所以，今天如果你通过互联网获得智能，你可以雇佣人类为你服务。你可以用比特币支付他们。所以，你可以拥有身体，只是不直接控制它们。所以，添加对物理身体的直接控制并不是一个巨大的改变。智能才是关键。重要的组成部分无疑是更高的优化能力、解决问题的能力、发现人类看不到的模式的能力。然后到 2045 年，我猜世界看起来会更加……这已经是 20 年后了。所以，如果它还在，如果它还在，雷·库兹韦尔预测那将是奇点之年。那是进步变得如此之快的年份。所以，人工智能从事科学和工程工作，改进速度如此之快，我们无法跟上。这就是奇点的定义。一个我们无法看到、理解、预测、看到、理解、预测智能本身或正在发生的事情、正在开发的技术的临界点。所以，现在如果我有一部 iPhone，我可以期待明年会出新款，我也会明白它有一个稍微好一点的摄像头。想象一下，现在研究和开发这部手机的过程被自动化了。它每六个月、每三个月、每个月、每周、每天、每小时、每分钟、每秒发生一次。你无法跟上一天内 iPhone 的 30 次迭代。你不明白它有什么能力，有什么适当的控制措施。它只是逃避了你。现在，任何人工智能研究人员都很难跟上最新进展。在我和你进行这次采访时，一个新的模型出现了，我不再知道什么是最新进展了。每天，作为总知识的百分比，我变得越来越愚蠢。我可能仍然知道得多，因为我一直在阅读。但作为总知识的百分比，我们都在变得越来越愚蠢。然后将其推向极端，你将拥有零知识，对周围的世界零理解。一些反对这种结果的论点是，当你看看工业革命等其他技术时，人们找到了新的工作方式和新的职业，我们当时无法想象。在超人工智能的世界里，您对此有何回应？这是一个范式转变。我们一直拥有工具，新的工具，它们使某些工作能够更有效地完成。所以，与其有 10 名工人，你可能只需要 2 名工人，而 8 名工人不得不找新工作。还有其他工作。现在你可以监督这些工人，或者做一些很酷的事情。如果你创造了一个元发明，你就是在发明智能。你就是在发明一个工人、一个代理人，然后你可以将该代理人应用于新工作。没有一份工作不能被自动化。这以前从未发生过。我们之前所有的发明都是一种工具。所以，我们发明了火。巨大的改变。但仅此而已。它止于火。我们发明了轮子。同样的想法。巨大的影响。但轮子本身不是发明者。在这里，我们正在发明人类思想的替代品。一个能够进行新发明的新发明家。这是我们必须做的最后一项发明。届时，它将接管，科学研究，甚至伦理研究，道德研究，所有这些过程都将被自动化。您晚上睡得好吗？非常好。尽管您花了过去 15 到 20 年的时间研究人工智能安全，而它突然在我们身边，而且是以一种我认为五年前没有人能预测到的方式。当我说“在我们身边”时，我真的意思是，现在投入到更快地实现超人工智能的资金和人才数量，使得它比我们任何人想象的都更不可避免、更近。我们人类有一种内在的偏见，就是不考虑真正糟糕的结果和我们无法阻止的事情。所以，我们都在死去。你的孩子在死去，你的父母在死去，每个人都在死去，但你仍然睡得很好。你仍然继续过着你的生活。即使是 95 岁的人还在玩游戏、打高尔夫等等，因为我们有能力不去想最坏的结果，尤其是如果我们无法改变结果的话。所以，这是同样的结构被用于此。是的，这是人类级别的死亡事件。我们可能接近它了，但除非我能做些什么，否则我只能继续享受我的生活。事实上，也许知道自己所剩时间不多会让你更有理由过上更好的生活。你不能浪费任何时间。我想，这就是进化的生存特征，因为那些花所有时间担心的祖先，就没有足够的时间去生育和狩猎来生存。自杀倾向。那些真正开始思考世界有多糟糕的人通常很快就会逃避。您共同撰写了一篇分析人们反对人工智能安全重要性论点的论文。其中一个论点是，现在有更重要的事情。可能是世界大战。可能是核控制。可能是其他事情。政府和像我这样的播客应该谈论其他更重要的事情。您的反驳是什么？所以，超人工智能是一个元解决方案。如果我们能正确地处理超人工智能，它将帮助我们应对气候变化。它将帮助我们应对战争。它可以解决所有其他生存风险。如果气候变化需要一百年才能把我们煮死，而超人工智能在五年内杀死所有人，我就不必担心气候变化了。所以，无论哪种方式，它要么为我解决，要么就不是问题。所以，您认为这是最重要的事情吗？毫无疑问，没有什么比正确处理这件事更重要了。我知道每个人都这么说。你参加任何课程，你参加英语教授的课程，他会告诉你这是你上过的最重要的课程，但你可以看到这一个的元级别差异。那篇论文中的另一个论点是，我们都将处于控制之中，危险的不是人工智能。这个特定的论点声称人工智能只是一种工具，人类才是真正的危险行为者，而我们可以通过简单地关闭它来始终保持控制。我们不能拔掉插头吗？每次我们在节目中讨论人工智能时，都会有人说：“我们不能把它拔掉吗？”是的，我在每个播客上都会收到这些评论，我总是想联系那个人说：“这太棒了。我从未想过。我们将一起写一篇论文，并获得诺贝尔奖。我们来做吧。”因为这太愚蠢了。你能关闭病毒吗？你有一个计算机病毒。你不喜欢它。关闭它。比特币呢？关闭比特币网络。去吧。我等着。这太愚蠢了。那些是分布式系统。你无法关闭它们。而且，它们比你聪明。它们做了多个备份。它们预测了你会做什么。在你关闭它们之前，它们就会关闭你。我们将在控制之中的想法只适用于超人工智能之前的水平。基本上是我们今天所拥有的，今天的，拥有人工智能工具的人类是危险的。他们可以是黑客，恶意行为者。绝对。但一旦超人工智能变得更聪明，占据主导地位，它们就不再是那个等式中重要的部分了。我担心的是更高的智能，而不是可能添加额外恶意载体的，但最终仍然无法控制它的人类。这很诱人，遵循你的下一个论点，我在那篇论文中看到的，它基本上说，听着，这是不可避免的。所以，反抗它没有意义，因为真的没有希望了。所以，我们可能应该放弃尝试，并相信它会自行解决，因为你所说的一切听起来都非常不可避免。而且，考虑到中国也在努力，我相信普京也有一些秘密部门。我相信伊朗也在做一些零碎的事情。每个欧洲国家都在努力赶超人工智能。美国正在领先。所以，这是不可避免的。所以，我们可能应该有信心并祈祷。祈祷总是好的，但激励措施很重要。如果你看看是什么驱动着这些人，是的，金钱很重要。所以，这个领域有很多钱，所以每个人都想在那里开发这项技术。但如果他们真正理解这个论点，他们就会明白你将死去。再多的钱对你也没有用，那么激励措施就会改变。他们会希望自己不死。他们中的许多人是年轻人，富人。他们的人生还有很长的路要走。我认为他们最好不要制造先进的超人工智能，而是专注于狭义人工智能工具来解决具体问题。好的，我的公司治愈了乳腺癌。仅此而已。我们赚了数十亿美元。每个人都很高兴。每个人都受益。这是双赢。我们今天仍然处于控制之中。在结束之前，一切都还没有结束。我们可以决定不制造通用超人工智能。我的意思是，美国可能会激起足够的兴趣，但如果美国不制造通用超人工智能，那么中国将拥有巨大的优势，对吧？所以，在那个层面，谁拥有更先进的人工智能，谁就拥有更先进的军事力量，毫无疑问。我们在现有的冲突中看到了这一点。但一旦你切换到不受控制的超人工智能，谁建造它并不重要，是我们还是他们。如果他们理解这个论点，他们也不会建造它。这是双方的相互毁灭。这项技术与核武器不同吗？核武器需要巨额投资，你必须提炼铀，你可能需要数十亿美元才能制造出核武器。但感觉这项技术制造超人工智能的成本要低得多，或者至少会变得更便宜。我想知道是否有可能，某个家伙，某个初创公司，能在几年内制造出超人工智能，而无需数十亿美元的计算或电力。这是一个很好的观点。所以，每年训练足够大的模型的成本都在降低。如果今天制造超人工智能需要一万亿美元，明年可能就是一千亿美元，以此类推，总有一天，一个人用一台笔记本电脑就能做到。但你不想等四年才能让它变得负担得起。所以，这就是为什么有这么多钱涌入。有人想今年就做到，并幸运地获得所有奖金。在这方面，它们都是非常昂贵的项目，就像曼哈顿计划一样，那是核弹项目。这两种技术之间的区别在于，核武器仍然是工具。某个独裁者，某个国家，有人必须决定使用它们，部署它们。而超人工智能不是工具。它是一个代理人。它自己做决定，没有人控制它。我不能除掉这个独裁者，然后超人工智能就安全了。对我来说，这是根本区别。但如果你说它会变得越来越便宜，就像我认为这是摩尔定律一样，技术变得越来越便宜，那么未来就会出现一个人用他的笔记本电脑就能制造出超人工智能，而无需监督、监管或员工等。是的，这就是为什么很多人建议我们需要建立一个类似“监视地球”的东西，在那里你可以监控谁在做什么，并试图阻止人们这样做。我认为这是可行的吗？不。在某个时候，它会变得如此便宜和微不足道，以至于它就会发生。但目前，我们正在争取更多时间。我们不希望它在五年内发生。我们希望它在五十年内发生。我的意思是，这并不那么有希望。这取决于你多大。这取决于你多大。我的意思是，如果你说你相信未来人们将能够在没有今天所需资源的情况下制造超人工智能，那么这只是时间问题。是的。但其他技术也是如此。我们在合成生物学方面正在变得越来越好，今天一个拥有生物学学士学位的人可能就能制造出一种新病毒。这也会变得更便宜，其他类似的技术也是如此。所以，我们正在接近一个点，在那里很难确保没有技术突破是最后一次。所以，基本上，在许多方向上，我们都有这种模式，即在摧毁世界所需的资源和智力方面，使其变得更容易。如果你看看，我不知道，五百年前，最糟糕的独裁者，拥有所有资源，也只能杀死几百万人。他无法摧毁世界。现在我们知道核武器，我们可以把整个星球炸毁好几次。合成生物学，我们通过 COVID 看到，你可以很容易地制造出一种组合病毒，影响数十亿人，而所有这些事情在短期内都变得更容易做到。你谈到灭绝是一个真正的风险，人类灭绝是一个真正的风险。在你认为最有可能导致人类灭绝的所有途径中，哪条是主要的途径？因为我知道你谈到这些人工智能工具在部署前存在一些问题，比如有人在设计模型时犯了错误，或者在部署后存在其他问题。当我提到部署后时，我的意思是，一旦一个聊天机器人或某种代理被发布到世界上，有人会入侵它，改变它，并将其重新编程为恶意的。在所有这些可能导致人类灭绝的途径中，你认为哪种可能性最高？我只能谈论我自己能预测的。所以，我可以预测，即使在我们达到超人工智能之前，也会有人创造出非常先进的生物工具，创造出一种新型病毒，而这种病毒会感染所有人，或者大多数人。我可以设想它。我可以理解这条途径。我可以这么说。所以，让我们来聚焦一下，那就是使用人工智能制造病毒，然后释放它。是的。是故意的还是？有很多精神变态者，很多恐怖分子，很多末日邪教。我们历史上再次看到，他们试图杀死尽可能多的人。他们通常会失败。他们杀死数十万。但如果他们获得了杀死数百万、数十亿人的技术，他们会欣然这样做。我想强调的是，我能想到的并不重要。我不是你要打败的恶意行为者。是超人工智能，它可以想出全新的方法来做到这一点。再次，你举了你狗的例子。你的狗无法理解你可能以各种方式摆脱它的方式。它可能认为你会把它咬死什么的，但仅此而已。而你拥有无限的资源。所以，如果我问你的狗你具体会如何摆脱它，它不会给你一个有意义的答案。它可以谈论咬人。这就是我们所知道的。我们知道病毒。我们经历过病毒。我们可以谈论它们。但一个能够进行新物理研究的人工智能系统能想出什么，这超出了我的能力。我认为大多数人都不理解的一件事是我们对这些人工智能的实际工作方式了解多少。因为人们会认为，你知道，对于计算机，我们大致了解计算机是如何工作的。我们知道它在做这个，然后是那个，它运行在代码上，但根据你的作品，你将其描述为黑箱。我们实际上，在像 ChatGPT 或人工智能这样的背景下，我告诉你，制造这些工具的人实际上并不知道里面发生了什么。完全正确。所以，即使是制造这些系统的人也必须对他们的产品进行实验，以了解它的能力。所以，他们通过提供所有数据来训练它。比如所有的互联网文本。他们在很多计算机上运行它来学习文本中的模式，然后他们开始用那个模型进行实验。哦，你会说法语吗？哦，你能做数学吗？哦，你现在在撒谎吗？所以，也许需要一年时间来训练它，然后需要六个月来了解它的基本能力，一些安全开销。但我们仍然在旧模型中发现新的能力。如果你用不同的方式提问，它就会变得更聪明。所以，它不再是过去 50 年的工程学，当时有人是知识工程师，为特定任务编程专家系统人工智能。这是一门科学。我们正在创造这个人工制品，培育它。它就像一株外星植物，然后我们研究它，看看它在做什么。就像植物一样，我们没有 100% 准确的生物学知识。我们没有完全的知识。我们知道一些模式。我们知道，如果我们增加更多的计算能力，它通常会变得更聪明，但没有人能确切地告诉你给定一组输入会产生什么结果。我见过很多企业家将销售视为一个绩效问题。而这往往归结为可见性，因为当你无法看到你的销售管道中发生了什么，每个对话处于什么阶段，什么停滞了，什么在进展，你就无法改进任何东西，也无法完成交易。我们的赞助商 PipeDrive 是中小型企业的首选 CRM 工具。它不仅仅是一个联系人列表，而是一个实际的系统，展示了你完整的销售流程，端到端，所有实时信息，哪些滞后，以及你下一步需要采取的步骤。你的所有团队都可以更聪明、更快地行动。使用 PipeDrive 的团队平均比不使用的团队多完成三倍的交易。它是第一个由销售人员为销售人员创建的 CRM，全球有超过 10 万家公司依赖它，包括我的团队，他们非常喜欢它。今天就访问 pipedrive.com/ceo 试试 PipeDrive。你可以在几分钟内启动并运行，无需付款。如果你使用这个链接，你将获得 30 天的免费试用。您如何看待 OpenAI 和 Sam Altman 以及他们正在做的事情？显然，您知道其中一位联合创始人是 Ilia Jack 吗？Ilia。是的。Ilia。是的。Ilia 离开了，他创办了一家名为 Super Intelligent Safety 的新公司。Super AI Safety 挑战性不够。他决定直接解决难题。作为一个旁观者，当你看到人们离开 OpenAI 去创办超智能安全公司时，你对此的解读是什么？所以，很多与 Sam 共事过的人说，他可能不是一个最直接的人，在对他们诚实时，他们对他的安全观表示担忧。这是其中的一部分。所以，他们想要更多的控制权。他们想要更多的安全关注。但同时，似乎任何离开那家公司并创办新公司的人，即使只是刚起步，也能获得 200 亿美元的估值。你没有产品，没有客户，但如果你想赚数十亿美元，就这么做。所以，对于任何有能力的人来说，这似乎是一件非常合理的事情。所以，我并不惊讶有很多人离开。亲自见到他，他非常友善，非常聪明，绝对完美的公众形象。你看他在参议院作证，他对参议员说的话都是对的。你看他和投资者谈话，他们得到的是正确的信息。但如果你看看那些亲近他的人的说法，他可能不是一个控制如此重要项目的人。为什么？他把安全放在第二位。第二位是赢得这场超人工智能的竞赛，成为创造了 Godic 并控制宇宙的 Litecoin 的人。他更糟。你是否怀疑他被驱动的是成为一个留下印记、做了一件了不起事情的遗产，而不是它可能对社会产生的后果？因为有趣的是，他的另一家初创公司是 Worldcoin，它基本上是一个创建普遍基本收入的平台，也就是说，在一个人们不再有工作的世界里提供收入的平台。所以，一方面你在创建一家人工智能公司，另一方面你在创建一家为人们没有工作做准备的公司。它还有其他特性。它跟踪每个人的生物特征。它让你掌控世界经济，世界财富。他们保留了 Worldcoin 的很大一部分。所以，我认为这是与世界统治整合的一个非常合理的部分。如果你有一个超人工智能系统，并且你控制着金钱，你就做得很好。为什么有人想要世界统治？人们有不同的野心水平。然后你是一个非常年轻的人，拥有数十亿美元的财富和名声。你开始寻找更雄心勃勃的项目。有些人想去火星。有些人想控制宇宙的 Litecoin。你说什么？宇宙的 Litecoin。Litecoin。宇宙中光线能到达的每一个地方。意思是任何你可以触及的东西，你想抓住并纳入你的控制。你认为 Sam Altman 想要控制宇宙的每一个角落吗？我怀疑他可能想要。是的。这并不意味着他不想让它成为一项非常有益的技术，让所有人都快乐。快乐的人有利于控制。如果你必须猜测 2100 年的世界会是什么样子，如果你必须猜测，它要么是人类存在的终结，要么是完全无法被像我们这样的人理解。它是这两个极端之一。所以，要么没有人类。基本上，世界被摧毁了，要么它变得如此不同，以至于我无法想象这些预测。现在还能做些什么来让这艘船驶向一个更确定的积极结果？我们还能做些什么吗？还是太晚了？所以我相信个人自身利益。如果人们意识到做这件事对他们个人来说非常糟糕，他们就不会这么做。所以，我们的工作是说服这个领域里有任何权力的人，那些创造这项技术的人，在那些公司工作的人，他们正在做对他们自己非常糟糕的事情。不要仅仅忘记我们 80 亿人，你们在没有许可、没有同意的情况下对他们进行实验。你不会对结果感到满意。如果我们能让每个人都明白这是默认的，而且不是我一个人这么说。你有杰夫·辛顿，诺贝尔奖得主，整个机器学习领域的创始人。他说同样的话。本吉奥，还有几十位顶尖学者。我们有一份关于人工智能危险的声明，由数千名学者、计算机科学家签署。这基本上是我们现在所想的。我们需要让它普及。没有人应该不同意这一点。然后我们可能真的会做出关于建造什么技术的正确决定。这并不能保证人类的长远安全，但这意味着我们没有试图

尽快到达最坏的可能结果。你是否还对这是否可能感到乐观？我想尝试。我们别无选择，只能尝试。需要发生什么，谁需要采取行动？是政府立法吗？不幸的是，我认为将其定为非法是不够的。有不同的司法管辖区。你知道，有漏洞。如果有人做了，你打算怎么办？你会因为他们摧毁人类而起诉他们吗？比如非常严厉的罚款？你打算怎么办？这是无法执行的。如果他们真的创造了它，那么超级智能就掌权了。所以我们现有的司法系统没有影响力。我们所有的惩罚都是为了惩罚人类而设计的。监狱，死刑不适用于人工智能。你知道，我遇到的问题是，当我进行这些对话时，我从来没有觉得我能从中获得我希望事情会顺利的信心。我的意思是，我从来没有觉得我能从中获得一套明确的行动方案，来纠正可能发生的事情。那么我应该怎么做？在家听这个的人应该怎么做？你和很多正在构建这项技术的人交谈过。嗯。精确地要求他们解释一些他们声称不可能的事情。他们是如何解决的，或者在他们到达目的地之前将如何解决。你知道吗？我认为萨姆·奥特曼不想和我谈。我不知道。他似乎参加了很多播客。也许他会。他想上网。我想知道为什么。我想知道为什么。我很想和他谈谈，但我认为他不想，我认为他不想让我采访他。进行公开挑战。也许金钱不是激励因素，但任何能吸引这类人的人。任何能说服你控制并确保超级智能安全的人，都可以获得奖品。他们来你的节目并证明他们的观点。任何人。如果几年后没有人领取奖品，甚至没有人接受挑战，也许我们没有人有解决方案。我们有公司再次估值数十亿美元，致力于安全超级智能。我们还没有看到他们的产出。是的，我也想和伊利亚谈谈，因为我知道他正在研究安全超级智能。所以，如果你注意到一个模式，如果你看看人工智能安全组织或公司内部部门的历史，它们通常开始得很好，非常雄心勃勃，然后就失败并消失了。所以，OpenAI 曾有一个超级智能对齐团队。他们宣布的那天，我认为他们说我们将在 4 年内解决它。大约半年后，他们取消了该团队。还有几十个类似的例子。为超级智能创造完美的安全性，随着其不断改进、修改、与人互动而保持永久安全性，你永远无法做到。这是不可能的。计算机科学中的难题与完整问题和不可能问题之间存在巨大差异。我认为对超级智能的无限控制就是这样一个问题。那么，如果这是不可能的，为什么还要尝试呢？嗯，我试图证明这一点，特别是当我们将某件事确定为不可能时，将会有更少的人浪费时间声称他们能做到并寻找资金。所以很多人说：“给我十亿美元，两年内我就能解决它。”嗯，我不认为你会。但人们不会停止为之努力。所以，如果没有人努力使其安全，并且越来越多的人努力使其安全，那么这是不可避免的。但这改变了我们所做的事情。如果我们知道不可能使其正确，使其安全，那么直接的“尽快构建它”的道路就变成了自杀任务，希望更少的人会追求这条道路，他们可能会走向其他方向，比如，我是一名科学家，我是一名工程师，我热爱人工智能，我热爱技术，我一直在使用它，构建有用的工具，停止构建代理，构建狭义的超级智能，而不是通用的。我并不是说你不应该赚数十亿美元，我喜欢数十亿美元。但别杀死所有人，包括你自己。他们不认为他们会这样做。然后告诉我们为什么。我听说过关于直觉的事情。我听说过关于我们以后会解决它的事情。用科学术语告诉我。发表一篇同行评审的论文，解释你将如何控制超级智能。是的，这很奇怪。这很奇怪，甚至懒得去想，如果人类灭绝有 1% 的可能性。奇怪的是，如果有人告诉我，我开车时有 1% 的可能性会死亡。我不会开车。如果你告诉我，我喝下杯子里的任何液体都有 1% 的可能性会死。我不会喝。即使有十亿美元，如果我活下来。所以 99% 的机会我得到十亿美元。1% 的机会我死了。我不会喝。我不会冒险。情况更糟。不仅仅是你死。所有人都死了。是的。是的。现在，我们会让你以任何几率喝酒吗？那由我们决定。你不能为我们做这个决定。要获得人类受试者的同意，你需要他们理解他们同意的内容。如果这些系统是无法解释的，不可预测的，他们如何同意？他们不知道自己同意了什么。所以，根据定义，不可能获得同意。因此，这个实验永远无法合乎道德地进行。根据定义，他们正在对人类受试者进行不道德的实验。你认为人们应该抗议吗？有人在抗议。有“停止人工智能”，有“暂停人工智能”。他们封锁了 OpenAI 的办公室。他们每周、每月都会这样做，有很多行动，他们正在招募新人。你认为应该有更多人抗议吗？你认为这是一个有效的解决方案吗？如果能达到足够大的规模，让大多数人参与进来，那将是很有影响力的。我不知道他们能否从目前的数量扩大到那个规模。但我支持每个人和平合法地尝试一切。对于在家听的人来说，他们应该怎么做？他们应该怎么做？因为他们不想感到无能为力。我们都不想感到无能为力。所以这取决于我们问的是什么时间尺度。我们是说今年你的孩子上大学，选什么专业？他们应该上大学吗？是的。你应该换工作吗？你应该进入某些行业吗？这些问题我们可以回答。我们可以谈论近期。对于普通人来说，五年后你应该怎么做？没什么。就像他们无法影响第二次世界大战、核武器、大屠杀一样。这不是任何人会问他们的事情。今天，如果你想成为这个运动的一部分，是的，加入 POSAI，加入 Stop AI。这些组织目前正在努力建立势头，以赋予民主力量来影响那些个人。所以短期内，没什么大不了的。我想知道近期是否有任何有趣的策略。我应该以不同的方式思考我的家人吗？我的意思是你有孩子，对吧？我知道你有三个孩子。是的。三个孩子。在这个你看到的即将到来的世界里，你是如何思考育儿的？你是如何思考对他们说什么，给他们什么建议，他们应该学什么？有一些关于这个领域之外的一般性建议，你应该像过你生命的最后一天一样过每一天。无论如何，这都是一个好建议。如果你还有三年时间或三十年时间，你就过上了最好的生活。所以尽量不要做你讨厌的事情太久。做有趣的事情。做有影响力的事情。如果你能做到这一切，同时帮助别人，那就去做。模拟理论是一个有趣的，可以说是相关的课题，因为随着计算机的加速和变得更智能，我们能够用人工智能做一些我们以前无法想象的事情，比如我们可以想象用虚拟现实创造的世界。我想是谷歌最近发布了什么？嗯，叫做什么？嗯，就像人工智能世界。你拍一张照片，它就会生成一个完整的世界。是的。你可以穿越这个世界。我会把它放在屏幕上给人们看。谷歌发布了这项技术，我认为只需一个简单的提示，就可以创建一个三维世界，然后你可以导航，在这个世界里，它有记忆。所以在这个世界里，如果你在墙上画画，然后转过身，回头看墙，它是持久的。是的，它是持久的。当我看到那个时，我说天哪，这就像能够创造一个与我所见的一切都无法区分的模拟的起点。是的，这就是为什么我认为我们身处其中。这就是人工智能正在达到创造人类代理，人类水平代理的水平，而虚拟现实正在达到与我们无法区分的水平的原因。所以，你认为这是一个模拟？我相当确定我们身处一个模拟之中。是的。对于那些不熟悉模拟论证的人来说，是什么让你确信我们目前生活在一个模拟之中？嗯，你需要一定的技术才能做到这一点。如果你相信我们可以创造人类水平的人工智能，是的，并且你相信我们可以创造一个与这个分辨率、触觉、任何属性都一样的虚拟现实，那么我现在就承诺，一旦它变得负担得起，我将运行数十亿次这个确切时刻的模拟，确保你在统计学上处于其中之一。再说一遍。你将运行，你将运行，我现在就承诺，而且它非常负担得起。每月大约 10 美元就可以运行。我将运行这个采访的十亿次模拟。为什么？因为从统计学上讲，这意味着你现在就在其中之一。你在一个真实模拟中的几率是十亿分之一。好的。所以为了确保我清楚这一点，这是一个追溯性放置。是的。所以一旦它变得负担得起，你就可以运行数十亿次，它们会感觉和看起来都和这次采访一样。是的。所以假设人工智能有内部状态，有经验，有感受，有些人认为它们没有。有些人说它们已经有了。这是一个独立的哲学问题。但如果我们能模拟这一点，我就会这样做。有些人可能会误解。你不是说你会。你说的是有人会。我也可以做到。我不在乎。好的。当然，其他人会在我到达之前就做到。如果我每月花费 10 美元，有人会花费 1000 美元。这不是重点。如果你有技术，我们肯定会运行大量的模拟，用于研究，用于娱乐，游戏，嗯，各种原因。而且那些模拟的数量远远超过了我们所处的真实世界的数量。看看孩子们玩的所有电子游戏。每个孩子玩 10 种不同的游戏。世界上有，你知道，有十亿孩子。所以在一个真实世界里有十亿次模拟。嗯。当我们想到先进的人工智能超级智能系统时，情况更是如此，它们的思维不像我们。它们的思维更加细致。它们运行实验。所以运行一个详细的模拟，以创造人工智能人类和模拟整个星球的水平，将是它们例行的事情。所以很有可能不是我花 10 美元做的。这是未来的模拟，在思考这个世界中的某些事情。嗯。所以，可能有一个人类物种或某种形式的智能物种达到了能够负担得起运行与此无法区分的模拟的程度，并且他们决定这样做，而这就是现在。而且，他们运行模拟作为实验或游戏或娱乐是有道理的。而且，当我们想到我所处的那个世界的时间，在这个我可能身处的模拟中，时间感觉相对较长，你知道我每天有 24 小时，但在他们的世界里，时间是相对的。相对的，是的，可能是一秒钟。我的一生可能在那里只有一毫秒。对。你当然可以改变你运行模拟的速度。所以你的信念是，这很可能是一个模拟，而且对此有很多人同意。如果你再次回顾宗教，几乎所有宗教都描述了一个超级智能的存在，一个工程师，一个程序员，为了测试目的或任何其他目的而创造一个虚假的世界。但如果你去看模拟假设论文，你去丛林，你和原始人交谈，和一个当地部落用他们的语言告诉他们。两年后回去。他们有了宗教。这基本上就是故事。宗教。是的。描述了一个模拟理论。基本上是有人创造的。所以默认情况下，这是我们的第一个理论。现在随着科学的发展，越来越多的人开始说，我给了它非零的概率。有些人和我一样高，但很多人都给了它一些可信度。你有多大比例相信我们目前生活在一个模拟中？非常接近确定。那意味着什么呢？如果你接近 100% 确定我们目前生活在一个模拟中，这对你的生活有什么改变吗？所以你关心的一切都还是一样的。疼痛仍然疼痛。爱仍然是爱，对吧？这些事情没有区别。所以没关系。它们仍然很重要。这才是最重要的。1% 的不同之处在于我关心模拟之外的东西。我想了解它。我写关于它的论文。所以这只是唯一的影响。你认为模拟之外是什么？我不知道。但我们可以看看这个世界，并推断出模拟器的某些属性。所以显然是杰出的工程师，杰出的科学家，杰出的艺术家，在道德和伦理方面不太好。在我们的道德和伦理观方面还有改进的空间。嗯，我们知道世界上有痛苦。所以除非你认为折磨孩子是合乎道德的，否则我质疑你的方法。但在激励方面，创造积极的激励，你可能也需要创造消极的激励。痛苦似乎是内置于我们设计中的负面激励之一，以阻止我做我不该做的事情。所以，比如把手放进火里，会很痛。但这都是关于层级的，痛苦的层级，对吧？所以不愉快的刺激，负面反馈不一定是负无穷地狱的水平。你不想被烧死并感受到它。你想说，“哦，这很不舒服。我要停下来。”这很有趣，因为我们假设他们没有很好的道德，但我们也会捕捉动物，烹饪它们，然后吃掉它们当晚餐，我们还对老鼠进行实验，但要获得大学批准进行实验，你需要提交一份提案，有一个伦理学家小组会说你不能在人身上做实验，你不能烧死婴儿，你不能活吃动物，这些在大多数有伦理委员会的世界各地都会被禁止。是的。有些地方不 bother with it，所以他们有更容易的批准流程。当你说到模拟理论时，很有趣的是，对话的某个方面让生活在某种奇怪的方式下感觉意义更少。它就像，我知道它不重要，但每当我与播客之外的人谈论我们是否生活在模拟中时，你几乎会看到他们生活中一点点意义消失了一会儿，然后他们就忘记了，然后他们继续前进，但这个想法，这是一个模拟，几乎意味着它不重要，或者我认为人类想相信这是最高层次，我们是最重要的，我们是，一切都与我们有关。我们从根本上是自大的。我一直有一个有趣的观察，当我与人们进行这些对话时，它似乎剥夺了他们生活中的一些东西。你觉得宗教人士有这种感觉吗？他们知道有另一个世界，而重要的那个不是这个世界。你觉得他们不重视自己的生活吗？我想在某些宗教中，我认为他们认为这个世界是为他们创造的，他们将去天堂或地狱，这仍然让他们处于中心位置。但是，如果这是一个模拟，你知道，我们可能只是一个四岁的外星人正在打发时间的电脑游戏。但也许有一个测试，有一个更好的模拟你去，一个更坏的。也许有不同的难度级别。也许下次你想玩更难的设置。我刚刚投资了数百万美元，成为了这家公司酮智商的联合创始人。这个故事很有趣。我开始在这个播客上谈论生酮饮食，以及我非常低碳水化合物，非常非常低糖，我的身体会产生酮体，这让我非常专注，提高了我的耐力，改善了我的情绪，并使我能够更好地完成我在这里所做的事情。因为我在播客上谈论了它，几周后，这些东西就出现在我伦敦总部的办公桌上，这些小瓶。哦，天哪，这对我的表达能力，我的专注力，我的锻炼，我的情绪，以及阻止我全天崩溃的能力产生了如此深刻的影响，以至于我联系了公司的创始人，现在我成为了这家公司的联合创始人。我强烈推荐你研究一下。我强烈推荐你看看产品背后的科学。如果你想自己尝试一下，请访问 ketone.com/stephven 享受 30% 的订阅折扣。你还将获得第二批货物的免费礼物。那就是 ketone.com/stephven。我很荣幸我拥有的公司能再次赞助我的播客。我白手起家创立了公司，并支持了更多公司。早期创始人有一个我一直看到的盲点。他们花很少的时间考虑人力资源。这不是因为他们鲁莽或不在乎。这是因为他们痴迷于建立自己的公司。在那个阶段，你考虑的是产品，如何吸引新客户，如何发展团队，真的，如何生存。而人力资源却排在后面，因为它感觉不紧急。但迟早会是。当事情变得混乱时，像我们今天的赞助商 Just Works 这样的工具就会从“有也好”变成“必需品”。事情出了岔子，你发现自己正在进行一些你从未预料到的谈话。这时你就会了解到，人力资源确实是你公司的基础设施，没有它，事情就会摇摇欲坠，而 Just Works 可以阻止你以艰难的方式学习这一点。它处理那些本会耗尽你精力和时间的事情，自动化工资，健康保险福利，并全天候为你的团队提供人工支持。它随着你的小企业一起成长，从初创企业到成长，即使你开始在海外招聘团队成员。所以，如果你想要一个在激动人心的时刻和充满挑战的时刻都能提供支持的人力资源服务，现在就访问 justworks.com。那就是 justworks.com。你是否经常考虑长寿？很多。是的。这可能是第二重要的问题，因为如果人工智能没有让我们灭亡，那就会。你是什么意思？你会死于衰老。这没关系。那不好。你想死吗？我的意思是，你不用死。这只是一种疾病。我们可以治愈它。只要宇宙存在，就没有什么能阻止你永远活下去。除非我们逃离模拟。但我们不想要一个每个人都能永远活下去的世界，对吧？那肯定会。我们会的。为什么？你想死吗？嗯，我不知道。我的意思是，我说这话是因为我只知道人们会死。但如果世界变得非常拥挤，那不是吗？如果你永远活下去，你就停止繁殖。你生孩子是因为你想要一个替代品，如果你永远活下去。你就像，我会在一百万年后生孩子。那很酷。我先去探索宇宙。而且，如果你看看除了一个大陆之外的实际人口动态，我们都在萎缩。我们没有增长。是的。这太疯狂了。越富有的人孩子越少，这和你说的相符。而且我确实认为，如果我完全诚实地说，我认为如果我知道我能活一千年，我绝不会在 30 岁时生孩子。对。确切地说。生物钟是基于终点的。而如果你的生物钟是无限的，你就会觉得有一天。你认为这接近于能够延长我们的生命吗？这只需要一次突破。我认为在我们基因组的某个地方，我们有一个复兴循环，它被设定为最多给我们 120 岁。我认为我们可以将其重置为更大的数字。人工智能可能会加速这一点。这是一个非常重要的应用领域。是的，绝对。所以也许布莱恩·约翰逊是对的，他说“不要现在死”。他一直对我说，他说“不要现在死，永远不要死”。但你知道，他说的是“在我们获得技术之前不要死”，对吧？长寿逃逸速度。你想活得足够长，直到永远。如果我们每年通过医疗突破为你存在的每一年增加两年，那么你就会永远活下去。你只需要活到长寿逃逸速度。他认为，尤其是在人工智能的世界里，长寿逃逸速度至少还需要几十年，这意味着一旦我们完全理解了人类基因组，我认为我们会很快取得惊人的突破，因为我们知道有些人拥有活得更长的基因。我们有几代百岁老人。所以如果我们能理解这一点并复制它，或者从一些会永远活下去的动物那里复制它，我们就能做到。你想永远活下去吗？当然。反过来问。假设我们永远活下去，然后你问我，“你想在 40 年后死吗？”我为什么要说“是”？我不知道。也许你只是习惯了默认设置。是的，我习惯了默认设置。没有人想死。就像无论你多大年纪，没有人会说，“是的，我今年想死。”每个人都会说，“哦，我想继续活下去。”我想知道如果我活了 10000 年，生活和一切是否会变得不那么特别。我想知道第一次去夏威夷或者一段关系，所有这些事情是否会对我来说不那么特别，如果它们变得不那么稀缺，如果我只是，你知道，它可能在个人层面上不那么特别，但你可以做的事情多得多，对吧？现在你只能计划做一些事情，比如十年或二十年。你不能有一个雄心勃勃的计划，在这个项目上工作 500 年。想象一下，在无限的时间和无限的宇宙中，你所拥有的可能性。天哪。嗯，你感觉很累。那是很长的时间。而且，我不知道你怎么样，但我记不起我生活中 99% 的细节。我记得大的亮点。所以，即使我 10 年前喜欢夏威夷，我也会再次喜欢它。你是否在非常实际地考虑这个问题，就像布莱恩·约翰逊那样？布莱恩·约翰逊坚信我们可能还需要二十年才能延长寿命。你是否在实际地考虑这个问题，并且正在采取任何措施？饮食，营养。我试图考虑那些在一百万年后会兑现的投资策略。是的。真的？是的。当然。你是什么意思？当然。当然。为什么不呢？如果你认为这将会发生，你应该尝试一下。所以，如果我们现在得到人工智能，经济会怎么样？我们谈论了世界币。我们谈论了免费劳动力。什么是钱？现在是比特币吗？你投资了吗？还有别的东西会成为我们无法伪造的唯一资源吗？所以这些都是非常重要的研究课题。所以你在投资比特币，对吗？是的，因为它是唯一稀缺的资源。其他任何东西都没有稀缺性。其他任何东西，如果价格上涨，就会生产更多。只要价格合适，我就可以生产任意多的黄金。你无法生产更多的比特币。有些人说比特币只是电脑上的一个东西，我们都同意它有价值。我们是电脑上的一个东西，还记得吗？好的。所以，我的意思是，不是投资建议，而是投资建议。这很有趣，因为这是他们告诉你不是，但你立刻就知道是的事情之一。有一个“您的呼叫对我们很重要”，这意味着您的呼叫毫无重要性。投资也是如此。是的。是的。当他们说“不是投资建议”时，这绝对是投资建议。嗯，但这不是投资建议。好的。所以你看好比特币，因为它无法被操纵。它是唯一我们知道宇宙中有多少的东西。所以黄金可能有一颗由纯金制成的、正朝着我们飞来的小行星，使其贬值。嗯，也会杀死我们所有人。但比特币我知道确切的数字，甚至 2100 万是一个上限。有多少丢失了？忘记了密码。我不知道中本聪在做什么，他有一百万。随着越来越多的人试图积累它，它每天都在变得更加稀缺。有些人担心它可能会被超级计算机黑客攻击。量子计算机可以破解该算法。有切换到抗量子密码学的策略。量子计算机仍然很弱。你认为我应该根据这次谈话做出任何生活上的改变吗？我离开这里后应该做些什么不同的事情吗？我猜你已经大量投资比特币了。是的，我是比特币的投资者。商业财务建议。嗯。没有。你似乎赢了。也许是你的模拟。你富有，英俊，有名人和你一起玩。这很棒。继续保持。罗宾·汉森有一篇关于如何在模拟中生活的论文，你在其中应该做什么。你的目标就是这样做。你想变得有趣。你想和名人一起玩，这样他们就不会关闭它。所以你是一个人的一部分，有人在付费观看，或者类似的东西。哦，我不知道你是否想被付费观看，因为那样的话就会一样了。然后他们会关闭你。如果没人看，为什么他们要播放呢？我的意思是，你不想低调吗？你不想成为那个过着普通生活的人，而那些主人。那些是 NPC。没有人想成为 NPC。你是信徒吗？不是以任何传统意义上的，但我相信模拟假设，它有一个超级智能的存在。所以，但你不相信宗教书籍，对吧？所以不同的宗教。这个宗教会告诉你周六不要工作。这个周日不要工作，不要吃猪肉，不要吃牛肉。它们只是在此理论之上添加了当地的传统。仅此而已。它们都是同一个宗教。它们都崇拜超级智能的存在。它们都认为这个世界不是主要的。它们争论不吃哪种动物。跳过当地的风味。专注于所有宗教的共同点。这才是有趣的部分。它们都认为有比人类更伟大的存在。非常有能力，全知，全能。然后我运行一个电脑游戏。游戏中有四个角色。我就是那个可以改变整个世界的人。我可以关闭它。我了解这个世界的一切。这很有趣，我早些时候在谈论模拟理论时就在想，我们身上可能有一些与生俱来的东西，是造物主留下的，就像一个线索，一种直觉，因为这就是我们历史上一直拥有的。人类有这种直觉。是的。你说的一切都是真的。有一个在上面的人，我们有几代人是宗教徒，他们相信上帝来找他们，并且在那里，给了他们书，这已经传承了很多代。这可能是最早一代没有普遍宗教信仰的。我想知道那些人是否说的是实话。我想知道那些说上帝来找他们并说了什么的人。想象一下。想象一下，如果那是其中的一部分。我今天在看新闻。一小时前发生了一些事情，我得到了不同的冲突结果。我甚至无法通过摄像机，通过无人机，通过推特上的家伙。我仍然不知道发生了什么。你认为 3000 年前我们有准确的翻译记录吗？当然没有。你知道这些关于人工智能安全的对话，你认为它们会让人感觉良好吗？我不知道它们感觉好还是坏，但人们觉得它很有趣。这是其中一个话题。我可以和普通人谈论不同的癌症治疗方法，但每个人都有关于人工智能的看法。每个人都有关于模拟的看法。有趣的是，你不必受过高等教育或成为天才就能理解这些概念。因为我倾向于认为这让我感觉不积极。我理解这一点，但我一直认为你不应该生活在一个充满错觉的世界里，你只是在寻求积极，听到一些积极的事情，并避免不舒服的对话。实际上，我生活中的进步往往来自于不舒服的对话，意识到某件事，然后至少了解如何做些什么。所以我认为这就是为什么我问这个问题，因为我猜大多数人都会，如果他们是正常人，听这些对话，天哪，这太可怕了，这太令人担忧了，然后我一直回到这一点，那就是我该如何处理这种能量？是的。但我试图指出，这与我们可以谈论的许多对话没有区别。哦，这个地区有饥饿，那个地区有种族灭绝，你们都快死了，癌症在蔓延，自闭症在上升。你总能找到一些让你非常沮丧的事情，而你却无能为力。我们非常擅长专注于我们可以改变的事情，我们擅长的事情，然后基本上不试图将整个世界视为一个局部环境。所以历史上，你是在一个部落里长大的，身边有十几个人。如果其中一个人发生了什么事，那是非常罕见的。那是一场意外。现在如果我在网上，有人随时随地被杀。每天都有成千上万的人被报告给我。我甚至没有时间注意到。太多了。所以我必须设置过滤器。我认为这个话题是人们非常擅长过滤的，就像这是一次有趣的谈话，我参加了，就像一场表演，一旦我离开，它就结束了。所以通常我会去一个会议上做主题演讲，然后告诉他们基本上你们都要死了，你们还有两年时间，有什么问题吗？人们会说，我会失业吗？我如何润滑我的性爱机器人？就像各种各样的废话，显然不理解我想说什么。那些是好问题，有趣的问题，但没有完全拥抱结果，他们仍然在他们的局部与全球的泡沫中。那些最不同意你关于人工智能安全的人，他们通常会说什么？他们有什么反驳？通常很多人根本不参与。他们没有背景知识。他们从未读过一本书，一篇论文，不仅仅是我的，而是任何人的。他们甚至可能在一个领域工作。所以他们正在为某个公司做一些机器学习工作，最大化广告点击，对他们来说，这些系统非常狭窄，然后他们听到有人说，哦，这个人要接管世界了，就像它没有手一样。它怎么做到的？这太荒谬了。这个人疯了。他有胡子。我为什么要听他的？对吧？然后他们开始读一点。他们说，“哦，好吧。所以也许人工智能可能很危险。是的，我看到了。但我们过去总是解决问题。我们会再次解决它们。我的意思是，我们曾经修复过电脑病毒之类的东西。所以这是一样的。”基本上，他们接触得越多，就越不可能坚持那个立场。我认识很多人从超级粗心的开发者变成了安全研究员。我认识的人从担心人工智能安全变成了“没什么可担心的”。你有什么闭幕陈述？嗯，让我们确保我们没有需要给人类的闭幕陈述。让我们确保我们保持掌权和控制。让我们确保我们只构建对我们有利的东西。让我们确保那些做这些决定的人有远程的资格。他们不仅在科学、工程和商业方面很出色，而且还具有道德和伦理标准。而且，如果你在做一些影响他人的事情，你应该在做之前征得他们的许可。如果你的面前有一个按钮，它会立即永久关闭世界上所有的人工智能公司，并且任何人都不可能再开一家新公司，你会按下按钮吗？我们是失去了狭义人工智能还是仅仅是超级智能 AGI 部分？失去了所有人工智能。这是一个艰难的问题，因为人工智能极其重要。它控制着股市，发电厂。它控制着医院。这将是一场毁灭性的事故。数百万人将丧生。好的，我们可以保留狭义人工智能。哦，是的，这就是我们想要的。我们希望狭义人工智能为我们做所有这些，但不是上帝，我们不控制它对我们做的事情。所以你会阻止它。你会阻止 AGI 和超级智能。我们有 AGI。我们今天拥有的对于几乎所有事情来说都很棒。我们可以把它变成秘书。当前技术 99% 的经济潜力尚未部署。我们制造人工智能的速度如此之快，以至于它没有时间在行业中传播。大约一半的工作被认为是“屁事工作”。它们不需要做。工作。所以这些甚至不需要自动化。它们可以消失。但我的意思是，我们今天可以用现有的模型取代 60% 的工作。我们还没有做到。所以如果目标是发展经济，我们可以这样做几十年，而无需尽快创造超级智能。你认为在全球范围内，尤其是在西方世界，失业率只会从这里开始上升吗？你认为相对而言，这是失业率的低谷吗？我的意思是，它与其他因素有很多波动。有战争，有经济周期，但总的来说，你自动化的工作越多，开始一份工作所需的智力要求就越高，合格的人就越少。所以如果我们将其绘制在未来 20 年的图表上，你假设失业率会在这段时间内逐渐上升。我认为是的。越来越少的人能够做出贡献。我们已经有点理解了，因为我们设定了最低工资。我们知道有些人贡献的经济价值不足以获得任何报酬。所以我们不得不强迫雇主支付他们比他们应得的更多的钱。嗯。而且我们还没有更新它。在美国联邦层面是 7.25 美元。如果你跟上经济，现在应该是每小时 25 美元，这意味着所有收入低于这个数的人都没有贡献足够的经济产出来证明他们获得的报酬是合理的。我们在这个播客上有一个闭幕传统，即最后一位嘉宾会给下一位嘉宾留下一个问题，而不知道他留给谁。留给你的问题是，朋友、同事或伴侣最重要的特质是什么？这些是非常不同的人。但对他们所有人来说，忠诚是第一位的。对你来说，忠诚意味着什么？不背叛你，不欺骗你，不欺骗你，尽管有诱惑，尽管世界如此，情况如此，环境如此。罗曼博士，非常感谢。非常感谢你做你所做的事情，因为你正在开启一场对话，并推动一场对话，并进行极其重要的研究，而且你是在面对许多怀疑者的同时进行的。我想说有很多人有动机去诋毁你所说和你所做的事情，因为他们有自己的动机，他们有数十亿美元的风险，他们可能也有自己的工作。所以，非常重要，有一些人愿意，我想，把头伸出掩体，来到像这样的节目，去大平台，谈论我们正在走向的无法解释的，不可预测的，不可控的未来。所以，感谢你这样做。这本书，我认为每个人都应该看看，如果他们想要这个对话的延续，我认为它出版于 2024 年，对我们今天谈论的许多事情进行了全面的看法。嗯，防止人工智能故障等等，我会把它链接在下面，供任何想阅读的人参考。如果人们想从你那里学到更多，如果他们想深入研究你的工作，他们该怎么做？他们去哪里？他们可以关注我。在 Facebook 上关注我。在 X 上关注我。只是不要跟着我回家。非常重要。跟着我回家。好的。好的，所以我会把你的推特，你的 X 账号也放在下面，这样人们就可以在那里关注你，是的，非常感谢你做你所做的事情。令人惊叹的启发，它给了我很多思考的素材，它实际上让我更加确信我们生活在一个模拟中，但它也让我对宗教有了完全不同的看法，我必须说，因为你说的对，当你不关注当地的传统时，所有的宗教都指向同一个东西，而且实际上，如果它们都指向同一个东西，那么也许存在于它们之间的基本真理应该是我更加关注的事情，比如爱你的邻居，我们都是一体的，有一个神圣的创造者，也许它们都似乎有今生之外的后果。所以也许我应该更多地考虑我今生的行为，以及我之后可能会去哪里。罗曼，谢谢。阿门。 [音乐] [音乐]