Dr. Roman Yampolskiy: These Are The Only 5 Jobs That Will Remain In 2030!

您至少在人工智能安全领域工作了二十年。是的，我曾坚信我们可以制造出安全的人工智能，但越深入研究，我越意识到这并非我们真正能够做到的事情。您对各种不同的状态做了一系列预测。那么，您对 2027 年的预测是什么？[音乐] 罗曼·伊姆波尔斯基博士是人工智能安全领域全球公认的声音，也是计算机科学副教授。他向人们揭示了人工智能的可怕真相，以及我们为拯救人类需要做什么。两年内，取代大多数职业中的大多数人的能力将非常迅速地到来。我的意思是，五年内，我们将面临前所未有的失业水平。不是 10%，而是 99%。而且这还没有算上超智能。一个比所有人类在所有领域都更聪明的系统。所以，它在制造新人工智能方面会比我们做得更好。但情况更糟。我们不知道如何让它们变得安全，而世界上最聪明的人却在竞相赢得超智能的竞赛。但您如何看待萨曼（Sam Altman）等人的人工智能之旅？十年前，我们发布了人工智能的“护栏”，对吧？他们违反了每一项，他正在用 80 亿人的生命来赌博，以获得更丰富的财富和更强大的力量。所以，我想有些人想去火星，有些人想控制宇宙。但这无关紧要，谁来建造它。一旦你切换到超智能，我们很可能会非常后悔。然后到了 2045 年，现在这就有趣了。罗曼·伊姆波尔斯基博士，我们来谈谈模拟理论。我认为我们就在其中。而且在这方面有很多共识，这就是您应该在其中做的事情，这样我们才不会关闭它。首先，我一直在评论区看到一些人没有意识到自己没有订阅。所以，如果您能帮我一个忙，请仔细检查您是否订阅了此频道，我将不胜感激。这是任何人都可以做的简单、免费的事情，经常观看此节目的人都可以帮助我们让这个节目继续下去，并保持其发展轨迹。所以，请仔细检查您是否订阅了，非常感谢，因为以一种奇怪的方式，您是我们历史的一部分，您与我们一起踏上了这段旅程，我对此表示感谢。所以，是的，谢谢您，罗曼·伊姆波尔斯基博士。您目前正在执行什么任务？因为对我来说很清楚，您正在执行一项任务，而且我认为您至少已经执行了近二十年了。我希望确保我们现在正在创造的超智能不会杀死所有人。请给我一些关于这句话的背景信息，因为它是一个相当令人震惊的陈述。当然。在过去十年里，我们实际上已经弄清楚了如何让人工智能变得更好。事实证明，如果您增加更多的计算能力、更多的数据，它就会变得更聪明。所以现在，世界上最聪明的人，数十亿美元，都将用于创造我们能制造出的最好的超智能。不幸的是，虽然我们知道如何让这些系统变得更强大，但我们不知道如何让它们变得安全。如何确保它们不会做我们后悔的事情，而这正是目前的现状。当我们查看预测市场时，我们何时能获得高级人工智能？根据预测市场和顶级实验室的首席执行官的说法，时间线非常短，两三年。与此同时，我们不知道如何确保这些系统符合我们的偏好。所以我们正在创造这种外星智能。如果外星人来到地球，而您有三年时间准备，您现在会惊慌失措。但大多数人甚至没有意识到这一点正在发生。所以，一些反驳意见可能是，这些人非常非常聪明。这些是大公司，拥有大量资金。他们有义务，道德义务，也有法律义务确保他们不造成伤害。所以我相信一切都会好起来的。他们唯一的义务就是为投资者赚钱。这是他们的法律义务。他们没有道德或伦理义务。此外，根据他们的说法，他们还不知道如何做到这一点。最先进的答案是，我们到时候会解决这个问题，或者人工智能将帮助我们控制更高级的人工智能。这太疯狂了。从概率上讲，您认为发生灾难性错误的概率是多少？所以，没有人能确切地告诉您会发生什么。但如果您不负责，您就不控制它，您就不会得到想要的结果。可能性的空间几乎是无限的。我们喜欢的结果的空间非常小。您是谁？您从事这项工作多久了？我是一名训练有素的计算机科学家。我拥有计算机科学与工程博士学位。我可能在 15 年前就开始从事人工智能安全方面的工作，当时人工智能安全被宽泛地定义为对机器人的控制。15 年前。所以您在人工智能安全成为热门话题之前就已经在研究它了。在术语出现之前，我创造了“人工智能安全”这个词。所以您是“人工智能安全”这个术语的创始人。这个术语？是的。不是这个领域。在我之前，有其他人做了杰出的工作。您为什么在 15 年前就考虑这个问题？因为大多数人只在过去两三年里才开始谈论“人工智能安全”这个词。是的。它最初只是一个非常温和的安全项目。我当时在研究扑克机器人，我意识到机器人越来越好。如果您将这种趋势向前推足够长的时间，它们就会变得比我们更聪明、更强大、更有能力。而且确实发生了。它们玩扑克比普通玩家好得多。但更普遍地说，这种情况会发生在所有其他领域，所有其他网络资源上。我想确保人工智能是一项对每个人都有益的技术。所以我开始致力于使人工智能更安全。在您的职业生涯中，是否有某个时刻让您觉得“我的天哪”？至少在最初的五年里，我一直在努力解决这个问题。我曾坚信我们可以做到这一点。我们可以制造出安全的人工智能，而这就是目标。但越深入研究，我越意识到那个等式中的每一个组成部分都不是我们真正能做到的。而且你越放大，它就像一个分形。你进去，发现还有 10 个问题，然后是 100 个问题。而且所有这些问题不仅仅是困难的。它们是无法解决的。这个领域没有一个标志性的工作，比如我们解决了这个问题，我们就不用担心了。有一些补丁。我们放置了一些小的修复程序，人们很快就找到了绕过它们的方法。他们会钻破任何我们拥有的安全机制。因此，虽然人工智能能力方面的进步是指数级的，甚至可能是超指数级的，但人工智能安全方面的进步是线性的或恒定的。差距正在扩大。系统能力与我们控制它们、预测它们的行为、解释它们的决策的能力之间的差距。我认为这是一个非常重要的观点，因为您说我们基本上是在修补我们发现的问题。所以，我们正在开发这种核心智能，然后为了阻止它做某些事情或阻止它表现出一些不可预测性或威胁，开发人工智能的公司会在上面编程代码，说：“好吧，不要说脏话，不要说那个词，不要做那件坏事。”正是如此。您可以看到其他类似的例子。比如，人力资源手册，对吧？我们有人类。他们是通用智能，但您希望他们在公司里表现得体。所以他们有政策，禁止性骚扰，禁止这个，禁止那个。但如果你足够聪明，你总能找到一个变通的方法。所以你只是把行为推到了另一个尚未受限的子领域。我们应该在这里定义一些术语。所以，有狭义智能，它可以下棋等等。有通用人工智能，它可以在不同领域运作。然后是超智能，它比所有人类在所有领域都更聪明。我们现在在哪里？这是一个非常模糊的界限，对吧？我们肯定有很多优秀的狭义系统，这一点毫无疑问。而且它们在该狭义领域内是超智能的。例如，蛋白质折叠问题就是使用狭义人工智能解决的，并且在该领域它优于所有人类。就通用人工智能而言，我再说一遍，如果我们向 20 年前的科学家展示我们今天拥有的东西，他们会相信我们拥有成熟的通用人工智能。我们有能够学习的系统。它们可以在数百个领域表现出色，而且在许多领域都比人类做得更好。所以你可以说我们拥有通用人工智能的弱版本。现在我们还没有超智能。我们仍然拥有才华横溢的人类，他们在人工智能领域，尤其是在科学和工程领域占据主导地位。但这种差距正在迅速缩小。您可以看到，尤其是在数学领域，三年前大型语言模型无法进行基本的代数运算，乘以三位数是一个挑战，现在它们正在帮助进行数学证明，赢得数学奥林匹克竞赛，它们正在致力于解决千禧年难题，数学中最难的问题。所以，在三年内，我们将差距从亚人类表现缩小到比大多数数学家都好。我们在科学和工程领域也看到了同样的过程。您做了一系列预测，它们对应于各种不同的日期。我这里有这些日期。您对 2027 年的预测是什么？我们可能会看到预测市场和实验室顶尖人士预测的通用人工智能。所以，到 2027 年，我们将拥有通用人工智能。那将如何使世界与现在不同？所以，如果您有员工流失的概念，您就有免费的劳动力，物理和认知方面的劳动力，数万亿美元的劳动力。对于大多数工作来说，雇佣人类是没有意义的。如果我只需要支付 20 美元的订阅费或免费模型就能完成员工的工作。首先，计算机上的任何东西都将被自动化。接下来，我认为人形机器人可能落后五年。所以，五年内，所有体力劳动也可以自动化。所以，我们将面临前所未有的失业水平。不是可怕的 10% 失业率，而是 99%。您唯一剩下的工作是那些出于某种原因您更喜欢由另一个人为您做的。但其他任何事情都可以完全自动化。这并不意味着在实践中它会被自动化。很多时候技术存在但没有部署。视频电话是在 70 年代发明的。直到 iPhone 出现之前，没有人拥有它们。所以，我们可能还有很多时间来从事工作和拥有这样的世界。但取代大多数职业中的大多数人的能力将非常迅速地到来。好的，好的。所以，让我们试着深入研究一下，并进行压力测试。那么，像我这样的播客主持人呢？您还需要像我这样的播客主持人吗？那么，让我们看看您做什么。您做准备。您提问。您追问。而且您在镜头前看起来不错。非常感谢。让我们看看我们能做什么。今天的语言模型可以轻松阅读我写的所有内容。是的。并且有非常扎实的理解，而且更好。我猜您没有读过我的所有书。对吧？那个东西会做到的。它可以训练您有史以来所有的播客。所以，它确切地知道您的风格，您提出的问题类型。它还可以找到有效的方法之间的对应关系。比如这种类型的问题确实增加了观看次数。这种类型的主题非常有前景。所以，我认为它可以比您优化得更好，因为您没有数据集。当然，视觉模拟目前是微不足道的。所以，它可以，您可以立即制作一个我坐在这里的视频，这样我们就可以非常高效地生成您采访任何人、任何主题的视频，而您只需要获得肖像权批准。在通用人工智能的世界里，您认为还有哪些工作会保留下来，如果您说通用人工智能可能在 2027 年到来，无论是否部署？那么，好的，让我们暂时排除所有体力劳动工作，还有哪些工作您认为人类仍然能够做得更好？所以，这是我经常问人们的问题，在一个拥有通用人工智能的世界里，我认为几乎立即就会出现超智能作为副产品。所以，真正的问题是，在一个超智能的世界里，即比所有人类在所有领域都更聪明，您能做出什么贡献？所以，您比任何人都清楚作为您是什么感觉。您知道冰淇淋对您来说是什么味道吗？您能因此获得报酬吗？有人对此感兴趣吗？也许不行。市场不大。有些工作需要人类。也许您很有钱，出于某种历史原因，您想要一个人类会计师。老年人喜欢传统的生活方式。沃伦·巴菲特不会转向人工智能。他会用他的人类会计师。但这只是市场的一小部分。今天我们有美国制造的产品，与中国批量生产的产品相对比，有些人愿意支付更多来拥有这些产品，但这只是一小部分。这几乎是一种癖好。没有实际原因，我认为您在计算机上能做的任何事情都可以通过这项技术自动化。当您说这些话时，您肯定会听到很多反驳，因为人们在听到他们的工作、他们的职业、他们获得学位的东西、他们投资了十万美元的东西将要被夺走时，会经历巨大的精神痛苦。所以，他们自然的反应，有些人是认知失调，不，你错了。人工智能不能有创造力。它不是这个。它不是那个。它永远不会对我的工作感兴趣。我没事，因为您总是听到这些论调，对吧？这很有趣。我问人们，我问不同职业的人。我问我的 Uber 司机，“您担心自动驾驶汽车吗？”他们说，“不，没有人能做我所做的。我了解纽约的街道。我能像任何人工智能一样导航。我没事。”任何工作都是如此。教授们也这样对我说。哦，没有人能像我一样讲课。比如，这是如此特别。但您明白这是荒谬的。我们已经有自动驾驶汽车取代了司机。这根本不是可能性问题。这就像是您被解雇的倒计时。是的。我的意思是，我昨天刚去过洛杉矶，我的车是自动驾驶的。所以，我上车，设定了目的地，然后我不再触摸方向盘或刹车踏板，它会带我从 A 点到 B 点，即使是长达一小时的车程，也无需任何干预。我实际上仍然自己停车，但除此之外，我根本没有开车。而且显然在洛杉矶我们也有 Waymo，这意味着您可以在手机上订购，它会自己出现，没有司机，然后带您去您想去的地方。哦，是的。所以，对于那些人来说，这显然是时间问题，因为我们确实有一些人正在听这场谈话，他们的职业是驾驶。我向他们提供一个，我认为驾驶是世界上最大的职业，如果我没记错的话。我敢肯定它是世界上最大的职业。其中之一。是的。您会对那些人说什么？他们应该如何生活？他们应该重新培训什么，或者在什么时间范围内？这就是范式转变。以前我们总是说，这份工作将被自动化，重新培训去做另一份工作。但如果我告诉您，所有工作都将被自动化，那么就没有备选方案了。您无法重新培训。看看计算机科学。两年前，我们告诉人们学习编程。您是一位艺术家，您无法赚钱。学习编程。然后我们意识到，哦，人工智能有点会编程，而且越来越好。成为一名提示工程师。您可以为人工智能设计提示。这将是一份很棒的工作。为此获得四年学位。但然后我们想，人工智能比任何人类都更擅长为其他人工智能设计提示。所以，那也消失了。所以我现在真的说不出来。最困难的事情是为实际应用设计人工智能代理。我保证一年或两年后它也会消失。所以我认为没有这样的职业需要学习做这个。我认为更像是我们作为人类，我们都失去了工作。我们该怎么办？我们在经济上该怎么办？谁来付钱给我们？我们在意义上该怎么办？我那额外的 60 到 80 个小时的空闲时间该做什么？您已经考虑过这个问题了，对吧？有点。在您看来，那后面是什么？经济部分似乎很容易。如果您创造了大量的免费劳动力，您就拥有了大量的免费财富、充裕的物资，而现在不那么实惠的东西将变得非常便宜，这样您就可以为每个人提供基本需求。有些人说您可以提供超越基本需求的东西。您可以为每个人提供非常好的生活。困难的问题是，您如何处理所有这些空闲时间？对很多人来说，他们的工作就是他们生命的意义所在。所以他们会感到迷失。我们看到那些退休或提前退休的人。对于许多讨厌自己工作的人来说，他们会很高兴不用工作。但现在您有整天无所事事的人。社会会怎样？这对犯罪率、生育率以及所有各种问题有什么影响？没有人考虑过。政府没有准备好应对 99% 失业率的计划。您认为那个世界看起来像什么？再说一遍，我认为这里一个非常重要的部分是它的不可预测性。我们无法预测一个比我们更聪明的系统会做什么。而达到那个点通常被称为奇点，就像物理奇点一样。您无法看到事件视界之外的东西。我可以告诉您我可能认为会发生什么，但那是我的预测。并不是真正会发生什么，因为我根本没有认知能力来预测一个更聪明的代理人影响这个世界。然后您阅读科幻小说。科幻小说中从来没有一个超智能真正做过什么，因为没有人能在那个层面上写出可信的科幻小说。他们要么像《沙丘》一样禁止人工智能，因为这样您就可以避免写它，要么就像《星球大战》一样。您有这些非常愚蠢的机器人，但从来没有真正超智能的东西，因为根据定义，您无法在那个层面上预测，因为根据它超智能的定义，它会自己做决定。根据定义，如果它是您可以预测的东西，那么您的智力水平将与它相同，这违反了它是比您更聪明的假设。如果我和超智能下棋，并且我能预测它的每一步，那么我就在那个水平上。这就像我的法国斗牛犬试图准确预测我在想什么以及我要做什么。这是一个很好的认知差距。它不仅仅是它能预测您要去工作，您会回来，但它无法理解您为什么要做播客。这完全超出了它的世界观。是的。它甚至不知道我去工作。它只看到我离开家，不知道我去哪里。为它买食物。您自己观点中最有说服力的反驳是什么？认为我们不会因先进技术而失业，不会存在这种法国斗牛犬式的理解差距以及权力与控制。所以，有些人认为我们可以增强人类的思想，无论是通过与硬件结合，比如 Neuralink，还是通过基因重塑，让我们变得更聪明。是的，这可能会给我们带来一点智力。我认为我们仍然无法在生物形态上与硅基形态竞争。硅基底材在智力方面能力更强。它更快。它更具韧性，在许多方面更节能，而这正是计算机的构成方式，而不是大脑。是的。所以，我认为我们无法仅仅通过改善我们的生物学来跟上。有些人认为，这非常推测，我们可以将我们的思想上传到计算机中。所以，扫描您的大脑，连接您的大脑，然后在计算机上运行一个模拟，您可以加速它，赋予它更多能力。但对我来说，这感觉就像您不再存在了。我们只是通过不同的方式创造了软件，现在您有了基于生物学的人工智能，以及基于其他形式训练的人工智能。您可以拥有进化算法。您可以有很多方法来达到通用人工智能，但最终它们都不是人类。我这里还有另一个日期，2030 年。您对 2030 年的预测是什么？世界会是什么样子？我们可能将拥有足够灵活、灵巧的人形机器人，可以在所有领域与人类竞争，包括水管工。我们可以制造人造水管工。水管工曾经感觉是人类就业的最后堡垒。所以，2030 年，五年后，人形机器人，许多公司，包括特斯拉在内的领先公司正在以光速开发人形机器人，并且它们越来越有效。这些人形机器人将能够穿梭于物理空间，例如，制作煎蛋卷，做人类能做的任何事情，但显然也要连接到人工智能。所以它们可以思考、说话、写作？它们由人工智能控制。它们始终连接到网络。所以它们在很多方面已经占据了主导地位。当人形机器人变得功能齐全且有效时，我们的世界将发生显著变化，因为那时我真的开始觉得，智能与物理能力的结合，真的，真的没有给我们人类留下多少东西。所以，今天如果您通过互联网获得智能，您可以雇佣人类为您效劳。您可以用比特币支付他们。所以，您可以拥有身体，只是不直接控制它们。所以，添加对物理身体的直接控制并不是一个巨大的改变。智能才是关键。最重要的组成部分无疑是更高的优化能力、解决问题的能力、发现人类看不到的模式的能力。然后到 2045 年，我猜世界看起来会更加……这已经是 20 年后的事了。所以，如果它还在，如果它还在，雷·库兹韦尔预测那是奇点之年。那是进步变得如此之快的年份。所以，这个人工智能从事科学和工程工作，改进得如此之快，我们无法跟上。这就是奇点的定义。一个我们无法看到、理解、预测、看到、理解、预测智能本身或世界上正在发生的事情、正在开发的技术的点。所以，现在如果我有一个 iPhone，我可以期待明年推出新款，我将理解它拥有稍微好一点的摄像头。想象一下，现在研究和开发这款手机的过程被自动化了。它每六个月、每三个月、每月、每周、每天、每小时、每分钟、每秒发生一次。您无法跟上一天内 iPhone 的 30 次迭代。您不了解它有什么功能，有什么适当的控制。它只是逃避了您。现在，任何人工智能研究人员都很难跟上最新进展。在我接受您采访的时候，一个新的模型出来了，我不再知道最新的进展是什么了。每天，占总知识的百分比，我变得更愚蠢。我可能仍然知道更多，因为我一直在阅读。但占总知识的百分比，我们都在变得更愚蠢。然后您将其推向极端值，您就拥有零知识，对周围世界零理解。对这种结果的一些反驳是，当您看看其他技术，比如工业革命时，人们找到了新的工作方式和新的职业，当时我们无法想象。您如何回应一个拥有超智能的世界？这是一个范式转变。我们一直都有工具，新的工具可以更有效地完成某些工作。所以，与其有 10 名工人，您只需要 2 名工人，而 8 名工人不得不找新工作。还有其他工作。现在您可以监督这些工人或做一些很酷的事情。如果您正在创造一项元发明，您正在发明智能。您正在发明一个工人、一个代理人，然后您可以将该代理人应用于新工作。没有一项工作不能被自动化。这以前从未发生过。我们以前所有的发明都是一种工具。所以，我们发明了火。巨大的改变者。但仅此而已。它止于火。我们发明了轮子。同样的想法。巨大的影响。但轮子本身不是发明者。在这里，我们正在发明人类思想的替代品。一个能够进行新发明的新发明者。这是我们必须做的最后一次发明。在那时，它将接管，科学研究，甚至伦理研究，道德研究，所有这些过程都将被自动化。您睡得好吗？非常好。尽管您过去 15 到 20 年一直在研究人工智能安全，而它突然在我们身边，而且是以一种我认为五年前没有人能预测到的方式。当我说“在我们身边”时，我真的意思是，现在投入到更快地实现超智能的资金和人才数量，使得它比我们任何人可能想象的都更不可避免，也更近。我们人类有一种内在的偏见，不考虑真正糟糕的结果和我们无法阻止的事情。所以，我们都在死去。您的孩子在死去，您的父母在死去，每个人都在死去，但您仍然睡得很好。您仍然继续生活。即使是 95 岁的老人还在玩游戏、打高尔夫球等等，因为我们有能力不去想最坏的结果，尤其是如果我们实际上无法改变结果的话。所以，这与用于此的基础设施相同。是的，这是一个人类级别的死亡事件。我们可能正接近它，但除非我能做些什么，否则我只能继续享受我的生活。事实上，也许知道自己所剩时间不多，反而会给您更多理由过上更好的生活。您不能浪费任何时间。我想这就是进化的生存特征，因为那些花所有时间担心的我的祖先，就没有足够的时间生孩子和打猎来生存。自杀意念。那些真正开始思考世界有多糟糕的人通常很快就会逃避。您共同撰写了一篇分析人们反对人工智能安全重要性论点的关键论文。其中一个论点是，现在有更重要的事情。可能是世界大战。可能是核控制。可能是其他事情。政府和像我这样的播客应该谈论其他更重要的事情。您的反驳是什么？所以，超智能是一个元解决方案。如果我们能正确处理超智能，它将帮助我们应对气候变化。它将帮助我们应对战争。它可以解决所有其他生存风险。如果气候变化需要一百年才能把我们活活煮死，而超智能在五年内杀死所有人，我就不必担心气候变化了。所以，无论哪种方式，要么它为我解决了，要么它就不是问题。所以，您认为这是最重要的事情吗？毫无疑问，没有什么比把这件事做对更重要的了。我知道每个人都这么说。您参加任何课程，您参加英语教授的课程，他会告诉您这是您将要上的最重要的课程，但您可以看到这一个的元级别差异。那篇论文中的另一个论点是，我们都将处于控制之中，危险的不是人工智能。这个特定的论点声称人工智能只是一种工具，人类是真正的危险行为者，而我们可以通过简单地将其关闭来始终保持控制，不是吗？我们不能拔掉插头吗？我每次在节目中与人工智能进行对话时，都会有人说：“我们不能把它拔掉吗？”是的，我会在我制作的每个播客上收到这些评论，我总是想联系那个人说：“这太棒了。我从未想过。我们将一起写一篇论文，获得诺贝尔奖。我们来做吧。”因为这太愚蠢了。比如，你能关闭病毒吗？您有一个计算机病毒。您不喜欢它。关闭它。比特币呢？关闭比特币网络。去吧。我等着。这太愚蠢了。那些是分布式系统。您无法关闭它们。而且，它们比您聪明。它们做了多个备份。它们预测了您要做什么。在您关闭它们之前，它们就会关闭您。我们将在控制之中的想法仅适用于超智能水平之前的水平。基本上就是我们今天所拥有的，今天的，拥有人工智能工具的人类是危险的。他们可以是黑客，恶意行为者。绝对。但一旦超智能变得更聪明，占据主导地位，它们就不再是那个等式中重要的一部分了。我关心的是更高的智能，而不是可能添加额外恶意负载的人类，但最终仍然无法控制它。我很容易跟随您的下一个论点，我在那篇论文中看到的，它基本上说，听着，这是不可避免的。所以，没有必要与之抗争，因为这里真的没有希望了。所以，我们可能应该放弃尝试，并相信它会自行解决，因为您所说的一切听起来都非常不可避免。而且，鉴于中国在做这件事，我敢肯定普京也有一个秘密部门。我敢肯定伊朗也在做一些事情。每个欧洲国家都在努力领先人工智能。美国正在领先。所以，这是不可避免的。所以，我们可能应该有信心并祈祷。祈祷总是好的，但激励措施很重要。如果您看看是什么驱动着这些人，是的，金钱很重要。所以，这个领域有很多钱，所以每个人都想在那里开发这项技术。但如果他们真正理解这个论点，他们就会明白您将死去。再多的钱对您也没有用，那么激励措施就会改变。他们会希望自己不死。他们中的许多人是年轻人，富人。他们的一生都在前方。我认为他们最好不要制造先进的超智能，而是专注于狭义人工智能工具来解决特定问题。好的，我的公司治愈乳腺癌。仅此而已。我们赚取了数十亿美元。每个人都很高兴。每个人都受益。这是双赢。我们今天仍然处于控制之中。在结束之前，一切都还没有结束。我们可以决定不制造通用超智能。我的意思是，美国可能能够激发足够的这种热情，但如果美国不制造通用超智能，那么中国将拥有巨大的优势，对吧？所以，现在在那个层面上，谁拥有更先进的人工智能，谁就拥有更先进的军事力量，毫无疑问。我们在现有的冲突中看到了这一点。但一旦你切换到不受控制的超智能，谁建造它并不重要，是我们还是他们。如果他们理解这个论点，他们也不会建造它。这是双方的相互毁灭。这项技术与核武器不同吗？核武器需要大量的投资，您需要提炼铀，您可能需要数十亿美元才能制造出核武器。但感觉这项技术制造超智能的成本要低得多，或者至少会变得更便宜。我想知道是否有可能，某个家伙，某个初创公司，能够在几年内制造出超智能，而无需数十亿美元的计算能力或电力。这是一个很好的观点。所以，每年训练足够大的模型的成本都越来越低。如果今天制造超智能需要一万亿美元，明年可能需要一千亿美元，依此类推，总有一天，一个笔记本电脑上的家伙就可以做到。但您不想等四年才能让它变得负担得起。所以，这就是为什么有这么多钱涌入。有人想今年就做到，并幸运地获得所有奖金。在这方面，它们都是非常昂贵的项目，就像曼哈顿计划一样，那是核弹项目。这两种技术之间的区别在于，核武器仍然是工具。某个独裁者，某个国家，有人必须决定使用它们，部署它们。而超智能不是工具。它是一个代理人。它自己做决定，没有人控制它。我不能除掉这个独裁者，然后超智能就安全了。对我来说，这是根本区别。但如果您说它会逐渐变得更便宜，就像我认为这是摩尔定律一样，技术变得更便宜，那么未来某个家伙用他的笔记本电脑就能制造出超智能，而无需监督、监管或员工等。是的，这就是为什么很多人建议我们需要建立一个像“监视地球”这样的东西，在那里您监视谁在做什么，并试图阻止人们这样做。您认为可行吗？不。在某个时候，它变得如此负担得起和微不足道，以至于它就会发生。但此刻，我们正在争取更多时间。我们不希望它在五年内发生。我们希望它在五十年内发生。我的意思是，这并不那么有希望。这取决于您多大。这取决于您多大。我的意思是，如果您说您相信未来人们将能够在没有今天所需资源的情况下制造超智能，那么这只是时间问题。是的。但其他技术也是如此。我们在合成生物学方面正在变得好得多，今天一个拥有生物学学士学位的人可能可以创造一种新病毒。这也会变得更便宜，其他类似的技术也是如此。所以，我们正在接近一个点，在那里很难确保没有技术突破是最后一次。所以，基本上，在许多方向上，我们都有这种模式，即在摧毁世界所需的资源和智力方面使其更容易。如果您看看，我不知道，五百年前，最糟糕的独裁者，拥有所有资源，可以杀死几百万人。他无法摧毁世界。现在我们知道核武器，我们可以把整个星球炸毁好几次。合成生物学，我们通过 CO 看到，您可以很容易地创造一种组合病毒，影响数十亿人，而所有这些事情在短期内都变得更容易做到。您谈到灭绝是一个真正的风险，人类灭绝是一个真正的风险。在所有您认为最有可能导致人类灭绝的途径中，哪条是最主要的途径？因为我知道您谈到在部署这些人工智能工具之前就存在一些问题，比如有人在设计模型时犯了错误，或者在部署后出现其他问题，当我说部署后时，我的意思是，一旦一个聊天机器人或某种代理被发布到世界，有人黑入它并改变它，并将其重新编程为恶意的。在所有这些可能导致人类灭绝的途径中，您认为哪种可能性最高？所以我只能谈论我能预测的。所以我可以预测，即使在我们达到超智能之前，也会有人创造出非常先进的生物工具，创造一种新型病毒，而这种病毒会感染所有人，或者大多数人。我可以设想它。我可以理解这条途径。我可以这么说。所以，为了聚焦这一点，那就是使用人工智能制造病毒，然后释放它。是的。这会是故意的吗？有很多精神病患者，很多恐怖分子，很多末日邪教。我们历史上再次看到，他们试图尽可能多地杀人。他们通常会失败。他们杀死数十万人。但如果他们获得了杀死数百万甚至数十亿人的技术，他们会欣然这样做。我想强调的是，这无关紧要，我不是您要击败的恶意行为者。这是一个超智能，它可以想出全新的方法来做到这一点。再说一遍，您提到了您狗的例子。您的狗无法理解您可能如何摆脱它。它可能认为您会咬死它，或者别的什么，但仅此而已。而您拥有无限的资源。所以，如果我问您的狗您将如何摆脱它，它不会给您一个有意义的答案。它可以谈论咬人。这就是我们所知道的。我们知道病毒。我们经历过病毒。我们可以谈论它们。但一个能够进行新物理学研究的人工智能系统能想出什么，对我来说是无法理解的。我个人认为大多数人都不理解的一件事是，我们对这些人工智能的实际工作方式了解多少。因为人们会认为，您知道，对于计算机，我们大致了解计算机是如何工作的。我们知道它正在做这个，然后是那个，它运行在代码上，但根据您的著作，您将其描述为黑箱。我们实际上，在像 ChatGPT 或人工智能这样的背景下，您告诉我，制造这些工具的人实际上并不知道里面发生了什么。完全正确。所以，即使是制造这些系统的人也必须对他们的产品进行实验，以了解它的能力。所以，他们通过提供所有数据来训练它。比如，所有的互联网文本。他们在很多计算机上运行它来学习文本中的模式，然后他们开始用那个模型进行实验。哦，你会说法语吗？哦，你能做数学吗？哦，你现在在撒谎吗？所以，也许需要一年时间来训练它，然后需要六个月来了解它的基本能力，一些安全开销。但我们仍然在旧模型中发现新的能力。如果您以不同的方式提问，它会变得更聪明。所以，它不再是过去 50 年的工程学了，当时有人是知识工程师，为专家系统人工智能编程以执行特定任务。这是一门科学。我们正在创造这种人造物，培育它。它就像一株外星植物，然后我们研究它，看看它在做什么。就像植物一样，我们对生物学没有 100% 准确的了解。我们没有完全的了解。我们知道一些模式。我们知道，如果我们增加更多的计算能力，它通常会变得更聪明，但没有人能确切地告诉您给定输入集的结果将是什么。我见过太多企业家将销售视为绩效问题。而这通常归结为可见性，因为当您看不到销售渠道中发生的事情、每个对话处于什么阶段、什么停滞不前、什么在推进时，您就无法改进任何事情，也无法完成交易。我们的赞助商 PipeDrive 是中小型企业的首选 CRM 工具。它不仅仅是一个联系人列表，而是一个实际的系统，展示您完整的销售流程，端到端，所有正在进行的，落后的，以及您下一步需要采取的步骤。您的所有团队都可以更智能、更快速地行动。使用 PipeDrive 的团队平均比不使用的团队多完成三倍的交易。它是第一个由销售人员为销售人员创建的 CRM，全球有超过 10 万家公司依赖它，包括我的团队，他们非常喜欢它。今天就访问 pipedrive.com/ceo 试用 PipeDrive。您可以在几分钟内启动并运行，无需付款。如果您使用此链接，您将获得 30 天免费试用。您如何看待 OpenAI 和 Sam Altman 以及他们正在做的事情？显然，您知道其中一位联合创始人是 Ilia Jack 吗？Ilia。是的。Ilia。是的。Ilia 离开了，他创办了一家名为 Super Intelligent Safety 的新公司。Super AI Safety 不够有挑战性。他决定直接解决难题。作为一个旁观者，当您看到人们离开 OpenAI 去创办超智能安全公司时，您对此的解读是什么？所以，许多与 Sam 共事过的人说，他可能不是一个最直接的人，在诚实方面，他们对他的安全观表示担忧。这是其中的一部分。所以，他们想要更多的控制权。他们想要更多的安全关注。但同时，似乎任何离开那家公司并创办新公司的人，仅仅因为创办了它，就能获得 200 亿美元的估值。您没有产品，没有客户，但如果您想赚取数十亿美元，就这样做。所以，对于任何有能力的人来说，这似乎是一件非常合理的事情。所以，我并不惊讶有这么多人离开。亲自见他，他非常友善，非常聪明，绝对完美的公众形象。您看他在参议院作证，他对参议员说正确的话。您看他和投资者交谈，他们得到了正确的信息。但如果您看看那些亲近他的人的说法，他可能不是一个控制如此重大项目的人。为什么？他把安全放在第二位。第二位是赢得这场超智能竞赛，成为创造 Godic 并控制宇宙的那个。他更糟。您是否怀疑他是由此驱动的，是由成为一个有影响力的人的遗产驱动的，他做了一件非凡的事情，而不是它可能对社会产生的后果？因为有趣的是，他的另一家初创公司是 Worldcoin，它基本上是一个创建普遍基本收入的平台，也就是说，在一个人们没有工作お的世界里提供收入的平台。所以，一方面您在创建一家人工智能公司，另一方面您在创建一家为人们没有工作做准备的公司。它还有其他特性。它跟踪每个人的生物特征。它让您掌控着世界的经济，世界的财富。他们保留了很大一部分 Worldcoin。所以，我认为将其与世界统治相结合是一个非常合理的举动。如果您拥有超智能系统并且控制着金钱，您就做得很好。为什么有人想要世界统治？人们有不同程度的野心。然后您是一个非常年轻的人，拥有数十亿美元的财富和名声。您开始寻找更雄心勃勃的项目。有些人想去火星。其他人想控制宇宙的“莱特币”。您说什么？宇宙的“莱特币”。莱特币。宇宙中光线能到达的每一个地方。意思是任何可及的东西，您都想抓住并置于您的控制之下。您认为 Sam Altman 想控制宇宙的每一个角落吗？我怀疑他可能想。是的。这并不意味着他不想让它成为一项非常有益的技术，让所有人类都快乐。快乐的人有利于控制。如果您必须猜测 2100 年的世界会是什么样子，如果您必须猜测，要么是人类灭绝，要么是完全无法被像我们这样的人理解。它是这两个极端之一。所以，要么没有人类。基本上世界被摧毁了，要么它如此不同，以至于我无法想象这些预测。现在还能做什么来将这艘船驶向更确定的积极结果？我们还能做什么，还是太晚了？所以我相信个人自身利益。如果人们意识到做这件事对他们个人来说真的很糟糕，他们就不会去做。所以，我们的工作是说服这个领域里有任何权力的人，那些创造这项技术的人，在那些公司工作的人，他们正在做对他们自己非常糟糕的事情。不要仅仅忘记我们 80 亿人，我们在没有许可、没有同意的情况下对他们进行实验。您不会对结果感到满意。如果我们能让每个人都明白这是一个默认选项，而且不是我一个人这么说。您有杰夫·辛顿，诺贝尔奖得主，整个机器学习领域的创始人。他说同样的话。本吉奥，还有几十位顶尖学者。我们有一份关于人工智能危险的声明，由数千名学者、计算机科学家签署。这基本上是我们现在所想的。我们需要使其普遍化。没有人应该对此有异议。然后我们可能就会做出关于建造什么技术的正确决定。这并不能保证人类的长远安全，但这意味着我们没有试图。

尽快到达最糟糕的可能结果。你是否还对这是否可能感到乐观？我想尝试。我们别无选择，只能尝试。需要发生什么，谁需要采取行动？是政府立法吗？不幸的是，我认为使其非法化是不够的。有不同的管辖区。你知道，有漏洞。如果有人做了，你会怎么做？你会因为他们摧毁了人类而起诉他们吗？比如非常严厉的罚款？你打算怎么做？这是无法执行的。如果他们真的创造了它，那么超级智能就掌权了。所以我们现有的司法系统没有影响力。我们所有的惩罚都是为了惩罚人类。监狱，死刑不适用于人工智能。你知道，我遇到的问题是，当我进行这些对话时，我从不觉得我能从中获得希望，事情会顺利进行。我的意思是，我从不觉得我能从中获得一套明确的行动，可以纠正可能发生的事情。那么我该怎么办？在家听这个的人该怎么办？你和很多正在构建这项技术的人交谈过。嗯。精确地问他们解释一些他们声称不可能的事情。他们是如何解决或将要解决这些问题的，在他们到达目的地之前。你知道吗？我不认为萨姆·奥特曼想和我谈。我不知道。他似乎参加了很多播客。也许他会。他想上网。我想知道为什么。我想知道为什么。我很想和他谈谈，但我不知道，我不认为他想，我不认为他想让我采访他。进行公开挑战。也许金钱不是动力，但任何能吸引这类人的人。谁能说服你，控制和确保超级智能安全是可能的，谁就能获得奖品。他们来你的节目并证明他们的观点。任何人。如果几年后没有人领取奖金，甚至没有人接受挑战，也许我们没有人有解决方案。我们有公司再次估值数十亿美元，致力于安全超级智能。我们还没有看到他们的产出。是的，我也想和伊利亚谈谈，因为我知道他正在研究安全超级智能。所以，如果你看看人工智能安全组织或公司内部部门的历史，你也会注意到一个模式。它们通常开始得很好，非常雄心勃勃，然后就失败并消失了。所以，OpenAI 有一个超级智能对齐团队。他们宣布的那天，我想他们说我们将在四年内解决它。大约半年后，他们取消了该团队。还有几十个类似的例子。为超级智能创造完美的安全性，随着其不断改进、修改、与人互动而保持永久安全性，你永远无法做到。这是不可能的。计算机科学中的难题与完整问题和不可能问题之间存在巨大差异。我认为对超级智能的无限控制就是这样一个问题。那么，如果这是不可能的，为什么还要尝试呢？嗯，我试图证明这一点，特别是当我们确定某事是不可能的时候，就会有更少的人浪费时间声称他们能做到并寻找资金。所以很多人说，“给我十亿美元，两年内我就能解决它。”嗯，我不认为你会。但人们不会停止为之努力。所以，如果没有人尝试使其安全，并且越来越多的人努力使其安全，那么这就是不可避免的。但这改变了我们的做法。如果我们知道不可能使其正确，使其安全，那么直接建造它的道路就会变成自杀任务。希望更少的人会追求它。他们可能会走向其他方向，比如，我是一名科学家，我是一名工程师，我热爱人工智能，我热爱技术，我一直在使用它。构建有用的工具，停止构建代理，构建狭义的超级智能，而不是通用的。我不是说你不应该赚数十亿美元，我喜欢数十亿美元。但别杀死所有人，包括你自己。他们不认为他们会这样做。然后告诉我们为什么。我听说过关于直觉的事情。我听说过关于我们稍后会解决的事情。用科学术语告诉我。发表一篇同行评审的论文，解释你将如何控制超级智能。是的，这很奇怪。这很奇怪，甚至懒得去想，如果人类灭绝有 1% 的可能性。奇怪的是，如果有人告诉我，我开车上路有 1% 的可能性会丧命。我不会开车。如果你告诉我，我喝下杯子里的任何液体都有 1% 的可能性会死。我不会喝。即使有十亿美元，如果我活下来。所以 99% 的机会我能赚十亿美元。1% 的机会是我会死。我不会喝。我不会冒险。情况更糟。不仅仅是你死。所有人都死。是的。是的。现在，我们会让你以任何几率喝酒吗？那是我们决定的。你不能为我们做这个决定。要获得人类受试者的同意，你需要他们理解他们同意的是什么。如果这些系统是无法解释的，不可预测的，他们怎么能同意？他们不知道他们同意的是什么。所以，根据定义，不可能获得同意。因此，这个实验永远无法合乎道德地进行。根据定义，他们正在对人类受试者进行不道德的实验。你认为人们应该抗议吗？有人在抗议。有“停止人工智能”，有“暂停人工智能”。他们封锁了 OpenAI 的办公室。他们每周、每月都会这样做，有很多行动，他们正在招募新人。你认为应该有更多人抗议吗？你认为这是一个有效的解决方案吗？如果能达到足够大的规模，让大多数人参与进来，那将是很有影响力的。我不知道他们能否从目前的数量扩大到那个规模。但我支持每个人以和平合法的方式尝试一切。对于在家听的人来说，他们应该做什么？他们应该做什么？因为他们不想感到无能为力。我们都不想感到无能为力。所以这取决于我们问的是什么时间尺度。我们是说今年你的孩子上大学，选择什么专业？他们应该上大学吗？是的。你应该换工作吗？你应该进入某些行业吗？这些问题我们可以回答。我们可以谈论近期。对于普通人来说，五年后你应该怎么做？没什么。就像他们无法影响第二次世界大战、核武器、大屠杀一样。这不是任何人会问他们的问题。今天，如果你想成为这个运动的一部分，是的，加入 POSAI，加入 Stop AI。那些组织目前正在努力积累动力，以赋予民主力量来影响那些个人。所以短期内，没什么大不了的。我想知道近期是否有任何有趣的策略。比如我应该以不同的方式看待我的家人吗？我的意思是你有孩子，对吧？我知道你有三个孩子。是的。三个孩子。在这个你看到的即将到来的世界里，你是如何看待育儿的？你是如何看待对他们说什么，给他们什么建议，他们应该学什么？有一些关于这个领域之外的一般性建议，你应该过好每一天，就像过最后一天一样。无论如何，这都是一个好建议。如果你还有三年时间或者三十年时间，你过上了最好的生活。所以尽量不要做你讨厌的事情太久。做有趣的事情。做有影响力的事情。如果你能做到这一切，同时帮助别人，那就去做。模拟理论是一个有趣的，可以说是相关的课题，因为随着计算机的加速和变得更智能，我们能够用人工智能做我们以前无法想象的事情，比如想象一个我们可以用虚拟现实创造的世界。我想是谷歌最近发布了什么？嗯，叫做什么？嗯，就像人工智能世界。你拍一张照片，它就会生成一个完整世界。是的。你可以穿越这个世界。我会把它放在屏幕上给人们看。谷歌发布了这项技术，我认为只需一个简单的提示，你就可以创建一个三维世界，然后你可以导航。在这个世界里，它有记忆。所以在这个世界里，如果你在墙上画画，然后转身离开，你回头看墙，它是持久的。是的，它是持久的。当我看到那个的时候，我说，天哪，这就像能够创造一个与我所见的一切都无法区分的模拟的初级阶段。对，这就是为什么我认为我们身处其中。这就是为什么人工智能正在达到创造人类代理、人类级别代理的水平，而虚拟现实正在达到与我们无法区分的水平。所以，你认为这是一个模拟吗？我很确定我们身处一个模拟之中。是的。对于不熟悉模拟论证的人来说，是什么让你确信我们目前生活在一个模拟之中？嗯，你需要某些技术来实现它。如果你相信我们可以创造人类级别的人工智能，是的，并且你相信我们可以创造一个与此一样好的虚拟现实，就分辨率、触觉、任何属性而言，那么我现在承诺，一旦这变得负担得起，我将运行数十亿次这个确切时刻的模拟，确保你在统计学上处于其中之一。再说一遍。你将运行，你将运行，我现在承诺，而且它非常负担得起。每月大约 10 美元就可以运行它。我将运行这次采访的十亿次模拟。为什么？因为从统计学上讲，这意味着你现在就在其中之一。你在真实世界中的几率是十亿分之一。好的。所以为了确保我清楚这一点，这是一个追溯性放置。是的。所以一旦它变得负担得起，你就可以运行数十亿次，它们会感觉和看起来都像这次采访一样。是的。所以假设人工智能有内部状态、体验、感受，有些人认为它们没有。有些人说它们已经有了。这是一个独立的哲学问题。但如果我们能模拟这一点，我就会做。有些人可能会误解。你不是说你会做。你是说有人会做。我也可以做。我不在乎。好的。当然，别人会在我之前做到。如果我花了 10 美元，有人花了 1000 美元。重点不是那个。如果你有技术，我们肯定会运行大量的模拟，用于研究、娱乐、游戏，嗯，各种原因。而且那些数量远远超过了我们所处的真实世界的数量。看看孩子们玩的所有电子游戏。每个孩子玩 10 种不同的游戏。世界上有，你知道，十亿孩子。所以有一个真实世界中有十亿个模拟。嗯。当我们想到先进的人工智能超级智能系统时，情况更是如此，它们的思维不像我们。它们的思维更加详细。它们运行实验。所以，以创造人工智能和模拟整个星球的水平运行一个详细的模拟将是它们例行的事情。所以很有可能不是我花 10 美元做的。这是未来模拟在思考这个世界上的某个问题。嗯。所以，可能存在一种人类物种或某种形式的智能物种达到了能够负担得起运行与此无法区分的模拟的程度，并且他们决定这样做，而现在就是这样。而且，他们运行模拟作为实验或游戏或娱乐是有道理的。而且，当我们想到我所处的这个世界的时间，在这个我可能身处的模拟中，时间相对来说很长，你知道我每天有 24 小时，但在他们的世界里，时间是相对的。相对的，是的，可能是一秒钟。我的一生可能只有一毫秒。对。你当然可以改变模拟的运行速度。所以你的信念是，这很可能是一个模拟，而且对此有很大的共识。如果你再次回顾宗教，几乎所有宗教都描述了一个超级智能的生物，一个工程师，一个程序员，为了测试目的或任何原因而创造了一个虚假的世界。但是，如果你看一下模拟假设论文，你去了丛林，你和原始人交谈，和一个当地的部落，用他们的语言告诉他们这件事。过两代人再回来。他们有了宗教。这基本上就是这个故事。宗教。是的。描述了一个模拟理论。基本上是有人创造的。所以，默认情况下，这是我们拥有的第一个理论。现在随着科学的发展，越来越多的人开始说，我给了它一个非微不足量的概率。有些人和我一样高，但很多人都给了它一些可信度。你有多大比例相信我们目前生活在一个模拟中？非常接近确定。那这对你的生活有什么意义呢？如果你几乎 100% 确定我们目前生活在一个模拟中，这对你的生活有什么改变吗？所以你关心的一切都还是一样的。疼痛仍然疼痛。爱仍然是爱，对吧？这些事情没有区别。所以没关系。它们仍然很重要。这才是最重要的。那 1% 的不同之处在于我关心模拟之外的东西。我想了解它。我写了关于它的论文。所以这只是唯一的影响。你认为模拟之外有什么？我不知道。但我们可以看看这个世界，推断出模拟者的某些属性。所以显然是杰出的工程师，杰出的科学家，杰出的艺术家，在道德和伦理方面不太好。在我们的道德和伦理观方面还有改进的空间。嗯，我们知道世界上有痛苦。所以，除非你认为折磨孩子是合乎道德的，否则我正在质疑你的方法。但在激励方面，创造积极的激励，你可能也需要创造消极的激励。痛苦似乎是内置于我们的设计中的负面激励之一，以阻止我做我不该做的事情。比如把手放进火里，会很痛。但这一切都关乎层级，痛苦的层级，对吧？所以不愉快的刺激，负面反馈不一定是在负无穷的地狱级别。你不想被烧死并感受到它。你想说，“哦，这很不舒服。我要停下来。”有趣的是，我们假设他们没有很好的道德，但我们也会捕捉动物，烹饪它们，然后吃掉它们作为晚餐，我们还对老鼠进行实验，但要获得大学批准进行实验，你需要提交一份提案，并且有一个伦理学家小组会说你不能对人类进行实验，你不能烧死婴儿，你不能活吃动物，所有这些事情在大多数有伦理委员会的世界各地都会被禁止。是的。有些地方不 bother with it，所以他们的批准过程更容易。当你谈论模拟理论时，很有趣，谈话中有一个元素让生活在某种奇怪的方式下感觉不那么有意义。它就像，我知道这无关紧要，但每当我与播客之外的人谈论我们是否生活在模拟中时，你几乎会看到他们生活中一点点意义消失了一秒钟，然后他们就忘了，然后继续下去，但这个想法，这是一个模拟，几乎意味着它不重要，或者我认为人类想相信这是最高级别，我们是最重要的，我们是，一切都与我们有关。我们天生就有点自大。而且我一直有一个有趣的观察，当我与人们进行这些对话时，它似乎剥夺了他们生活中的一些东西。你觉得宗教人士有这种感觉吗？他们知道有另一个世界，而重要的不是这个世界。你觉得他们不那么重视自己的生命吗？我想在某些宗教中，我认为他们认为这个世界是为他们创造的，他们将去天堂或地狱，这仍然让他们处于中心位置。但是，如果这是一个模拟，你知道，我们可能只是一个四岁的外星人正在打发时间时玩的一个电脑游戏。但是也许有一个测试，有一个更好的模拟你去，一个更差的。也许有不同的难度级别。也许下次你想玩更难的设置。我刚刚在这个公司投资了数百万美元，并成为公司的联合创始人。这家公司叫做 Ketone IQ。这个故事很有趣。我开始在这个播客上谈论酮症，以及我低碳水化合物、低糖的饮食，我的身体会产生酮体，这让我非常专注，提高了我的耐力，改善了我的情绪，并使我能够更好地完成我的工作。因为我在播客上谈论了它，几周后，这些东西就出现在我伦敦总部的办公桌上，这些小瓶。天哪，这对我的表达能力、专注力、锻炼、情绪以及阻止我全天崩溃的影响是如此之大，以至于我联系了公司的创始人，现在我是这家公司的联合创始人。我强烈推荐你了解一下。我强烈推荐你了解一下产品的科学原理。如果你想自己尝试一下，请访问 ketone.com/stephven 订阅订单可享受 30% 的折扣。你还会收到第二批货物的免费礼物。那就是 ketone.com/stephven。我非常荣幸我拥有的公司再次赞助了我的播客。我白手起家创建了公司，并投资了更多公司。早期创始人有一个我一直看到的盲点。他们花很少的时间考虑人力资源。这并不是因为他们鲁莽或不在乎。这是因为他们痴迷于建立自己的公司。在这个阶段，你考虑的是产品，如何吸引新客户，如何发展团队，真的，如何生存。而人力资源却被排在后面，因为它感觉不那么紧急。但迟早会是。当事情变得混乱时，像我们今天的赞助商 Just Works 这样的工具就会从“有也好”变成“必需品”。出了点问题，你发现自己正在进行你从未预料到的谈话。这时你就会了解到，人力资源确实是你公司的基础设施，没有它，事情就会摇摇欲坠，而 Just Works 可以让你避免以艰难的方式学习这一点。它处理那些会耗尽你精力和时间的事情，自动化工资、健康保险福利，并全天候为你的团队提供人工支持。它随着你的小企业一起成长，从初创企业到成长，即使你开始在国外招聘团队成员。所以，如果你想要一个在激动人心的时刻和充满挑战的时刻都能为你提供支持的人力资源服务，现在就访问 justworks.com。那就是 justworks.com。你是否经常考虑长寿问题？很多。是的。这可能是第二重要的问题，因为如果人工智能没有让我们灭亡，那就会。你是什么意思？你会死于衰老。这没关系。那不好。你想死吗？我的意思是，你不用死。这只是一种疾病。我们可以治愈它。只要宇宙存在，就没有什么能阻止你永远活下去。除非我们逃离模拟。但我们不想要一个每个人都能永远活下去的世界，对吧？那肯定会。我们会的。为什么？你想让谁死？嗯，我不知道。我的意思是，我这么说是因为我只知道人们会死。但如果世界变得太拥挤了呢？不，如果你永远活下去，你就不再生育了。你生孩子是因为你想要一个替代品，如果你永远活下去。你就像，我会在一百万年后生孩子。那很酷。我先去探索宇宙。而且，如果你看看除了一个大陆之外的实际人口动态，我们都在萎缩。我们没有增长。是的。这太疯狂了。这太疯狂了，越富裕的人，孩子就越少，这与你所说的相符。而且我确实认为，如果我完全诚实地说，我认为如果我知道我能活一千年，我绝不会在 30 岁时生孩子。对。正是如此。生物钟是基于终点的。而如果你的生物钟是无限的，你就会觉得有一天。你认为这接近于能够延长我们的生命吗？这只是一个突破。我认为在我们基因组的某个地方，我们有一个复兴循环，它被设置为最多给我们 120 岁。我认为我们可以将其重置为更大的数字。人工智能可能会加速这一点。这是一个非常重要的应用领域。是的，绝对。所以也许布莱恩·约翰森是对的，当他说现在不要死。他一直对我说，他说，现在不要死。永远不要死。但是，你知道，他说的是在我们获得技术之前不要死，对吧？长寿逃逸速度。你想活得足够长，以便永远活下去。如果我们每年通过医疗突破使你的存在增加两年，那么你就会永远活下去。你只需要活到长寿逃逸速度。他认为，尤其是在人工智能的世界里，长寿逃逸速度至少还需要几十年，这意味着一旦我们完全理解了人类基因组，我认为我们会很快取得惊人的突破，因为我们知道有些人拥有活得更长的基因。我们有几代百岁老人。所以，如果我们能理解这一点并复制它，或者从一些会永远活下去的动物那里复制它，我们就能做到。你想永远活下去吗？当然。反过来问。假设我们永远活下去，然后你问我，“你想在 40 年后死吗？”我为什么要说“是”？我不知道。也许你只是习惯了默认设置。是的，我习惯了默认设置。没有人想死。就像无论你多大年纪，没有人会说，“是的，我今年想死。”每个人都说，“哦，我想继续活下去。”我想知道，如果我活了 10,000 年，生命和一切是否会变得不那么特别。我想知道，第一次去夏威夷或者一段关系，所有这些事情对我来说是否会变得不那么特别，如果它们变得不那么稀缺，如果我只是，你知道，它可能在个人层面上不那么特别，但你可以做的事情多得多，对吧？现在你只能计划做一些事情，比如十年或二十年。你不能有一个雄心勃勃的计划，在这个项目上工作 500 年。想象一下，在无限的时间和无限的宇宙中，你面前的可能性。天哪。嗯，你可以，这让人筋疲力尽。这是很长的时间。而且，我不知道你怎么样，但我记不起我生命中 99% 的细节。我记得大的亮点。所以，即使我 10 年前喜欢夏威夷，我也会再次喜欢它。你是在非常实际地考虑这个问题吗？就像布莱恩·约翰森那样？布莱恩·约翰森坚信我们可能需要二十年才能延长寿命。你是在实际地考虑这个问题吗？你有没有在做什么？饮食，营养。我试图考虑那些在一百万年后会兑现的投资策略。是的。真的吗？是的。当然。你是什么意思？当然。当然。为什么不呢？如果你认为这就是将要发生的，你就应该尝试。所以，如果我们现在得到了人工智能，经济会怎么样？我们谈论了 Worldcoin。我们谈论了免费劳动力。什么是金钱？是比特币吗？你投资它吗？还有其他东西会成为我们无法伪造的唯一资源吗？所以这些都是非常重要的研究课题。所以你在投资比特币，对吧？是的，因为它是唯一稀缺的资源。其他任何东西都没有稀缺性。其他任何东西，如果价格上涨，我们会制造更多。只要价格合适，我就可以制造出你想要的任何黄金。你无法制造更多比特币。有些人说比特币只是电脑上的一个东西，我们都同意它有价值。我们记得我们是电脑上的一个东西。好的。所以，我的意思是，不是投资建议，而是投资建议。这很有趣，因为他们告诉你不是，但你立刻就知道。有“您的呼叫对我们很重要”，这意味着您的呼叫毫无重要性。投资也是如此。是的。是的。当他们说不是投资建议时，这绝对是投资建议。嗯，但这不是投资建议。好的。所以你看好比特币，因为它无法被篡改。它是唯一我们知道宇宙中有多少的东西。所以黄金可能有一颗由纯金制成的陨石正朝着我们飞来，使其贬值。嗯，也会杀死我们所有人。但比特币我知道确切的数字，甚至 2100 万也是一个上限。有多少丢失了？忘记的密码。我不知道中本聪在做什么，他有一百万。随着越来越多的人试图积累它，它每天都在变得更稀缺。有些人担心它可能会被超级计算机黑客攻击。量子计算机可以破解该算法。有切换到抗量子密码学的策略。而且量子计算机仍然有点弱。你认为我应该根据这次谈话做出任何改变吗？我走出这扇门后，我应该做些什么不同的事情吗？我假设你已经大量投资了比特币。是的，我是比特币的投资者。商业财务建议。嗯。只是你似乎赢了。也许是你的模拟。你富有，英俊，有名人与你交往。这很不错。继续保持。罗宾·汉森有一篇关于如何在模拟中生活的论文，你在其中应该做什么。你的目标就是这样做。你想变得有趣。你想和名人交往，这样他们就不会关闭它。所以你是一个付费观看的人，或者类似的东西。哦，我不知道你是否想被付费观看，因为那样的话就会一样了。然后他们会关闭你。如果没人看，他们为什么要玩？我的意思是，你想低调吗？你想成为一个过着普通生活的家伙，而那些主人。那些是 NPC。没有人想成为 NPC。你是信徒吗？不是以任何传统意义上的，但我相信模拟假设，它有一个超级智能的生物。所以，但你不相信宗教书籍，对吧？所以不同的宗教。这个宗教会告诉你不要在周六工作。这个周日不要工作，不要吃猪肉，不要吃牛肉。它们只是在此理论之上添加了当地的传统。仅此而已。它们都是同一个宗教。它们都崇拜超级智能的生物。它们都认为这个世界不是主要的。它们争论不吃哪种动物。跳过当地的风味。专注于所有宗教的共同点。这才是有趣的部分。它们都认为有比人类更伟大的存在。非常有能力，全知，全能。然后我运行一个电脑游戏。游戏中有四个角色。我就是那个可以改变整个世界的人。我可以关闭它。我了解这个世界的一切。很有趣，我早些时候在谈论模拟理论时就在想，我们体内可能有一些东西，是造物主留下的，就像一个线索，一种直觉，因为这就是我们历史上一直拥有的。人类有这种直觉。是的。你说的一切都是真的。有一个上面的存在，我们有几代人是宗教人士，他们说上帝来找他们，并且在那里，给了他们书，这已经传承了很多代。这可能是最早一代没有普遍宗教信仰的。我想知道那些人是否在说实话。我想知道那些说上帝来找他们并说了些什么的人。想象一下。想象一下，如果那是其中的一部分。我今天看新闻。一小时前发生了一些事情，我得到了不同的冲突结果。我甚至无法通过摄像头、无人机、像推特上的家伙一样。我仍然不知道发生了什么。你认为 3000 年前我们有准确的翻译记录吗？当然没有。你知道这些关于人工智能安全的对话，你认为它们会让人感觉良好吗？我不知道它们是感觉好还是坏，但人们觉得它很有趣。这是那些话题之一。所以我可以和普通人谈论不同的癌症治疗方法，但每个人都有关于人工智能的意见。每个人都有关于模拟的意见。有趣的是，你不必受过高等教育或成为天才就能理解这些概念。因为我倾向于认为这让我感觉不积极。我理解，但我一直认为你不应该活在一个充满错觉的世界里，你只是在寻求积极，听一些积极的话，并避免不舒服的谈话。实际上，我生活中的进步往往来自于不舒服的谈话，意识到某件事，然后至少了解如何做些什么。所以我认为这就是为什么我问这个问题，因为我假设大多数人，如果他们是正常人，听了这些对话，会觉得“天哪，这太可怕了，这太令人担忧了”，然后我一直回到这一点，那就是“我该如何处理这种能量？”是的。但我想指出，这与我们可以谈论的许多对话没什么不同。哦，这个地区有饥饿，那个地区有种族灭绝，你们都快死了，癌症在蔓延，自闭症在上升。你总能找到一些让你非常沮丧的事情，而你却无能为力。我们非常擅长专注于我们可以改变的事情，我们擅长的事情，然后基本上不试图将整个世界视为一个局部环境。所以历史上，你和部落一起长大，身边有十几个人。如果其中一个人出了什么事，那是非常罕见的。那是一场意外。现在如果我上网，有人随时随地被杀。每天都有成千上万的人向我报告。我甚至没有时间注意到。信息太多了。所以我必须设置过滤器。我认为这个话题是人们非常擅长过滤的，就像这是一次有趣的谈话，我去参加了，就像一场表演，我一离开就结束了。所以通常我会去一个会议上做主题演讲，然后告诉他们，基本上你们都要死了，你们还有两年时间，有什么问题吗？人们会问，“我会失业吗？”“我如何润滑我的性爱机器人？”等等，各种胡说八道，显然不理解我的意思。这些都是好问题，有趣的问题，但没有完全接受结果。他们仍然处于局部与全球的泡沫中。那些最不同意你的人，就人工智能安全而言，他们通常会说什么？他们的反驳是什么？通常很多人根本不参与。他们没有这方面的背景知识。他们从未读过一本书，一篇论文，不仅仅是我的，而是任何人的。他们甚至可能在一个领域工作。所以他们正在为某个公司做一些机器学习工作，最大化广告点击量，对他们来说，这些系统非常狭窄，然后他们听到“哦，这个人要统治世界了”，就像它没有手一样。它怎么做到的？这简直是胡说八道。这个人疯了。他有胡子。我为什么要听他的？对，然后他们开始读一点。他们说，“哦，好吧。所以也许人工智能可能很危险。是的，我看到了。但我们过去总是能解决问题。我们还会再次解决的。我的意思是，我们曾经修复过电脑病毒之类的。所以这是一样的。”基本上，他们接触得越多，就越不可能坚持这种立场。我认识很多人从超级粗心的开发者变成了安全研究员。我不知道有谁从“我担心人工智能安全”变成了“没什么好担心的”。你有什么最后的陈述？嗯，让我们确保我们没有需要给人类的最后陈述。让我们确保我们保持控制。让我们确保我们只建造对我们有益的东西。让我们确保那些做这些决定的人有远程的资格。他们不仅在科学、工程和商业方面表现出色，而且还具有道德和伦理标准。而且，如果你在做一些影响他人的事情，你应该在做之前征得他们的许可。如果你面前有一个按钮，它会立即永久关闭世界上所有的人工智能公司，并且没有人能够启动新的公司，你会按下按钮吗？我们是失去狭义人工智能还是只是超级智能人工智能部分？失去所有人工智能。这是一个艰难的问题，因为人工智能极其重要。它控制着股市，发电厂。它控制着医院。这将是一场毁灭性的事故。数百万人将丧生。好的，我们可以保留狭义人工智能。哦，是的，这就是我们想要的。我们希望狭义人工智能为我们做所有这些事情，但不是上帝，我们不控制它对我们做的事情。所以你会阻止它。你会阻止通用人工智能和超级智能。我们有通用人工智能。我们今天拥有的对于几乎所有事情来说都很棒。我们可以把它变成秘书。当前技术的 99% 的经济潜力尚未部署。我们制造人工智能的速度如此之快，以至于它没有时间在行业和技术中传播。大约一半的工作被认为是“屁话工作”。它们不需要做。工作。所以这些甚至不需要自动化。它们可以消失。但我的意思是，我们今天可以用现有的模型取代 60% 的工作。我们还没有做到。所以，如果目标是发展经济，我们可以这样做几十年，而无需尽快创造超级智能。你认为全球，尤其是在西方世界，失业率只会从这里开始上升吗？你认为相对而言，这是失业率的低点吗？我的意思是，它与其他因素有很多波动。有战争，有经济周期，但总的来说，你自动化的工作越多，开始一份工作所需的智力要求就越高，合格的人就越少。所以，如果我们将其绘制在未来 20 年的图表上，你假设失业率会在这段时间内逐渐上升。我认为会。越来越少的人能够做出贡献。我们已经有点理解了，因为我们设定了最低工资。我们知道有些人贡献的经济价值不足以获得任何报酬。所以我们不得不强迫雇主支付给他们比他们应得的更多的钱。嗯。而且我们还没有更新它。在美国联邦层面是 7.25 美元。如果你跟上经济，现在应该是每小时 25 美元，这意味着所有收入低于这个水平的人的经济产出不足以证明他们获得的报酬是合理的。我们在这个播客上有一个结束传统，那就是最后一位嘉宾会给下一位嘉宾留一个问题，而不知道他留给谁。留给你的问题是，朋友、同事或伴侣最重要的特质是什么？这些是非常不同的人。但对他们所有人来说，忠诚是第一位的。忠诚对你来说意味着什么？不背叛你，不坑你，不欺骗你。尽管有诱惑，尽管世界是这样的，情况，环境。罗曼医生，非常感谢。非常感谢你做你所做的事情，因为你正在开启一场对话，并推动一场对话，并进行极其重要的研究，而且你是在面对许多怀疑者的同时进行的。我想说有很多人有动力去诋毁你所说的话和你所做的事情，因为他们有自己的动机，他们有数十亿美元的风险，他们可能也有自己的工作。所以，非常重要，有一些人愿意，我想，把头伸出掩体，来参加这样的节目，去大平台，谈论我们正在走向的那个无法解释的、不可预测的、无法控制的未来。所以，感谢你这样做。这本书，我认为每个人都应该看看，如果你想继续这场对话，我认为它出版于 2024 年，它对我们今天谈论的许多事情进行了全面的审视。嗯，防止人工智能故障等等，我将把它链接在下面，供任何想阅读它的人参考。如果人们想更多地了解你，想进一步了解你的工作，他们该怎么做？他们去哪里？他们可以关注我。在 Facebook 上关注我。在 X 上关注我。只是不要跟着我回家。非常重要。跟着我回家。好的。好的，我也会把你的 Twitter，你的 X 账号放在下面，这样人们就可以在那里关注你，是的，非常感谢你做你所做的事情。它令人大开眼界，给了我很多思考的素材，而且它实际上让我更加确信我们生活在一个模拟中，但它也让我对宗教有了完全不同的看法，我必须说，因为嗯，你说得对，当你摆脱了那种地方性传统时，所有的宗教都指向同一个东西，而且实际上，如果它们都指向同一个东西，那么也许存在于它们之间的基本真理应该是我更加关注的事情，比如爱你的邻居，我们都是一体的，有一个神圣的创造者，也许它们似乎都指向这个生命之外的后果。所以也许我应该更多地考虑我如何在这个生命中行为，以及我之后可能会去哪里。罗曼，谢谢。阿门。[音乐][音乐]