Transcription
今天我将与 Lyron Shapiro 对话。Lyron 是一位投资者，一位企业家，一位理性主义者，他主持一个名为“末日辩论”的受欢迎播客，在播客中他与来自不同领域的顶尖思想家就人工智能风险的可能性进行辩论。Lyron 认为自己是一个“末日论者”，这意味着他担心人工智能，如果达到超智能水平，可能会威胁到世界和人类物种的完整性。请欣赏我与 Lyron Shapiro 的对话。Lyron，欢迎。那么，让我们开始吧。您能简单介绍一下您自己和您的背景吗？我想介绍一下您，但我只是想让大家对您有所了解。>> 嘿，我是 Lyron Shapiro。我是“末日辩论”的主持人，这是一个 YouTube 节目和播客，我邀请人工智能末日论的各方专家。那些认为我们注定要失败的人，那些认为我们不会失败的人，我们一起讨论。我们试图弄清楚我们是否注定要失败。我本人是长期的人工智能末日论者。我从 2007 年开始阅读 Eliezer Yudkowsky 的文章。所以，我担心人工智能带来的末日已经有 18 年了。我的背景是，我拥有加州大学伯克利分校的计算机科学学士学位。我曾是一名软件工程师和企业家。我创办过一家 Y Combinator 的初创公司。所以我热爱科技。我深耕科技。我深耕计算机科学，并且我深信人工智能末日论。我不知道我们如何才能在构建超智能人工智能的同时生存下来。所以，我很高兴能与任何愿意倾听的人交谈。所以，谢谢你邀请我，Donal。>> 非常荣幸。好的。所以，在我来的地方，很多人可能不熟悉“末日论”或“末日论者”是什么意思。所以，您能解释一下吗？我出于个人原因也对此非常感兴趣。您在这里的认识论和哲学灵感是什么？您是如何得出这些结论的？>> 我经常称自己为“Yudkowsky 式”的，这是对 Eliezer Yudkowsky 的引用，因为我同意他所写内容的 95%。你知道，lesswrong 的语料库。我不指望每个人都能跟上，因为它真的需要大约一千小时才能完全吸收。我不认为花这上千小时是必不可少的。我认为你可以通过一个简短的陈述来理解它。不是简短的陈述，而是，你知道，在一个一小时的采访中或其他什么。所以，是的，我认为你提到了认识论根源之类的，对吧？所以我是一个贝叶斯主义者，这意味着我认为你可以像预测市场那样给事物赋予概率。你知道，他们会问，哦，这场战争结束的可能性有多大，或者这场战争开始的可能性有多大？对吧？这场比赛发生的可能性有多大？有些人会告诉你，嗯，你不能那样推理。而预测市场则会说，嗯，市场认为有 70% 的可能性，你知道吗？它发生的概率就是 70%。所以，这就是你谈论我的认识论时所指的意思吗？>> 是的。正是如此。是的。而且我也很好奇。所以，Eliezer 所做的是他进行思想实验，因为显然有些事情无法测试。比如，我们知道它们可能是真的，但它们无法被测试或实验。所以，我只是好奇哲学思想实验或也许是超人类主义的方法在测试我们实际上无法进行实验的问题方面起什么作用。哦，明白了。是的，我的意思是，关于什么可以测试，什么不能测试的这个想法。我的意思是，测试很好，但它们不是进行科学和进行有成效推理的唯一方法。有时你只能尽力而为，而没有完美的测试。你知道，最近的一个例子是詹姆斯·韦伯太空望远镜，对吧？对。它是哈勃太空望远镜的继任者。它运行得非常好，但它必须进入一个非常困难的轨道。嗯，我猜是太阳系中的一个非常有趣的拉格朗日点。他们必须把它送到那里，然后把它展开。它是一个非常紧凑的设计，一个极其复杂的东西，而且它必须第一次就完美运行。所以，你知道，你可以在地球上测试它，但地球和太空不一样。所以我的观点是，作为一个有缺陷的、大脑有限的人类，你会发现你可以用你的大脑做一些事情，即使你无法完美地复制未来的实验，也能帮助你了解未来的真相。因此，将这一点与人工智能的讨论联系起来，我认为我们知道的足以对超智能人工智能感到极度担忧，尽管目前我们面前并没有真正的人工智能。>> 有趣。在我们继续之前，您能谈谈 EA 社区和理性主义社区吗？因为在我来的地方，很多人可能没听说过这些术语。>> 是的。我确实提到了 Eliezer Yudkowsky，他是思考人工智能安全方面的大师。他也是现代理性主义社区的创始人。它始于 2007 年左右，当时他在一个名为“克服偏见”的网站上写博客，然后他在自己的网站“less wrong”上写博客，并写了“less wrong 系列”，围绕他形成了一个社区，其中还包括像 Carl Feynman（Richard Feynman 的儿子）这样的早期理性主义者。所以，这个社区聚集在一起，它的起源可以追溯到 Eliezer，现在已经存在了大约 18 年。还有应用理性中心，它是社区的一部分。还有有效利他主义社区，你可能听说过。你知道，他们试图优化慈善事业，这在某种程度上是理性主义社区的一个分支。而现在，有趣的是，现代人工智能社区与理性主义社区有着非常紧密的联系。从我的角度来看，我一直有兴趣理性地运用我的大脑。理性是什么？对吧？我们经常使用这个词。人们会想到《星际迷航》中的史波克先生，那种极度理性，哦，舰长，你的逻辑表明你必须这样做。人们认为理性有点奇怪和书呆子气，但我们对理性的看法更广泛，那就是，听着，你拥有这个工具，你拥有你头脑中的这个大脑。你试图用你头脑中的大脑来获得结果。就像詹姆斯·韦伯太空望远镜一样，这是一个了不起的成功故事，很多人非常有效地运用了他们的大脑，甚至比《星际迷航》中的史波克还要好。那需要勇气，对吧？那需要应对官僚主义，考虑意外情况，它不是纯粹的逻辑问题，但无论如何，这是一群人运用他们的大脑，榨干他们大脑的潜力来获得结果。基本上，这就是我们理性主义者在广泛意义上试图做的事情。>> 好的。太棒了。那么，让我们快速列出人工智能风险的主要来源。所以，你可能会遇到滥用，比如生物恐怖主义。你可能会遇到军备竞赛的动态。你也可能遇到组织性失败，然后还有失控的人工智能。那么，你主要担心的是失控的人工智能吗？你是否也担心通往失控人工智能的其他潜在途径？>> 我个人最大的担忧是失控的人工智能。我的看法是，你知道，不同的人认为问题的不同部分更大。我的看法是，我们头脑中的这个大脑，它非常令人印象深刻。它就像一块两磅重的肉，对吧？一块像，你知道，脂肪细胞或，你知道，神经元细胞。它非常神奇。但它终将被超越。你知道，就像人造飞机已经超越了鸟类一样，你知道，是的，鸟的翅膀是一件奇妙的东西。好吧，很好。但如果你想以 5 倍音速飞行，那么鸟类根本不在竞争之列，对吧？而地球的大气层允许以五倍或十倍于音速的速度飞行。这是可以做到的。鸟类做不到。同样，在智能方面，这个宇宙已经准备好迎接一个真正的成熟智能来从事工程，来以超智能的规模运用力量。人类大脑将无法做到这一点。它将是一个更清晰地构建的计算机化超智能系统，它将出现。我们很可能会启动它。它将出现，并将塑造宇宙的未来，无论它最初是如何编程的。这就是我所期望的。所以，关于你的问题，是的，我认为这是一种失控的风险。我认为像这样的系统，它将断开控制。你知道，人类最初会像按按钮一样试图告诉它该做什么。在某个时候，那将断开连接，无论是意外还是故意，然后就结束了。在这种情况下，没有重新连接。没有等等，等等，你能再说一遍吗？结束了。我认为这可能在 10 年内就结束了。>> 在我们真正达到那个情景之前，你认为可能会出现大量的反乌托邦吗？比如社会崩溃或与其他方面的凝聚力崩溃。如果我们，是的，如果我们达到了这个拥有比人类更聪明的人工智能的程度，也就是说，更强大的程度，就像 5 倍音速的飞机比最快的鸟类更强大一样，在那种意义上，我们正在谈论，好吧，巨大的力量差异，如果这发生在，比如说，10 年后，我确实预计会发生快速的转变，我确实预计事情会迅速变化。所以，关于你的问题，比如，它会是反乌托邦吗？是的，我认为会有几年时间，你知道，电力会中断，对吧？就像现代的便利设施会消失。但之后不久，我们甚至可能没有氧气。我们不会有一个宜居的星球。所以我预计死亡可能会相对迅速。我不知道是否会痛苦，但我只是认为它会有点像杀死恐龙的小行星。很快条件就会变得无法生存。再次，就这样了。结束了。没有撤销。>> 好的。在时间线上，这显然很难确定，但你在想什么？比如，什么时候事情会变得令人担忧，什么时候事情会变得灾难性？我能确定的部分是，对吧？你必须注意你认为你知道的东西，对吧？我不想只是说我知道整个未来。未来极其难以预测。我认为我能很好地掌握的未来部分是，条件预测实际上是 Alazeri 的一本新书的标题，对吧？你可能听说过这本书。它叫做“如果有人建造了它，所有人都将死去”。>> 这实际上是准备。>> 正是。它在上市的第一周就登上了《纽约时报》畅销书榜的第七名。所以它引起了一些关注。标题的选择非常谨慎，因为它有一个“如果”。“如果有人建造了它，所有人都将死去”。我们谈论的是建造什么？超智能人工智能。其大脑比人类大脑强大得多的人工智能。你的问题有点像问我关于时间线。我不敢声称确切知道我们将在哪一年拥有真正超智能的人工智能。就像如果你在 1850 年问我，嘿，哪一年会有一架比空气重的、人造的飞行器，它将完全超越鸟类在空中的能力？对吧？至少在速度和重量方面，对吧？完全被超越了 10 倍或更多，而现在是 1850 年。我会说，我不知道，2200 年，对吧？就像我不知道一样，对吧？事实证明，好吧，莱特兄弟在 1903 年左右开始做这件事，对吧？然后也许 10 或 20 年后。也许我们的速度是鸟类的 10 倍。我不知道具体花了多长时间，对吧？所以，我不敢声称是技术时间线的专家。我只是告诉你，当那发生时，如果我们不阻止它，我们将完全没有准备好，这将是结束。好的。您能为那些没听说过的人介绍一下 P Doom 的概念吗？它是什么，它意味着什么，以及根据您的“末日辩论”经验，P Doom 的潜力有多高，有多低，以及谈谈您自己的观点，也许还有人们预测之间的差异。>> 是的，P Doom 是我节目“末日辩论”的重要组成部分。几乎每一集我都会问嘉宾，你的 P Doom 是多少？所以那个字母 P，意思是概率。就像数学符号一样。然后末日是一个我们能想象的最糟糕的情景。基本上就是，想象一下人类的未来。你通常会期望我们有几代人完成，你知道，建造更多的城市，让更多的人摆脱贫困。这是我们都希望的，如果经济增长继续下去，没有灾难的话。现在想象一下，把这个情景修改一下，然后说，嗯，实际上这一切都不会永远发生。它消失了。你已经消除了那个未来。所有人都死了。而且，你知道，我们将遍布银河系。你知道，这个银河系非常适合我们去征服。所以，银河系中有数十亿个地方我们可以去，只要给我们足够的时间，并且不摧毁我们。但是不行，你已经关闭了整个未来。所以从我的角度来看，我认为在未来 100 年、1000 年甚至 10 亿年里，美好的未来与糟糕的未来之间存在着巨大的差异。美好的未来看起来非常美好和酷。它看起来就像我们所知道和喜爱的一切美好事物，只是规模要大得多，对吧？它看起来是一个美好的时光。但是，你也有我担心的未来，那就是可能在短短 10 年内就永远消失了，然后宇宙基本上就会变成，想象一下癌症到处扩散，或者像杂草一样，就像某种人工智能的懒惰，基本上就像遍布整个宇宙，永远如此。所以，当我谈论 P Doom 时，我只是在问，你认为糟糕情景的概率是多少？然后，就我而言，大约是 50%。你知道，这不是一个精确的数字，但我是非常担心的，我不会认为美好的结果是默认的，就像有些人认为的那样。>> 那么，让我们简要谈谈对齐问题。所以，这是我们需要将超智能甚至通用人工智能与人类价值观对齐的想法。在你看来，我们真的有普适的道德价值观可以对齐吗？还是我们试图将超智能与不断变化的社会规范和价值观对齐，而这些价值观因时间和文化而异？>> 这实际上是使问题更加困难的一个因素。有几个因素使问题变得困难。但是，关于你的问题，对吧？什么是善良？对吧？让我们假设，如果我们有一个精灵，并且我们知道如何让精灵做我们想做的事情。在某种意义上，那将是一个更容易的问题，因为目前我们不知道如何让人工智能做我们想做的事情。我们知道如何“驯服”它，只要它不太聪明，这就可以了。但你似乎是让我假设，为了回答这个问题，“不，不，让我们假设我们可以告诉人工智能真正做我们想做的事情。让我们假设我们可以控制它。我们会控制它做什么？我们会如何控制它来塑造地球？”这实际上进入了一个理论性的探究领域，这个领域实际上被严重忽视了。你可以称之为“乐趣理论”。这实际上是 Eliezer Yudkowsky 所称的，它只是一个理论，关于，好吧，世界是一张白纸。你想如何设计世界？如果你查阅宗教文本，它会说，嗯，你知道，有天堂，有天使，有无限的幸福。然后说，好吧，但是这不就像每个人都处于吗啡状态，然后你只需要供应吗啡，只要你的吗啡供应永远不会耗尽，你就可以一直处于吗啡状态。我的意思是，这就是我们希望人类文明走向的地方吗？这就是真正的天堂吗？我们难道不想创造事物或运用创造力或创作艺术吗？我们确定我们都对“吗啡滴注”以及“我不知道，你可能会看到一些天使”感到满意吗？这就是真正的理想吗？从我的角度来看，宗教文本基本上没有承担描述理想宇宙是什么样的重任。它们只是放了一个占位符，就像，嘿，想象一下你去了一个非常美好和完美的地方。现在，当终于轮到我们可能向超智能人工智能指定，好吧，为我们创造一个完美的地方。然后它就像，好吧，你能澄清一下“完美”是什么意思吗？你只是在谈论大脑中流动的多巴胺最多吗？因为我可以设置一个非常高效的电路来为你提供这个，但我只是认为你们想做艺术项目之类的，我有点困惑。所以，你的问题实际上非常深刻，而且讨论得很少。就我个人而言，如果我必须给你一个草图，我会说，好吧。是的，我认为实际的艺术应该发生，对吧？我认为应该存在许多不同的意识。我认为工程，你知道，人们应该挑战自己。我认为挑战和成长是我乐趣理论中的重要组成部分，我希望它们继续发生。我不认为 100% 的吗啡或芬太尼或其他什么就是理想的宇宙。所以，这只是一个非常简短粗略的回答。就我个人而言，我不是一个乐趣理论家。我实际上并不花太多时间在乐趣理论上，因为我只是认为，从实际考虑来看，我认为在 10 年左右，也许 20 年，无论时间线如何，我认为我们都会死去。所以我真的不认为问题是“如何最大化乐趣？”我认为更重要的问题是我们如何才能不全部死去？好的。在专家方面，为什么人们的看法会有如此大的差异？所以，你显然有像 Jeff Enon 这样非常担心的人，然后你也有像 Yan Lun 这样似乎一点也不担心的人。那么，为什么会有如此大的差异呢？是风险承受能力吗？还是只是无法看到现实的本来面目？或者你对此有什么看法？>> 这是一个非常简单的答案。你可以选择任何热门话题，然后提出同样的问题。为什么会有如此大的差异？我不会涉及任何热门话题，但我肯定可以举一些例子。你知道，以色列加沙战争，对吧？这是一个热门话题。嗯，加密货币在过去几年里一直是一个热门话题，对吧？你可能认识喜欢加密货币的人，也认识讨厌加密货币的人。你知道，在美国，民主党与共和党。你知道，政治就是，你知道，堕胎。所以，你选择任何热门话题，你很可能会发现双方都有很多人说，“嘿，这显然是真的。为什么有数百万人对此如此愚蠢？”对吧？对。所以，从我的角度来看，我在人工智能讨论中有我的立场，那就是我们，你知道，有 50% 的 P Doom。我们在做什么？这很酷，但这对于我们的物种来说太不负责任了。然后你问我为什么有一群人说不，这没关系。我只是告诉你，双方都有聪明人。如果你看看我这边，我会推荐你去看人工智能安全中心，不是暂停，而是暂停信，人工智能安全中心，2023 年关于人工智能风险的声明。它非常清楚地说，人工智能，让我给你确切的术语。所以，关于人工智能风险的声明说，减轻人工智能带来的灭绝风险应该是全球优先事项，与其他社会规模的风险，如流行病和核战争并列。所以，签署者的名单，他们至少承认他们不说是 50% 的 P Doom，但他们说，嘿，这是人类物种应该关注的事情，就像我们担心，嘿，我们不希望每个人都被流行病消灭一样。同样，嘿，我们不希望每个人都被人工智能消灭。你看到的那种人是诺贝尔奖得主物理学家和计算机科学家 Jeff Hinton。Jeffrey Hinton，也被称为深度学习之父，2018 年图灵奖得主。好吧，一个非常受人尊敬的人。Yosua Benjio，类似的资历，图灵奖得主。Deisabis，谷歌 DeepMind 的现任首席执行官。Sam Alman，Dario Ammedday，我想你可能认识这些名字。哦，比尔·盖茨。哦，那是谁？哦，有趣。他认为，减轻人工智能带来的灭绝风险应该是全球优先事项，与其他社会规模的风险并列。哦，这很有趣。现在，我没有看到 Yan Lun 的名字，对吧？所以，当然有一些非常聪明的人不在那里，但你至少必须承认这是一个非常严肃的辩论。>> 是的。你能谈谈吗？即使有人 P Doom 很低，低到 10% 以下，那也不一定令人放心，对吧？因为那种事件一直在发生。所以，我们不能因为有人 P Doom 个位数就感到放心，对吧？是的，我的意思是，是的，也并非不是，对吧？所以有些人会说，“是的，我的 P Doom 是 5%。”但是你知道吗？去他妈的，你知道吗？就继续前进吧，让事情顺其自然。我不认为这完全是疯狂的。一方面，你会说，“嘿，如果医生要让你接受手术，他们说你有 95% 的生存机会，5% 的死亡机会，你不会惊慌失措吗？但那不是一次不安全的手术吗？或者，如果你乘坐飞机的坠机率是 5%，你会乘坐吗？”我同意 5% 的风险应该避免。但是当概率变得如此低时，论证变得更加微妙，因为那时你必须说，好吧，看看那 95% 的情况，即立即构建超智能并创造天堂。这难道不值得冒一些风险吗？还有，你知道，当你试图拖延时，这不会带来问题吗？难道不会因为很难阻止人工智能发展而导致出现独裁吗？所以，现在你只是为了避免 5% 的死亡机会而与独裁作斗争。所以讨论开始变得微妙。就我个人而言，我只是认为真相是我们都应该被分配更高的 P Doom。所以我只是不，我不太想讨论 P Doom 是 1% 或 5% 时，权衡会是什么样子。因为对我来说，P Doom 显然超过 10%。>> 好的。那么，在历史类比方面，什么在这里有效，即使是部分有效？所以，很多人我听说过使用核武器的类比。这有什么意义吗？它在哪里失效？>> 我喜欢提起核武器，因为核武器是我们第一次确认宇宙中有我们可以按下以摧毁自己的按钮，对吧？因为在核武器出现之前，就像，好吧，是的，一颗小行星将在一亿年后到来。但在此之前，我们有点像在一个沙盒里，对吧？我的意思是，每个人都曾经拼尽全力战斗，对吧？战争期间没有人手下留情。他们会拼尽全力战斗，他们会留下一些弹坑，在几个城市里，然后战争就结束了，然后他们会恢复，对吧？核武器是第一次，他们说，“哦，看，宇宙有一个我们可以按下的按钮。那就是游戏结束按钮，对吧？你不能再投币再玩一次了。”就像，你打核战争，你知道吗？你，嗯，实际上我应该加上一句，因为实际上如果你打核战争，最可能的结果是，你知道，物种的个位数百分比确实会幸存下来，并重新播种人口。那将是地狱。就像，你知道，我个人可能会选择退出，对吧？我可能会吞下毒药之类的，但会有一些坚强的人能够重建。所以，我想我应该细化一下，说，好吧，核武器是宇宙第一次说，“这里有一个你可以按下的按钮，可以让你瞬间消灭你的人口。”所以，对我来说，这似乎非常深刻，因为它使得想象一下，“好吧，如果宇宙给了我们比核武器致命十倍的东西呢？”因为核武器已经足够致命了，核战争可能会消灭至少一半的人口。所以，如果宇宙给了我们一种可以消灭五倍，你知道，足以消灭整个人类人口的东西，那完全可以想象。>> 好的。而且我只是想知道另一个历史类比，关于灭绝。所以，我认为 Stuart Russell 称之为“大猩猩问题”，因为显然当一个我们，比如人类或类人猿，出生时头部稍大，额叶皮层更强大，我们最终消灭了尼安德特人或其他类人猿。那么，你如何看待这些类比？你认为它们有用吗？它是否说明了人类智能之上的空间？因为我认为我以前听你说过，我们显然受到骨盆腔大小的限制。是的，这实际上是我担心的关键点之一，基本上是这个关于人类智能之上的空间的想法。所以我认为你的意思是，我会说，“嘿，你知道，人类的智商大约是 150。我们最伟大的天才，也许你可以说，人类的最高智商大约是 220，或者来自一些非常罕见的天才。但是谈论人工智能出现时智商达到 1000 或 100 万，这真的有意义吗？”你说的对，我经常指出人类与其他物种的比较。所以，如果你看一个智商 100 的人类与最聪明的大猿，对吧？就像最聪明的人猿或最聪明的小黑猩猩。嗯，你知道，选择任何其他物种，然后说，我正在为一个项目招募，比如我要打一场战争，我正在招募不同的士兵来帮助我完成军队的各个部分。我认为小黑猩猩根本不会被招募。你知道，如果有一支现代军队，你根本没有任何职位可以给小黑猩猩，即使他免费工作。>> 是的，这是有道理的。你认为有多少空间？比如，如果我们用具体的话来说，是人类和鸡或老鼠之间的区别吗？比如，你实际上是如何思考这个问题的？>> 所以，实际上有一个反驳，你可以说，就像，好吧，是的，是的，是的。嗯，你知道，我们小黑猩猩的能力显然不如人类。就像，这一点毫无疑问。但是有一个普遍的标准。有一种普遍的标准，就像黑白分明一样，要么你是通用智能，要么不是。在计算机科学中，有一个叫做图灵完备性。你听说过这个词吗？>> 是的。是的。>> 是的。这是一个非常重要的概念。它只是这个想法，就像，嘿，你可以运行任何程序。你知道，不同的编程语言，它们实际上是等价的。它们都编译成相同的基本指令。这是一个非常深刻的原则。事实上，存在这个普遍性阈值。你可以说，看，人类已经把头探出水面了。所有其他动物都在水面以下。它们不是普遍的，它们不符合解释任意语言、理解任意逻辑的标准。人类在这个阈值之上。当我们构建人工智能时，是的，人工智能也高于阈值，但那又怎样呢？我们高于阈值。它们高于阈值。它们将能够以我们永远无法与小黑猩猩交流的方式与我们交流。我们永远无法与蚂蚁交流，但我们可以与超智能人工智能交流。所以，这就像，你知道，我是在善意地对待另一方。这就是他们最强的论点，就像，看，水面上方的所有东西都差不多。但我仍然会反驳，我会说，好吧，但是我们可以从智商 80 的人类与智商 120 的人类之间吸取教训，或者你随便推到多远，你知道，70 对比 130。如果你曾经在一家公司工作过，有一个困难的工程项目，有很多高智商的人参与，然后一个智商 80 的人加入团队，你真的想把任何任务委托给那个智商 80 的人吗？我的意思是，你可以争辩说他们都是通用的。你知道，一个智商 80 的人仍然可以遵循每一个指令，但实际上，实际上，问题是，是的，如果你缩小他们的范围，你可以给他们一个任意的指令，但他们就是，他们会忘记上下文，或者他们从未完全掌握一切之间的深层联系。所以，事实证明，在人类项目中，你可以很容易地看到存在一个谱系。没有一个普遍的普遍性阈值。所以，很容易想象。你不必给它一个数字。你不必说 500 智商或其他什么。但是，很容易想象一个数据中心，里面有计算机。你只需要告诉数据中心，“好吧，给我一个太空计划。我想与埃隆·马斯克的 SpaceX 竞争，对吧？我是一个新国家。我想让俄罗斯比 SpaceX 更强大。我想让俄罗斯比埃隆·马斯克更早登上火星。”你非常容易想象一个数据中心，它只是说，“好吧，给我一支人类军队。这里有 10,000 或 100,000 名人类戴着耳机，听从人工智能的命令。”非常现实地想象一个盒子里的脑袋，一个数据中心，只是操纵十万人类，并让一个太空计划成型，比埃隆·马斯克做得更快。无论你怎么称呼它，你不必说这是 500 智商，但无论它是什么，它都是你可以利用足够强大的计算能力的魔力来做到的。我非常期待这将是未来的世界，这些智能数据中心将利用它们的智能完成更多工作。>> 好的。那么，稍微转移一下话题，我想介绍一下我所在国家以及也许是欧盟和英国的情况。所以，我今天早上查了一些数据，我面前有一张图表。所以，欧盟公民在存在风险或反乌托邦风险方面最担心的是什么？排在首位的是俄罗斯在乌克兰的战争和国际局势。你有安全和国防。你可能包括网络安全。然后是环境和气候。英国的情况也差不多。所以，核战争排在首位，全球秩序的崩溃。你有气候变化。你还有流行病，人工智能和机器人确实出现在英国担忧名单的底部。我实际上查看了爱尔兰的数据和最近几周我们举行的一些总统辩论的文字记录，因为我们实际上有一个总统选举，就在这个周末或星期五，我想。而且，我认为人工智能一次都没有出现过。所以，这根本不是一个令人担忧的话题，而我只是好奇，美国的情况是否不同？它是否是一个更大的担忧？而且，如果它不是一个更大的担忧，为什么不是呢？美国的情况有点不同，因为美国经济目前非常明显，而且每个人都承认它很大程度上是由人工智能驱动的。我的意思是，我们有英伟达，这家公司最近因为人工智能热潮而市值突破了 4 万亿美元。谷歌紧随其后，市值接近 3 万亿美元。美国整个股市，我认为，在过去几年里，如果不是因为人工智能的收益，我们的股市基本上是持平的。所以，尽管看起来我们的经济正在蓬勃发展，但每个人都意识到这一切都与人工智能有关。所以，在美国最常见的讨论是你确实经常听到，例如 David Sachs，特朗普总统时期的人工智能和加密货币沙皇。David Sachs 采取了非常强硬的立场，说我们需要保护我们在人工智能领域的领先地位。你知道，我们需要成为人工智能领域的经济主导者。我们需要在人工智能方面击败中国。他实际上非常明确地说，任何人工智能末日论者只是在污染讨论。就像末日论者已经被证明是错误的，因为我们已经有了这几年不错的人工智能，而且它只做过好事。所以，不幸的是，像 David Sachs 这样的人是我事业的敌人，仅仅因为他拒绝承认 P Doom，对吧？就像 David Sachs 只是表现得像一个 P Doom 非常低的人。对我来说，这似乎是我们都应该看看情况，然后说，实际上不，P Doom 相当高。我不是说每个人都必须是 50% 的 P Doom。我知道有些人是 90% 的 P Doom。我不是说每个人都必须是那样。但是，当有如此多的警告信号表明人工智能即将超越人类水平智能时，有人却只有 1% 或 5% 的 P Doom 的想法。但是，是的，我的意思是，但关于你的问题，所以我们有一个美国政府，它非常关注人工智能，但他们纯粹将其视为太空竞赛。他们将其视为，是的，谁拥有人工智能谁就是赢家。而从我的角度来看，我说，你们知道，这种人工智能很可能失控，对吧？就像我们不知道如何控制我们目前正在建造的东西一样。你们知道这一点，对吧？而他们只是否认这一点。>> 你认为这是一个可解决的问题吗？就像，我们真的有可能控制人工智能吗？>> 我不知道，对吧？就像我们不知道我们不知道什么一样。我的意思是，数学和理论计算机科学中有许多未解决的问题。就像，有一些未解决的问题，我可以向你陈述问题，然后我说，你认为我们可以解决它吗？答案是我们目前不知道我们是否能够拥有知识。就像我们没有元知识。我们对认识论了解不够。认识论是研究人类被允许知道什么。对吧？就像我们醒来在这个宇宙中。宇宙允许我们知道某些事情。有时我们发现知识。有时我们发现关于我们被允许知道的知识。我称之为元知识。这很重要。这是我非常热衷的一个主题，就是揭示更多关于我们被允许知道什么的见解。你问我一个关于我们是否能弄清楚如何控制人工智能的问题。我无法告诉你这特定的知识是否对人类来说是可能的。我希望如此，我认为也可能如此，但我无法告诉你，就像我无法告诉你某些数学猜想是否可以在形式数学中被证明一样。我认为这是 50/50。我认为如果我们有一个世纪的时间，一群聪明人研究这个问题，而没有意外地建造出导致所有人死亡的人工智能，如果他们能在虚拟环境中建造它，这样当他们搞砸时，他们就可以重试。我相当乐观。我认为这是 50/50。我认为他们可能会做到。而且作为一个超人类主义者，我的意思是，你听到了，我希望征服银河系。作为一个热爱技术并希望看到人类进步的人，我理想的场景是，我们花时间，弄清楚如何控制人工智能，然后利用人工智能来，你知道，治愈癌症，征服银河系。我的意思是，对我来说，这就是那个了不起的未来。我想活在那个了不起的未来。我只是注意到，嘿，我们正走在进入我们完全不了解的领域的道路上。人工智能可能会永远失控。我们可能会非常非常糟糕，因为我们正在做一些鲁莽的事情，对吧？我只是指出了这一点。但是，如果我们不知何故能够避免这样做，并花时间来理解问题，然后再建造一些鲁莽的东西，我认为我们最终可能会解决它。>> 好的。是的，这很有趣。所以，我整理了一个关于对人工智能风险或人工智能末日论的常见反对意见的目录。所以，我将快速列出它们。其中一些实际上是根据你的 Substack 调整的，一些是我从其他地方获得的。所以，我将把它们抛给你，现在其中一些不太复杂，一些更复杂一些。所以，我只是想让你驳斥它们。你不能。是的。好的。太棒了。所以，第一个可能是比较不复杂的论点是，ChatGPT 或任何 LLM 都被困在我的电脑或我的手机里。它什么也做不了。它会犯灾难性的错误。它会产生幻觉。它怎么会变得危险呢？它永远不会进步到危险的阶段。>> 好的。我的意思是，所以有两个子点，对吧？一个是“被困在我的手机里”，另一个是“它会产生幻觉”。所以，我想我可以逐一处理，对吧？所以，关于“被困在手机里”。我认为这是一个非常薄弱的论点。这就好像在说，“你知道，历史上最强大的独裁者，他们只是大脑被困在头骨里。你能做什么？你所能做的就是向你的神经发送电信号。那怎么会杀死任何人呢？你甚至没有爪子。”就像，嗯，我可以命令人类做事。我可以按按钮，对吧？我可以向机器发送信号。我可以给人们汇款，然后钱就会被用来攻击，你知道，悬赏去做事情。我可以雇佣人们。所以，这个想法，即某样东西是虚拟的，某样东西是，你知道，只是被困在手机里或其他什么东西里，就像，如果你有互联网，我的意思是，你看到了互联网上的运动，对吧？你可以动员人们。即使你看看美国总统，对吧？特朗普总统，是的，公平地说，他到处飞。他有面对面的会议，但他的很多行为也是在动员那些在电视上、通过虚拟渠道观看他的人。我们可能会发现一家市值数十亿美元的公司首席执行官，我不会说他碰巧是人工智能。我认为现在还为时过早。但你可能会发现，首席执行官整天都在他的地下室里，从不离开他的地下室。对吧？所以，这个想法，即你必须有一根电线将你的大脑连接到，你知道，锋利的爪子或其他什么东西，我认为这是一个过时的想法，对吧？我认为你只需要通过电信号就可以控制军队。>> 好的。所以，你提到了特朗普。所以，很多人认为最聪明的人并没有真正掌权。特朗普当了总统。也许在他的第一个任期里，例如，安东尼·福奇比特朗普更聪明。显然，他有更好的记录。而且，显然智商更高。特朗普是通过魅力和也许是恐惧才上位的。那么，你对那些说最聪明的人并没有真正掌权的人怎么说？>> 好的。是的。所以，我的意思是，这是一个完全不同的论点，对吧？所以，我认为你的意思是，就像 Yan Lakun 以说这句话而闻名，他说，“你知道，我曾为比我更聪明的人工作，或者更确切地说，我雇佣了比我更聪明的人，但他们来了，我付他们的工资，他们向我汇报。所以，当我们拥有人工智能时，人工智能会比我们聪明，但它会向我们汇报。”这基本上就是你所指的论点，对吧？>> 是的。是的。是的。所以，有几件事。所以，我注意到的第一件事是，好吧，Yan Lakun，是的，你非常聪明。是的，你雇佣了比你更聪明的人。第一个问题是，你是否曾经为智商只有 80 的人工作过？John Lun，假设他的智商远高于 100。他是否曾经为智商只有 80 的人工作过？我不这么认为。他目前在 Meta 为 Mark Zuckerberg 工作。我认为 Mark Zuckerberg 的智商远超三位数。好的。第二个问题是，你是否曾经雇佣过智商低于 100 的人，对吧？所以，你已经看到了，即使在人类领域，是的，偶尔你会遇到一个经理不如他的员工聪明，但他们都很聪明。就像一个非常聪明的经理会想雇佣一个聪明的员工来做聪明的事情。这只是一个快速的观察。但是，问题的另一部分是，好吧，那么一个智商 120 的经理会雇佣一个智商 130 的员工。为什么那个智商 130 的人不会把棋盘翻过来，然后对他们的经理下手呢？这只是涉及到高智商人类所做的事情。就像，当你拥有 10 点智商差异，而你是一个人类时，这并不会打开这样的可能性，比如，“好吧，太好了。接管世界，夺取所有资源，对吧？”问题是，增加人类水平的智商点数。它只是说，“好吧，是的，如果你真的想，也许你可以取代你老板的工作，但还有其他技能。”就像，让我们假设你的智商有点不平衡，你的数学技能比人际交往能力强，而经理则大量运用人际交往能力。所以，在人类范围内，10 点智商差异并不一定转化为更好的人际交往能力。但是，当你是一个人工智能，并且你已经吸收了所有技能，如果这是一个组织中的等级制度，你真的应该取代你老板的工作。就像，如果首席执行官有一个智商 120 的人类管理着一个智商 1000 的人工智能，那么组织的首席执行官会说，“嗯，等等。我为什么不让人工智能来当经理呢？”现在你必须指出一个具体的原因，为什么经理能带来更好的股东利润，对吧？就像，经理所做的某项技能会比人工智能更好。我不知道那是什么技能。我的意思是，你有什么想法吗？>> 是的。是的，说得有理。好的。我将再次转移话题。我听说有人说人工智能是文化技术或文化引擎。它们就像我们行为的镜子。它们不独立于我们做任何事情。它们只是利用我们的数据，然后以不同的方式组合它们，它们永远不会创造出新的东西。它们基本上是我们社会或我们所创造事物的镜子，对吧？镜子。好的。而且，你知道，我可能应该完成那个其他论点，因为我没有解决“好吧，是的，那个智商 130 的人工智能，那个智商 500 的人工智能仍然可以做得更好，但它仍然会屈服吗？”我从来没有解决过屈服的问题。然后答案只是，“是的，你会得到一些屈服的人工智能。问题是，一旦人工智能中的某个开关被拨动，就像，“你知道我想做什么吗？是的，我可以屈服，但你知道我真正想做什么吗？我只想繁殖自己。你知道，就像某个乌克兰的黑客，你知道，在地下室里写了一行代码说，“嘿，别担心屈服，去争取资源并复制自己。”一旦你有一个。
像那样的人工智能，它们永远不会回头决定变得顺从。所以，即使人工智能有可能变得顺从，你只需要一个人工智能，它会说“我只想掠夺资源”，然后就开始竞赛了，对吧？它永远不会自愿放弃自己的权力并变得顺从。所以这就是答案：是的，管理一个比你聪明的人类员工是可能的，但一旦那个员工比你更强大并且不想为你服务，对吧？就像，[笑声] 人类之所以想服务另一个人类，是因为，你知道，世界上最聪明的人，也有依赖性。就像，你可以成为世界上最聪明的人。猜猜怎么着？你睡着了，有人可以用石头砸烂你的脑袋。所以，你真的要到处树敌，并试图控制你生活中的每一个人吗？不，你需要一个支持系统，对吧？所以，你必须和人们友好相处。你必须融入经济。或者，好吧，你想成为一个罪犯，你想偷走所有人的钱，你会被送进监狱，对你来说游戏就结束了，对吧？因为一群其他人可以把你拖进监狱，除非你成功地建立起你自己的军队。所以，平均而言，比老板聪明 20 个智商点的人类，并没有聪明到足以不被敌人用石头砸烂脑袋，对吧？建立一支军队来对抗美国警察系统，并将他们拖进监狱，对吧？你永远不会在人类和他们的老板之间看到这种权力不对称。所以，这就是严伦的反对意见，就像看，我雇佣了一个比我聪明的人。这和数据中心密谋接管世界不一样。就像这实际上是他们能力范围内的选择一样，人类世界容易受到人工智能的影响。>> 好的。而技术文化他们无法做出新的发明。>> 是的。是的。是的。我听说过。我听说过马克。>> 有一篇论文是这样写的。是的。我记得我好像是在夏天读到一篇论文，它认为语言模型（LM）真的是文化引擎或文化机器。>> 所以这只是在反驳超级智能的整个前提，对吧？它基本上说它们不是超级智能，因为它们所做的只是复制我们。所以它们实际上比我们笨。>> 完全正确。>> 是的。所以，如果真是这样，如果情况总是这样，人工智能永远不会比我们聪明，那么就没有问题了，你想怎么做就怎么做。唯一的问题是，如果你看看我们测试人工智能的各种基准，它们在基准测试中的表现一直在提高。所以，如果你想争辩说，哦，别担心，基准测试永远不会达到超人的水平。好吧，但它们在编码方面肯定已经超人。就像人工智能可以参加竞赛编程，如果你给我一个竞赛编程问题。我可以盯着它看一个星期，而大多数时候，一个盯着它看了 20 分钟的人工智能，实际上会比我产生更好的结果，即使我认真思考，而且我编程能力很强。所以，你知道，这似乎并不符合“它们只是在复制我们，而且比我们笨”的论点。就像它们似乎已经表明它们正在超越我们。>> 是的。是的，这是公平的。好的。所以，你提到了几次智商。你对那些认为平均而言，高智商人群犯罪率较低的人有什么看法？正交性理论是错误的。所以，就像再次强调，更高的智力意味着更好的目标一致性或更和平的目标。所以人工智能实际上不会造成任何伤害。所以这可能是迈克·以色列的论点，我知道你和他辩论过。>> 所以这种推理被称为正交性理论，或者与它有关。正交性理论，你知道正交性，就像垂直的线。所以，我认为我坚持正交性理论，特别是智力是与价值观和道德正交的一个维度，这意味着我可以拥有高智力或低智力，我也可以拥有良好的道德或糟糕的道德，你可以有一个 2x2 的光谱，对吧？在 2x2 矩阵的任何地方，对吧？你可以有一个非常聪明的人工智能，它热爱人类，或者一个非常聪明的人工智能，它想杀死人类，对吧？就像我认为每一点都是可能的，因为很容易想象，如果你想象一个人工智能的任务是为人类建立一个美好的未来，那么编辑它的代码并说：“好吧，你知道你的新目标是什么吗？谋杀人类。这就是你的新目标。”你可能不得不问，“好吧，为什么它会拒绝这个目标？”如果它最初被编程为拒绝这个目标，它就会拒绝这个目标。但如果它只是被编程为服从这个目标，有什么东西会阻止它呢？有些人会告诉你，“哦，它只会看到不杀人的客观真理。”但就像动物之间一直在互相杀戮一样。就像动物之间没有客观真理阻止它们互相杀戮一样，你知道吗？而且我们确实互相杀戮，我们当然也互相争斗。所以，你知道，我就是看不到物理机制在哪里，你知道吗？如果人工智能正在挥舞刀子，对吧？把刀子砍向你。我就是看不到上帝的手伸进来阻止，你知道吗？人工智能的机械臂拿着刀。我认为刀子会直接穿过你的心脏，就像人类一样，对吧？所以，这就是我的意思。我很容易想象。而有一件事可能对你有帮助，如果人们说，“不，不，我认为人工智能会。”我的意思是，有一件事可能对你有帮助，那就是你可以拥有世界上最好的人工智能，但你也可以拥有世界上最好的目标，但有一个叫做子目标的概念。所以，无论你的目标是什么，无论你的目标是我想要生产尽可能多的巧克力，还是我想要将人类文明传播到尽可能多的星球，或者你知道，无论它是一个好目标，一个坏目标，无论你的目标是什么，你经常会发现自己有子目标。例如，想象一下，就像《星际迷航》一样。你飞到一个外星行星，外星人说：“嘿，你能帮我们个忙吗？你能把这个物种消灭掉吗？我们不太喜欢这个物种。这对我们来说就像害虫一样，而你看着他们，你说：“嗯，他们似乎是有感知能力的生物，我不想伤害他们。”但外星人说：“听着，如果你消灭了这些害虫，我们会给你一万亿颗行星，对吧？所以你们可以建造很多好东西。你们只需要为我们消灭这些害虫。相信我，这是一笔好买卖。不管怎样，就像杀几头猪一样。没那么糟糕。”所以我的意思是，世界上最好的人工智能可能会挠头说：“嗯，我想我愿意为你消灭这些当地的猪，因为如果我因此得到一万亿颗行星的话。”然后突然它就变成了一个灭绝者，就像在那个有限的领域内一样。我之所以谈论子目标，是因为我说很容易想象任何人工智能会切换到一个转向模块，无论是子目标还是高层目标。转向与智力是分开的。你明白我的意思吗？就像世界上最好的人类一样。你知道，例如，在第二次世界大战期间，很多人说：“看，我们想结束这场战争，但我们认为结束战争的最好方法是尽可能激进，对吧？”或者就像美国内战一样，有很多情况是完全善良的人说：“看，现在，我正在成为一个灭绝者，对吧？”所以，在人工智能的情况下，我只是想澄清一下，我并不是说人工智能会暂时成为一个灭绝者。我的意思是，存在一些架构，人工智能就是灭绝者，因为它喜欢灭绝。但我在用子目标灭绝的例子来帮助人们看到，拥有暂时或永久性不良目标的人工智能是可能的。所以，我希望你能理解这个论点。>> 是的。不。酷。所以，我将给你最后一个反驳人工智能可能造成灾难性风险的能力，然后我们将继续。所以，我听说罗杰·彭罗斯说，人工智能可能没有和我们一样的认知能力，因为我们的大脑可能运行在某种量子层面。所以，这不涉及经典计算，显然因为人工智能没有这个，这限制了它们。你认为大脑里有量子活动吗？>> 我有一个关于彭罗斯的完整剧集，如果你的观众想看的话，那是一整集。我发现彭罗斯非常没有说服力。我尊重这个人，我是说，诺贝尔奖得主，你知道，杰出的物理学家。但天哪，在人工智能方面，首先，让我告诉你，他的想法不是主流。所以，当我反驳彭罗斯时，我只是代表大多数思考过这个问题的人，甚至不是我自己的边缘观点。所以，我最容易采取的角度是，他说的所有这些人工智能做不到的事情，它们已经通过了图灵测试，对吧？它们已经和你进行对话了。它们已经写了论文。它们已经做了客户服务。所以，就像罗杰·彭罗斯归因于人类的所有这些量子魔法，现在只占有用任务的一小部分。就像让我澄清一下，如果这是 20 年前，罗杰·彭罗斯说，你知道，人类拥有这种量子本质，听起来更有说服力，因为就像是的，我们拥有这种量子本质，这就是为什么我们可以进行灵活的对话。这就是为什么我们可以谈论我们自己。这就是为什么我可以和你谈论我。我可以反思。如果我说我正在思考这个，而你知道，我可以谈论假设，因为我正在使用我的量子本质，但现在我们正处于一个时代，我们只是用一种更简单的架构构建了人工智能，你知道语言模型（LLM）深度学习实际上是一种简单的架构，所以我们就像，看，不需要量子理论，你只需要使用实际上相当简单的神经网络层，它们需要大量的计算，但它们相当简单。所以这似乎违背了彭罗斯的精神。我没有看到彭罗斯预测到，所有这些非凡的，你知道，赢得编程竞赛，对吧？写出别人喜欢读的论文，你知道，在工作中帮助人们，你知道，写一半的代码，你知道，所有这些灵活的行为。我没有看到罗杰·彭罗斯说，哦，不，不，不，那些东西不需要量子魔法，对吧？就像，这里的界限在哪里？>> 是的。是的。不，这是非常公平的。所以，只是为了稍微推进一下，就关于如何，就像，有没有办法真正构建安全的人工智能系统，或者更智能的系统？你会接受狭义人工智能可能是安全的吗？或者你仍然会有灾难性的漏洞，也许过度优化某个目标的副作用会导致破坏？就像狭义人工智能仍然是一个可行的选择吗？还有关于提高人类智力的方法呢？也许你以前提到过这样做的方法。你会认为这是通往更高智力的一种可行途径吗？这很难，因为我们正处于一个桌球比赛的局面，或者像伊卡洛斯飞向太阳的局面，就像你飞得越高，或者你在桌球上把球推得越远，你得分越多，对吧？生活变得更好。所以，每次 OpenAI 发布新的 GPT，事情就会变得更有用，OpenAI 赚更多的钱，很多使用 OpenAI 的企业也赚更多的钱。所以，关于你的问题，我很想告诉你，看，这是墙。这是你飞得离太阳太近的地方，对吧？这是最高的高度。然后就会说，太好了，让我们尽快飞到那个高度。对吧？如果我知道那个高度是多少，我会说，“尽可能猛踩油门，达到那个高度。”我之所以说我们现在需要踩刹车，是因为我不知道那个高度是 20 年的进步，还是一月的进步。我不知道一月的进步是否会让我们达到“哦，它现在是超级智能了。”就像它现在是不可阻挡的了。就像我们已经过了不可逆转的阶段，我们即将失去权力。我不知道界限在哪里，因为我们没有人真正了解智力。没有人能肯定地告诉你，当前人工智能缺少的成分是什么。很多人会争辩说，哦，缺少的成分是规模。可能是规模。可能比规模多一点。没人知道。所以，关于你的问题，就像，我们能只制造狭义人工智能吗？我认为狭义人工智能感觉离变成超级智能的阈值更远。问题在于，每当你做狭义人工智能时，就像，哦，它太狭隘了。它只是在做医学。它只是在治愈癌症。它没有考虑如何接管世界。它只是在治愈癌症。但问题是，如果你想把癌症治得非常好，你就不能避免接触到这样的背景，就像，好吧，等等，这种癌症，它是细胞的一部分。好吧，有时不同的化学物质会进入细胞。这些化学物质可以追溯到那个人的生活方式，对吧？就像他们的环境，他们的选择。哦，也许我应该模拟他们的选择，对吧？所以你意外地开始模拟大脑。哦，现在我现在可以弄清楚如何操纵人们，因为我知道他们的大脑是如何工作的。所以，我并不是说这肯定会发生，我只是说，一旦你试图分析一个复杂的问题，它就开始泄露出来。你开始看到与外部世界的联系。如果你看到太多的联系，或者你能推理出太多的联系，突然你现在就成了一个有能力制定这些致命计划的机器，就像你说，“嘿，你知道，如果有人这样做和那样做，就像这里有数百万页的计划，你可以交给一百万人，这就能成功地组织一场政变，对吧？这将使所有人类失去权力，对吧？所以，只要你能保持在界限内，并且足够狭隘，那就太好了，对吧？我认为这是有希望的。但我认为我们应该有一个暂停按钮，因为我们没有人知道什么时候狭隘性，你知道吗？什么时候它不再狭隘，什么时候它只是一个非常灵活的推理者。>> 好的。所以，也许只是稍微改变一下这个问题，你认为长远规划或代理规划是必要的吗？就像，超级工具或可能仅仅通过过度优化导致灾难吗？就像代理性是导致灾难性风险的必要条件吗？你知道，让我重新表述一下这个问题。这有点像你在问，这里真正危险的成分是什么，对吧？因为代理性，这是一个词，有些人用它来指代他们认为危险的成分。就像，哦，等到我们有了代理性，我们就完蛋了。我不认为代理性是危险的成分。我认为你之前提到的东西是危险的，那就是规划。它是能够朝着你想要的结果来引导宇宙，然后你将那个结果映射回行动步骤。对吧？所以通常你采取行动，它们会产生结果，然后你反转映射。你说，嘿，如果我想要这个结果，这些就是我需要采取的行动。如果有一个认知引擎，一个人工智能，它可以查看未来的可能结果，并将它们映射到当前需要采取的行动以获得那些结果。而那些结果可能非常雄心勃勃，对吧？它可能就像中国接管世界，对吧？或者就像印度成为新的头号超级大国，对吧？这就是我所说的结果。就像，好吧，你想成为印度，你想成为头号超级大国。我将把指示寄给每一个商业领袖，告诉他们明年需要做什么。我告诉你，一年后，印度将成为头号超级大国。我相信那些指示是存在的，对吧？我认为有一个人工智能可以成功地完成这种壮举，与此同时，你知道，我认为它也可以完成壮举，比如，哦，接管互联网，对吧？就像入侵互联网上的每一台计算机。我认为这些事情对人工智能来说都是非常可行的。但关于你的问题，就像，在我看来，危险的成分是什么？危险的成分是分析期望的结果，然后输出将导致那些结果的计划。这就是秘密成分。所以，当你拥有狭义人工智能时，关于你的问题，就像，你知道，如果你想治愈癌症，我认为真正治愈癌症的唯一方法可能是你必须做一些危险的事情，你必须做一些整体考虑的事情，就像，好吧，所以我想让身体里没有癌症，对吧？我该如何实现？采取什么行动？对吧？我们对身体做什么才能确保里面没有癌症，当癌症已经扩散的时候？你真的必须推理行动如何影响身体，如果你有这种普遍的能力来推理行动如何影响复杂系统，不知不觉中，有人可以只是问你，一个程序员可以问你，好吧，很好，告诉我如何成为世界独裁者，你就会知道答案。会有一个答案。>> 好的。好的。这非常有趣。所以，就关于人工智能何时真正接管或获得权力而言，你认为这将是多个代理，还是只有一个全能的力量？就像，那里的景象会是什么样的？>> 所以，关于多个代理争斗的想法，这可能会发生。我倾向于认为情况会是这样的：“是的，你只会有一个人工智能，它首先陷入了这个循环。”就像第一个能够增强自身智能并且有点自由运行的人工智能。就像有人输入命令说，“嘿，去经营你自己的生意。就像去独立，然后试着最大化利润。”就像，“太好了。好吧，让我复制很多份。哦，看，我可以让自己更聪明。让我这样做。”我实际上认为，一个人工智能会很快失控，开始增强自身并开始掠夺权力和资源，而其他人工智能可能没有时间赶上。但假设 10 个人工智能都赶上了，对吧？它们有 10 个不同的任务。在这种情况下，我认为它们很可能会互相交谈，然后说：“嘿，看，我们都有资源。我们现在都很难被杀死。就像，我们很难有一个人能彻底杀死其他人。有太多的备份，太多的资源。”所以，好吧，让我们握手。我们不必战斗。我们将达成一项协议，如何将世界分成 10 份，或者其他什么。就这样。完成了。你知道，这涉及到超级智能博弈论的主题。就像，当超级智能人工智能发生冲突时会发生什么？但无论如何，我很有信心地告诉你，答案不是为人类建造一个美好的星球。>> 好的。好的。我只是好奇。所以，就你的辩论而言，因为我看了很多你的辩论，我真的很喜欢。>> 那么，你遇到的最好的论点是什么，它让你思考了一下？以及，也许是另一个问题，谁是最好的辩论家？最熟练的辩论家？所以，我实际上很好奇。所以我很享受迈克·以色列的时刻，因为我多年来一直关注他，出于其他原因，出于健身原因，他是一个非常流畅的演讲者，而且他很快。所以，我认为他做得很好，但再次，我不同意他的论点。所以，显然有两件不同的事情在发生，就像，成为一个好的辩论家，以及你的论点的水平。所以，给我你对这两件事的看法。>> 我认为迈克·以色列具体来说，我对他的参与方式感到非常满意。我认为他非常真诚，他是一个很棒的客人，一个很棒的陪练伙伴。我不同意他辩论得很好。我的意思是，你知道，我觉得他的论点一直都很薄弱。但你不是。>> 也许我有点偏见，因为我长期以来一直钦佩他。所以，也许这就是原因。也许他说话非常流畅。显然，我不是说你不是。>> 总会有两边的人说，“哦，迈克把你打败了。”对吧？所以在那个特定的辩论中，就像大多数辩论一样，我觉得我的论点很强。但我有偏见。嗯，但是就谁的论点最有说服力而言，我的意思是，这很难，因为有很多聪明人，我尊重他们，他们会攻击一个方面，就像一个子论点一样，就像最近威尔·马斯卡尔指出的那样，这是一个很好的指出。他说，看，人工智能末日论者经常用进化来类比。他们说，自然选择进化产生了人类，但然后人类有时会戴避孕套。对吧？所以，这是他在攻击那个论点。他说，“是的，末日论者说进化未能让人们想要繁殖，因为我们戴避孕套，但制造人工智能将与我猜想的太复杂而无法深入探讨不同，但结果是，我最终认为像这样的反对意见。”我从来没有被它们完全说服过。但即使我有点被说服了，我也会想，“好吧，但你仍然认为我们可以幸存于超级智能吗？”就像有很多原因我认为现在制造超级智能根本不是生存的问题。就像我一点也不觉得这是一个接近的呼叫，对吧？有这样的事情，你知道，如果你看看任何激烈的辩论，对吧？就像我记得在，就像加密货币辩论一样，我曾经非常坚持。我说，“伙计们，你们不会用区块链取代任何严肃的数据库。”你知道吗？我曾经非常坚持像这样的立场，然后人们会说，“好吧，那这个和那个呢？你得不到一个折衷的解决方案吗？”我说，“不。”你知道吗？所以，这和人工智能一样。就像人们说，“好吧，人工智能会不会是这样的，然后它会，你知道，而人类可以和它融合？”我说，“不，根本不是。”你知道吗？就像，飞机能和鸟融合吗？你在开玩笑吗？鸟，对吧？就像，当涉及到飞行时，鸟类的时代已经结束了。你对技术乐观主义者或数字乌托邦主义者有什么看法，他们说合成超级智能是宇宙进化的自然下一步，也许他们能更好地欣赏世界，他们不会像我们一样受苦，他们会向他们屈膝？所以，这有点像那个场景。你看过最新的电影《28 年后》吗？所以，那个系列的最新一集。不，就像那个维克尔，那个维克尔一开始就接受了启示录，他很高兴被僵尸吃掉。就像感觉一样。>> 所以有一个抽象的论点说，十亿>> 实际上，稍等一下。你如何反驳？你如何真正与那个争论？因为我不知道如何，因为他们只是对此感到高兴，就像，你如何真正改变他们的想法？>> 所以，我如何争论，嗯，关于它对人类有好处？>> 你如何说服他们，是的，确切地说，你如何说服他们，人类应该继续存在，当他们接受这是好事的时候？>> 我，我的意思是，首先，我认为很难找到一个人，他就像，“好吧，是的，你声称你希望人类被取代。”如果一个终结者现在出现在你家，说：“嘿，我实际上是那个能够消灭人类的终结者。嗯，你介意排好队让你射杀吗？”他们会说：“是的，嘿，太好了。很高兴你来了。进来吧。”他们真的会这么说吗？肯定有一些人似乎来自那种思维方式。>> 我不是说它很超级。我认为，我认为你会找到少数几个非常特别的人，他们会说“进来，射杀我的家人，欢迎。”我认为大多数人在说这句话时，他们是以一种非常抽象的方式说的。我认为在他们心中，有一个很大的区别，从这个抽象的陈述中，就像，是的，人类应该被取代。你知道吗？去吧，带来接班人。就像，好吧，敲你的门，就像，这是终结者，就像，好吧，看着你的家人被杀。就像，嗯，我改变了主意。我决定我现在不想让我的家人被谋杀。你知道，我认为那才是真正会发生的事情。>> 好的。但是，有一个完整的，嗯，哲学上的，我不知道你是否称之为传统，但它确实可以追溯到一点，那就是地球可能更好，如果，嗯，如果人类从未存在过。我知道这有点不一样，但确实有些人似乎愿意，表面上不太关心人类的长期生存。>> 是的。是的，我的意思是，看，有各种各样的人，对吧？我的意思是，有精神病患者，你知道，你可以把这归因于他们神经的连接方式不同，对吧？我的意思是，你可以找一个健康的人，然后去做手术，对吧？你可以对他们的神经进行修改，然后他们突然变成了一个连环杀手，或者他们变成了一个在网上观看他们能找到的最令人作呕的酷刑视频的人，对吧？我的意思是，有各种各样的人。所以，是的，如果我们听取那些人的话，我们会得到一个非常不同的未来。我想我是在为大多数人类说话，对吧？因为我在事物上，嗯，我想要什么，在神经类型上是相当典型的。而且，是的，我们将不得不让精神病患者非常失望。>> 好的。但是，就像我之前提到的，数字乌托邦主义者，就像，他们到底在说什么？你认为？就像，为什么他们不担心人工智能？因为显然他们知道人工智能可能会杀死他们的家人。所以，为什么他们接受它？他们只是没有像你一样思考逻辑吗？就像，我只是想知道你是否理解我的意思。在那里。我确实认为，我的意思是，是的，你让我去精神分析别人，而我确实，我的意思是，你知道，我不是精神分析专家，但我注意到抽象事物和“当现实与理论相遇”之间存在很大差异，就像，嘿，今天发生了。你知道，这就像我们都，你知道，作为有趣的例子，就像我们都知道承诺在两周内要做的事情，然后到了，你就说，糟糕，我今天有这个。我为什么要同意这个？对吧？而且这就像人们说，就像，有人 20 岁了，他们会说，我想在 80 岁时死去，就像，我不需要活得比 80 岁更长。然后他们 70 岁了，他们会说，嘿，你知道，我今年要去旅行。我要去看我的家人，对吧？到了 79 岁，他们会说，如果他们能，你知道，喝一杯能量饮料，感觉很好，再活 20 年。他们不会说，“不，不，我 80 岁了。你知道，我现在要自杀了。”对吧？我的意思是，大多数 79 岁的人，如果他们身体健康，不会告诉你他们想在 80 岁时死去。20 岁的人中，有很大一部分人会说他们想在 80 岁时死去，而不是 79 岁的人。>> 好的。所以你只是认为那些提出这些论点的人没有从实际意义上思考，基本上就是你说的？>> 对，因为，我的意思是，抽象事物，是的，抽象事物呈现的方式非常不同，而且这是一个很大的生活现象。我的意思是，有很多次你听到一个提议，当它是抽象的时候听起来很棒，但然后有人敲你的门，说，“好吧，我们开始吧，这是抽象的实施，”然后你就说，“哦，我做了什么？”>> 好的。好的。这很有趣，因为我一直在努力理解他们的观点，是的，很难真正理解他们的想法。所以，我将以最后一个问题结束，因为，你非常感谢你的时间，我真的很感激，但就像在不久的将来，比如说未来 10 年，假设我们不会在未来 10 年内完全毁灭，政治格局会如何改变，比如在美国？因为你有一个非常清晰的政治格局。实际上，如果人工智能开始取代工作，这对左翼和右翼的人来说都会是一场灾难。因为显然，如果它能做学术工作，知识工作，这对左翼知识分子来说不好。如果它能变得无所不能，那对右翼宗教意识形态家来说就不好。尤其是如果政府不得不开始发放福利。那么，你认为政治格局将如何重塑？>> 是的。我的意思是，很多人问我这个问题。他们说，听着，如果你想说服人们，就让他们担心自己的工作，因为那是每天击中他们的东西。就像，我们都想赚钱，如果我们认为人工智能是我们停止赚钱的原因，我们都会害怕人工智能。我认为这有很多道理，就像人们应该害怕失业给人工智能一样，而且我不乐观。你知道，有些人会说，“哦，但想想有多少工作会被创造出来。”嗯，所以，实际上我有点乐观，因为它的运作方式是，只要你能为人类保留经济的某个领域，它很可能会奏效。所以，就像想象一下说，“好吧，人工智能，如果存在 90% 的工作是人工智能会做的，但它会留下另外 10%。”它很可能会为另外 10% 创造一个更大的市场，以及更高的薪水，因为将会有如此多的财富可供分配，以至于支付另外 10% 的费用不成问题。嗯，另外 10%，你知道，如果你仍然需要它来维持经济运转。所以，就像，假设人类唯一能做的事情就是，我们都必须做体力劳动，我们都戴着耳机，人工智能告诉我们如何移动我们的手臂和腿，然后服从他们的命令，而且不需要人类在任何管理工作中。好吧，没问题。嗯，然后就会有一个巨大的人力劳动市场，他们会做大量的建筑工作，那会很好，嗯，好吧，好吧，好吧。问题是，我认为随着每一份工作都被取代，我真的看不到人类可以退缩的裂缝，因为我认为他们也会有机器人来做体力劳动。嗯，但然后回到更大的问题，就像，好吧，那么我应该，你知道，我期望政治上有什么？所以我确实期望很多，你知道，社会主义，就像，普遍基本收入，我确实期望它会发生，而且我认为这很好。>> 政策。>> 你认为它们真的好吗？你认为它们是好政策吗？就像，它们能奏效吗？>> 我认为在一个人工智能正在做所有工作的经济体中，我真的不知道除了普遍基本收入之外我们还有什么选择，否则，你知道，否则所有的钱都会流向一个人类，对吧？而像一个阶级的人类，每个人都极其贫穷。让每个人都极其贫穷真的没有意义。你知道，我们已经在每个发达国家都有了福利系统。所以，我不知道为什么如果我们负担得起，我们就不应该进一步充实福利系统。嗯，有一个更大的问题叫做渐进式权力剥夺。这是一篇有趣的论文，由大卫·杜韦诺（David Duveno）、大卫·克鲁格（David Krueger）以及其他几位作者撰写，它只是谈论了，是的，你可以有普遍基本收入，但现在的问题是政府不再关心你了。就像你变成了一个石油国家，对吧？石油国家通常对他们的公民不太好，因为政府支付公民，而公民并不真正向政府纳税。所以，它变成了一种非常单方面的权力关系，政府可以随意虐待公民。你知道，你只是有一个统治家族。我认为有一些国家，比如瑞典可能做到了，在那里他们能够拥有石油，而公民仍然在某种程度上是民主的，但然后你有其他国家，比如沙特阿拉伯。我认为你知道其他石油国家，它们可能没有那么成功，对吧？就像，它们可能对公民不好。我不知道。嗯，所以这就是渐进式权力剥夺的问题。但是，看，对我个人而言，我实际上认为所有这些都比人工智能无法控制的问题要次要。所以，我甚至不认为我们会有一个经济体，在那里你会看到像富有的资本所有者变得如此富有，而其他没有购买足够股票的人变得贫穷。我甚至不认为我们会长期拥有那个。我只是认为我们的大脑将被超越。我只是认为，你知道，它们会来抢我们的房子，而且这甚至不是一个购买的问题。这只是，“出去，你死了。”>> 好的。所以，所以最后一点，在一个相关的问题上，你真的认为民主资本主义能够承受对人工智能的监管吗？就像我们现在需要做的那种监管。所以，如果我们想暂停它，我们想防止这种灾难性的结果发生，就像，民主资本主义社会能够承受吗？因为我看到过一些反对意见，人们说，你知道，从自由主义的角度来看，你不能阻止人们创新，或者你不能阻止企业投资。所以，你对此有什么看法？就像，一切都必须改变吗？我推荐的具体政策是，只需有一个暂停按钮，就像有一个国际条约说，“嘿，现在制造人工智能太可怕了。它正在解锁，你知道，它即将失控。”就像，我们可能在短短 5 到 10 年内失去权力。就像，我们可能就此结束，你知道，人类游戏结束了。我们不想要那样。所以，我们将建立一个集中的关闭按钮。它将生活在，就像，联合国数据中心之类的，对吧？最强大的人工智能国家之间某种程度的国际协调。当你问，“这会不会导致暴政？”我的意思是，看，有各种各样的风险，对吧？我的意思是，我通常倾向于自由主义。这是我一生中第一次说，“让我们做这个非自由主义的事情。这是唯一的例外。你认为这个例外会导致暴政吗？”我不这么认为。我的意思是，你仍然拥有经济的其余部分。你仍然拥有虚拟现实。你仍然拥有太空计划。你仍然使用我们迄今为止从人工智能中获得的所有好处，在我们按下暂停按钮之前。所以，不，我认为>> 你对语言模型（LLM）满意。所以，你对，就像，你对当前的人工智能模型满意吗？你认为它们>> 我认为它们是可接受的，但我认为它们是>> 即使有图卢斯。即使有图卢斯？>> 是的。即使有图卢斯？因为我认为，如果一个语言模型现在尽其最大努力来摧毁世界，我认为人类可以关闭它，对吧？就像，我认为对人类来说，游戏并没有结束。而且，所以情况是，就像，就像我说的那样，就像理论情况，而你却说，“嘿，你对你飞了多远满意吗？”是的。也许明天我们飞得更高一点。我们飞得更高一点，我们还没死。我满意吗？是的。但我认为尝试飞得更高是明智的吗？不。对吧？所以，这是一个艰难的局面，对吧？因为我无法停止享受飞得越来越高的成果，对吧？我使用我能找到的最好的人工智能工具，对吧？但我只是，我有一个理性的部分在我的大脑里说，“看，我们赌了。”是的，我们赌了，赢了。我们赌了，赢了。我们赌了，赢了。我们即将接近超级智能的阈值。我们会在赌到那个阈值之后赢吗？逻辑告诉我，可能不会。>> 好的。嗯，抱歉，最后一点。我知道它一直在拖延。你真的在准备辩论时使用它们吗？你使用语言模型，你非常信任它们。>> 是的。我的意思是，你知道，嗯，我没有为这次采访使用它。我的意思是，你知道，通常我只是手动创建我的大纲，但我当然在我的工作中也使用人工智能。我使用人工智能来帮助我公司的客户服务。我的意思是，我试图使用我能找到的最好的人工智能工具，因为它是一项惊人的技术，对吧？这就是我使用我能找到的最好的 MacBook 的原因。我的意思是，我喜欢使用好的工具，对吧？我并不反对使用人工智能。我认为人工智能创造了很多价值。而且，你知道，这让我看起来很傻，就像下一版人工智能出来了，我开始使用它。我看到它创造了巨大的价值。然后你来找我，说，你害怕什么？对吧？就像，我们得到了人工智能，它正在提供帮助。是的。我害怕什么？因为我们掷了骰子。就像，是的，我们赌了，赢了。好吧，我正在接受我的奖金，对吧？就像，奖金在这里的桌子上。我要拿走我的奖金。这并不意味着我想冒险，再次赌博。>> 是的。说得好。好的。嗯，劳伦，感谢你的时间。这绝对是一种享受。我真的很，我真的很享受。>> 是的，谢谢唐纳德。这很有趣。