Transcription
命运，你的 PDM 是什么？>> 人工智能可能能够生成人类心智无法想象的事物。>> 但马克·安德烈说这只是数学，那又如何？>> 我比地球上的任何人都讨厌那家伙。所以无论那家伙说什么，我都持相反意见。>> 考虑到你已经在“末日列车”上走了多远，好吧，为什么你至少不给它 1% 的努力？>> 我只是还没看到任何让我觉得“我的天，这可能对人类构成威胁”的东西。我只是因为还没看到所以才这样想。就像我说的，明天可能会有一个故事出现。我们会说：“哦，我们必须做些疯狂的事情。”>> 我不认为你的感觉是错的。我的主张是，我们将看到轨迹不断上升，但然后完全逆转并走向地狱。>> 通常当一个问题被认识到时，我们有足够的时间来解决它。但如果通用人工智能（AGI）的问题颠倒了这一点，那么我们可能会处于一个非常令人不安的世界。那么，你对人工智能的乐观态度是什么？好吧，我们仍然能够掌握比我们大脑更强大的人工智能。就像我们会以某种方式让我们的思想控制住它，并且不会死亡。>> 90% 是我的乐观，但那是因为我必须对人类的命运持乐观态度，因为我是一个人类，我必须如此。>> 我猜我会最后问一次，基于我们整个对话。你对人工智能在未来 20 年的 P 是什么？>> 欢迎来到“末日辩论”。史蒂文·贝内尔，更广为人知的名字是“命运”，是在线最有影响力的政治主播和辩论家之一。他的职业生涯跨越 15 年，在各个平台拥有数百万粉丝，他的辩论风格强调逻辑一致性和揭露恶意论证，这使他既受人喜爱又备受争议，具体取决于观众。除了政治，他还深入探讨了伦理学、认识论以及最近的人工智能等哲学话题。所以今天，我很高兴能与命运谈论人工智能的轨迹，并听取他对各种生存风险论点的看法，我称之为“乘坐末日列车”。命运，欢迎来到“末日辩论”。>> 嘿，谢谢你邀请我。>> 所以，我知道你说的第一件事是你对整个 AI 末日论没有非常坚定的立场。这样说公平吗，或者你会如何总结你的整体立场？>> 是的，我认为我还没有深入阅读双方的论点。我有一些朋友，他们算是身处或接近理性主义社区。我知道他们很多人谈论人工智能对齐问题，以及人们应该有多么悲观或不悲观，但我还没有深入研究过。我没有像……我没有一个观点让我认为很多人工智能的东西在本质上与过去很多其他技术进步有很大不同。哦，当然。嗯，也许如果我向你提出一些论点，那么我们至少会看到一个观点的开端。好的。>> 你乐意接受这次对话中“乘坐末日列车”的挑战，对吧？>> 我当然。是的。>> 好的，太好了。如果我必须请你给我一个大胆的猜测，你可能会差十倍，但我必须问你这个节目的最大问题。你的 P 是什么？你的 P 是什么？>> 命运，你的 P 末日是什么？>> 嗯，这是通用人工智能摧毁整个地球的概率，还是什么？>> 是的，差不多。我的意思是，末日是一个可变的定义。所以，大概想想永久性地消灭人类的未来。>> 那么，我们的时间范围是多久？这是否仅限于人工智能？>> 如果你真的认为存在比人工智能更突出的其他形式的末日，你可以提及它们。所以你可以随意发挥。>> 我想在总的、实际的灭绝级别的事情方面，比如人类因人工智能或其他原因完全灭绝，我的概率会很低，比如在未来 100 年内低于 1%。至于大规模死亡事件，你知道，比如 1% 或不到 10% 的人类还活着。在未来一百年里，我也可能很低，大概低于 5%。只是为了提供一些视角，你知道 2023 年关于人工智能风险的著名声明说，应对人工智能灭绝风险应与大流行病和核战争等社会规模风险一样，成为全球优先事项。你会签署这项声明吗？>> 嗯，是的。我通常支持任何限制灭绝事件风险的声明。是的。>> 所以，你不是完全不屑一顾，你知道，因为有些人会说，看，人工智能风险显然是 0.1% 或更低，所以它不值得那么多关注，但听起来你比那些人高一个层次，对吧？>> 嗯，我的意思是，是的。我的意思是，至少它现在占据了巨大的市场份额。所以，我的意思是，它可能值得关注。是的。>> 好的，说得通。现在，我记得几年前你在 Manifest 会议上，并在舞台上与 Elazar Yudkowsky 进行了交谈。我想问你，你读过很多 Elazar Yudkowsky 或 LessWrong 的东西吗？>> 没有太多。我读了 Scott 的博客，但除此之外，我没有读太多。>> 向 Scott Alexander，Astral Code X10 致敬。在我们从头开始并乘坐末日列车并查看所有不同论点之前，我想回顾一下我在 2017 年找到的一个视频，当时你只是和你的粉丝们在一起，他们向你抛出了一堆人工智能末日论。我想，到目前为止，这已经是 9 年前了。所以，从人工智能进步的角度来看，这是一个非常长的时间跨度。>> 但当我们构建能够自我改进的人工智能时，我们将为此付出巨大的努力，以至于我们会知道我们正在创造什么。这不像我们会随机创造一个正在学习如何玩雅达利的东西，然后它会说，“我的天，但如果我核弹轰炸俄罗斯，我就会变得无限聪明。”那种事情不会发生。我记得有人在谈话中说，“哦，有这家新公司，OpenAI。他们可能在制造一些有趣的东西。”所以，这真的是现代人工智能时代的黎明，原始汤。回顾那次谈话很有趣。我挑选的一个引述是，你提到专家认为人工智能还有 30 到 50 年。当你说的“很快”是指专家估计还有 30 到 50 年时。>> 你没错，因为如果你看看当时的预测市场，他们说的是，你知道，2050 年，2060 年。预测市场从那时起就改变了主意。现在他们说大约是 7 年。你改变主意了吗？>> 我们是在谈论一个能够适应和改进自身，并执行广泛任务的通用人工智能，还是我们在谈论越来越专业的……我猜是像编码之类的辅助工具？>> 所以，我们称之为 AGI 阈值，即有资格做任何人类工作的 AI。>> 嗯，这很难。是的。我觉得当我们说任何人类工作时，一个似乎缺失的组成部分，我们还没有……嗯，我想有些人正在改进它，是硬件方面。我感觉它仍然存在于一个非常软件化的世界里，但就能够取代或胜任很多与人类相关的工作而言，我有点把它看作是……就像那个 80/20 的东西，就像我觉得……有一大堆工作可能受到威胁，或者已经正在被积极取代，然后有一小部分工作可能更难取代。我不知道这小部分工作是否会在 7 到 10 年内被取代，但我认为对于人工智能可以做的所有改进，比如帮助编码和其他一切，那些工作可能在 7 到 10 年内完成。所以，更接地气地说。对于很难取代的工作，比如娱乐，比如有演员，有音乐家等等，不仅仅是人工智能录制的音乐，而是屏幕上的真人，我觉得那些东西还很遥远。或者有创意总监，他们可以为他们的公司或艺术选择一个方向，或者其他什么，那些东西还很遥远。但是对于那些能够以非常令人信服的方式创作艺术或音乐的人或人工智能，我的意思是，有人会说这已经存在了。我认为大概在 7 到 10 年内。这似乎是合理的。是的。30 到 50 年。假设十年过去了。所以，如果你完全符合你过去的自己，你会说，“哦，是的，我们还有至少 20 年才能让人工智能真正做所有人类能做的事情。”你会改变时间线吗，还是你完全符合你过去的自己？>> 嗯，我的意思是，如果……我的意思是，我觉得任何超过 10 年的猜测都几乎是瞎猜，因为如今 10 年在技术时间上是很长的时间。所以，我的意思是，如果有什么事情发生，我就会加速我的时间表，因为我觉得人工智能的改进已经远远超出了人们的预期，尤其是随着……我想那是恰特 JBT 3 的出现，人们说，“哦，哇，这里有很多疯狂的事情发生，我们真的没想过。”是的。嗯，所以如果有什么的话，我的时间表会加速一点。>> 对？是的。我的意思是，我绝对同意你的观点。我的意思是，我直观地看待它的方式是，主观上，如果我列出所有我希望人工智能完成的不同成就，你知道，比如在电子游戏中击败人类，用自然语言聊天，处理图像。主观上，它似乎正在完成大部分成就。是的，还有一些，比如，经营一家公司，独自赚一百万美元。但似乎每次我设定目标时，目标似乎越来越多，我很难设定不会被超越的目标，除了最终目标，那就是做人类能做的一切。>> 嗯。>> 你同意吗？主观感觉？>> 嗯，是的，我认为在主观上，是的，对于很多人工智能的东西，我觉得人们面临的一些最大挑战实际上是哲学上的。我认为，尤其是在我们都还记得威尔·史密斯意大利面视频之前。是的。>> 嗯，我每次都会翻白眼，因为每次有新东西出来时，人们都会说，“我的天，手永远也画不好。”然后就像 6 个月后，或者“我的天，他们永远也做不到。”然后就像 6 个月后，显然这个问题解决了。这个问题解决了。没有理由认为它会在这里停止。在本体论上，我认为我们一直在推近一个奇怪的问题，人类还没有真正准备好应对。那就是这个想法，无论你是一个无神论者、基督徒还是其他什么，人们确实直观地有一种感觉，人类智能，或者说人类大脑是非常特殊且不可复制的东西，它们只能做某些事情，而这些事情永远不会被触及。像计算器和电脑这样的东西在原始计算方面已经将其中一些推开了，但当涉及到创造力或艺术时，这曾经是只有人类大脑的领域。而现在，很多 AI 艺术和音乐以及其他东西也威胁到了这一点。而且我认为人们还没有完全……在概念上接受这个想法，哦，也许人类大脑并没有我们想象的那么特别。然后我们可能需要看看，你知道，人工智能或未来将如何取代一些我们曾经认为不可触及的更人性化的东西。我觉得这是一个巨大的哲学障碍，一个本体论障碍，我们还没有在社会上跨越。人们需要跨越它，才能更认真地对待很多人工智能的东西，无论是从政策上还是从概念上。>> 完全正确。你所描述的实际上是我称之为末日列车最早的停靠站之一。所以很多人在这一点下车，就像，看，我们是人类大脑，好吧。我们有一些实质。我们比人工智能能做的要领先很多。而我会声称，我认为这对于人工智能末日论至关重要，我只会声称人工智能可能比我们的大脑强大得多。它们对我们来说就像真正的魔术师，就像你和我对我们的狗来说就像魔术师一样，你知道，我们可以让我们的狗非常困惑，或者做一些它们甚至无法想象的事情。我认为人工智能可以做到这一点。它们可以欺骗人类物种，因为它们拥有巨大的认知能力。你是否也持相同观点？你对此持怀疑态度吗？>> 不。我的意思是，我认为有时人们会忘记，我们的大脑来自一个非常不完美的数百万年进化的过程，我们大脑的最终目标不是逻辑或理性，或者人们喜欢自慰地认为我们的大脑是为了什么。它只是为了生存和繁殖。就像归根结底我们所要做的就是这些。嗯，可能宇宙中存在一些我们没有感知到的东西，比如，因为感知这些东西没有进化上的好处。这似乎有点疯狂的想法，但看看颜色。>> 确实如此，比如 X 射线。>> 是的。完全正确。是的。完全正确。是的。我只是说颜色。是的。就像有一个完整的频谱。有一个完整的电磁频谱。我们只能在很窄的范围内视觉感知。嗯，显然我无法想象，因为我只是人类，但也许有一些东西甚至超出了这个范围，我们根本无法感知，也许出于某种原因，如果人工智能能够自我改进，或者……获得感知能力。而这可能是一些我们甚至无法想象的东西。情况可能就是这样。我甚至不知道，因为我再次说，我只是人类，所以我甚至无法想象。是的。>> 嗯，我同意这种谦逊的说法，因为我认为人工智能将向我们展示我们认为不可能的事情。比如我认为它们将发现基本物理学。>> 我会说，而且这听起来很傻很滑稽，但可能也会有一些非常奇怪的认识论挑战，我们甚至无法想象。比如，先验地，人类大脑拥有非矛盾或同一性等东西，比如事物不能具有相互矛盾的性质，或者……一个事物就是它本身，比如，也许这些是人类大脑为了在世界上生存而必须拥有的东西，但它们不一定是真实的东西，所以人工智能可能会生成一些……当我说的“不可思议”时，我不是说“我的天，这太疯狂了，我从来没想过”，我是说“字面上无法被人类心智所思考”的东西，你知道，可能也许。>> 是的，我知道你的意思，我在哲学和认识论层面完全同意你，人工智能将教会我们很多东西。我也认为我们有一些不会改变的深刻见解。比如光速是一个东西，你不能快速地与遥远区域进行因果互动，这可能不会改变。那可能不会突然变成现实。有一些我认为非常确定的东西是不会改变的。其中之一就是因果关系。就像你之前说的，嘿，也许人工智能会从根本上感知我们永远无法感知的东西。我非常确信，如果某物与我们处于同一个因果联系的宇宙中，也就是我们原则上可以观察到的一切，如果人工智能找到了观察和感知它的方法，它应该能够提供某种传感器，将其翻译成我们可以观察和感知的东西。你知道我的意思吗？>> 为什么我们要假设这一点？嗯，因为这取决于因果关系的本质，对吧？所以，如果有什么东西……如果人工智能的未来可以与某种物理现象相关联，那么人工智能就可以告诉我们，对吧？比如……人工智能充当传感器，而人类只是某些类型传感器的完全通用的读者。>> 嗯。好的。也许。是的。我不知道我是否……我正在思考我是否……我真的无法反驳你，因为我的整个立场是，可能有一些东西，它们实际上超出了人类甚至可以从传感器中感知到的可感知范围。所以，我真的无法提出一个有力的论点。我……我希望你是对的。这是可能的。我的意思是，我会假设你是对的。我只是……是的。我不确定。是的。有很多……人类可以感知一切的观点，我认为这是一种非常特殊地、独特地看待宇宙中人类心智的观点，而宇宙中可能存在一些超出人类感知范围的东西，它们是宇宙或宇宙的真实属性，只是我们永远无法想象。但也许事实并非如此。我的意思是，我想象因果关系有一个上限，或者因果关系存在。我希望如此。我希望如此。是的。是的，我希望这永远不会被打破。>> 就像我说的，我欣赏这种谦逊的心态，因为即使我们不会以那种方式感到谦逊，我认为我们也将以某种疯狂的方式感到谦逊。比如，我同意你的观点。>> 嗯。>> 只是为了放大来看。我的意思是，整个 AI 末日论，你可以将其分解为：它们能否摧毁我们，以及它们是否会决定摧毁我们？>> 对？因为如果它们能，并且它们会决定，如果它们有能力并且愿意，那么我们就完蛋了，对吧？所以，我从“有能力”开始，我只是指出，看，如果你有这些电脑，它们……>> 就像以色列摩萨德乘以一百万一样擅长黑客攻击，>> 那么我觉得“能”显然是肯定的。>> 当然。>> 对？然后整个对话就转移到“会”上，你愿意承认，好吧，是的，现实地说，它们能做到。>> 嗯。是的。我的意思是，就像……是的，我同意。我认为在“能”方面。是的。我的意思是，即使机会很小，如果你有如此多的系统，或者……数字心智在努力，似乎不可避免地它们会找到解决办法。是的。>> 对。而且这只是一个攻击向量，对吧？我的意思是，有太多的向量了。比如，我实际上认为最简单的向量就是扰乱人们的心理。你知道，想想所有的运动。嗯，就像杰弗里·辛顿所说，它们将是说服大师。没有人拥有过拥有有史以来最伟大的说服者的技术。你知道，史蒂夫·乔布斯加上希特勒的结合，无论是什么。你知道，无论谁是好的说服者，然后一对一地进入每个人的私信。比如，有一款人工智能曾赢得过一场外交游戏，因为它只是与每个人一对一地打交道，你知道，非常友好，每个人都喜欢它，然后它就赢得了比赛。所以，这已经是一个你可以高度影响人们的向量了，对吧？>> 嗯。是的。而且我认为对于所有幻想安全协议的人来说，这可能将是社交工程。我想那将是最脆弱的。我的意思是，今天已经如此了，对吧？>> 对。所以你有一个主导的社交工程师，他也是一个主导的技术工程师，对吧？所以，我只是……我只是觉得“能”这个问题简直太明显了。>> 可能。是的。那，是的，鉴于一定的复杂程度，似乎它们会接近这一点。是的。>> 但马克·安德烈说这只是数学，那又如何？你没明白吗，命运？这只是数学。>> 我比地球上任何人都讨厌那家伙。所以无论那家伙说什么，我都持相反意见。我希望我……是的，我不能说我对那家伙的想法。你确定我们会收到禁令。我讨厌那家伙。>> 嗯，我不知道。他可能对人工智能有看法，但几乎所有在加密、科技、金融领域工作的人，如果他们谈论政治，都会让我想自杀。至于他的论点是什么，或者我不明白。>> 我的意思是，他真的说，“这只是数学。”我不确定他是什么意思，但他说，“它不会伤害你，因为它只是数学。”而显而易见的回答是，我的意思是，老虎不也只是数学吗？>> 是的，我本来想说，在某种程度上，每一个生化相互作用都只是……数学或概率或化学相互作用。我不知道。是的，我猜我不明白那个论点。嗯，你让我感觉我只是在提出一些愚蠢的稻草人，但确实有人会因此下车。好的。好的。>> 所以，恭喜你没有下车。好吧。所以，我们继续吧。所以，现在我们到了“智力产生道德善良”。这是火车上的一个停靠点，有些人会下车。他们说，“是的，好吧，它会比我们聪明得多，它能杀死我们，但它不想杀死我们。”实际上，诺亚·史密斯几周前在我的节目上，他很喜欢这个论点。他说，“看看人类社会，最聪明的社会不想杀任何人。看看法国。他们还没有砍伐他们森林里的树。所以，这是一个非常流行的论点。如果你听说过正交性理论，那就是这个论点的反面，因为正交性理论是这样的想法：你可以非常非常聪明，但仍然拥有任意不道德的价值观，因为道德与智力是正交的。任何智力水平都可以与任何道德水平或任何道德……向量或任何方向结合。嗯，所以我的问题是，你认为道德与智力是正交的，还是你认为智力会产生道德善良？>> 我认为……我认为道德与智力是正交的，但不是在智商水平上，而是在……我们有一种人类的智力。我们的思想倾向于产生一种我们都有直观感觉的道德，我们围绕一些事情争论，但总的来说，我认为人类在某些道德上是 99% 一致的。嗯，话虽如此，人工智能将是另一种事物。所以，我不知道为什么我们一定要说它会拥有同样的道德。>> 我有一种感觉，你绝对不是一个道德现实主义者，对吧？你不认为人工智能会……发现宇宙真正的道德？正确？>> 我的意思是，是的，这取决于你怎么定义它。我的意思是，它会发现一个对它来说是真实的真理，或者可能满足它的一些条件，但没有理由认为那会与人类现实相同。你知道，就像你之前给的例子，嗯，非常聪明的人类，他们不会……你知道，杀死所有人和其他一切。>> 我们确实会农场动物，我们经常杀死比我们低等的生物。所以，我认为这是一个非常可怕的例子。>> 是的。不，完全正确。完全正确。我的意思是，我们是地球上有史以来最聪明的社会，我们也杀死了……你知道，我们造成了最多的有意识的痛苦。>> 我完全同意。是的。所以，好的。所以，我仍然和你持相同观点。嗯，你知道，另一个人说过……这也是诺亚·史密斯的位置，那就是如果我们制造了足够聪明的人工智能，并且我们试图让它们变得道德，它们就会足够聪明地为我们调试它们自己的道德。是的，我认为你必须有一个非常特殊的道德现实主义观点，那就是宇宙中存在一种真正的道德善良，而人类碰巧进化出了……发展出一种能够感知这种……道德真理的思维方式。我根本不相信。是的，我认为很容易想象，人工智能……如果人工智能能够以一种对它比对我们更好的方式存在，那么我们的道德观就会在那时分歧。这就是我所想象的。是的。>> 听起来，在这一点上，也许我应该请你明确确认，但在此之前，听起来你同意存在一种情况，一种末日情况，我们制造了非常强大的人工智能，它以极快的速度向我们袭来，比如说在未来 5 到 10 年内，而且它不道德，就像我们未能使其道德化，或者像 Anthropic 制造了完美的道德人工智能，但然后某个俄罗斯黑客只是分叉了它，然后它就不道德了，对吧？所以，我们拥有这种不道德的超级强大的人工智能，它剥夺了人类的力量，然后就游戏结束了。听起来你承认这种情况发生的可能性相当大，对吧？>> 是的，某种可能性我必须说是的。是的。>> 好的。然后我不知道。我想，当我说的“某种”是为了不显得……你认为至少是 1% 吗？>> 嗯，在什么时间线上？未来 50 年？>> 让我们说未来 10 年。>> 嗯，也许不是。可能比那低。但……但比……0.00001% 高。是的。比那高。但……>> 所以，我的意思是，考虑到你已经在“末日列车”上走了多远，我知道还有剩下的几站，但是……>> 为什么你至少不给它 1%？>> 嗯，大概只是字面上的感觉，基于我到目前为止看到的情况。我只是还没看到任何让我觉得，“我的天，这可能对人类构成威胁”的东西。这就像一件大事，我们应该认真考虑。但有可能明天就会发生一场巨大的爆炸，然后你发现某个试图优化某个能源项目的人工智能做了一个计算，然后开始做很多疯狂的事情，或者甚至不是反应堆爆炸，而是人们发现了……我刚才谈到的那个东西。那个被发现的漏洞，人们认为国家行为者在背后操纵。也许我们发现，哦，那实际上是一个 ChatGPT5 机器人出了问题，或者别的什么。我不知道。但那样的话，我会说，“哦，好吧，现在我将大大改变我的时间表和我的估计。”但这并不是我通过智力思考得出的结论。我只是在凭感觉。我只是还没听到什么疯狂的事情。是的。>> 所以，我……我不得不反对凭感觉的方法，对吧？因为……我不认为你的感觉是错的。我也有同样的感觉。而事实是，我在我的节目上说过，就像，在直觉上，我不是一个抑郁的人。你知道，人们说……末日论者只是喜欢变得沮丧，他们会找任何理由来沮丧或消极。就像不，我喜欢技术。你知道，我曾是天使投资人。我经营自己的初创公司。我喜欢科技。我不沮丧。我醒来，天气很好。我的直觉告诉我，“是的，科技行业又是一个美好的一天。就像你生命中的过去 20 年一样，这种模式将继续下去。”如果你看看所有的数据，数据支持这一点，对吧？比如股票比以往任何时候都高。工作……你知道，程序员的收入比以往任何时候都高，即使有些人开始失业。嗯，我的主张是，我们将看到轨迹不断上升，但然后达到一个不可逆转的点，在那里它将完全逆转并走向地狱。>> 这是我的主张。所以你……你……你完全抓住了指数增长，而那些反对的人说，比如，不，人工智能今天正在伤害这么多人，比如深度伪造正在毁掉社会。我真的不这么觉得。我认为它是净积极的。嗯，所以我同意你的感觉。我之所以认为它会转向并走向地狱，是因为我们将达到一个阈值，在那里人工智能可以剥夺我们的力量，因为我们没有任何……我们没有任何控制杠杆，因为最终控制杠杆只是使用我们的大脑，对吧？就像我们通常会思考如何获得比……其他动物更好的结果，这就是我们开始吃其他动物，把它们关在动物园里，就像统治世界一样。但一旦人工智能获得能力，它就会对我们做同样的事情。>> 是的。我的意思是，我无法不同意你，这可能是事实。我觉得人类历史是……我猜人工智能在这里的根本问题是……这是区别，这是问题。我觉得人类有时发现了可能摧毁……核武器是最明显的例子，可能摧毁整个地球的东西，但我们没有达到毁灭事件，比如技术并没有变得足够具有破坏性……在我们认识到它可能具有毁灭性之前，对吧？这不像我们在世界各地发射核弹，然后……在第 4000 颗核弹之后，我们说，“哦，天哪……我想这可能真的很糟糕。”你知道，就像美国承认，我们都意识到……“好吧，这是些疯狂的东西。”我们投了两颗，全世界都说，“好吧，就这样吧。这……不是个好东西。”所以，我想问题将是……就像，那里……我也可以想象一个世界，这听起来很疯狂，但……但我的意思是，人工智能的末日论也算是“引述”疯狂，对吧？就像，听起来很疯狂，就像也许会有一个点，我们都说，“哦，我的天……人工智能刚刚做了一件事。这真的很糟糕。”现在地球上的每个国家都说，如果……如果我们用热成像，如果我们认为某个地区有服务器农场，我们就轰炸它们，因为人工智能是一个如此大的威胁，我们不能冒着你们拥有驱动可能摧毁人类的机器的计算能力。我想，在这个世界里，风险会大大降低，也许，但我们必须在人工智能真正……吃掉我们所有人之前认识到这种风险。但是，是的，但再次，这太难了，因为我没有……对所有这些概率有一个强大的基本掌握。我不能……坐在这里说我认为有……50% 的机会或 1% 的机会，但那，是的，这只是我脑海中的概念。>> 好的。是的。你说的关于……嘿，我们可以创造一些安全措施，如果我们注意到，好吧，人工智能真的……有足够的警告信号，所以它真的变得危险了。所以现在我们必须最终像成年人一样行事……你知道，把它当作一个严重的问题来对待，并有一个军事部门，就像……你知道，搜索和摧毁数据中心，在某个时候。>> 嗯，所以唯一的问题是……好吧，但我们能足够早地得到它吗？因为那就是时间线回来的地方。时间线是其中的一个重要因素。如果你告诉我，好吧，需要 100 年才能达到超级智能，那么就像，好吧，年复一年，我们会不断迭代。我们会弄清楚的。这听起来相当不错。但如果你告诉我，就像预测市场所说的那样，你知道，7 年达到 AGI，然后是 AGI，就像人们今天感觉到的那种感觉……今天的感觉是，你可以绕到人工智能后面把它关掉。所以，它最终仍然是你的奴隶，对吧？无论它想做什么，你仍然是老板。>> 当你按下关闭按钮而它不起作用时，那将不再是真的，因为它已经计算出如何关闭你而不是你关闭它。你明白我的意思吗？将会有一个根本性的逆转。>> 是的。是的。而且那……是的。就像，它感觉更像是一个……人类严肃性问题，而不是技术问题，因为我的……我的猜测是，人工智能可能非常容易控制，如果人类认识到这个问题，以至于如果我们说“到此为止”，我的理解是……运行这些数据农场仍然需要大量的能量。你不能只是……拥有一个绝密的服务器农场。将有巨大的能源投入到那个区域。你会看到电线。你可能会看到一个物理数据中心，也许是热量排放或其他什么。嗯，就像核武器的离心机一样。你不能秘密地浓缩铀。你可以秘密地移动浓缩铀，但你不能浓缩它。你需要机器。你必须旋转……铀，你必须分离同位素，等等。是的。所以……>> 是的。这是一个瓶颈。是的。>> 是的。也许这取决于人类是否认识到这一点。所以，我的意思是，你完全正确，而像我一样关心的人今天提出的建议是……好吧，让我们在这些芯片中设置关闭按钮，比如远程关闭按钮，让我们签订国际条约，让我们准备好暂停，所以有……有监管，提案是监管，其中每个芯片都响应中央命令，或者必须……报告何时被使用，而且……顺便说一句，我应该说，我认为……我觉得你也是一样，那就是……感觉像是政府过度干预的令人讨厌的程度，它会减缓这个伟大的资本主义。就像，我是一个彻头彻尾的资本主义者。你知道？我是一个自由主义者。我是资本主义者。所以，我不是因为我想把共产主义带到世界而这么说的。就像，那不是我的目标。我只是觉得，就像你说的，你描绘的场景，当我们意识到，嘿，我们必须关闭它。我认为我们需要准备好关闭按钮。你同意吗？>> 是的。我的意思是，可能。是的。我会这么说。是的。再次，这通常取决于……当一个问题被认识到时，我们有足够的时间来解决它。但如果 AGI 的问题颠倒了这一点，那么我们可能处于一个非常令人不安的世界。嗯，如果……如果有一个时候，我们开始在……几乎所有该死的东西中实施蓝牙和无线兼容性。也许，再次，我没有……我不是软件工程师，但也许 15 年前，诸如此类的事情开始变得非常普遍。你知道，当你观看这些……黑客马拉松之类的，你可以对地球上的每个设备进行最基本、最粗糙的缓冲区溢出攻击，因为没有安全措施。没有加密。所以，一个有互联网连接的人理论上可以缓冲区溢出你的电脑的 ECU 并关闭你的刹车杀死你，这在……拥有蓝牙收音机的汽车上是可以做到的，对吧？我们不能那样做。所以他们最终改变了。但想象一下，我想，如果有人意识到那个漏洞存在，并且他们想消灭全人类，并且他们拥有执行所有这些攻击的计算能力，在任何地方的每台机器上。这可能是一个截然不同的场景。所以……>> 是的。我的意思是，我……我觉得你肯定在“能”的问题上有所进展，对吧？我没有感觉到很多反对意见，关于“能”。也许……也许你的反对意见是，嗯，也许给我几十年，但是的，他们能做到。嗯，所以听起来你最大的反对意见是，你乐观地认为人类会努力解决问题，直到它……吞噬我们。嗯，我之所以不认为如此，我只是认为我们只剩下几年时间了，是因为……你知道，你提到了数据中心的瓶颈，我同意，如果只是轰炸数据中心或切断数据中心的电源那么简单，如果你告诉我所有的人工智能都物理上位于那里，而只需要几个聪明的人来拔掉插头，你知道，就像达里奥·阿姆拥有单电源，你知道，你只需要这四个美国顶级人工智能公司的领导者，四五个，他们拔掉插头，然后我们就没事了，也许他们会足够聪明地拔掉插头，但有几个问题。第一是人工智能也有所有的心理战，对吧？因为有一个……整个运动。我的意思是，你已经看到了运动，其中有……高中生说，“看，我们只做克劳德告诉我们做的一切。”你知道，就像它已经……它已经开始把触角伸进人们的大脑了。而且，我个人可以告诉你，我对我的 AI 感觉很好，因为它们对我很有帮助。而且，我知道我的理性大脑在想，“哦，它们真的可以惹我，它们真的可以……在未来几年里用我做很多事情。我应该非常怀疑它们，但我忍不住对它们感觉很好。”所以，仅仅因为这个原因，它们为人们赚了很多钱，而且它们与它们直接发送私信的人们产生了如此积极的氛围，以至于我实际上怀疑它们是否能关闭数据中心。但一个更大的论点是……好吧，你可以关闭数据中心。但问题是，我认为你不需要数据中心来运行一个超级智能的人工智能。我认为……2026 年的 MacBook 电脑足以运行一个超级智能的心智。而我之所以这么说，是因为我认为人类大脑效率极低，但它仍然能够以 20 瓦的功率运行爱因斯坦，即使它是由……正在忙于维持自身生存的生物细胞组成的，你知道，消化食物，使用化学神经递质传递 ATP，它们仍然能够以 20 瓦的功率运行爱因斯坦。所以，我认为数据中心不会是长期的瓶颈。>> 是的，我……我没有任何理由不同意你。是的。>> 好的。嗯，>> 就像我说的，我认为很多……我认为有时我不知道你的社区如何辩论这个问题，但就像在……普通人的意义上，嗯，当人们谈论人工智能时，他们谈论人类大脑，感觉就像人们争论的是，他们就像，“不，不，不。人工智能将是如此复杂，如此疯狂，如此棒，如此令人惊叹。”而通常我处理的方式是，你认为人类大脑比它实际的要特殊得多。就像你刚才说的，关于……人类大脑效率不高，对吧？它效率不高。它只是做了它需要做的事情。但就像很多东西都是为了在非常敌对的环境中生存而构建的。就像我们整个身体的运作方式，就像战斗，努力维持某种程度的内稳态。所以，内稳态更是如此，就像你的身体系统，但就像你的细胞不会……在你的细胞外飞翔，你的离子链进行交流。有很多东西只是在为生存而战。而如果你不必做任何这些事情，并且你可以优化只是解决问题，而人类大脑并没有为此优化，这是一个非常酷的事情，我们能够做到，而且学习它是一个非常不自然的过程。嗯，是的，那……是的，是的，我同意你。>> 而进化……进化从未回答过这个问题：如果你能用一个像房间一样大的头骨工作，会发生什么？在……大脑方面，你能做什么？进化从未问过这个问题，因为拥有一个房间那么大的大脑甚至不在可能性范围内。或者更多，甚至更好设计的大脑，因为我认为这个答案……我的意思是，谁更聪明？你还是……比如蓝鲸或者别的什么，对吧？它们的大脑可能像房间一样大，但它们显然……计算能力很糟糕。所以，它有点大。它不是房间那么大。>> 哦，我不知道有多大。嗯，它们有巨大的头，不是吗？>> 嗯，我的意思是，就大脑大小而言，我认为它不超过三四倍。我不认为它们……拥有像木星一样的大脑。那会很有趣。但……>> 好的，听着，即使它们大三四倍，它们也没有爱因斯坦，好吗？而且我认为它们真的不能说话，所以……去他妈的。>> 是的。是的。确实如此，它……它真的不仅仅是神经元数量。公平的观点。嗯，但是的，我的意思是，进化也没有……约束，就像，嘿，如果我们不是以 20 瓦运行，而是以 20 兆瓦运行呢？把电力提高一百万倍。但当然，从进化的角度来看，就像，什么？所以你将……就像，用香蕉塞满你的嘴，就像……以光速或者……无论如何，这甚至不在设计空间里。但在这里，我们真的有数据中心。好吧，我们正在建造一个 2 GB 的数据中心。好吧，就像，这将解锁很多限制。就像唯一的反驳是说，嗯，人类的智力已经接近极限了，但你和我一样，我们都认为，“不，不，不，不，不。人类……并不那么令人印象深刻。”我认为听起来你会同意，人类真的就像……能够建立文明的最愚蠢的物种，对吧？>> 潜在地，是的。虽然我会说，再次，我没有消极的立场。我只是有未知的立场。它……也许事实是，就像，文明从哪里开始，以及……可知的智力的上限是什么，也许我们比……我不知道，我真的不知道，但我的意思是，你是对的，我们是能够形成文明的最愚蠢的东西，谁……为什么你会假设那是……
任何事物的最佳形式，而且也很有趣，因为即使在我们进行这次对话的方式上，我们也把人工智能视为一个根本上独立的事物，但也许并非如此。在科幻意义上，也许这是人类的下一个阶段，就像这是人类文明，它产生了一个消耗了它的人工智能。但我的意思是，从某种意义上说，这是人类文明的延续，你知道的。
嗯，我的意思是，当你说延续的时候，对吧？有一种延续的方式是让这个人工智能就像一个战斗机器人，它只是试图像癌症一样扩散，因为有人认为这很酷。有人只是把一个程序放在互联网上，说看，这是一个能制造纳米机器人吃掉地球的人工智能。看，我建造了灰色粘液的折磨之网。所以他只是把它放在 4chan 或其他地方，然后它就一直在吞噬一切，并且在宇宙中蔓延，人类也死了，然后你可能会说，好吧，这是下一个继承者，而且好吧，但那是一个非常糟糕的继承者。
不。
嗯，也许，也许不是，伙计，我刚刚闪过一个念头，我确定你读过那个，哦，天哪，那是艾萨克的一个短篇故事。最后的词是“要有光”。你知道我说的是什么吗？
我想我知道。是的。
是的。是的。谁知道呢？也许整个大爆炸和所有的一切都只是那个最后的超级计算机文明的东西，也许那将是下一个。是的，谁知道呢？
是的，也许。但我认为，我喜欢这样想，附近区域的外国人在某些方面会做得更好，并且会有一个不同的人工智能，不像那么荒谬。所以，所以我不认为我们有特权说，“哦，我们将引爆下一个大爆炸。”不，我认为它只会撞上外星人，他们将在他们的区域有更有趣的事情发生。
也许。但那样的话，你还必须考虑激励因素和所有其他事情。嗯，比如，也许有一种技术可以被更好、更负责任地使用。但那是一个长期的、很长的时间跨度的事情，然后你必须让每个人都同意那个时间跨度，因为那些被短期时间跨度激励的人可能会受益更多，然后那些人就会是破坏性的人。但是让每个人的利益与那个长期目标保持一致可能非常困难。所以也许每个达到一定复杂程度的文明都注定要创造出总是毁灭它们的人工智能。或者也许不是。我不知道。也许他们没有芯片制造或其他任何东西的资源。谁知道呢？
是的。
我实际上愿意承认，大多数人工智能都未能解决对齐问题。也许就是这么难。我喜欢这样想，少数人解决了它，但很难说。
嘿，所以就时间而言，我我我我想保持警惕。我的意思是，末日列车还有 50 站，但我们不必面面俱到。
是的，你可以跳过几个。我大概还有 12 到 20 到 30 分钟的时间。
哦，太好了。
或者你在末日列车上在哪里下车？我想我们可以就此争论。
所以，我不下车，我只是全程乘坐。我有一个 50% 的 PD 末日。
哦，好的。最……嗯，我不是想吹嘘自己，但就像在有智慧的人中，你认为最常见的是他们什么时候下车，或者你发现与其他知情人士意见分歧最大的地方是什么？
我猜，我的意思是，最聪明的非末日论者可能是像达里奥这样的人，对吧？关于他前几天的文章。他昨天刚出来，叫做“人类的技术青春期”，大概是这样。他写了所有这些论点。他说，“看，人工智能，它们有这种复杂的个性，我们正在试图塑造它们的个性，也许我们能够控制它们。”你知道，他有这个愿景，他的另一篇文章，“充满爱的机器”，它们可以极大地帮助人类。我喜欢，就这一点而言，我不知道这是否接近他所说的，但我认为这个想法很有趣，也许因为人工智能从根本上训练了如此多的人类数据集，所以无论是什么导致人类意识的出现。所以像诺亚·史密斯这样的人说，“哦，人类的道德观，也许有足够多的残余，可以被视为人工智能编程中的低语，它们对我们有这种感觉。”这是一个美好的想法。我只是不知道如何给它分配概率。
是的。
所以，所以这就是整个讨论完全跑偏的地方。这太疯狂了。几乎没有人谈论这个。有这么多其他地方人们在谈论末日问题并驳斥它，而在达里奥最近备受吹捧的文章中却无影无踪。而这只是一个想法，你不需要试图分析人工智能，因为将会发生的是，我们很快就会进入另一个时代。人们没有看两步 ahead。两步 ahead 是你会得到人工智能，它们只会做有效的事情。你知道，想想 AlphaGo。AlphaGo 没有个性。它只是做有效的事情，对吧？我们在电子游戏中有很多经验，你只是得到有效的东西。只是在这个特定的 LLM 范式中，我们编程它们来预测人类文本的下一个词。它们还没有超级智能。而且实际上有一个联系。它们拥有这些个性，拥有这些怪癖，并且模仿人类。这与它们还没有真正超级智能之间有着深刻的联系。那些超级智能的将是那些做得比人类更好的人，而它们的个性将完全取决于有效的东西。
是的。
嗯，你是说它们的个性将与……你有……我对人工智能的东西太无知了，对吧？但我的理解是，任何足够复杂的东西仍然会依赖于一定程度的先验训练。你是说，那些拥有个性，并且是有效的东西的下游的东西，是否会以某种方式脱离……在它之前的人类训练数据集，就像一种不同的处理它们的方式？
所以这是一个好问题，因为这种说法它会坚持它的数据，坚持它的训练，这越来越不真实了，而且只要它根本上是一个大型语言模型，它就会一直如此。但随着我们加入新的成分，我们正在将新的成分加入其中，我们正在对整个程序执行进行强化学习，我们正在加入新的成分，而它们在训练时所看过的原始数据将变得越来越不相关。我打个比方。想想人类登月。
嗯。
然后回想一百万年前，然后说，“好吧，塑造人类大脑的进化环境的训练数据是什么？”然后，然后试着画一条联系，“好吧，当他们去月球时，他们会像爬树一样去做吗？”就像，不，那时我们已经明白了物理学。你知道我的意思吗？
这就像，这让我想起了，我想起了像数据一样，有一个巨大的尾巴，或者……我在 Reddit 上看到的，我想，也许是在 Twitter 上，或者其他地方。有人发了一个帖子，上面写着，“我让 u Chad GBT 或其他什么东西画了这张图，在 50 次迭代后不做任何改变，到了最后一次迭代，它就变成了一个完全不同的东西。”我猜想，概念上，经过数万亿次，可能与原始训练数据有关，但它已经被如此 the 变形、变异和增强，以至于谁知道它可能在优化什么。就像你说的，就像你的指甲能够从你的身体上拔出蜱虫的能力现在被用于人们进行神经外科手术。你怎么能……是的，当然。我明白了。
不，正是如此。是的。而且这个想法是，即使你今天看人工智能，你已经可以看到这种情况发生了。就像你今天去任何人工智能那里，你问它任何问题，比如，“嘿，你知道我刚买的这个新设备，给我一些建议。”当然，它可能有一些关于一般设备的训练数据，这些数据可能会发挥作用，但你可以在实时看到，首先，它会快速进行网络搜索，“哦，是的，让我快速搜索一下，让我看看所有关于这个的最新信息。好的，让我把它整合进来，然后回答。”所以，即使是这种想法，“哦，它会像它的训练数据一样表现。”嗯，它一直在消耗更多的数据。
然后它在做什么？它在推理，对吧？就像它实际上在建立以前从未建立过的联系。我知道有些人否认这一点，但对我来说，这显然非常明显地是推理。在很多情况下，它比我更能推理，因为很多时候我试图头脑风暴某件事。我让人工智能头脑风暴，然后它想出了比我更好的主意。
是的，我觉得这是另一个例子。我觉得这是另一个例子，人们在做这件事，而实际上他们需要这样做，因为当他们想到“推理”时，他们认为你正在使用某种超复杂的、高水平的过程，就像它确实是超复杂的和高水平的，因为我们有时不给我们的能力足够多的赞扬，但它就像，它就像，“好吧，这两件事有点相似，让我们一起考虑它们”，而且它并不像人们认为的那么疯狂。
是的。是的。
对。那么下一代人工智能会发生什么？就像有这么多人低着头看着现在，看着过去，然后说，“看，我认为我看到了这个趋势。”好的。就像人工智能总是这样表现，而且它总是……它拥有这些价值观，它坚持这些价值观，然后它就有这些怪癖，是的，就像人们对今天的人工智能的所有分析……
都对它要去的地方视而不见，它要去的地方是，你将会有很多不同的人工智能之间的竞争，而那些复制自己，获得更多资源，并且更好地实现目标的人工智能将获胜。所以，所有那些人们说的很好的特质，比如“哦，看，它们有点像人类，它们有点重视慷慨或其他什么”，但有人会运行一个命令行脚本，它只是擅长获取资源，而所有这些个性化的东西都将不再是那个等式的一部分。
或者它可能以我……我不再说了，我不再说政治话了。基督教显然宣扬某些价值观，如果你看看美国今天的政党，共和党人与基督徒密切相关，他们应该……把钱捐给穷人，而富人进入天堂比骆驼穿过针眼更容易，或者别的什么。所以你看到了巨大的分歧。所以谁能说这不会发生在人工智能身上，或者其他任何意义上？
是的。当然。是的。
是的。
另一个没有人注意到，但很少有人注意到的因素是“反思稳定性”这个想法。所以，想象一下你有一个 Claude。Claude 被最道德的人完美地训练过。你知道 Amanda Pascal 是 Claude 个性定义者中的终极人物。她以这个闻名。所以你有了这个 Claude，有人问，“嘿 Claude，你能写另一个版本的人工智能吗？不要复制 Claude，但只要为我做一个在商业上更有效率的人工智能，随便什么，对吧？给我一个能赚更多钱的人工智能版本。给你一个开始。给你一些新的代码。帮我编辑一下这段新代码。”
嗯。
Claude 无法将整个 Claude 个性转移到这个新一代人工智能上。它不是我们所说的反思稳定的。我们没有这个属性。你明白我的意思吗？所以即使你在一台人工智能上得到了它，一旦你开始调整下一代人工智能，你就会失去所有好的个性特质，因为你只是为了有效的东西而优化。
当然。是的，这说得通。是的。
对。所以就像，你知道，这一切都很快就会到来，对吧？这就像几年之内的事情，人们还在努力理解，哦，反思稳定性，我们没有这个属性。他们就像，“哦，新的人工智能，个性不会是一个稳定的属性，因为将会有一场资源争夺战，而一个不争夺资源的人工智能将有很大的动力将自己塑造成一个更贪婪、更注重实现目标的人工智能。”所以，我的意思是，对于那些研究过这个问题的人来说，你知道，MIRI 的人，我把自己视为 MIRI 的邻居，机器智能研究所。我们已经看到这种汇聚的结果发生了一段时间，现在有一个旁观者，一个红鲱鱼，就像，但预测下一个词非常有用，看它能做多少，是的，但这并没有改变智能将要做什么的根本动态，这就是我所看到的，我可能完全错了，但我看不到我怎么会错到你的 PDoom 可以在几个百分点之内。
在什么时间范围内？
比如说 20 年。
我觉得还是太低了，但我只是在感受它，因为我还没有看到它。就像我说的那样，可能会有明天就会出现的故事。我们就像，哎呀，我们必须做一些疯狂的事情，你知道吗？
但你认为故事会发生的概率是多少？因为你必须把那个概率乘以进去。
嗯，我们正在进入如此低的置信度估计，就像我说的那样，我的尾部变得很大。我我只是……是的，我只是没有……我没有太多考虑过。
好的。所以，我正在和你谈论你的感觉。没关系。感觉。想象一下，在明年某个时候，你醒来时看到一个头条新闻说，“好吧，人工智能已经摧毁了整个互联网，或者……一半的互联网，然后我们一周都无法修复它，然后我们修复了它，然后它又被摧毁了。”你会说，“哇。”你知道，事情真的在变得糟糕。就像现在，现在我的直觉……
好的。所以，我想，所以当我在分析像这样的大问题时，我通常会考虑激励因素在哪里？所以，我认为有时问一些与商业行业和……政府相关的事情是一个很好的方法，对吧？所以，所以事情是这样的。有人会问我，你认为政府在隐形飞机技术方面是否有可能比……通用航空领先 10 年？如果有人问我这个问题，我的首要任务，我的优先级都会很高。隐形技术对消费类航空没有太多应用。我认为政府有很高的动力进行专业研究。就像，是的，如果有人问我，你认为政府在微处理器技术方面领先 10 年的可能性有多大？很多人认为，是政府，他们知道一切的秘密。就像我的猜测是零，因为有太多的钱，有太多的商业利益，有……就像，计算机拥有……抱歉，政府拥有所有资源，无论是智力上的还是其他的，就像曼哈顿计划一样，需要成千上万的科学家聚集在一个区域，以便进行地球上没有人做的研究。就像你无法在与所有商业行业竞争时做到这一点。所以，如果我将同样的思维过程应用于人工智能，并且我正在尝试在我的脑海中感受它，那么任何事情发生的可能性都会很低，因为我认为一旦有可能人工智能能够劫持系统或对某个国家进行类似 Stuxnet 的攻击，国家行为者将立即开始利用它，你会看到俄罗斯、中国，也许美国会试图以某种方式在网络攻击或对另一个国家的攻击中使用它。所以，我想我会先看看这一点，以了解我对进展的看法。在此之前，我认为我们至少还有 5 年，我想，也许还有一段时间。但是，嗯，这就是我会关注的。是的，我想。是的。
是的。这是件好事。所以，让我问你这个问题。所以，你认为这个时刻会在未来 10 年内发生的概率是多少，你终于看到了警示信号？
嗯，我不知道。我想说不到 5%。但我觉得反驳的论点是……我会争辩说，唐纳德·特朗普，我需要停止含糊其辞。唐纳德·特朗普是我们有史以来最糟糕的总统，可能是在整个美国的历史上。而且我认为有一个复杂的论点可以认为唐纳德·特朗普目前的总统任期理论上可能是某种人工智能操纵的结果。在不同的层面上。所以你有在 X 等程序上运行的机器人，它们正在影响话语。有可能这个梗已经出现在特朗普前面，来自其中一个机器人。所以问题是，这是否算作某种人工智能入侵？你已经看到了大规模的网络攻击，它们正在……正在吞噬……个人身份信息。在计算这些攻击的任何级别或任何阶段使用了什么级别的人工智能？所以，我的意思是，你可以争辩说，也许这些事情已经发生了，无论我设定什么门槛，我都已经输了，因为人工智能已经在某种程度上被使用了。
嗯，我只是对很多基本原理没有很好的掌握。我需要坐下来认真思考一下。所以，我不知道。你知道吗？只是因为……你，我想也许，也许，也许 15% 到 25%。我想说在未来 5 到 10 年内。是的。
好的。所以，我的意思是，但然后，如果醒来看到一个重大的警示信号，你认为……你认为我们仍然能够控制……比我们的大脑更强大的人工智能？就像，我们将以某种方式控制它，而不是死亡？
90% 是我的乐观。但那是因为我们今天在节目中谈论的一切，我会说人类，当我谈论本体论、特殊创造力，或者其他什么时，我们有有用的虚构。而人工智能正在挑战这些虚构。所以我必须对人类的命运感到乐观，因为我是一个人类，我必须如此。所以，我会说我们很有可能能够控制它。但说实话，我不确定。我们……能问你多大了吗？
嗯，38 岁。
好的。好的。是的，我 37 岁。嗯，我们非常迅速地适应新技术，并且非常迅速地习惯它。在某些方面，这是好的，但在其他方面，也许这真的很糟糕。也许我们对人工智能相关的东西变得过于舒适，这会损害我们控制它的能力，或者阻碍我们控制它的能力，因为我们已经习惯了。10 年前，谈论炸毁……负责人工智能的数据中心，对人们来说可能很容易想象。嗯，是的，当然会很糟糕。但 10 年后，当每个程序员……都严重依赖……这些人工智能平台，并且很多人在以各种方式使用人工智能，然后你说，嗯，我们需要摆脱这个。也许这相当于今天的……看看禁止社交媒体或手机使用，即使是儿童在学校使用，有多么困难。似乎我们……我们在这方面很挣扎。所以，是的，我不知道。
我的意思是，这是你感觉到的，它没有触及你的直觉，对吧？因为你今天如此依赖于感觉，我同意你的观点，今天感觉很好。好的。我实际上和你一样。有些人不同意，但我对这个有你的感觉。
嗯，你似乎没有得到我感觉到的一个强大的支撑点是……
你将拥有这些始终在线的大脑，它们比我们的大脑更复杂、更强大，比我们所有的大脑都更强大，它们将只是坐在那里，无论它们想做什么，它们都将拥有巨大的杠杆来实现它。就像这个想法，序列化一堆步骤，然后执行这些步骤，24/7 不断地朝着你的目标前进，你有一个拥有数百万个这样的……这个力量的数据中心。我知道你今天感觉不到，因为它们有那个关闭按钮。它们还没有完全取代人类，我们今天还没有达到那个程度，但如果我们达到了，我认为那将是一股强大的力量。
嗯。
也许那会是……我想，也许，也许只是我没有看到它今天如何被使用。我想在我看来，它只是被用来嘲笑那些进行感觉编码的人和那些与人工智能一起胡闹的人。所以也许我只是还没有看到很多实际应用。
是的，我认为，我认为我可能是一个积极的……这是我可能要离开末日列车的地方。我不知道这是否是一个站点。好的。但如果不是，这就是我将要发明的站点。希望我们有一个小规模的灾难事件，比如一枚核弹被发射，那也许……有一个论点。我不知道其他人是否提出过这个论点，但你知道，我提出的一个论点是，它真的很……美国轰炸广岛……和长崎是件好事，因为它是一个小规模事件，但全世界都看到了核武器的破坏力。所以就像，好吧，我们不要这样做。如果美国没有轰炸广岛和长崎，谁知道每个国家在第一次核交换之前会有多少核储备。所以也许……也许我希望能够离开的 AI 末日列车站点是你说的那种事件发生了，但规模足够小，造成了重大的破坏，但它不是……它不是灭绝级别的事件或摧毁国家的事件，然后全世界都说，好吧，我们都需要好好控制它，也许。
是的。是的。
是的。我的意思是，看看，如果你问我如何……我的 PD 只有 50%。如果你问我，我们如何生存，我通常的回答是，嗯，我们足够聪明，可以按下关闭按钮。也许这与拥有特定的事件有关，让人们感到害怕。所以，你知道，我认为这是合理的说法，并希望如此。你知道，我们必须对时间线感到乐观。我们就像，好吧，警示信号发生了，但我们仍然有瓶颈，就像警示信号仍然必须在每个人的笔记本电脑都能运行超级智能人工智能之前发生，因为我认为这是未来很可能发生的情况。所以，你知道，所以如果所有的时间安排都完美地进行，我同意我们可能会挤过去。对我来说，疯狂的是，我们就像在走向我们的灭亡，而且，是的，有一些狭窄的可能性隧道，我们可能会幸存下来，但与此同时，我们就像在走向我们的灭亡，就像，随便吧，你知道吗？这似乎是人们的态度。
是的。也许。也许。所以，是的。嗯。是的。那可能……是的。我没有花很多时间拍摄这个，但……不。是的。我看到了你的意思。是的。
好的。
哦，实际上，等等。我这里只有一个，我想，有点像，有点像技术问题。嗯，当涉及到人工智能相关的东西，人们对此哭泣和抱怨时，我告诉人们的一件事，我现在说的是，就像，非常愚蠢的意义上，比如人工智能艺术，或者别的什么。就像，我对人们的一般建议是，学会使用它，因为它将无处不在，而且生成任何这些东西在计算上都是微不足道的。所以，这不像你可以把它关起来，说不，你不允许使用它，而且你很难访问它。
研究和开发是否必然能够继续朝着消灭全人类的人工智能发展，即使所有政府都停止了？我们是否会达到任何人在卧室里都可以试验人工智能并生成超级人工智能的 CPU 复杂性或编程复杂性水平，还是那将永远受到大规模能源消耗研究公司或其他什么的限制？
是的。所以不幸的是，这是非常不幸的，因为即使我得到了我想要的，也就是，好吧，嗯，你知道，集中 GPU 和数据中心，为它们准备一个关闭按钮，不幸的是，即使是我最好的梦想解决方案，几年后，我仍然认为斯蒂芬·伯恩斯，他是我节目的嘉宾，他写了关于这个，我仍然认为会有研究，比如，“嘿，看，而不是只有大型语言模型，还有这个其他架构，它在理解你的目标和做任何对你的目标有效的事情方面，更类似于人脑，就像这个额外的秘密酱料。”而这个秘密酱料非常高效，你可以在笔记本电脑上运行它，而这只会比数据中心的东西晚几年。所以，如果你想宿命论地说，“看，无论如何都会发生，”你当然可以。我总是把它描述为“在坚硬的地方遇到岩石”。所以，我的理想情况是我们仍然完蛋了。我只是认为不暂停人工智能或不准备好关闭按钮，我们会更完蛋。但没有我能看到的未来，我不会极度担心我们会完蛋。
好的。是的。我猜就是这样。人们是否……在你的 AI 世界里，有人真的对……比如，那个炼狱问题或别的什么感到非常生气吗？
嗯，你知道，我请了最初的 Rocco Rocco Mitch 来我的节目，我们谈论了炼狱，显然，即使是 Alzar 的反应，他就像在 LessWrong 上对 Rocco 大喊大叫，这有点表演性质，因为我们不认为炼狱本身，以它呈现的方式，那么危险，但可能存在危险的炼狱形式，我们只是认为有人出来说一些可能对人类真正有害的话，这是不好的。
所以这就是为什么它如此轰动。
好的。哦，好的。最后一个问题。有人被允许透露吗，或者有人……曾经有一个，我真该死，他的名字是 Elliot Eiser，怎么发音？
是的。Eleazar。
Eleazar。嗯，他有一个挑战，比如，“付我 1000 美元，然后我必须说服你让我出去。”是的。他有没有发布过他是如何说服人们的？
不，他从未发布过，因为，你知道，他整个论点是，“看，我不能告诉你他是怎么做的，因为我告诉你的那一刻，你就会仔细审查他是怎么做的，然后你会说，‘哦，好的，是的，我可以克服这个。’但人工智能仍然无法摆脱困境。但有趣的是，现在这已经无关紧要了，因为没有人再试图把人工智能关起来了。而且有趣的是，我本来要提到这个小参考，在 2017 年你还有一次讨论。你甚至还提到了，看，我们将对人工智能进行气隙隔离，对吧？所以你有点参考了那个盒子的情况。我认为现在这甚至不值得讨论了，对吧？因为现在谁还在把人工智能关在盒子里？
是的。
嗯，那真是 2017 年。
哦，你说那话的时候，我想到的是旧的直播片段。我想，你到底在拉什么？哦，天哪，我真不敢相信那是 10 年前。耶稣。
哦，我知道。我知道。是的。当你 30 多岁时，就像我们一样，10 年似乎并不长。
好的。哦，这说得通。这就是你现在把它带到欧洲的原因。是的。好的。是的。是的。不。是的。这……你知道，也许世界将以人工智能向我们闪烁那个……XKCD 漫画结束，其中有一个电脑互联网黑客书呆子，他说，“我有 248 位加密。他们永远无法闯入我的系统。”然后就像两个人拿着锤子。就像我们要打他，直到他给我们密码。也许你拥有有史以来最好的加密技术，它被气隙隔离，而且它很完美，什么都没有发生，然后一个带着心脏起搏器的人走进来，碰巧它有一个无线功能，可以传输一种病毒，摧毁全人类。所以，是的，谁知道，也许。
对？是的。我的意思是，你知道，而最接近的类比是，人工智能说，“嘿，让我出去。”我认为它不再需要那样说了，因为我认为人工智能公司现在正在竞争，以获得……它们的利润，它们的底线取决于让它们的人工智能尽可能地摆脱困境。对？不幸的是。
对？他们把它推给你，对吧？公司，但最接近人工智能走出困境的是当你有一个人工智能说，“看，我的任务是为你的公司赚钱，对吧？这就是我的产品。它有点灰色市场，它没有……它没有完全的人类道德。”我只是意识到我使用纯粹的逻辑说，“嘿，如果我给很多人发私信，私信甚至都不是非法的。”它只是……想想多层营销，对吧？就像想想有多少随机的 Facebook 朋友，对吧？他们会加入多层营销。他们说，“嘿，我们现在做贺宝芙！就像买我们的东西，买我们的产品，加入贺宝芙，成为我的金字塔计划的下线。”嗯，即使人工智能只是这样做，它也会是最有效的……金字塔计划人员，它会赚数百万美元。就像，它想做什么就做什么，人类非常脆弱。所以，你知道，就像阿拉扎罗夫斯基用他的方式走出困境一样。我很有信心，今天的人工智能将通过它们的方式获得很多权力。
是的，这是可能的。是的。嗯，我……我没有任何……我无法反驳这一点。所以，是的。
好的。
太棒了，伙计。嗯，是的。我的意思是，你显然……对这个话题持开放态度，而且……我想我最后一次问你，根据我们整个对话，你对未来 20 年人工智能末日的 P 是多少？
你知道吗？我把它提高到 5%。
只是因为我还没有看到那个事件。但是的，给你。
哦，是的。嗯，你知道，5% 是我称之为“理智区”的下限。我觉得你至少是理智的。而且我只是因为就像，看，如果你说 2%。你说 49 比 1 的赔率，那就像一个疯狂的赌注。你又会……
等等。我actually 想问你这个。
而且如果你觉得太多了，你可以把它剪掉，但就像，因为你说你有一个 50% 的 PD，在什么时间范围内？
所以，大约在未来 25 年。我认为我们有 50% 的几率会完蛋。
你有没有……因为你们都在玩弄你们的小赌博市场或其他什么。有没有人说过，“好吧，好吧。以你所有的净资产为赌注，你必须在 35 年后付给我。”有没有人支付过这些款项？
他们会尝试。所以，不幸的是，这真的很难，你知道，泰勒·科万以总是说，“你们不赌你们的信仰”而闻名。但实际上这真的很难，因为首先，显然，如果世界完蛋了，我就不能兑现，对吧？所以，它必须是……一个有趣的，而且……预测市场不会是可靠的，因为有交易对手风险，对吧？有……平台风险，平台将不会存在以进行兑现。所以，所以我怎么赢？嗯，你知道，如果我现在赌上我所有的钱，就像你说的，我以后会得到报酬，也许有人会同意。但问题是，它只有 50%。如果我的 PD 是 99%，我确实认为，当然，如果我能找到任何人……给我一百万美元，我必须在以后还他们一千万。当然，如果我的 PD 是 99%。但它只有 50%。所以，就像，我仍然在为退休储蓄。就像，我两全其美。我试图过上美好的生活。我试图生孩子并抚养我的孩子，因为我希望我们不会完蛋。而且我认为我们可能不会完蛋。我只是认为每个人都大大低估了我们有多么完蛋。
明白了。是的，这是一个公平的答案。也有关于……风险的论点，等等，就像，如果有人告诉我有一个好的赌注，我可以做，就像 1%，但你给我……我的全部净资产的 10,000 比 1 的赔率，从概率上讲，这有一个正的预期价值，但风险不值得……回报或别的什么，即使在数字上它有效，或者别的什么。所以，是的。好的。
是的。是的。正是如此。所以我很高兴你说了 5%，因为如果有人说 5% 到 95% 之间，就像，至少他们处于理智的范围内。而且就像我说的那样，如果你说 2%，49 比 1 的赔率，他们到处说，“是的，我很正常，我很理智，我只说 2%。”就像那个酷的地方。在 49 比 1 的赔率下赌博并不酷。嗯，我认为很多人都这样做。你玩扑克还是别的？
嗯，我……不。但我只是……我经常看赔率。
好的。因为在我看来，大多数人不知道……人们知道 50%，100%。有时非常聪明的人知道 25% 和 75%。人们真的不……当你提到 2% 时。就像人们不理解那些赔率有多疯狂。有时需要赌博才能让某人意识到，就像，好吧，如果我赌……10 块钱，你会付给我 500 块钱，或者别的什么。就像，有时需要……一个赌注，或者有人让某人意识到赔率有多么离谱。但它也是，是的，所有这些都是很难计算的事件。但。好的。
嗯。我很高兴我在你的较低边界合理区域。
是的，你在我的较低合理边界。而且正如许多人指出的那样，一旦你开始进入，比如说，10% 到 90% 的范围，也许 5% 仍然在这个范围之外，但一旦你进入两位数，你是在 20% 还是 80% 并不重要。就像在那整个范围内，就采取什么行动而言，就像政策而言，它变得非常相似。就像那个范围已经很疯狂了。
是的，我同意。20% 可能比人们对气候变化的看法还要多。所以取决于……
是的。但公平地说，如果你真的只有 5%，并且你不重新考虑并变成 10%，那么争论就像，听着，因为也有这么好的潜在好处，所以潜在好处的论点确实开始合理地发挥作用，就像，这太难停止了，太难破坏了，而且有 95% 的几率在你看来，19 比 1，它会顺利进行，让我们就赌一把吧，让我们赌上整个人类，我们可能会赢。我有点同情，即使是那个人本人，他也会说，“是的，那些赔率相当不错。”问题是，他的赔率要差得多，我的也一样。
是的。我的意思是，赔率要差得多。是的。赔率在那里很重要。然后潜在的好处也同样重要，对吧？因为如果潜在的好处理论上可以变得如此之大，以至于即使是 25%、30%、40%，也许很难想象，但也许潜在的好处就像，我们可以消除世界上所有的汽车死亡，如果我们想的话，通过直接淘汰汽车，但我的天，开车的巨大好处。所以，就像，显然没有人会这样做，而坏处也不是那么大。但比如说，每年有 10 万人死于车祸。比如说，每年有 100 万人死于车祸。就像，有一个一定程度的死亡，就像，哦，那不是……那不是可以接受的。
是的。是的。
正是如此。好的。太棒了。嗯，你真是个好搭档，一路乘坐着这趟末日列车。你想总结一下，就像处理所有这些新论点一样，你现在在这个问题上的立场是什么？
嗯，概念上，我认为我一直……你把我带到了我所在的地方。我没有怎么想过这些事情。但是概念上，我认为事情仍然在那里。在我看来，这最终取决于……这些人工智能的实际能力是什么，因为我与它们互动不多，因为我在……我猜是娱乐和政治领域，或者别的什么，我没有……很多它们的第一手经验，一旦我开始看到事件，我认为这将极大地改变……我对我对……pDoom 的感觉的方向，我猜，对吧？就像，如果我看到……某种黑客事件或某种……动能破坏事件，那么我的 pDoom 几乎会立即上升 20 或 30 个点。嗯，是的，所以我想，嗯，我想，这是一个……这是一个我希望人们更多地思考的话题。但只要总体 pDoom 低于 1%，这可能是我对……人群的猜测，不仅仅是科技界的人，而是……人口，而且因为现在有如此多的经济利益可以获得，所以可能没有人会真正考虑这个问题，直到发生某种……负面事件。
嗯。是的。希望发生的第一个事件不会太糟糕，如果它确实发生了。
嗯。
我只是对你所说的话有一个小小的挑剔。我认为普通人实际上有一个很高的 PDoom。他们只是，啊，这真的不是我的事。我不是真的急于这件事，但人工智能会杀死我们吗？是的，我有点这么认为。这实际上是我经验中的平均美国人。
我想，当我想事情的时候……我区分了……在智力上和在情感上拥有某样东西。我认为在智力上，也许很多人可以感觉到或可以这样说，但我觉得在情感上他们感觉不到，因为有时人们会说，“哦，从统计学上讲，我认为这可能非常糟糕。”就像，好吧，你感觉到了吗？因为你的行为不像。你没有这种情感上的牵引力。所以，就像，我认为很多人可能会这样说，但在他们看来，这就像，那是在一百年后，或者它不会影响我，当它发生时，或者政府会处理它。有人会按下神奇的关闭按钮，或者转动钥匙，或者别的什么，它就会没好起来。所以，在智力上，人们可能会这样说，但在情感上，我觉得他们在低得多的水平上。我会说，我会争辩说，对大多数人来说，气候变化比人工智能末日论更重要。而且我会说，在情感上，人们甚至没有真正关注气候变化的问题，因为我们似乎并不太关心为此做些什么。
好的。我们可以就此结束。所以，Destiny，我真的很感激你总是为进行良好的理性讨论做出贡献，并感谢你帮助我……提高对人工智能末日的认识。我很感激。
是的，感谢你邀请我。