Transcription
我绝不是你的先知。我只是在这里告诉你那些智者们已经在说些什么。所以，韦斯，你愿意承认，像我这样的人，以及所有这些人都在警告说“PDoom”很高，他们不是可以轻易被忽视的。
如果所有这些名字都是患有精神疾病且不属于机器学习社区的人，那就会像是“哦，是的，他们疯了。”不，这些人是极其聪明的人。
不过，我确实喜欢和一群精神疾病患者一起做一个播客，看看他们相信什么。
那会很有趣。我的意思是，我本来想说这里没有人是那么……
伟大的。
每个人都是顶级的，非常理性的人。欢迎来到“末日辩论”。我今天的嘉宾是我的同行 YouTuber 韦斯·罗斯（Wes Roth）和迪伦·柯里厄斯（Dylan Curious）。你可能看过他们的频道。它越来越受欢迎。它涵盖了新兴趋势和人工智能领域的有趣分析，在我看来，这比试图观看彭博社或主流媒体要好得多。我们正在进行一次合作节目，他们采访了我，以获取人工智能末日论者的视角。现在，我将采访他们，以了解他们的一些观点以及他们对近期一些新闻的看法。韦斯和迪伦，欢迎来到“末日辩论”，伙计们。
哇，我们不再需要彭博社了。我们有韦斯·罗斯。你就是新闻的来源。我喜欢。
嗯，这是很高的赞誉，但非常感谢你，我很感激。
是的。非常感谢。我们很高兴来到这里。
是的，绝对。我想我只是好奇的第一个问题是，是什么让你成为了人工智能 YouTuber？
是的，我想，我的意思是，我先开始吧，只是……我一直对它着迷，可能从很久以前的科幻小说开始。它似乎从来没有走向任何地方，直到查特 GPT（ChatGPT）的出现。那是一个转折点。我有一些技术背景，曾经和一些来自斯坦福的工程师一起工作过，但实际上，我的重点一直是创办自己的企业。一开始，我只做过几份工作，在一家电子商务领域的初创公司工作，学到了很多东西，然后辞职，创办了自己的电子商务业务。这让我从需要一份工作、需要养活自己、过着勉强糊糊口的日子，变成了可能有一点喘息的空间，并不是说变得富有，但确实有了一点空间来专注于我想要的东西。所以，当查特 GPT 出现以及所有这些事情发生时，我心想，“好吧，我有一点精力可以专注于这件事。”这就是我全力投入的原因。
是的，有道理。你呢？对我来说，这只是一个长期以来一直困扰我的问题，那就是人们为什么会做决定。我想作为一个独生子，也许我内心深处总是有一些东西，就像，“我怎么交朋友？我怎么融入？我应该做什么决定？”然后，在大学期间，它逐渐变成了创业的概念。是的，它逐渐变成了智能的概念以及它们如何应用于系统。我曾是一家科技公司的首席技术官，但后来我确实在业余时间获得了一个人工智能证书。不知何故，制作这些视频的愿望似乎与自我反思和更多地了解我为什么是我自己有关。但从更宏观的层面来看，它只是出现了，这就是人工智能新闻的样子，这就是人们正在做的事情。
不错。这就是一起奔向奇点的团队。
无论你喜欢与否，每个人都在这条路上。
是真的。你知道我的意思吗？你们是什么时候开始有这个想法的？我的意思是，我想韦斯，你提到了，你知道，读科幻小说，但你们是什么时候开始有“会有奇点”这个想法的？因为对我来说，我一直期待着奇点，但我并不一定认为它会在我的一生中发生。现在我心想，“好吧，它似乎发生在我的一生中，对吧？”韦斯呢？
是的。不，我事先没有任何想法。当人工智能和查特 GPT 等东西开始出现时，我开始更多地思考它，就像，“等等，我们处于什么时间线上？”因为再说一次，我认为很多人的时间线在那时都大大缩短了。我的意思是，我曾经以为可能在不久的将来，但我当时并没有考虑过。然后就像，“哦，好吧，它可能比预期的要早得多。”而且仍然很难完全理解它。你知道有趣的是什么吗？我觉得我的历史有时可以用雷·库兹韦尔（Ray Kurzweil）的书来概括。我不知道为什么，但就像 1990 年是“智能机器时代”。当我终于读到那本书时，那已经是十年后了，它似乎还很遥远。然后，我，你知道，也许我的孩子们，我想，然后是的。然后当《如何创造心智》（How to Create a Mind）这本书，也就是雷·库兹韦尔 2012 年的书出现时。还有沃森（Watson）……那个玩尊尼求胜（Jeopardy）的沃森，我当时在看机器学习，我在思考如何创造心智，我想，“哦，这可能发生在我的一生中，但我没有感觉。”感觉是在查特 GPT 之前不久，我开始对……我需要现在做出的决定感到非常担忧。
我的意思是，是的，我想我们都在查特 GPTGPT 出现时惊醒了，因为我想我们都曾有过“图灵测试”这个概念，对吧？我知道这现在已经成为过去式了，但我们都认为这是一个非常重要的里程碑。我的意思是，它至今仍在我的脑海中回响，仍然在回响，就像图灵测试已经通过了，对吧？就像现在是时候了。
嗯。我想很多人都归功于图像识别。我想那是“我的天，这会奏效”的那个重大时刻，我们所要做的就是扩大规模，我们可以看到规模定律，我们可以看到为什么人们会投入如此多的资金。
没错。好的，让我们转入“末日”的核心，“末日辩论”。你们在节目中表现得很好，很中立，你们是很好的主持人，但我碰巧知道你们其中一人有相当强烈的看法。那么，你们准备好迎接那个大问题了吗？
你想问什么。
韦斯和迪伦，你们的“PDoom”是多少？这是可选的，你可以跳过。
嗯，是的，如果没有人说出他们的“PDoom”，那就不叫“末日辩论”了，当然。迪伦，我将……为什么你不先开始呢？因为我认为你在这方面可能更具体。
是的。非常高。但同时，我马上会给你一个确切的数字，但为了确保，有些人对此的定义略有不同。我想确保你们知道，我能想象的未来有很多种，我都不想生活在其中。很多情况并非人类的终结，但它们太奇怪了。比如，我设想一种 IDE，人们在其中编程生物生命，周围有各种奇怪的东西在走动，看起来与现在截然不同，让我感到不舒服。所以，对我来说，这就是我衡量“末日”的方式。如果你只是严格地认为有什么东西会消灭我们或让我们下线，那可能就低一些了，但我把它定在 80%。我的意思是，我认为这是大多数情况下最可能的结果。我认为这将是一个精心构建的世界，而我们将在其中幸福而安全地生存 20% 的时间，在接下来的……我的意思是，如果我也有长寿的话，我指的是几百年的生命。我觉得人工智能正在解决衰老问题。所以我必须以非常长的时间尺度来考虑这个问题，因为我想健康快乐地生活。所以，是的，我将“PDoom”定为 80% 的概率，认为我最终会陷入一个糟糕的世界。所以这让我一直感到非常焦虑，而这正是……
这可能是这期视频的标题。迪伦·柯里厄斯有 80% 的“PDoom”。这是爆炸性新闻。
是的。对未知事物感到恐惧的无知之人。就像，不会是第一个，但你知道，我没有足够的信息来自信地做出这些决定。我肯定会随着了解更多而调整。有一些来自 Anthropic 的消息让我感到希望，而且我知道人类不想毁灭自己。所以有一些理由我们不应该那样构建人工智能。但……是的，出于很多和你一样的理由，我认为我的想法与……
太疯狂了。我的意思是，你知道，这比我高。我只有 50%。我对它有点不确定。好了，韦斯，你呢？
绝对。是的，所以我想我的回答可能有点令人失望，所以请提前原谅我，但我考虑了很多。有一个有趣的漫画，有两个人在街上站着。一个人穿着，比如说，一件蓝色的衬衫，对吧？然后有第二个人站在那里，有人走过来给他穿上一件红色的衬衫，他看着那个穿蓝色衬衫的家伙，然后他说，“去他妈的那个家伙。”它向我说明的是，你知道，如果我们给自己贴标签，我们有一些我们相信的东西，我们属于某个群体，我们就会变得两极分化，我们就会有确认偏差，我们就会无法理解正在发生的事情。也许这是我的缺点，也许有些人比我做得更好。但我想非常小心，因为一开始，我会说一些我当时相信的话……也许只是凭直觉或者别的什么。现在，我更加小心了，因为我想在思考问题时保持非常灵活。所以，如果我们和 Lon 或 Elazer 一起坐下来，我想能够以最好的方式将他们的想法呈现给最广泛的受众，真正地“偷窃”他们，然后说，“嘿，这就是为什么这毫无疑问是有道理的。”如果我们有来自另一方的人，他们有非常乐观的看法，我也想能够展示他们的推理。所以，我非常小心。但我会说，当然，我读得越多关于……最新的论文，就越有很多值得担心的地方。这是一个悬而未决的问题，对吧？对齐问题是一个悬而未决的问题。我们拥有的很多因素，比如竞赛条件，事实上，谁先获得自动人工智能研究员，谁就拥有巨大的优势。这里有很多扭曲且危险的激励因素。所以，我们正在加速驶向悬崖，我们……希望我们能在到达之前发明刹车，这样我们就可以……在到达之前停下来。这就是我的看法。所以有很多问题，低“末日”，但我们正在加速驶向悬崖，你知道，有点。
没错。
是的，这有点好笑，当你们做采访时。我知道你们专注于客人，你们保持中立，但私下里迪伦会想，“啊，我们完蛋了。”这就是你的观点。是的。嗯，我的意思是，我不知道，也许你……如果你有一个相当高的“PDoom”，你是否也像我一样生活在这种诡异的感觉中，你觉得，“好吧，可能有一颗小行星要来摧毁世界，它可能在五年后，十年后，或者二十分钟后，我不知道它是什么样子，也许有机会，技术……非常聪明的人……想办法把它移开，但我仍然要过我的生活，我不知道还能做什么。”当我……我觉得，你知道，如果我不告诉人们我真的很担心，我就会觉得有点不诚实，我不需要强加给他们。我不知道这是否会有多大影响，但似乎如果更多的人关心它……你知道，也许我们就有更大的机会关注它，而不是……在社交媒体和政治等方面浪费精力。而这实际上可以帮助我们，如果我们承认那里……那看起来像一颗小行星，科学也指向了一些原因，为什么我们应该认真考虑它可能会击中地球的可能性，你知道。
完全同意。是的，我也有类似的感觉，你知道，在我生活中，你知道，去参加家庭聚会什么的。我总觉得，你知道，这种传统，很可能不会持续太久了。就像，你知道，我知道每个人都认为事情会保持不变，但如果你看看……向前看，向前看，它似乎并非如此。是的，但也要享受它。你知道我的意思吗？就像，还有什么？
是的。
就像，我们有时候关掉大脑，仍然活在当下，这绝对很重要，因为我不知道，我们仍然只是人类。所以，你知道，我们作为人类，有机制来忽略那些让我们害怕的事情。所以，我有很多这样的工具，我都在使用。我同意这一点。好的，让我们进入一些新闻。对我来说，最重要的新闻是艾利亚斯·柳多夫斯基（Elias Ryudowski）和内特·索兹（Nate Sorz）最近出版的书，《如果有人建造它，所有人都会死》（If Anyone Builds It, Everyone Dies）。
会死。
是的。让我拉出官方的图书网页。另外，这是真正的书，它实实在在的样子。
我明天会拿到精装本，所以我确实打算读它。我看了很多关于艾利亚斯（Elias）的采访。我非常尊重这个人。我认为他表达观点的方式，他对事物的深入思考，他的语言和推理的精确性。我的意思是，他的想法，无论是书中的还是其他的想法，都应该是必读的。无论你是否同意他的结论，我认为……他的推理，他的论证，对大多数人来说都应该是必读的。
是的，我很欣赏。你知道，它上周刚出版，纽约时报畅销书排行榜昨天晚上出来了，他在非虚构类中排名第七，立即成为纽约时报畅销书。
你对此有什么看法？
我绝对喜欢。而且，我实际上很好奇。我本来想在我们的播客上问的，当我们录音时。我们没时间了，但你上街采访人们关于这本书的情况，我对此非常感兴趣，我很想，如果我们有时间的话，深入探讨一下，看看人们的反应是什么，因为当你上街时，你不会遇到科技界的人，甚至……就是普通的街头行人，他们的反应是什么？
就像那些问约会问题的人。所以你对这本书也这样做了？
差不多。是的。而且，你知道，这也有点像查理·柯克（Charlie Kirk）的风格，你知道吗？就像，“哦，和我谈谈。”
好的。是的，让我们看一段剪辑。
如果人工智能要复制人类智能，这意味着它必须具备战略行为的能力，以便在多种结果之间进行权衡。人工智能进行战略行为的能力应该让每个人都感到恐惧，并且应该受到严格控制。
是的，没错。所以，你知道，这本书的论点是，在我们变得超级智能之前，我们需要非常严格的人工智能监管。这会让你担心它会变得超级智能吗？
那要看情况。它是在某个地下室里，只连接到一台电脑，给我们提供见解吗？
它在互联网上，我的朋友。它在互联网上。
那还不是真正的人工智能。查特 GPT（ChatGPT）不过是一个大型语言模型。问它任何问题。问第二个问题，你就能告诉你在和人工智能说话。
是的，先生。我们正在推断 5 到 10 年的轨迹。
你不会在 5 到 10 年内拥有互联网上的通用智能。
你有多确定？
非常确定。但你知道吗，专家共识在预测市场上是 5 到 10 年。
是的，你知道，专家们过去 70 年来一直说 5 到 10 年的聚变能源。
对？
所以你认为你应该根据一个与这些专家相矛盾的坚定信念来生活吗？
我不知道这些是什么。这些……嗯，你没有定义这些专家是谁，我也没有读过那本书。所以，我不是在试图反驳每个人。我告诉你的是我个人的经验，我有一些开发技术的经验。也许不是。嘿，很多这些东西需要比人们想象的更长的时间，而我们现在所处的位置并不重要。我现在不担心，我也不担心查特 GPT。我可能担心 5 年，甚至不那么担心 5 到 10 年，对吧？但 25 年……
我们应该害怕。
是的。嗯，你知道，即使我们将在 25 年后完蛋，这本书仍然适用。
这也是事实。
好的，谢谢你的时间。
男人。你知道，如果你不知道我们所知道的，你怎么会不这么想呢？你知道我的意思吗？就像，这难道不合乎逻辑吗？你说，“不，我见过技术。聚变能源总是需要 20 年，每 10 到 20 年。这些指数太难理解了，你必须……是的，这太疯狂了。
是的。对我来说，也很有意义的是，那个家伙走开说，“是的，在 25 年后，我们应该担心。”我心想，“好吧，也许我们应该谈谈这个问题。也许这应该成为一个全国性的重要讨论。”
是的。但那就像我们 2000 年一样，感觉太遥远了，你不会担心。
是的。和我们采访的尼克·鲍姆（Nick Bowm）一样，我想他说的其中一件事是，如果……如果人工智能研究社区早点开始，你知道，当他写《超级智能》（Superintelligence）的时候，那已经是 14 年前了……那段时间就浪费了，因为……回应不够及时。人们只是……而且我认为莱泽（Elizer）也说了同样的话，20 年后，你仍然会处理它，就像……这并不意味着永远。
好了，这里还有一点小道消息。所以，法国人工智能安全中心执行董事查贝尔·拉斐尔（Charbel Raphael）是一位相当有影响力的活动家。他说，人工智能自我监管的时代已经结束了。200 位诺贝尔奖得主、前国家元首和行业专家刚刚签署了一份声明。引用：“我们紧急呼吁制定国际红线，以防止不可接受的人工智能风险。”诺贝尔和平奖得主玛丽亚·鲁萨（Maria Russa）今天在联合国大会上提出了这一呼吁。我的意思是，这对我来说似乎很重要。来，我来播放一段小剪辑。
第二个将在今天晚些时候发布。一项关于人工智能红线的全球呼吁，我们中的 200 多人已经签署。我们敦促你们的政府制定明确的国际界限，以防止普遍不可接受的人工智能风险。至少要定义人工智能绝不能做什么。
是的，我的意思是，你有没有觉得你……生活在一个非常关键的时刻？
哦，绝对。是的。而且，我的意思是，还有……我的意思是，最初当整个……当整个讨论开始时，我的担忧是，在人工智能安全伞下的人群中，你有一些……你知道，自私的政客。我的意思是，如果你是一个政客，这是你想要得到你想要的东西的最佳机会，如果你……你知道，如果你是这样的话，对吧？就像，每个人都会死，除非你投票给我，或者别的什么。我不是说大多数人都是这样做的，但我的意思是，一定有人会说，“嘿，这只是一个绝佳的机会。”……所以，听……听“末日辩论”的采访，这个社区里的每个人显然都很真诚。你觉得……我很好奇你们对此有什么看法。我的意思是，有没有人利用这一点……来改善他们的生活或获得更多权力？就像……我们怎么知道谁对风险是认真的？因为不是所有说它的人都相信它，显然，但我们怎么……区分这一点？
是的，顺便说一句，我很高兴你提到了这一点，因为这是最可怕的部分，很难……当我做概率计算时，我试图稍微贝叶斯一点地思考，什么会提高或降低我的“PDoom”？我心想，“好吧，我有多大可能认为我能保持隐私的未来？”几乎没有。就像，我很难想象一个超级智能不会知道如何去匿名化我电脑上正在被普遍化的任何数据。我不知道。是的，这感觉像是威权主义者介入的最终时机。不幸的是，即使在我那 20% 的安全结果中，最安全的结果也与更接近世界政府和……对现有事物进行更严格的控制有关。而且，当然，这在过去也一直是灾难的根源。这就是为什么我的“PDoom”如此之高。但……是的，这是威权主义者应该掌权的时候了，我们最好希望他们是最仁慈的人。而且你不会在政客中找到他们。所以希望是别人。
对？当你提到世界政府时，我感觉到这并不真正让你兴奋，因为你通常倾向于自由主义，对吧？
是的。谁想要一个世界……是的。谁想要一个世界政府？不。就像……当公民有能力组织自己的生活时，总是更好的。我的意思是，好吧。所以，一个更令人兴奋的可能性是，你的手机上可能有一个完全在本地运行的大型语言模型。我可能可以下载它，也许能大致了解它训练的数据，它经历了什么样的强化，它在本地运行，也许这可以是一个系统，它可以阅读国会通过的所有法案，它可以真正理解印度和中国现在正在通过的法案。它可以对它们进行投票。我的一部分人相信可能会有更多的民主，因为我们的个人化身可以代表我们进行扩展。但……但除此之外，似乎一切都在朝着相反的方向发展，即有权力的人向下控制它。而且，是的，我讨厌那种威权主义，但它似乎也是我能想象到的所有安全场景的一部分。
你还提到了隐私的例子，比如……我们真的能对人工智能保守秘密吗？问题是，如果我们谈论的是超级智能出现之前，那确实是另一回事了。如果你说，“男人，想象一下，有这么多人工智能，它们几乎和我们一样聪明，或者比我们聪明一点点，那不是很疯狂吗？”就像，是的，那会很疯狂，但你知道吗？加密技术可能仍然有效。你知道吗？2048 位加密，你知道，我们确实有复杂性理论告诉我们，无论人工智能做什么，它都无法逆转这种加密。但然后，当然，在现实中，一旦它变得……你知道，像以色列摩萨德或中央情报局一样狡猾。一旦它开始真正跳出框框思考，它就会想，“好吧，我只是要对迪伦进行社会工程，对吧？我只是要……欺骗你把你的密码给我，或者别的什么。”
是的。如果不是通过武力，我们可以用诡计。是的。有太多工具了，你知道我的意思吗？我可以想象几十种，甚至几十种，我会成为受害者，我认识的所有人都会。
没错。对？而且，当然，我的担忧只是……我没有花太多时间考虑这个……超级智能出现之前的世界，就像，“哦，天哪，那将是我们最大的头痛。”就像……对我来说不重要，因为我实际上认为人类可以……联手玩“打地鼠”游戏，解决所有出现的问题，直到超级智能出现，然后我就认为游戏结束了，因为我们再也没有机会了，对吧？我的意思是……这是公平的界限吗？
是的，我的意思是，这完全说得通。我猜……我正在以一种不同的方式看待它。所以，在……艾尔扎（Alza）在“硬分叉”（Hard Fork）上接受采访，他们当时在问他，谁……谁会加入“让人类生存”的联盟？所以，不要……不要开发超级智能。而他给出的例子是，“好吧，所以如果……像普京这样的人也在说同样的话，我们也会……他会被纳入那个“人类生存”的联盟，因为我们阻止了超级智能，所以这是有道理的，对吧？所以我们有点……在同一个屋檐下。但同时，可能还有另一群人，比如那些不认为超级智能正在被开发，但他们认为它将自动化并夺走所有工作的人。我们让他们加入联盟吗？所以，莱泽（Elizer）是如何描述的，就像……好吧，我们希望他们成为我们的盟友。我们希望他们帮助联盟，可以说，但我们不希望他们为联盟做决定，因为他们可能会做出拯救工作但允许超级智能进入的决定。而我只是觉得，这是一种很好的分解问题的方式。而且，我想我的全部想法是……好吧，那些说……他们认为，你知道，人类不会灭亡，但他们的目标是……我获得权力，我处于顶端，就像……那是最可怕的。那是我个人非常非常害怕的一个风险。
是的。而且，你知道，即使试图想象一个我们幸福地生活、过着美好生活，但超级智能仍然存在的世界。所以它可以建造一个戴森球，或者它可以做一些……就像……解决衰老问题。它可以建造任何蛋白质，任何生物，但我们却没事。那么我能想象的唯一真正的结论是，我们生活在某种动物园里，或者别的什么地方，就像……我们四处走动，我们并没有真正注意到它，但隐藏在我们周围的看不见的信息中，有一个超级智能，对吧？而且它是一个不断让我们的生活变得更好的超级智能。就像我们为狗建造一个漂亮的狗屋，我们知道狗想要什么，我们不会把它置于狗无法茁壮成长的境地，因为……我们了解它，但它仍然是一种令人不安的未来，你知道。我心想，“哦，我很高兴，它……它激励我的生活，给我动力，但我知道，任何时候他们……我真的可以随时停止游戏，或者做点什么，你知道，而且，也许如果我幸运的话，它只是好奇地收集我的数据，而不去打扰我，但它随时都可以打扰我。
对？而且，而且，而且这甚至假定我们已经达到了人工智能如此友好的程度，以至于它……让地球独处，对吧？因为那不是……我确实想打消人们的念头，就像，“哦，人工智能只是忙于其他星球。它只是不在乎地球，因为……你知道，当我请迈克·以色列（Mike Israel）来我节目时，他似乎认为……是的，它……它只是不会想打扰地球。就像……默认情况下，我们肯定会被打扰，除非人工智能不想打扰我们。这是公平的说法吗？
是的。而且，与迈克·埃兹雷尔博士（Dr. Mike Ezrael）的精彩采访，我们也在频道上采访过他。他很有趣。我只是……我喜欢那些讨论。我发现有趣的是，所以你最近采访了……艾利泽·尤科夫斯基（Elizer Yukovski）……在另一个频道上，以你的名字，而不是以“末日辩论”的名义。而且有趣的是，听起来他最初的想法是，超级智能可能……默认情况下是仁慈的，这很有趣，因为那……似乎，如果我理解正确的话，迈克·埃兹雷尔博士也在……以类似的方式思考。艾利泽（Elizer）当然后来重新考虑了那个想法。只是这个想法……我注意到一个有趣的……有趣的事情。是的，我没有……我没有强迫迈克（Mike）说，但当我们采访他时，我指出，当我们人类对老鼠或猴子感到好奇时，我们并不总是善待它们，对吧？就像，我们毫不犹豫地解剖它们的大脑，把它们置于非常痛苦的境地。我当时想，“你担心如果……你知道，就像埃隆（Elon）想要的……最大程度的好奇的……外星智能，你知道，智能，那么格洛克（Grock）会是什么样的？就像，“让我派一个擎天柱机器人去看看人类能承受多少……痛苦，或者也许只是想知道如果你改变大脑的这个部分会发生什么，因为我的目标是让它们快乐。”
是的。是的，没错。而且，你知道，你知道谁很好奇吗？纳粹的医学实验，对吧？就像，他们试图了解人类身体的一两个方面。这里有一点新闻。我认为这值得注意。中国深圳南方科技大学活跃智能系统实验室的洪斯坦（Hongstein）教授。他们正在展示一个……暴力测试。我的意思是，我认为我们都在等待这一天，机器人不会倒下，对吧？当你试图……你试图打倒它们，它们又站起来了。
是的，这是很棒的 Footage。甚至今天早上，他们又发布了一个新的创业公司。我不确定是中国还是美国的，但他们有一个机器人狗，外形和我们看到的差不多，它在跑。然后一个人拿着电锯，基本上是在它奔跑时砍掉它的肢体。以展示它在身体被撕裂或摧毁的情况下仍然能够移动的能力。到了最后，它有四个小小的残肢，它还在跑。……而那个创业公司，我想，那就是……他们试图解决的问题是……它保持移动的能力，无论它的物理形态如何改变，显然是通过……战争，你知道，你还能在哪里使用它？
是的，就像我们在做什么？就像，我们为什么要建造这些东西来赚更多的钱？来运送包裹，以及它们带来的风险？这简直是毫无意义的。
对于任何人类来说。你知道。
我必须说，我认为，如果不存在超级智能赋予它们人形身体的风险，那也没关系。就像，它们会被编程成可能会阻止人类……试图干扰它们并关闭它们吗？是的。你知道，我认为会有很多机器人……比人类更强大，但到了你说，“好吧，它们甚至会抵抗被枪击。”就像，你试图开枪射击它们，它们会冲向你，夺走你的枪。就像，好吧，到了那个时候，唯一能让这个故事说得通的就是它们是超级智能的，对吧？而且它们正在进行这些重大的计划。在这种情况下，真正危险的不是机器人身体，对吧？而是智能。
是的。是的，这是个好观点。当这一切刚开始的时候，我跟一些家人谈论过…… cadet AI 的危险。而且，你知道，这很有趣，因为……第一个回应是那些了解它的人……他们读了一些关于它的东西，他们说，“是的，但只要我们不把它放进机器人里，它就没事了。它没事。”而我坐在那里，我想，“哇。”所以……所以有一个想法是，只要它不在实体里，它就不危险。我想，这似乎是你们错过了重点，就像，如果某样东西非常聪明，它会想办法……以某种方式伤害你，而不需要看起来像人类，甚至不需要有实体。
对。还有另一句名言。有一个科技界的杰出人士说，“这只是数学。”我想……我认为这是可以做危险事情的数学。
是的。
好的。让我们转到……失业。所以，Anthropic 的联合创始人说，人工智能取代人类工作的可能性非常高，以至于他们需要警告世界。我的意思是，这很好。你知道，Anthropic 会发布这些……真实的声明。就像，它听起来像是他们对问题有自我意识，至少比 OpenAI 的表现要多。迪伦，你有什么想法？
嗯，当我们为你采访我们频道时，感觉更有趣，因为我们不必……像这样深刻地反思世界将如何不同。但……你知道，工作会消失，我认为你上次在我们播客上教会了我，如果你从长远来看，变化太大了，它还重要吗？但它……它看起来真的很好，直到它失控为止。所以，我不知道，我没有因为失业问题而恐慌。我确实认为，对于老一代人来说，这是一个巨大的变化，他们会经历一段艰难的时期，直到我们建立新的机制。但这也有机会让人类走向更好的地方。我不知道建造小玩意儿是否是我们……为了长远的幸福而生的。
而且，看看 Anthropic。所以他们发布了他们的经济指数。斯坦福大学做了一项研究，利用了这一点。实际上，这只是在过去一两个月左右，我想，或者几个月。所以，失业并不是……广泛的。它是高度集中的。这是好消息。坏消息是，它可能集中在最糟糕的地方，那就是 22 到 26 岁的人，以及那些刚从大学毕业的办公室工作。而这些工作的需求正在迅速枯竭，因为很多……这些入门级工作很容易被这些模型取代。这似乎是一个非常不稳定的职业道路部分。如果它倒下了，那似乎很糟糕。哦，你们认为，当……当失业率很高，人们开始寻找答案时，他们可能会开始关注科技公司，然后这会增加他们积极参与保护未来的愿望，这反过来又会教会他们关于对齐的知识。你们认为可能会有一个……力量，甚至可能是一个政党，开始真正地说，“嘿，就像……如果你投票给我们，我们将……对这些公司施加一些限制，我们将考虑公民想要什么。”
就像一场……直接的“慢下来”运动，基本上，对吧？我们必须放慢科技发展，这样我们才能保住工作。
是的，我想……我的意思是，放慢速度总是一个棘手的词，但……是的，一种意识。
你知道，人们确实告诉我……听着，这将唤醒人们的是失去工作，对吧？因为……我的意思是，这是真的。我的意思是，我与之交谈过的所有非技术人员，他们都有些担心失去工作。所以，我同意这可能是一个……好的起点。你知道，这只是不是我的角度。就像，我不会……假装我因为失业而激动，当……我自己的担忧是字面上的杀死所有人。这只是有点不同，我只是不想花一整天假装两者密切相关，当它们并不那么相关时。
所以，你总是关注未来，就像……10 年？就像，你……你就像，“看，那就像……那就像一个……”
是的，那就像一个五年问题。我正在解决真正的问题。
对。我的意思是，从我的角度来看，完全失业可能是一个五年问题，而没有人类存在可能是十年问题。对？所以，我的长期……这很有趣，因为几年前，每个人都说，“是的，我是个长期主义者。我关心……未来一万亿年。”而现在我心想，“我正在考虑长期，伙计们。整整十年。”
是的。是的。
让我们谈谈绝食。说到如何吸引人们的注意力。吉多（Guido），我认识他，他是“停止人工智能”（Stop AI）运动的人。他已经绝食 23 天了。我甚至不知道人们可以安全地绝食 23 天。我以为他现在会奄奄一息。他似乎还好。所以，他说这是在 Anthropic 办公室外进行的第 23 天。
太疯狂了。他还在那里。我报道过他……我在第三天报道过他。
是的，我想……嗯，有……有很多人。其中一些人停止了，然后……哦，有很多人……绝食。是的，有很多人在绝食，对吧？
没错。是的。当时有一个团队，因为他们……你知道，一个，我想吉多（Guido）是第一个，然后丹尼斯（Dennis）加入了他，迈克尔·特拉齐（Michael Tratzy）加入了他。没错。其中一个在 DeepMind，这个在 Anthropic。我想其中一个在欧洲实验室，但吉多（Guido）我想是最初的，也是持续时间最长的绝食者，因为他已经 23 天了。他想让达里奥（Dario）……让我来读一下他的话。他说，“我正在和街上的牧师们交谈，他们很惊讶地得知，在这些没有标记的办公室后面，是一家人工智能公司，其首席执行官达里奥·阿梅代（Dario Amodei）认为，他正在参与的这场竞赛有四分之一的风险会摧毁他们的文明。”……但我正在寻找他们的要求。……所以，我不认为这是吉多（Guido）的要求，但我知道……我记得……丹尼斯（Dennis）的要求是，如果德米斯·哈萨比斯（Demis Hassabis）出来告诉他，DeepMind 愿意停止竞赛，如果其他人也同意某些停止条件的话。基本上就是……协调停止。这就是他们的目标，因为他们现在甚至还没有做到这一点。你们怎么看？
是的，我的意思是，像……协调的意图肯定有助于对齐。……我不知道为什么不行，你知道吗？就像，我有一种感觉，也许这不会有太大影响。但另一方面，你又能做什么呢？什么都不做？就像，我非常尊重他，因为他站出来做了他能做的事情。我的意思是，迪伦，我……也许你应该亲自考虑加入抗议活动，因为如果你的“PDoom”如此之高，难道你不参与这个运动与你如此警惕不一致吗？
是的。是的，是这样。就像，我处理一点认知失调，但……你知道，我……我只是想和我的女朋友一起享受生活，而不是……压力。而且，我不知道，这有点像……投票的愿望。就像，我每次选举都去投票，但……我真的应该……更深入地阅读候选人的信息，然后做那些事情吗？我只是……
是的。
我有点……你知道，就是懒惰。我……也许我应该，也许我会。我不知道。我的意思是，我的意思是，谈论这个有助于我思考它，并迫使我稍微……
没错。……我想知道为什么 Anthropic 是被针对的公司之一，因为我觉得 Anthropic……我的意思是，是的，它们是前沿实验室之一。达里奥（Dario）似乎是最担心人工智能安全的人，是为它做得最多的人。而且，在所有实验室中，他是……似乎非常负责任的人。嗯，我的意思是，萨姆·奥尔特曼（Sam Altman）被踢出 OpenAI 的整个事情，部分原因，如果我们理解正确的话，如果我没记错的话，根据报道，是因为达里奥（Dario）慢慢地发布了模型的下一个迭代，而萨姆（Sam）迅速地发布了它。而那位女士……我记不起名字了……是的。所以，那是……她写了一篇论文，我认为批评 OpenAI，部分原因是因为他们推出东西的速度太快了，我认为那就是引发这一切的导火索。而且……那件事，他被解雇了三天，你知道，我的意思是，Anthropic 几乎被视为……好的版本，如何正确做这件事的例子。是的，我很好奇为什么 Anthropic 被针对，而不是……我的意思是，OpenAI 对比谷歌。这……你知道我的意思吗？这有意义吗？
是的，你……我的意思是，我觉得你用这个话题回答了自己的问题，因为如果你沿着这个逻辑走下去，那么达里奥（Dario）就是那个实际上可能会回应的人。你去 OpenAI 办公室前做这件事，萨姆·奥尔特曼（Sam Altman）不在乎。
但我喜欢达里奥（Dario）做研究的事实。我几乎……让他们继续，因为他们……他们把收入的一部分……我认为他们可能比其他任何公司都投入更多的计算和资源……用于安全研究，在……你知道，规模上。是的，比例上。
是的，我知道你们在说什么。我的意思是，我觉得萨姆·奥尔特曼（Sam Altman）和现在的埃隆·马斯克（Elon Musk）现在都是纯粹的口头承诺，对安全。就像，他们已经……受够了。就像，随便吧，随遇而安。这就是我从他们那里得到的感受。而我确实认为达里奥（Dario）是……嗯，我们必须快速前进，但你知道，我们必须小心。而且他招募那些同意我们必须小心的人。同样，我认为德米斯·哈萨比斯（Deis Habis）认为我们必须小心。现在，在实践中，如果你认为我们必须小心，但你仍然在推动比赛前进，那真的重要吗？也许不。而原因……
我个人之所以在 Anthropic 外面抗议，以及 Guido 在 Anthropic 外面抗议，是因为归根结底，仅仅因为你的核弹只有一百万千吨的威力，而不是像你所处的整个空间那样拥有五百万千吨的威力，这已经远远超出了常理。这就是我们的观点。所以，当你成为最差中的最好时，你仍然很糟糕。人们需要知道这一点，你知道，仅仅因为我们不会通过渐进式改进来达到最好，这并没有什么帮助。你知道，这就是为什么我们特别，如果有什么的话，它就像它更诱人去单独点名 Anthropic，就像那样。你们太糟糕了。>> 所以，你说，对不起，你也这么做了。你曾经在那里。>> 是的。不幸的是，我没有绝食。我喜欢好好吃饭，所以我没有绝食，但几个月前，我和 Holly Elmore 领导的 PAIUS 在那里。>> 我确实有一个扩音器。嗯，实际上，你知道，播放一段剪辑会很有趣。所以发生的事情是，是的。所以我们去了扩音器外面。我们只是对他们大喊大叫。我们对人们大喊大叫。哦，是的，我找到了。等一下。>> 我要参加什么抗议活动？你知道我的意思吗？就像我这里根本没有什么。>> 拉斯维加斯抗议。>> 我不知道。是的，我想我会去 Defcon。就像，让我们做点什么。>> 让我们播放剪辑。>> Anthropic AI>> Dario Mday。>> 我们正在抗议的这家公司树立了一个可怕的榜样。可以说是最坏的参与者。>> 好人不知道如何使其安全，就不会制造超级智能。>> 这就是我在这里给 Anthropic 一点意见的原因。>> 原因 AI。>> 我们不想死。>> 原因 AI。>> 我们不是在编写软件。我们在培养一个新物种。>> Jack Clark。>> 他们认为他们可以将其保持安全。将其放在他们的小盒子里。那是胡说。那是傲慢。>> 我们想要什么？>> 我们什么时候想要？>> 稍后。>> 我们想要一天吗？>> 不。>> 我们想要一年吗？>> 不。>> 我们想要十年吗？>> 也许。>> 这里发生了一些非常糟糕的事情。>> Dario Amade 说，如果你创造了超级智能，有 25% 的几率，四分之一的几率它会消灭所有人。>> 不可接受。>> 不可接受。>> 不可接受。不可接受。>> 建造超级智能 AI>> 就像他们在这个建筑里所做的那样，应该是非法的。>> 人们想知道，你知道，他们如何打扮以维持一个正常的社会？>> 我猜这比我记得的要长。>> 但如果 Dario 像，但如果 Dario 下台了，就像你知道的，Bezos 是那里的一位巨额投资者，他们只会找一个甚至没有四分之一几率的人来接替。说你根本不应该抗议，但>> 我认为，以某种方式，你想以某种方式传达信息并赋予他更多的权力，>> 我没有答案。>> 对。但我想这就是问题所在，没有人有答案，对吧？每个人都说，“哦，好吧，我们为什么不做这件事，这件事很糟糕，但至少我在里面，对吧？我坐在这艘驶向地狱的船上的猫鸟座位上。”就像，好吧，那有什么帮助？>> 我知道我曾经看过这个视频，我没有意识到那是你。嗯，出于某种原因，你看起来有点不一样，但嗯，是的。>> 街头形象。>> 但是的，不，嗯，我想我明白为什么针对 Anthropic 是有道理的。我想我对他们有点好感，因为他们似乎真的在全力以赴地解决 AI 安全问题，我非常期待听到更多关于他们发布的所有东西。但 Wes，你认为我们应该做什么？世界应该做什么？就像，为了感觉更安全，如果你有一个魔杖，你想要什么？>> 伙计，给我一分钟思考一下，你们继续，但是的，这是个好问题。嗯，让我试试。>> 哦，是的，你可以做到。我来接管这个问题。>> 是的，你们会怎么做？我想。>> 是的，嗯，因为你已经考虑了很多，是的，它看起来像什么？嗯，是完全停止，还是介于两者之间？>> 是的，我支持 Udicowski 的提议，我们需要国际条约。现在甚至不取决于 AI 公司了。就像去他妈的，他们现在不是善意的参与者。必须是国际监管，说没有人可以建造这个。我们都害怕建造这个。是的，我们可以有一个集中的研究实验室，有一个联盟说，“好吧，你可以做这么多的研究。我们都可以互相监视。我们可以稍微推进一步。我们可以尝试获得新的见解。所以我们可以尝试获得像医学见解，而不是像一般的超级智能，直到我们了解如何使超级智能安全的原则。但关键是，这不仅仅是你想要放在每个人手中的东西，因为无论它多么有趣，对吧？就像它非常有趣，但它就是行不通，对吧？就像，“哦，让我们都玩火柴吧，”你知道，我们是孩子。就像，不，你会引起火灾，你知道。你只需要意识到会发生这种情况。所以这个提议是，不幸的是，非常集中，受限的发展。如果你还记得 Eliacowski，为了强调他的观点，他说，“看，这不是那种你可以违反然后两年后，我们会给你一个严厉的通知的条约。这是那种如果你违反了它并且不停下来，我们会去攻击你的掩体，对吧？我们会使用掩体炸弹，无论需要什么，让那些 GPU 脱机。”然后每个人都攻击他，“啊哈，你是暴力的。你基本上是恐怖分子，Alia，对吧？”他们真的反应过度了。>> 所以，所以公民关心似乎无关紧要。这真的取决于一群精英的世界政府人员做出这个决定，然后通过法律来执行。>> 理论上，对吧？理论上，如果领导人能够聚在一起做出明智的决定并付诸实施，而且这是正确的决定，而公民们只是过着自己的生活，不关心，我想那就可以了。但我想我们都知道，现实中领导人不是那样领导的，对吧？我的意思是，每个人，他们往往从后面领导，对吧？他们只是想做那些会受到人们欢迎的事情。所以，这就是为什么我个人认为杠杆的角度不是去和领导人谈谈，然后说，“这是你们应该做的。”它非常依赖于草根的意愿，就像，“嘿，伙计们，嘿，世界公民，我们都需要大声疾呼。”>> 所以，有趣的事情是，你们提到了让所有领导人都参与其中，这当然是其中的一部分，无论我们是从草根开始，还是从上而下，或者其他什么。另一件事当然是每个国家都有自己的精英，他们自己的人，也许不是民选官员，但他们从阴影中经营经济的一部分，政府的一部分，就像那些在背景中的有影响力的人，无论是亿万富翁还是其他什么。所以 Nick Boowm 最近，你知道，我们和他谈过。他有一个关于潜在治理模式的提议。如果我理解正确的话，它基本上是利用现有的股票市场体系，有一个世界公司，每个人都可以购买，所有政府和所有精英以及想要投资的人都可以投资于一个系统，在那里每个人都在开发这个东西。嗯，我敢肯定这个想法有很多漏洞，但我想它在几个方面都赢了。一是它让每个人都参与进来，专注于一件事，而不是中国和美国以及其他所有人以及阿联酋、王国建造自己的模型。我们至少有一个统一的东西，每个人都在其中投入资金。所以，它也似乎得到了支持，而且不仅仅是政府。它不像，你知道，就像核武器一样，所有政府都在。它也得到了亿万富翁的支持，那些掌权的人。因为他们也投资其中。他们的钱也处于危险之中。嗯，他在 less wrong 社区发布了那个提议。我知道它得到了很多评论。是的。你们对此有什么看法？>> 是的，我其实不确定你说的是哪个帖子。我可能错过了。>> 作为 AGI 的治理模式的投资。所以他在 2025 年 8 月 27 日在 less wrong 上发布了它。嗯，我们在和他聊天时，他简要地和我们谈过。所以，简而言之，我们在美国有一个 AGI 公司。每个人都可以购买，外国公司、外国政府和亿万富翁几乎被鼓励投资。所以这个想法是让每个人都参与到一个巨大的 AGI 核心中。我的意思是，这是一个巨大的提议。我只是在触及表面。>> 是的。嗯，也许 UBI 也来自那里，对吧？所以，就像如果我们想要那样，我们都投资于某种程度上的美国股票或世界股票，它有所有这些触角来驱动所有这些 GPU，并且从长远来看，我们都希望看到那只股票增长。我的意思是，你知道，我还没有真正看到详细的提议，但当涉及到建造超级智能 AI 的问题时，它实际上并不是关于，“哦，我们如何协调全世界公民并汇总每个人的偏好？”对我来说，那个特定的问题更像是，“我们如何阻止随机公司单方面地说，‘嘿，让我们进行一次训练运行，然后跨越超级智能的门槛和不归路，对吧？’”那就是我看到的问题。而且，我认为民主本身并不是关键工具。我认为关键工具只是无论你想如何构建领导层，领导层都必须停止那种去中心化的实验。>> 是的，我想我看到的方式是，我想这可能是我自己的偏见。我没有看到全世界的人们在某种协议下合作。所以这是我最大的想法，我当时想，“是的，如果我们能有一些全国性或全球性的合作就好了。”我们有什么例子？嗯，>> 不，你知道吗，Wes，最可怕的是，几乎所有的重大“公地悲剧”问题，当它们得到解决时，总是发生在“你不得不向日本投下一颗原子弹来吓坏整个世界，然后最终协调那东西的发展。”而我们与 ASI 还有第二次机会。嗯，也许你有。我不知道。嗯，也许你会得到一些提示，但你知道，就像核武器一样，它们非常强大。它可能会失控。>> 所以，这就是为什么我喜欢这个方法的一些想法，第一步是利用每个人的自身利益来投资于一个看起来像“是的，我们正在开发它”的东西。但然后我们对正在发生的事情有更多的了解。嗯，只是因为我认为美国上市公司在股票市场上交易，它们并不完美，但我们对它们正在做什么有很多了解。不总是，但它相当好。它是相当好的系统。人们能够投票。来自世界各地的人们都能购买。再次，远非完美，但有很多东西是有效的。它们已经有了治理模式。如果我们能以某种方式创造一个像那样的大东西，至少我们得到了每个人的支持，我觉得这是第一步。嗯，因为，你知道，比如，假设 Anthropic 暂停了，也许 Google 同意暂停，但然后有中国的实验室，所以它是我们一个接一个地做的事情，还是我们？我的想法是，“好吧，我们需要某种能够统一所有人的模型，让所有人都坐到同一张桌子上来。”这是第一步，第二步是弄清楚该做什么。我们没有一个所有决策者都坐着的桌子。我们没有。你知道我的意思吗？>> 是的，嗯，你知道，我会说这有点奇怪，就像你看到特朗普在国际晚宴上炫耀，你知道，Sam 和 Sam 和 Google CEO、Microsoft CEO。所以我确实想知道幕后发生了什么，他们有多协调，以及其中几个人是否没有联系 Jensen 和 Musk，以确保他们也加入进来。所以希望有这样的事情发生。我的意思是，我确实在晚宴上看到过他们以群体的方式出现，感觉不像我曾经那样。>> 看看目前的状况。这是导演 Michael Katzios 在 Twitter 上。他在白宫科学技术政策办公室工作，他昨天发了一条非常强硬的推文。他说，“美国完全拒绝国际组织试图对人工智能进行集中控制和全球治理的所有努力，对社会公平、气候灾难主义和所谓的‘所谓’生存风险的意识形态执念。我们的存在将面临风险的想法，它们对进步有害，并且是负责任地利用这项技术的障碍。”然后 Jacob Hellberg 加入了进来，他是候任的副国务卿。所以这些都是相当高层的人，他说 AI 灾难主义是新的气候灾难主义。灾难主义者总是声称需要大规模扩大监管控制，以保护你免受迫在眉睫的灾难。我们完全拒绝它。所以，对我来说，这就像，你知道，这就是当人们注意到某件事然后通过协调来做出反应时会发生什么。这是一个难题，这就是人们试图绕过难题时会发生的情况。所以，你认为 Avatar 是什么样的？如果你能站在一个非常不喜欢末日辩论和 Eleazar Yowski 等人的普通人的角度来看，你认为他们在想什么？我的第一个想法是，他们就像，所以我以前有过这种情况，就像我以前更喜欢谈论我的末日一样。或者我最近没有做那么多，但他们通常说我试图在 YouTube 上出名。他们就像，“哦，你可能只是为了观看次数而这样做，或者你只是，你知道，你在这样做。”我说，“相信我，我的 YouTube 频道没有那么大。它没有给我带来太多帮助。这只是我得出的结论。”但我想，他们是否认为像 Eleazar 这样的人只是想获得控制权，建立一个运动，或者推翻政府，或者他们认为能量来自哪里，如果他们不真诚地认为你是因为关心？>> 我前几天在 Twitter 上看到一个聪明人说，“伙计们，他只是想卖书，他只是想赚钱。”这是一个我关注的人，我认为他有像原创思想一样聪明的观点。嗯，在 Alzarowski 经营自己的研究基金会，年收入五位数之后，你知道，他赚的钱只有他去科技公司工作的一成。你认为这是一个现金掠夺，因为他卖了像几千本书，并登上了《纽约时报》畅销书榜？我的意思是，对我来说，这只是对另一方的重大建模失败。但关于你的问题，你知道，这种灾难主义的想法，我的意思是，它确实存在，对吧？有一群灾难主义者，即使是今天活着的人，你也可以在那些心理是这样的，‘是的，我们感到沮丧。我们对未来感到消极，我们将只关注新闻中最新的我可以担心的东西。’对吧？我的意思是，确实如此。确实如此，有些人就是这样运作的。我在这里。我是一个低情感的理性人。嗯，你知道，我经常说我有点像阿斯伯格人格类型，对吧？我只是在看。我只是想，“好吧，什么才是真实的？”哦，实际上是真的，我们有很高的几率被毁灭。我以前从未对任何事情有过这种感觉，除了人工智能超级智能，因为论证似乎很强大。对吧？所以，我不是你可能认为的灾难主义者。Aliawoski 也不是。Aliawoski 只有在他意识到自己建造 AI 的计划将失败时才开始灾难主义。就像他对自己计划进行了反思，然后看了看别人的计划，就像，“哦，你们也要失败了。”就像，彻底失败。所以，嗯，你知道，这就是为什么我不得不评论 Jacob Halleberg 的帖子。我说，“你在事实上有误，关于那些不同意你的人的看法以及你为什么在贬低话语的质量。我真的很反感这种讨论方式。”>> 我应该做更多的研究，但你是否有过在做任何与末日有关的事情之前，对气候变化和地缘政治做出重大、笼罩性的担忧的记录？>> 只是转向。是的。你知道，我以前是 PETA 的一员，向人们泼血。>> 因为那里也有来自事实的担忧。我只是好奇，did that>> 是的。是的。不，我的整个历史是嗯，我上大学时学的计算机科学。那实际上是我开始阅读 less wrong 的时候。所以我没有多少成年生活可以向你展示作为证据。我的意思是，你知道，我从九岁起就一直在编程。所以，我一直热爱科技，就像 Ali Yukowski 本人一样。我的职业生涯大部分时间都在忽视 AI 的生存风险。我做过 Y combinator。我做过几个科技初创公司，但都不太成功。我仍然经营一家科技初创公司，那实际上是我的本职工作。我甚至不靠我的 YouTube 频道赚钱。我把所有的钱都用来重新投入到频道的制作中。所以，我离末日预言者最远了。如果明天有什么突破，就像，“哦，我们现在知道如何控制 AI 了。”我会说，“哦，太好了，太棒了。然后我就可以继续玩 AI 了。”我的意思是，我一点也不是末日预言者。>> 是的。是的。而且这绝对是，就像你说的，一个开放的问题。嗯，而且看到它甚至是什么样子会很好。嗯，Elazer 或任何人有像它甚至是什么样子吗？有没有什么近似于朝着解决这个问题迈出步骤的样子？>> 是的。是的。所以，嗯，是的，这可能是一个很好的半乐观的结尾，Alazer 认为他已经制定了很多理论，关于当我们能够控制 AI 并给它一个对人类有意义的目标时是什么样子。就像，看看，分析每个人的大脑，想象他们有多年时间坐在一起思考一个美好的未来是什么样的，然后将其推断出来，并给我们建议。你知道，你可以比我们更好地预测采取哪些行动来实现那种天堂的现实近似。Alazra 认为这个问题理论上是可能的，只要我们不“在能够叫牌之前就出牌”。那是他在我节目中使用的语言。他说，我们可以建立足够的理论来开始叫牌，但因为风险太高，因为你不能撤销，你必须基本上投入比其他问题更多的几十年准备。你知道，这更像是发送探测器，对吧？就像我们最近展开了詹姆斯·韦伯太空望远镜，我们在大约 30 年后成功了，对吧？就像我们如此密切关注这架詹姆斯·韦伯太空望远镜，并且我们确实做对了。不幸的是，我们对控制 AI 的理论水平比我们对如何正确地将望远镜送入太空的所有理论都要原始。所以我只是说，是的，有一个解决办法，但我们离那里还远着呢。我们甚至还没有接近给予它正确的重视和协调。但那将是乐观的情景，对吧？>> 嗯，我刚刚在聊天中扔了一个链接。你介意把它调出来吗？那是维基百科页面，它分解了人们的末日是什么，只是因为你是谁以及你是如何思考这个问题的。嗯，你注意到关于大幅波动的模式，嗯，所以 Dario Amade？是的。把它定在 25%，然后 Gemis>> 说是大于 0%。我的意思是，你注意到像 Yosua 和 Eleazar 和 Elon 的排名方式有什么吗？这张图表变化如此之大，而这些人都是如此聪明的人。>> 真是太疯狂了。嗯，我有一个想法，有时我会说我的末日是 10% 到 90%，而不是 50%，只是为了传达我的意思是，你看，我乐于来回变动。我乐于有一天感觉更倾向于某一方面。然后人们会说，“好吧，你说 10% 到 90%，所以你什么都没告诉我。”然后我回答，“不，看看这个。看看 Yan Lun 说 0.01%。我告诉你，不是那个。好吧，那绝对不是 0.01% 以下。10% 到 90% 是我认为理智的区域。”所以从我的角度来看，你知道，Dario 和 Vitalic 之间的差异是 25% 或 10%，这是一个相对较小的差异。Elazar 在 95% 处，老实说，从我的角度来看，有点过于自信，但我也认为他已经深入分析了情况，并 put together 了很多原则，也许他可以达到高 90%。我不想完全否定它，但就像，我不知道，我想如果我能推荐，如果我能给 Ellie 一些建议，我怎么敢在他这个领域的先驱者面前提出建议，我会说，“我不知道，也许保持在 90%。”就像，也许很难比 90% 更自信。嗯，只是为了公平起见，但就像这里的其他人一样，Emtt Shear 说 5% 到 50%。好吧，我接受 5% 到 50%。这离我认为合理的不远。>> 是的。而且它仍然是可行的。我的意思是，如果有人对小行星撞击地球说了这些，我们会找到一万亿美元来处理它。>> 我很惊讶 Lena Khan 在这里。嗯，然后>> 15%>> 然后嗯，什么是一个 mod？我们要采访一个 mod。>> 一个 mod。是的，我很惊讶。是的，他，嗯，50%。是的，他，他和你一样。>> 疯狂。>> Roman Yowski 是最高的。>> 是的。我的意思是，就像，你看，归根结底，我做末日辩论是因为我认为这只是套利。就像，我甚至不是在这里试图告诉世界一些疯狂的事情。我只是想告诉世界，“嘿，嗯，你知道，就像我们拥有的最聪明的人，他们最能估计情况。那些家伙基本上在尖叫，就像这张桌子上有不同的人，他们是行业领导者。我想这里有一个记者，但还有未来学家，而且，请记住，这不仅仅是关于这个末日表，好吗？就像我们可以去 CIS 的声明，关于 AI 风险的声明，减轻 AI 灭绝的风险应该是全球优先事项，与大流行病和核战争等其他社会规模的风险并列。它由 Jeffrey Hinden 签署。它由 Joshua Benj 签署。所以，归根结底，我不是在这里只是为了和人们打架，然后说，“哦，你相信这个吗？”我只是想告诉你，那些杰出人物已经在说什么了。我只是想在还有时间的时候，将这种理解传播到更广泛的社会。>> 是的。而且你看，进化就是这样工作的，对糟糕的事情进行一点过度纠正是有益的。就像，有时你看到蛇时会跳起来，但它实际上是一根棍子，这是有原因的。这是因为对像死亡这样危险的事情有点紧张对进化很有好处。所以，如果我们能在我们的社会中吸收一些东西，然后说，“嗯，这是一个很大的风险。”并且与气候变化和核武器一起，但这个似乎是我们从头开始发明的东西，我们应该至少以同样的程度，甚至更多地讨论它。>> 完全正确。让我们以此结束。所以，Wes，你不必给我们一个高末日，但我认为很清楚你愿意走这么远。如果我理解正确的话，你愿意说像我和我们看到的所有这些警告末日很高的人，他们不是轻易可以被忽视的。这样说公平吗？>> 不。你看，问题是。>> 基本上，如果每个人，>> 如果所有这些名字都是有精神疾病并且不属于机器学习社区的人，嗯，那就像，“哦，是的，他们疯了。”不，这些人是非常聪明的人。这些人是非常受过教育的人，他们花大量时间研究这些问题并思考这些问题。你不能忽视它。而且我也认为，对很多人来说，包括我自己，我学到的越多，我越意识到超级智能能做什么，一旦你意识到事情可以有多好，你的一部分就会想，“是的，但如果它能建造那个，如果它能建造骰子和球体和不朽和任何东西，就像那似乎是一个非常强大的实体。就像，有没有风险？嗯，如果你完全理解我们可能在召唤一个字面上的机器神，我的意思是，你的一部分必须有一些恐惧，一些恐惧。就像，我在我的频道上这样说，你知道，你可以对末日有任何看法。如果，如果你在零，你认为我们正在召唤超级智能，你就不相信我们正在召唤超级智能。如果你认为它即将上线，你至少必须有一些恐惧。这就是我的立场。所以，是的，我喜欢 Demi 所说的，大于零，100%。>> 是的。嗯，我确实喜欢和一群精神病患者一起做播客的想法，看看他们相信什么。所以，你把它带到了我的存在中。我想>> 那会很搞笑。我的意思是，这里没有人是，每个人都是顶级的。>> 这里有一群疯子。这是他们相信的。播客，你知道，那会比我们做得多得多。人们会比我们更相信他们。所以，>> 是的，我们去了一家精神病院谈论 AI。>> 是的。就像，你相信外星人，那会做得很好。>> 好。>> 好了。所以 Wes 和 Dylan，末日辩论的观众，如果他们喜欢这种内容，他们会喜欢你的节目什么？>> 是的，我的意思是，我们最近决定在我的频道上托管我们的播客。似乎，嗯，它只是达到了，你知道，我们发布了一些很棒的采访，我们有一个单独的频道。它就是没有流行起来。嗯，这太可惜了，因为我觉得我们想把这些信息传递给人们。所以，我们将在我的频道上这样做。所以，Wes Roth，去看看。嗯，Dylan Curious 有他的频道。他正在报道新闻，一些非常有趣的事情。最近我刚发现，显然患有 ADHD 的人从 AI 中受益匪浅，我当时想，“这对我来说很有道理。”而且，我正在尝试做一些类似新闻的事情，但我比其他人慢。就像，我就是无法做到，哦，Nvidia 今天发布了一个东西。所以我认为它更像是一个摘要。这是一个在互联网上听起来不好的词，但通常在一个东西出来大约一周后，我试图综合它，并将其置于更大的背景下。>> 是的。所以，来看看我们。我们很乐意邀请你。嗯，非常感谢。很高兴来到末日辩论。嗯，我我看了。我看了很多这里的采访，尤其是在最近发布了这本书《如果有人建造它，每个人都会死》之后。我看了你和 Rune 以及所有人的采访。所以我认为你做得很好，Vitalic。我的天，太不可思议了。Dr. Michael Zortell，所以继续做你正在做的事情。我认为你做得很好，嗯，频道显然在增长，所以显然它与人们产生了共鸣。如果每个人都订阅，如果你还没有订阅。>> 是的，我不能让你们在我之前读完 Eleazar 的书，所以我必须开始。但是的，非常感谢。>> 好了，大家，去读 Elazar 的书。大家，订阅 Wes 和 Dylan。大家，如果你还没有订阅 Doom Debates，也请订阅。是的，伙计们，真的很高兴能建立联系。就像我说的那样，这是一个很酷的空间，看着奇点，你知道，这是一个特权地位，是的，非常感谢你们的到来。>> 谢谢。谢谢。 [音乐]