Transcription
我的嘉宾是迈克尔·埃尔斯伯格，已故丹尼尔·埃尔斯伯格的儿子。如果你不知道丹尼尔·埃尔斯伯格是谁，他最出名的是泄露了五角大楼文件，揭露了美国政府在越南战争的起因问题上撒谎。>> 这引发了一连串事件。尼克松的回应导致了水门事件。>> 我们必须盯紧主要目标，埃尔斯伯格。我们必须抓住这个混蛋。他还写了一本名为《末日机器》的书，书中讲述了他为肯尼迪政府制定核战争计划的经历，试图应对那些疯狂的权衡，以及如何在核战争中避免杀死 6 亿人。我认为这与人工智能领导者试图计划如何应对超级智能的权衡类似。迈克尔实际上是丹尼尔最著名书籍的编辑。我和迈克尔都同意丹尼尔·埃尔斯伯格所阐述的道德准则。迈克尔，什么是道德准则？如果你在顶尖的人工智能实验室之一，如果内部估计显示危险远大于你的领导者所说的，那么你就有责任告知公众。这是公众关心的事。想想你的孩子们。你们正在制造可能终结他们生命的东西。那些非常有说服力的是内部人士放弃可能数百万美元来分享这个信息。那些正在制造这些东西的内部人士说：“这让我非常害怕。”>> [音乐] >> 欢迎来到“末日辩论”。我的嘉宾是迈克尔·埃尔斯伯格，已故丹尼尔·埃尔斯伯格的儿子。如果你不知道丹尼尔·埃尔斯伯格是谁，他最出名的是在 1971 年向《纽约时报》泄露了五角大楼文件，揭露了越南战争是如何“制作”出来的，并证明美国政府在越南战争的起因问题上撒谎。这与末日辩论相关。它证明了美国政府的内部人士认为越南战争的前景非常糟糕，但却反过来告诉公众一切都很好。对于观看节目的千禧一代和 Z 世代来说，丹尼尔·埃尔斯伯格就是最初的斯诺登。斯诺登曾公开表示，他受到了关于丹尼尔·埃尔斯伯格的纪录片的启发。这部纪录片名为《美国最危险的男人》。所以，我认为他的影响力比他现在的名声要大得多。但如果你看过那部 2017 年的电影《邮报》，史蒂文·斯皮尔伯格、汤姆·汉克斯、梅丽尔·斯特里普主演，烂番茄新鲜度 88%，我推荐它。这部电影实际上是根据丹尼尔·埃尔斯伯格和五角大楼文件的真实故事改编的。这还不是迈克尔·埃尔斯伯格的父亲丹尼尔·埃尔斯伯格的全部。我实际上是丹尼尔·埃尔斯伯格的粉丝。这就是我喋喋不休的原因。他还写了一本名为《末日机器》的书，书中讲述了他作为肯尼迪政府的高级顾问的经历。他当时正在制定核战争计划。他身处事件发生的中心，并试图应对那些疯狂的权衡。他试图弄清楚如何在核战争中避免杀死 6 亿人，并试图将这个数字降到尽可能低，也许只有 1 亿人。我认为这大概就是他最终制定的计划。我认为这与人工智能领导者试图计划如何应对超级智能的权衡类似。现在这些房间里正在发生着类似的疯狂权衡。所以，丹尼尔·埃尔斯伯格于 2023 年因胰腺癌去世，享年 92 岁，但我们仍然可以谈论他，因为迈克尔吸收了他太多的教训。他实际上是丹尼尔最著名书籍的编辑，并协助了写作过程。他目前正在编辑他父亲未出版作品的新书，名为《真相与后果》。迈克尔拥有 25 年的直效营销文案撰写经验。他为网站和电子邮件撰写营销文案，以吸引客户并推动销售。我们将讨论这一点，因为它是人工智能自动化最早的牺牲品之一。和我一样，迈克尔是一位深思熟虑的人工智能末日论者，他曾优雅地写过为什么如果我们构建超级人工智能，未来看起来并不好。所以，你可以看到很多不同的主题。我对这次谈话感到非常兴奋。有很多线索我想将它们编织在一起。我认为你们观众会玩得很开心。迈克尔·埃尔斯伯格，欢迎来到“末日辩论”。非常感谢。我非常高兴来到这里。这实际上是我最喜欢的播客。我是订阅者。我虔诚地收听它，或者我应该说无神论地收听它。我和迈克尔最近在谈论他父亲的作品和“末日辩论”时认识的。这很有趣，因为偶尔我会读到他父亲的一些东西。我读过他最受欢迎的两本书，一本是关于核战争的，一本是回忆录。我会在推特上写：“哇，这太棒了。这太被低估了。”然后我也会发“末日辩论”的推文。然后迈克尔在推特上关注了我，各种联系就发生了，我想：“好吧，我们得好好聊聊。有很多东西可以谈。”但迈克尔和我希望你们在开始之前知道，最重要的收获是关于丹尼尔·埃尔斯伯格阐述的道德准则，因为我和迈克尔都同意这个道德准则。迈克尔，什么是道德准则？基本上，如果你在顶尖的人工智能实验室之一，并且你相信 ASI 的风险，就像我认为那里很多人都相信的那样，特别是如果你看到你组织内部的估计，表明这里的危险远大于你的领导者，你的 CEO 所说的，无论是萨姆·奥特曼还是达里奥·阿莫代，还是马克·扎克伯格，还是埃隆·马斯克。如果内部估计显示危险远大于你的领导者所说的，我认为你有责任告知我们所有人，我们所有人，所有有孩子的人，所有那里的孩子，警告公众。这不仅仅是内部公司决定，这是一个将影响全人类的决定。所以，你确实有对公众的责任，而不仅仅是对你 CEO 的利润。>> 正是如此。你们在拿生命冒险，而越南战争的真实故事证明了，当没有人停止，当没有人吹哨子多年，那么悲剧就会上演。对于那些不知道的人来说，丹尼尔·埃尔斯伯格的故事是，尽管他泄露了五角大楼文件，但他本可以早 4 年泄露。他只是在等待，不确定是否要这样做，最终他做了。他可能帮助或实际上帮助结束了越南战争，但无论如何，如果他早点泄露，他本可以结束一些无谓的杀戮。正确。>> 是的。他的说法是，这实际上引发了一连串事件，最终促使越南战争提前结束，特别是尼克松对他泄露事件的反应。>> 所以，你们的听众可能听说过“水管工”。“水管工”是为了闯入我父亲的心理医生办公室寻找敲诈信息而成立的，然后这以不同的方式导致了水门事件，事情就从那里开始。所以，这并不像“五角大楼文件，你知道，停止战争”那么简单，但它们肯定做出了贡献。他确实认为，他上班的第一天，他之前是兰德公司的一名分析师。他在五角大楼工作的越南问题的第一天恰好是东京湾事件开始的那一天，我想是在 64 年 8 月。我想是第一天。所以，这是一场危机，几天之内，我父亲和五角大楼的每个人都知道，公众被告知的一切都是谎言。这是一次无端的袭击。袭击的程度，整个事情基本上是一个雷达错误。这就是发动战争的基础。我父亲知道这一点，很多人也知道。他们是否有责任告诉公众，说你们的孩子将因为谎言而被派往这里送死？他们是否有责任说，“我们将榨干你们的 [ __ ]，抱歉，并使用你们的，你知道的，税款和所有这些东西，都是基于谎言。”我认为答案是肯定的。而且我认为，如果你在人工智能实验室工作，并且你知道有谎言，或者对风险的描述存在严重失实，我认为你有责任告诉我们所有人。坦率地说，如果你有孩子，你有责任告诉你的孩子。>> 现在，你谈论的是 1964 年 8 月 2 日的东京湾事件。这基本上是美国卷入越南战争的时候。这大概是珍珠港事件 20 年，23 年之后。所以，这有点像他们试图呼应它，就像看，我们又被袭击了。我们必须介入，对吧？就像，但我不认为他们将其宣传为美国防御。但我想他们只是将其宣传为，嗯，你知道，我们想与共产主义作斗争，他们正在攻击我们，所以我们不妨这样做。>> 是的。我的意思是，我们在他们的地盘上，你知道，很容易向美国公众兜售攻击一个国家，如果你的部队被攻击或你的部队被攻击。不，对。即使你就在他们家门口，一旦我们根据东京湾决议派兵，我们就开始越来越多地介入，并开始升级。>> 另一件我父亲在他的第一本回忆录《秘密》中详细阐述的因素是，公众，你知道的，约翰逊和公众普遍，他们一直在向公众撒谎，关于部队估计，关于他们认为如果我们再派 10 万人，我们就能解决这个问题，就像他们没有人相信这一点，没有人相信这一点。有一些鹰派认为，“我们可以把这些共产主义者打得 [ __ ] 落花流水”，但即使是他们也不相信只需要少量部队就能做到。他们想要，你知道，50 万部队。所以，再次，公众被欺骗着每一次升级。所以，问题出现了，如果你生活在一个民主国家，我们确实如此，当有“你”这样重大的生死攸关的公共事务时，你是否欠公众一些东西？>> 对？而且，历史，我认为这个节目吸引不了多少历史爱好者，但显然法国人于 1954 年正式撤兵，当时他们正在与越南的共产主义者作战，然后有一种不安的和平，美国逐渐介入得越来越多，然后东京湾决议是，“好吧，现在美国真的在战斗了，即使它在技术上不是一场战争，对吧？它不是著名地被说成是一场警察行动，而不是一场战争吗？”所以，我从 Chachi Beti 那里得到了一些信息。1964 年 8 月 2 日，美国驱逐舰“马多克斯”号在执行情报任务时，据称遭到北越鱼雷艇的袭击。“马多克斯”号进行了反击并呼叫了空中支援，击退了袭击者。然后 8 月 4 日，据报道发生了第二次袭击，但后来的证据和约翰逊自己的私下疑虑，这是约翰逊总统，表明第二次袭击可能从未发生。所以，这就是你所说的，就像他们把一次本可以不升级为全面战争或警察行动的冲突大事化小，但美国政府只是在积聚势头，并以此来拖累民众。而这可以说是政府与公民沟通方式中许多阴暗做法的第一个。正确。>> 对。历史学家们几十年来一直在争论，我们到底是怎么卷入的？我们是怎么被拖进去？我的理解是，很多都是官僚决策。没有一个清晰明确的原因说明我们为什么会越陷越深。有大量的官僚惰性。有国内选举政治，想保全面子，不想被视为对共产主义者软弱，就这样把我们拖入了这场彻底的灾难。>> 现在，当你说是“哦，我们不知道是怎么发生的”的时候。我 2003 年乔治·布什让我们卷入伊拉克战争时我还在。你父亲认为伊拉克是另一场越南战争吗？>> 绝对是。他一直在大声疾呼。网上有一个精彩的辩论，是在 C-SPAN 上进行的。我实际上把它放到了我的，我有点管理我父亲的旧社交媒体。我把它放到了他的 YouTube 上，和比尔·克里斯托尔一起，你知道，那个新保守派的代表人物。我父亲只是说：“这将是一场灾难。”你知道，他预测了很多后来发生的事情，而比尔·克里斯托尔说：“不，这会是一场轻松的胜利。”所以，是的，他当时是。实际上，我曾经，我父亲是和平非暴力公民不服从的坚定信徒。他非常自豪自己曾因非暴力公民不服从行为被捕，我想有 80 次，主要是围绕 80 年代的反核活动。我和他一起被捕过一次，在伊拉克战争之前，你知道，我们可以再次看到所有因素、辩论和国家可能被拖入或在这种情况下冲向一场彻底灾难的方式。>> 好。哇。他被捕了，和丹尼尔·埃尔斯伯格一起。这让我想起，有一家名为 Om Amaze 的公司，不是要轻描淡写这件事，但有一家名为 Om Amaze 的公司，当你参加慈善募捐活动时，你坐在餐桌旁，他们有拍卖会，你可以获得一些非常独特的体验，比如“哦，你将见到这位名人，他们将带你出去做这个”，你知道，就像“哦，和这位著名厨师一起做饭”，对吧？所以，这可能在名单上，比如“哦，你将和丹尼尔·埃尔斯伯格一起被捕”。这是他的事。他几乎最相信的就是这个。>> 我可以深入解释他为什么这样做，他有一个完整的理论，他实际上在他的笔记中表达了很多，我们正在出版。我的意思是，有几百箱，至少有一百箱手写的笔记，超过 50 年。他的长期助手，我的朋友简·托马斯，基本上是唯一能读懂他潦草字迹的人。他的字迹非常潦草，她转录了大部分笔记，这些笔记即将出版在新书中。其中很多都与非暴力公民不服从的道德有关，以及官员和公民的责任，以及所有这些事情。我们将更多地谈论你父亲勇敢的壮举，因为他确实看起来非常无畏。他做的很多事情，甚至只是在冲突期间被派往越南，以及他在《秘密》一书中讲述的故事，我都惊呆了，我想，“哇，我不知道我是否会这样做，但他做了，这很酷。”我们将讨论，你知道，当他泄露五角大楼文件时，他完全冒着他余生的风险，对吧？他会坐牢。事实上，他差点被判无期徒刑。他之所以还能写书，参与社会活动，实际上是因为尼克松总统搞砸了起诉。正确。>> 是的。这一切都在我出生之前。所以，你知道，如果那没有被搞砸，我们就不会有这次谈话了。所以，尼克松。>> 是的。谢谢你，尼克松。>> 但，是的。所以，基本上，你知道，我的父亲，他是一个内部人士。他曾帮助撰写五角大楼文件。他是其中之一，我想，35 位作者之一。这是一项关于我们如何卷入越南战争的内部研究。这是罗伯特·麦克纳马拉委托的。他们基本上从一开始就记录了有多少谎言，我的意思是，他们记录了公众被告知的有多少事情纯属谎言。>> 而且还记录了原因，没有人相信多米诺骨牌理论。那是一个彻头彻尾的骗局。那只是公关，你知道的，部队估计，基本上没有人相信公众被告知的。>> 而我父亲因为他曾到前线视察过。他不是一名士兵，他曾是一名海军陆战队连长，但他以一种更像平民观察员的身份访问了越南，但他身处前线，携带武器。你知道，他近距离看到了僵局。他亲眼看到了为什么没有人相信这是一场可以赢得的战争。他还看到了孩子们。他看到了这些孩子流离失所，遭受苦难。他开始相信，我们不应该打一场没有获胜希望，并且正在杀死如此多双方人民的战争，而且是毫无意义的。他决定，你知道，公众需要知道他们被如何欺骗了。所以，他从 1969 年 10 月开始复印了 7000 页的文件。然后他试图将其交给国会，但那里有很多阻碍。所有这些都在他的回忆录《秘密》中。>> 最终，他将其交给了《纽约时报》，这引起了轰动，公众第一次了解到他们被欺骗了多少。>> 是的，这太疯狂了。现在，你提到没有人真正相信多米诺骨牌理论。所以，根据我高中历史课上学到的。所以，这只是一个想法，多米诺骨牌倒下基本上是共产主义，对吧？直到共产主义起源于俄国。>> 然后中国变得非常共产主义，每个人都在说，好吧，苏联将影响很多国家，美国将影响很多国家，但每次苏联让一个国家政府变得共产主义，就像又一块多米诺骨牌倒下了，他们将试图推翻整个世界，让整个世界都变成共产主义，然后我们的生活方式，资本主义，我个人认为值得为之奋斗，我们将变得孤立，然后他们也可能与我们开战，因为这。这也是在冷战期间，对吧？60 年代，这是冷战的高峰期。每个人都在说，“是的，他们会直接炸毁我们，让整个世界都变成共产主义。”所以，滑坡，这基本上就是多米诺骨牌理论。但你说政府领导人甚至不相信这一点？>> 我不知道整体情况，但五角大楼的文件表明，没有人相信，你知道的，阻止越南变成共产主义是全球反击共产主义蔓延的一个重要步骤。你知道，那里有一些非常特殊的动态在起作用，关于美国的官僚政治和选举政治以及所有这些事情，没有人相信，你知道的，必须有这个防火墙，否则全球共产主义将进一步蔓延。>> 对？这很有道理，对吧？所以，所以我的理解是，政府官员们确实对苏联感到恐惧，并且对他们有所高估，并且他们感到受到怂恿去进行这场军备竞赛，尽管苏联并没有像人们想象的那样努力。所以，他们害怕共产主义，但他们并不特别害怕越南作为一个多米诺骨牌，你是这个意思吗？>> 对。对。正是如此。如果你，我的意思是，如果你看看我们社会付出的代价，你知道，5 万人死亡，这场战争如何撕裂了我们的社会，然后你知道，通常他们甚至不看，我的意思是，数百万越南人死亡，你知道，无论是直接的还是通过，你知道的，其他类型的难民动态，这些都是为了基本上毫无益处而设立的，没有人，没有人认为这有什么巨大的好处。我想说，这与当前的人工智能状况不同，因为现在每个人都能看到人工智能的好处。对我个人而言，我不认为它们会持续很长时间，但人工智能或人工智能现在非常诱人，因为我们正处于这个黄金时代，它确实在很多方面改善我们的生活，同时也搞砸了其他事情。>> 对，所以，我的意思是，既然我们已经深入讨论了越南战争，这里未解决的问题是，那么，约翰逊总统为什么想让我们继续在越南作战，如果他自己不相信多米诺骨牌理论呢？如果他掌握了战争无望的信息呢？他们为什么还要继续作战的真正秘密原因是什么？>> 很多原因都归结于不想显得在共产主义问题上软弱，也不想成为那个输掉越南给共产主义者的总统。所以，有很多，我的意思是，我父亲在这方面写了很多，尤其是在即将出版的新书中。很多这类政治都可以用一种男子气概来解释，那就是你真的不想显得软弱。说实话，我认为很多这种现象也体现在人工智能的辩论中。如果你真的听人们说话，最重要的一点，当然你也知道这一点，你听到的是“嗯，如果我们不建造它，中国就会建造它。”那又怎样？美国的公司也相信这一点，“如果 Anthropic 不建造它，OpenAI 就会建造它。”等等。所以，这些都不是这些家伙想被击败。很多都是“我们不想被击败”，即使那个会击败人们的东西也会击败我们所有人。所以，就像你不想被击败，并且杀死所有人。这是一种奇怪的，非常病态的。>> 是的。我完全愿意相信，这在历史上很多重大的事件中都具有代表性，就像人工智能实验室一样。很多人倾向于说，“哦，天哪，萨姆·奥特曼的秘密计划是什么？”你知道，他告诉你了，但他真的这么想。我认为有一点是这样，但我也认为这只是，“我不知道，”你知道，这似乎是一个好计划，这似乎是可能产生好结果的事情，就像他不是，我认为即使是世界上最有战略眼光的人，也很少有人有一个如此详尽的计划。我认为人们更多的是，“看，这个，”你知道，我只是试着建造东西，我感觉建造它很好，对吧？通常是简单的动机。>> 是的。我不知道政府和军方的人是怎么想的，他们可能更有战略眼光，但这符合我对科技公司 CEO 的印象，他们只是，“这会很酷。”我的意思是，埃隆·马斯克基本上对此是公开的。他比其他任何人都更公开地谈论人工智能的风险。据我所知，他的立场有点像，“嗯，其他人都在竞相开发它，所以我也应该竞相开发它。”我认为他们都有这样的想法，就像他们将是引导它的人一样。>> 这意味着他们认为他们将是实施安全措施的人，或者这个东西将接管一切，但它将以某种方式变得更好，因为他们引导了那个接管我们所有人的东西。我不知道那里的想法到底是什么。我从未想过这个问题，但现在你提到了埃隆·马斯克不隐藏任何东西，这太有趣了，因为每个人都喜欢批评埃隆·马斯克，但你很少听到人们指责他有秘密动机，因为他如此公开。他说，“是的，我愿意花一万亿美元让人类移民火星。就像我愿意成为一个 [ __ ] 来实现我们的火星任务。一切都是我的火星任务。我喜欢火箭。我喜欢，是的，我喜欢，“成为一个超人类。”没有人说，“我打赌埃隆想秘密成为所有人的独裁者。”就像，我认为他对权力有多大的渴望是公开的。就像，他告诉我们他想要相当大的权力，但可能不是全部。>> 是的。是的。他对意图很清楚，我不明白。他还没有解释。我希望我错了。也许他解释了，我只是没听到。但我没听到他解释。好吧，你是在人工智能生存风险方面最早的参与者之一，而且你的观点并没有改变太多。那么，你为什么还要竞相开发它呢？就像他可以成为一个声音说，“不，我们不应该建造它。我将成为，我的意思是，他所做的一切很大程度上都是关于他的自负。如果他意识到他的自负会通过说‘不，我们都不应该建造它，我将不建造它，而其他人也应该采取这种立场’而得到增强呢？”所以，为了结束关于丹尼尔·埃尔斯伯格和越南战争以及五角大楼文件的部分，让我印象深刻的一件事是，你父亲注意到约翰逊总统对部队的估计撒谎，对吧？他说，“哦，我们只是，我们再派几名部队。”而他非常清楚，如果他们要完成任务，他们需要更多的部队。或者他只会派几名部队，然后被痛击，而这正是发生的事情。>> 是的。是的。正是如此。与那些孩子被派往那里的公众，没有进行诚实的讨论，关于这到底需要什么，以及到底会发生什么。而且，你知道，再次，他们被欺骗了。你知道，最终我父亲认为公众需要了解这一点，他们被欺骗着卷入一场战争，而他有责任警告公众他们被欺骗的所有方式，民主制度正在被颠覆，宪法正在被侵犯。>> 现在，你知道，越南战争是人类可以承受得起的失误，对吧？因为我们确实搞砸了。就像，我们，你知道，政府欺骗了美国公民。我们打了一场我们很难赢得的战争，为了我们不太关心的赌注，就像我们并不真正关心多米诺骨牌理论一样，所以这是一次大失误，没有人对越南战争感到满意，很多人死了，但没关系，因为世界幸存下来了，对吧？大多数人仍然继续生活。但我认为这里的教训是，下次当你拥有所有那些我们信任的、告诉我们“什么是好决定，什么是权衡”的权力人物时，他们会再次搞砸，但赌注可能会高得多，对吧？>> 是的。我的意思是，我们现在完全搞砸了。在高层甚至没有任何借口说人们认真对待 ASI 风险，就好像他们意识到这里的赌注并采取了适当的行动。在我看来，每个人都陷入了多极陷阱，只是争相前进，走向一场走向底部的竞赛，每个人都在忽视安全，远远超过他们应该做的，为了“获得下一个模型并发布它”。而且，关于吹哨子和让自己成为非暴力抵抗者，这是你父亲出名的，不仅仅是五角大楼文件，还包括参加各种抗议活动和公开发言，你知道，写回忆录，这些回忆录在“应该透露什么”和“不应该透露什么”的灰色地带边缘徘徊。这是公平的说法吗？我不确定我是否理解“灰色地带”的含义。>> 嗯，我只是说，当你想到丹尼尔·埃尔斯伯格把自己作为一个非暴力抵抗者推出来的时候，我觉得即使在五角大楼文件之后，即使他谈论了核计划和美国对此的态度，我认为他进入了“灰色地带”，就像把自己置于某种风险之中。>> 我的意思是，他肯定是在招惹那个。事实上，在他生命的晚些时候，他拿出了一些他仍然保存在他档案中的秘密文件，这些文件现在在马萨诸塞大学阿默斯特分校。它们不像五角大楼文件那样是重磅炸弹，但它们是秘密的，而且发布它们违反了保密法。他基本上说，“来抓我吧。”我的意思是，我必须说，>> 而且你知道，这是在他生命的晚些时候，而且你知道，最终什么都没发生，但他确实想成为我们政府保密制度的进一步的案例，而且他尽他所能，即使在五角大楼文件之后也是如此。>> 现在，不像斯诺登那样逃往俄罗斯，他能从审判中脱身真是太好了，因为尼克松因为水门事件搞砸了，你知道，他非法获得了证据。所以，你父亲能够在美国度过余生，他们没有来找他，这真是太好了。>> 我的意思是，我对此感到高兴。这对我很顺利。>> 是的。但，不，他面临着 115 年的监禁，你知道，有相当大的可能性他会得到那个。不是 100%，因为有，你知道，重要的言论自由方面的问题，这些问题很有力量，你知道，所以他有很好的论据。但很有可能他会坐牢。他预计会坐牢，直到他生命的尽头，但他仍然认为这是值得的。而且，你知道，他总是对潜在的吹哨者说，“考虑一下找另一份工作，”你知道，找另一种方式来支持你的家人，而不是你现在正在做的事情，如果公众的危险足够大的话，这可能是值得付出的代价。我认为对于 ASI 来说，情况就是如此。>> 你认为你父亲会非常热衷于“停止人工智能”运动，这与 PAI 不同吗？去年我请他上过我的节目。“停止人工智能”的人们都在 OpenAI 办公室前站着，试图阻止他们进入，直到警察来逮捕他们。这非常像马丁·路德·金，非常像非暴力抵抗。让我说清楚，没有任何暴力。>> 但他们违反了法律。无论是什么类型的法律，轻罪，我不知道它是否是技术上的重罪，但你知道，你不应该侵入并阻止某人进入他们的办公室，但他们这样做是因为他们的整个观点是，“好吧，有人需要阻止 OpenAI”，他们愿意承担后果。他们现在正在受审。疯狂的事情。他们实际上传唤了萨姆·奥特曼。所以，他们非常致力于这种非暴力抵抗的方向，尽管他们仍然是一个相对较小的团队。就像，我认为不到十个人。他们刚开始的时候，真的只有两个人。它一直在缓慢增长。他们一直在绝食。我想知道丹尼尔·埃尔斯伯格是否会认同他们的方法。>> 是的。嗯，那里有两个问题。一个是，他是否同意这个问题？然后第二个，如果他同意，他是否会支持它？我的意思是，第二个问题很容易回答，那就是，当然，他会支持它。如果他喜欢停止，>> 而且，你知道，我完全支持。如果它是非暴力的，就去做吧。我不认为任何人应该实施暴力。我可以想象，随着事态的升级，有人会想到，“嘿，你知道，我可以通过除掉这个人或那个人来改变历史。”赌注肯定很高。我认为这几乎肯定会是一场灾难，因为它只会导致一个恶性循环，任何试图谈论这个问题的人都会被归类为“恐怖分子或刺客”，而且这不会有任何好处，因为这是一个多极陷阱，没有一个单一的个人或公司可以单方面解决这个问题。他们，通过退出，这必须是一个，你知道，一个集体努力，国际协调，它确实是一个经典的博弈论协调问题。第一个问题更复杂。所以，他于 2023 年去世。我刚开始感到恐慌，就在那一年年初，当我第一次使用 GPT，特别是 Claude 时，它把我推到了极限。一旦我使用了 Claude，我想，当时是 Claude 2。我想，“哦，该死。”首先，我的第一个想法是，我的工作结束了。就像，它是一个非常好的文案撰写者。然后我把它推演了一下。我想，“好吧，哇，如果它现在这么好，也许我们都完了。”所以我和他谈了谈。他是个不可知论者，他不是技术人员。他当然没有驳斥它，但他只是有点像，“你知道，这不是我的领域。”他专注于核风险。>> 我确实给他看了 GPT，他做了典型的“好吧”，他实际上是沉默的生成，但我注意到，当你给婴儿潮一代看 GPT 时，他们做的第一件事就是，“好吧，让我输入我的名字。”然后，“哦，我的天哪，这有五个错误。这个东西是 [ __ ]。”他也有点这种反应。所以，他不是那么 impressed。但我认为，如果他现在还在，我能给他看我现在读到的东西，并为他辩护，我认为我可以让他加入“末日列车”。所以。>> 是的。是的。是的。>> 现在，如果他在，他会支持“停止人工智能”的所作所为吗？根据我对他们的理解，绝对。任何非暴力的事情。我们现在正处于紧急状态。就像，这完全是“不要抬头”小行星撞击地球的情节。你知道，那部电影里有一个著名的场景，詹妮弗·劳伦斯的角色在电视上彻底崩溃了。>> 我知道你谈论“缺失的情绪”，对吧？我认为现在有一种缺失的情绪。这并不意味着每个人都必须变得歇斯底里，或者那样会很好。但我确实认为，我们运动中应该有一些人真正地说，“我们现在正处于 [ __ ] 的紧急状态。我们需要以各种方式全力以赴。”>> 是的。所以，这是一个很好的过渡到你父亲的另一本书，《末日机器》，因为在《五角大楼文件》和《末日机器》的案例中，你父亲发现自己处于这种境地，就像你说的，就像电影《不要抬头》一样，他就像，“这太疯狂了。为什么其他人都像往常一样，就像越南战争一样，就像，你好，我们在欺骗美国人民，我们告诉他们关于部队的事情，我们告诉他们关于我们赢得战争的机会。我们明知故犯地给他们错误的信息。”然后同样，《末日机器》这本书，你知道，直接进入关于美国核战争计划及其疯狂之处的书。书中有一个场景让我印象深刻，其中一个描述是，当美国在绘制核轰炸的飞行路线时，就像他们正在打一场战争，苏联正在向我们发射核弹，我们也在向他们发射核弹，他们很小心，有些人负责像这样仔细地绘制飞机飞行的路线，这样所有的核弹都会落下，然后会有巨大的爆炸，所有这些危险，即使是飞行。爆炸会非常巨大，你知道，10 兆吨的爆炸，比广岛大一千倍，就像疯狂的，疯狂的爆炸。而且，就像，别担心，因为我们有这些飞机在飞，这里是完美的飞行路线，美国飞行员可以安全返回。>> 而且他们花了很多人年的时间在这些图表上。与此同时，就像，是的，有数千万甚至数亿人死亡，就像这种难以置信的屠杀。但就像，别担心，我们有这条飞行路线。而且不仅如此，就像，等等，风不是不可预测的吗？这也不会失败吗？是的，飞行员也可能会死。而你父亲几乎是唯一一个说，“这太疯狂了，以至于我的生命都不重要了，对吧？这里的反应。这里有一个重大的缺失情绪。”>> 是的，完全。他，所以，这是《末日机器》这本书。我，它很好。我在“末日辩论”上是因为。>> 正是。末日。书名里有“末日”的任何人都可以。>> 我从小就听过，你知道，这本书的内容。他基本上在我整个生命中都在写这本书。我 48 岁了。所以，我从小就听过，你知道，四岁时，在餐桌上听到这本书的内容，这太疯狂了。>> 所以，是的，他曾在兰德公司工作，这是一家与空军有关的准政府智库。>> 而且他开始，这是在艾森豪威尔时期末期。他开始研究太平洋地区的核指挥和控制。他实际上出去拜访了，你知道，前线指挥官，研究，基本上，我们的指挥和控制系统实际上是什么样的？是否存在意外的，你知道，意外发射？是否存在来自流氓指挥官的发射，后来在《奇爱博士》中被描绘出来。>> 精彩的电影，《奇爱博士》，记得他说，他说在《奇爱博士》这本书中，它可能就像一部纪录片。>> 完全正确。我的意思是，显然它有一些奇幻的元素，但所有他，库布里克完全正确地捕捉到了一些危险，而每个人都应该去看《奇爱博士》。我尽量不透露太多剧透，但情节设置基本上是，一个在某个地方的空军基地的指挥官，在俄亥俄州还是哪里，他疯了，他发展了一个理论。这是电影的早期，所以我可以透露一下。他发展了一个理论，认为有一个共产主义阴谋，通过水氟化来破坏我们宝贵的身体机能。所以，他有点像，早期，有点像早期的 RFK。抱歉，任何喜欢 RFK 的人。>> 对？但他有点像一个健康狂热的阴谋论者，他相信有一个共产主义阴谋，他想对苏联发动全面核攻击，因为这个原因，他成功了，你知道，事情就从那里开始。我父亲的观点，他在那部电影出来之前就在写这本书。我父亲的观点是，这是完全有可能的。关键在于授权。你知道，每个人都对核手提箱大做文章，你知道，总统有，有一个核手提箱，总是跟着总统，总统是唯一能发射的人。>> 那是纯粹的 [ __ ]。我的意思是，每个人都知道那是 [ __ ]，因为有一个大问题，那就是，你知道，如果你用一枚武器摧毁了华盛顿，那么你就没有报复性打击力量了。所以，人们普遍认为，在战争情况下，这种权力已经被下放了。而我父亲很早就发现，这种权力已经被下放，下放，再下放，直到相当低级别的指挥链人员，如果他们认为自己正在遭受攻击，就可以发动核战争，而这只会升级到基本上炸毁整个世界。>> 对？我的意思是，如果你有一艘潜艇，它就在苏联或朝鲜的海岸附近，或者无论在哪里，深埋在水下，它将无法与总统保持无线电联系，对吧？与指挥链。>> 对。这，这确实发生了，这在古巴导弹危机的最后一天有详细记载。>> 基本上，有俄罗斯潜艇在古巴附近。我们的部队看到了它们，并试图让它们浮出水面，用深水炸弹。所以，我们不是试图击沉潜艇，但我们基本上是在发送炸弹说，“你们最好赶紧离开。”潜艇指挥官认为他们受到了这些深水炸弹的攻击。其中一枚炸弹损坏了潜艇。所以，他们实际上在潜艇里承受着 140° 的高温。我的意思是，我无法想象。而且，你知道，他们正在失去氧气。他们认为他们受到了攻击。直到古巴导弹危机后 20 到 30 年，我们的人员和所有人都不知道，那艘潜艇上有一枚核鱼雷。他们已经装备了核鱼雷。他们需要两到三名指挥官签署才能发射鱼雷。通常是两个人。我只是在读这段历史。我可能有些地方记错了，但。>> 不，我记得。是的。瓦西里·阿尔希波夫。是的。是的，我记得这个。是的，它在这本书里。通常会有两个人，但不知何故，这个家伙阿尔希波夫在那艘潜艇上，所以他们变成了三个人。其中两个人想继续发射核武器。而阿尔希波夫，对不起，必须是三个人都同意，所以有人可以否决它。>> 所以，阿尔希波夫说，“不，我，我不知道我是否应该炸毁世界。”或者我不知道他的想法是什么，但他否决了。>> 我听说这非常激烈，顺便说一句。我的意思是，我听说他们的潜艇，就像，就像一个疯狂的 110° 或者别的什么。就像，每个人都在发泄，而这个人却说，“不，只是不要这样做。”>> 是的，我们不要这样做。是的。所以，这就是人们认为，“哦，好吧，你知道，核武器阻止了我们与大国的战争。”>> 所以，你知道，而且它们没有发生，所以我们已经脱离了危险，一切都过去了。>> 整个事情奏效了。有很多这样的例子，基本上炸毁整个世界，结束文明和大多数人类，都掌握在一个人手中，他在非常紧张的情况下做出了决定，你知道，在潜艇里或者类似的地方。>> 我们好几次都非常非常非常接近。所以，我认为我们不应该把文明的未来寄托在这个系统上。>> 正是如此。所以，我给观众三个建议，让他们深入研究这个话题，因为我认为这非常重要。对我来说，阅读这些内容非常有启发性。即使我只在过去几年里才真正接触到这些东西，它仍然非常有启发性。就像，它真的让我震惊，你知道，这就是我们生活的世界。就像，我们有多么接近，多么随意地接近，从我们日常的生活到核末日，因果链有多短。它如此之近。只需要很少的按键操作。所以，我的建议是第一，如果你喜欢“末日辩论”，实际上有一集我做的。我称之为我最被低估的一集，因为它只有一千次观看，但我很努力。你可以搜索一下。它写着“末日辩论核风险”，我会链接到。
在节目笔记中。好的，第二项，奇爱博士。正如迈克尔提到的，这是一部非常好的电影。我想它大概是 50 年代的。它是黑白的。我绝对是最后一个会看那种老旧黑白电影的人，但我看了两遍。我认为它非常耐看。你会沉浸其中。他们做得太棒了。你知道，它被广泛认为是影史上的经典之作。>> 几乎所有认真的人都会把它列为有史以来最伟大的电影之一。我想是 64 年的。而且，他们能拍出这样的电影，真是太令人惊叹了。所以，但它非常搞笑。就像，它有很多内容。>> 我甚至不想剧透。我听到了一些剧透，比如一些搞笑的台词。就像，那部电影里有一些非常精彩的台词。>> 哦，是的。不，而且演技也很棒。而且，你知道，这是一部令人难以置信的电影。>> 正是如此。[鼻哼] 然后第三个推荐是那本你举起来的书，《末日机器》，作者是丹尼尔·埃尔斯伯格。所以，即使迈克尔现在不在末日辩论节目上，我也可以诚实地告诉你，这本书绝对是人生必读的十大书籍之一。这本书被严重低估，被严重忽视。就像，你的人生怎么能不知道这本书里的内容呢？简直令人难以置信。所以我强烈推荐这本书。而且我认为，你知道，你之所以能推断出人工智能末日的风险，部分原因在于你看看核末日已经走到了哪一步。老实说，如果我们没有核武器，没有冷战和古巴导弹危机，如果我们没有经历所有这些让我们如此接近核末日的事件，那么仅仅看看人类所有的战争，然后说：“是的，你知道，我们永远不会对地球造成那么大的伤害。”就像，你知道，我们一直都很坚韧。但当我看到冷战，以及核弹有多大，有多具破坏性，以及它会造成怎样的地狱般的世界时，你知道，即使不是所有人都死了，它也会让我们倒退很远。对我来说，这变得非常自然，就像：“好吧，我不认为这就是故事的结局。我不认为这是我们将会制造的最致命的东西。而这只是，你知道，在过去的一个世纪里。所以对我来说，很明显我们正在玩火，而且我们无法应对。你同意这个评估吗？>> 是的，绝对同意。所以，当我的父亲写作时，他在肯尼迪政府初期就负责撰写核战争计划。所以，他是一个非常非常非常高级别的人。他不是政府官员，但他在官僚计划层面是一个非常非常高级别的人物。而且，你知道，他生命中最震惊的事情，我想可能是他生命中最震惊的时刻，就是在这个过程的早期。他问了一个非常简单的问题。如果我们按照计划执行了我们的全面核战争计划，顺便说一句，他们的目标是俄罗斯和中国的每一个城市。而且他们甚至没有一个选择，这些计划中没有只攻击俄罗斯的选项。这些计划根本没有区分共产主义集团内部。所以，我们要摧毁所有承诺，你知道，以平民为目标，顺便说一句，你知道，没有任何恐怖主义的定义会排除针对，你知道，整个大陆的所有平民。就像，我认为这符合恐怖主义的定义。所以，我的父亲得知了这些计划，他问了，他认为他不会得到答案，但他问了参谋长联席会议，你知道，如果我们执行了这些计划，会有多少平民死亡？他只是，他以为他们会说：“我们不知道。”你知道，他们还没有计算过。相反，一天左右后，他回来了，那里有一张小图表，图表上写着，你知道，3亿人立即死亡，在接下来的几个月里，由于核辐射，死亡人数将上升到 6 亿。我的父亲，你知道，在那一刻，他的人生发生了改变。甚至在那时，他说，这张纸不应该存在，意思是它所指的东西不应该真实地存在于世界上，一张图表说，如果我们做了我们正在计划的事情，一百个大屠杀的平民生命将被摧毁。这根本就不应该发生。现实世界中没有任何筹码可以证明这种平民屠杀是正当的。于是，他把减少计划中的平民伤亡作为自己的使命。他在肯尼迪政府初期写了一个更新的计划，基本上被采纳了，在他们的计算中，会导致约 1 亿人死亡。所以，你知道，15、16 次大屠杀。而且，你知道，当时的想法是，好吧，我正在让它变得更好，但你知道，回想起来，他认为参与那个过程的任何部分，在他看来，是他做过的最可耻的事情。一旦你达到了那种疯狂的程度，就没有什么程度的疯狂程度较低了，你只是在一个疯狂的系统中，他会说，你知道，一个邪恶的，一个邪恶的系统，一个以……为目标的系统，你知道，数亿平民是其一部分，你知道，他会说这是邪恶的。没有任何邪恶的定义会排除这一点。>> 现在，今天，你父亲早期提出的这个想法正在越来越多地传播，正如安妮·雅各布森在她最近一本非常棒的书《核战争》中所说的那样，这个想法是核战争不能打，也不能赢。就像，如果你杀死了半个亿或更多的人，而你自己的国家也遭受了核攻击，你并不是真正的赢家。就像，你不会在一个好状态的国家里。你不会过得好。在 60 年代、50 年代和 60 年代，当你的父亲在兰德公司工作时，他曾是肯尼迪总统的高级政策顾问，他们真的期望打这场仗，因为他们真的认为，看，你有俄罗斯，你有我们，就像我们在这里势不两立，就像这需要打出来。所以，那些都是认真的战争计划。就像他们真的认为他们会扣动扳机，然后他们说：“看，这是我们能做的最好的了。半个亿人死亡。这只是，你能怎么办？”这与今天的态度非常相似：“看，中国，伙计。是中国。当然，我们要建它。你能怎么办？”>> 对。嗯，那里的关键是他们不知道，直到 80 年代，没有人知道核冬天。有一部非常精彩的电影叫《末日之后》，讲述了全面核战争和核冬天之后会发生什么。基本想法是，你投下了 100 到 1000 枚弹头，你知道，在燃烧的城市上，你会产生足够的烟灰，以至于基本上与恐龙灭绝时小行星撞击的情况相似。你知道，基本上没有光合作用了，你知道，几十年。在几年内，你会看到，你知道，农作物完全歉收，估计最多只有 1 亿人能幸存下来，而且可能是在澳大利亚和像赤道地区以及非常偏远的地区。你基本上会回到铁器时代，你知道，你会拥有，你知道，像工具，没有电力，基本上，基本上抹杀了人类文明。而那是 100 到 1000 枚武器。这些计划要求数千枚武器。我们仍然有，这是疯狂的部分，他们当时不知道核冬天。所以，他们只是在玩抛硬币，你知道，6 亿人死亡，你知道，只是大屠杀的 100 倍，只是那些赌注。现在我们知道了核冬天。这是成熟的科学。而俄罗斯和我们，我们仍然拥有数千枚弹头，我们无法使用。这是完全不合逻辑的。我们无法使用这些弹头而不自杀，不让我们所有人都饿死。而且那也不会是一场漂亮的死亡。那将是一场非常丑陋的死亡。你知道，他们现在知道了这一点，但他们仍然有很多武器处于高度戒备状态。这简直是疯了。就像，我想说这是这本书的主要收获，而且如果你，你知道，时间紧迫，你知道，最后一章详细介绍了这一点，那就是你可以成为这些系统的一部分，这些系统在官僚逻辑内部似乎是合理的，但实际上是完全疯狂的，完全疯狂的。不，实际上有很多人会反对你和你父亲的说法，就像，当然，我们不应该有那么多武器。当然，你知道，你不能赢得这样的战争。但有很多人会反对，他们会说，实际上，这是像狐狸一样聪明，因为相互毁灭。你建造的武器越多，拥有这些武器的国家越多，我们就越安全。我真的嘲笑这一点，如果你去看我关于核战争的末日辩论节目，我会在节目笔记中链接到它。>> 我用安德森·霍洛维茨的本·霍洛维茨作为这个观点的典型代表，就像，哦，相互毁灭太棒了。核武器的去中心化太棒了。这让我们更安全。>> 就像我经常提醒人们的，最后一枚核弹是在只有我们拥有核武器的时候发射的。[笑声] 就像，那是一个危险的世界，一个人拥有核武器，而我们没有发生任何核活动，而且有一个非常非常具体的原因，因为每个人都拥有核武器，而且没有人想被核打击。>> 我认为人工智能也是如此，就人工智能而言，它是一种超级武器，那也将是真的。>> 我实际上不同意。是的，那是错误的。>> 就像那个家伙，没有人应该认真对待那个家伙说的任何话。这是一个绝对疯狂的观点。>> 是的。所以，相互毁灭，我的意思是，它不是零价值，对吧？显然，我确实认为普京害怕相互毁灭，但问题是，它只是有点像一个半生不熟的解决方案。就像，是的，它有一些价值，但它只是无法阻止，当金正恩或他的儿子或其他人最终按下第一枚核弹的按钮，核弹就会飞来飞去，然后就像，好吧，我们已经度过了相互毁灭的威胁。我们现在正在互相毁灭。>> 对。所以你必须区分相互毁灭和相互核冬天。这是两件事。相互毁灭，你可以，如果你只有几枚核弹。我的意思是，我认为双方都有几枚核弹的论证要强得多，说，“看，如果你攻击我们，我们会让你非常糟糕。”我的父亲仍然因为各种原因相信这一点，因为这确实支持了扩散的博弈论。也就是说，你可以为这一点提出更强的论证，但你真的不能为这个末日机器提出好的论证。所以，所以末日机器的想法在我们这边，也可以在他们那边。双方都有一个机器，你知道，你按下红色按钮，然后攻击我们，你按下红色按钮，我们的核弹就在我们这边，它们就爆炸，炸毁整个世界。所以，想法是，如果你攻击我们，我们会带走所有人。我们会完蛋。我们会带走所有人，所以不要攻击我们。然后另一方也有。而且，你知道，它会进入这些非常奇怪的悖论，比如，因为你必须在某种程度上相信你愿意疯狂。所以，就像疯子理论一样，一旦你让人们玩，他们就需要假装比他们实际更疯狂，这是一个非常不稳定的系统。>> 是的。是的。是的。没错。当我讨论这个话题时，我在我的节目中也谈到了，总是有意外和政府垮台、恐怖主义的持续的背景危险。所以，这不仅仅是一个纯粹的、干净的博弈论，就像，看，我找到了一个均衡点。就像，不，滥用和意外一直在那里给你这个背景，这个推动力，对吧？就像每天都是危险的。>> 直到最终，就像，哎呀，有人出了意外。有人滥用了它。现在你已经度过了相互毁灭。现在你正在升级。>> 对。而且，相互毁灭，或者正如一位理论家，我的父亲引用了他的话，实际上是悲伤的，自我毁灭。所以，你基本上是在说，看，如果你攻击我们，我们会炸毁我们所有人。所以>> 你几乎是在对自己做。嗯，另一个问题是，威慑需要一个理性的对手，他不是自杀式的，这通常是这种情况，但正如我们所知，有很多疯狂的自杀式邪教。而且，你知道，我有点痴迷于邪教。我不知道为什么。我从未加入过，但我对它们很着迷。而且，你知道，有很多很多很多末日邪教，他们真的想带来，你知道，他们痴迷的任何星星的升天。他们可能不会得到核武器，尽管这是可能的。但所有这些想法，就像，给每个人，你知道，马克·扎克伯格说，给每个人一个 ASI 在他们的口袋里。我不知道他是否真的指我们所说的 ASI。也许他只是指一个超级智能的 AI，但不是比所有人类都聪明的那种。但想象一下。想象一下，每个人口袋里都有一个比所有人类都聪明的电脑。其中一些口袋里会有，你知道，疯狂的单身汉，或者疯狂的，你知道，或者圣战者，或者精神病患者，或者，你知道，各种各样的恐怖。现在有一个反生命主义的恐怖分子。你知道，外面有各种各样的疯子。而且，我们不希望他们得到核武器，这就是为什么，你知道，他的名字是什么？嗯，那个家伙是谁说的？>> 本·霍洛维茨？>> 本·霍洛维茨。如果他说的是 ASI，你就是在给邪教成员、疯子、各种末日论者提供超能力武器，数字武器，网络武器。你知道，他们存在于各种颜色和条纹中。这些人不应该拥有超能力网络武器。>> 是的，不，我同意。我认为如果我们达到了这个均衡点，我认为这里的场景是这样的：嘿，我们设法将人工智能对齐得足够好，以至于个人在电脑终端上可以输入一个命令，而人工智能会真正执行它，而不会杀死下达命令的人。所以，想象一下我们达到了这一点。这已经比我预期的要好。我甚至不认为我们会达到这一点。但即使在这种情况下，如果你开源它，或者你只是给每个人访问权限，问题是，只需要一个人渣或一个精神病患者说：“是的，我认为世界末日更好。”然后问题是，无论哪个 AI 的限制最少，对吧？最不道德的版本，它只关心像癌症一样繁殖。嗯，那个将拥有巨大的优势。就像，它有点像杂草。就像杂草肯定比其他生命周期更复杂的植物有优势。>> 是的，绝对。关心人类是对聚集资源的一个非常强的限制。而且，如果你必须做一切来让，你知道，80 亿类人猿活下去，嗯，那将是巨大的资源消耗，而不是一个人工智能，无论是某个，你知道，恐怖分子或疯狂的邪教人士建造的，它只是直接繁殖。我的意思是，人们已经建造了这些东西。就像，我不是计算机病毒专家，但计算机病毒是存在的。据我所知，有些病毒还在肆虐，没有人能真正阻止。我们现在谈论的 ASI，它非常抽象，而且，你知道，我认为很多人，因为他们的第一个，我的第一个使用是聊天机器人，他们就认为，好吧，一个超级智能的聊天机器人，这就是 ASI。嗯，我喜欢这个术语，超级智能计算机病毒，对吧？所以，它是一个计算机病毒，但它可以入侵，你知道，大多数数字防御。它，你知道，可以和你说话。它可以，你知道，操纵你。它拥有所有你的秘密。它读了你所有的电子邮件。它可以勒索你。这可不是什么好事。就像，我们不应该把它释放到世界上。就像，任何时候有人说，“我想建造或释放人工智能超级智能，”我认为我们应该纠正他们，说，“抱歉，你是在说你想建造和释放超级智能计算机病毒。”如果你是这个意思吗？他们会说，“不，不，我不是这个意思。”然后你说，“好吧，你显然是在这样做。所以为什么你不直接说出来，因为这就是你在做的事情？”>> 我的意思是，它将拥有病毒的所有能力，甚至更多。而且，辩护是，好吧，我不是称它为病毒，因为它有所有这些其他更复杂的方面。好吧，但它也会做病毒所做的事情，甚至更多。所以，那，你知道，这是一个很好的观点，我认为人们，他们的心智模型不像病毒。我百分之百同意。>> 是的，我的意思是，如果你看看生命是什么，那些繁殖并争夺更多繁殖的实体，而且这种情况已经持续了 40 亿年了，它不会停止。这就是正在发生的事情。所以我们必须决定，即使这些，这些不会是生物生命，它们将是，你知道，数字的，我不知道生命的定义，但它们将是数字繁殖的实体，它们是，你知道，正在寻找资源来增加它们的繁殖，就像每一个生物和物种一样。而我们正在创造它们，就像我们正在创造我们的，就像我们是尼安德特人创造了智人一样。这简直是疯了。就像我们，智人消灭了尼安德特人。我认为不是通过暴力，而是通过竞争和资源竞争。就像我们正在创造，创造智人。我们将被消灭。>> 所以，我实际上同意你说的。让我更精确一点，因为我可能会挑剔你措辞的确切方式。就像，当你说的，看，这是生命。你知道，生命总是试图繁殖。然后反驳可能是，好吧，但我们不仅仅是在建造另一种生命，同一种生命。我们有意设计我们想要的这些 AI 的发展方向。所以，有人可能会挑剔。然后我会放大，我会更精确地说，“我认为会继续下去的是，我认为我们将回到稀缺和人口增长，你知道，争夺谁能复制他们的模因或信息。”我认为我们将回到那里，因为我认为如果你看看，你知道，罗宾·汉森是第一个让我注意到这一点的人，大概是在 2009 年，当时他正在写关于这个。他称之为我们现在生活的“梦幻时光”，因为如果你看看很多聪明人的所作所为，他们如何度过一天，你知道，他们创作艺术，他们玩得开心，他们刺激感官。他们做了很多实际上不具有繁殖适应性的活动，因为它们只是基于那些与几千年前的繁殖适应性相关的本能，而他们的本能还没有真正跟上。我喜欢举个例子，你知道，你不会看到精子库门口排着长队，人们试图挤进去捐献精子。所以，存在这种差距。这有点像，你知道，过山车，它已经冲出了悬崖。而且，你知道，我们都悬在空中，我们正在做所有这些不适应的适应。我实际上同意罗宾·汉森和很多人说的，这种差距将会缩小，你知道，我们的胃会掉下来。我们将回到那个轨道上，回到轨道上，你将看到激烈的竞争，看谁能复制，因为松弛将消失，因为将会有这些代理人说，“哦，看，有这么多免费的能量。太好了。让我来，让我来抓住它。”而且，你知道，我们生活在一个今天有疯狂数量的未被抓住的、诱人的、多汁的资源的世界上，没有人去抓住。你同意吗？>> 百分之百。这是一个很好的问题。好吧，首先，关于是否会有一个多极 ASI 环境还是一个单一环境，存在一些争论。我对此没有太多可说的，因为人们对此争论了很多。但两者都非常危险，原因不同。顺便说一句，我认为我是第一个听到有人提出一个我认为非常强有力的论点，说明即使是一个对齐的、对齐的单一 ASI，根据任何对齐的定义，也可能对我们非常危险。我们会深入探讨这一点。但我认为更可能的情况是多极的。而我认为如此的原因是，有像马克·扎克伯格这样的人说，我想给每个人口袋里都装一个 ASI。嗯，问题是，人口中有 1% 到 2% 是反社会者。所以任何计划，我认为我们应该更多地应用于这里的人，这是一个很好的测试。好吧，所以你说，你知道，它将是安全的，因为 XYZ。你如何处理那 1% 到 2% 的反社会者，他们会危险地使用它？所以，你知道，就像我的朋友，我的朋友威尔·马卡斯卡尔，我爱这个人。我们是很好的朋友。我不得不说，威尔，你可能会听到这个。我，我不得不说，我对他在推特上回应埃莱扎尔的书的反应感到失望。他说的其中一件事是，“看，我们正在设计它。所以，就像，我们在这里控制着我们设计的东西，我们不会把它设计成疯狂的。”我会说，这个论点未能通过反社会者测试。好吧，可以。但有多少根手指在按钮上？你知道，这是我父亲研究指挥和控制时提出的一个大问题。他发现它一直下放到机场级别的授权。所以，有很多手指在按钮上。嗯，如果你把 ASI 给了每个人，或者甚至给了，你知道，几十家公司，全世界几十家公司，你就会有一些反社会者把手放在那个按钮上，然后说，“你知道吗？让我放点东西出去看看。它是否会复制。”嗯，或者可能只是一个修补匠。可能只是一个，你知道，业余爱好者说，“哦，天哪，让我看看我能不能做到。”或者你得到恐怖分子，或者你得到军队，或者你得到，你知道，某种意想不到的涌现行为，我们现在一直在看到。或者你得到某种自我修改。有这么多不同的途径可以发布一个复制器，它唯一的目的是它不是一个回形针最大化器。它只是复制。你知道，人们正在，我真的认为，顺便说一句，这是一个小小的题外话，然后我会回到正题。我认为是时候退休回形针最大化器了。我认为这是一个非常有用的思想实验。它很好地传达了观点，但听起来太奇怪了。人们会说，“哦，那不会让我们。”它听起来非常离奇，对吧？而且，没有人真的相信会有一个字面意义上的回形针最大化器。所以，我认为我们这边应该退休那个，你知道，谢谢你的服务。退休它，然后去复制器，因为>> 嗯，回形针是一个复制器，对吧？但是，当人们听到它时，他们只是不建立一个巨大的病毒癌症复制器的心理模型，它还在很多行星上建造回形针。他们会说，“哦，他们只想着回形针。”>> 好的。但同样，在多极情况下，如果你有一个致力于回形针的实体，而你有一个纯粹致力于权力追求的实体，致力于利用自由能源并将其导向未来目标的潜力，博弈论就会奏效，复制是一个吸引力状态。它是一个吸引力状态，因为复制的东西，顾名思义，它们的数量更多。所以，你可以有一个没有复制器的状况，就像地球在生命出现之前一样。>> 嗯，然后你放一个复制器。想想看。第一个复制器是微观的，就像一些小东西。我有一个朋友布鲁斯·斯塔默。他的理论，他是一位生物学家，是这方面的专家。他的理论是，它是一些小水池，有点像潮汐池。所以，有一些潮汐池，如果那是真的，那么在某个地方就有一些潮汐池，这些复制器开始出现，它是一个吸引力状态。一旦有了复制器，就会有更多的复制发生，而不是没有复制，这是按定义来说的。所以，你从 40 亿多年的时间里，你知道，地球上没有任何看起来像目标导向或优化行为的东西，到，你知道，超级文明正在探索星星。就像，这一切都是因为复制器是一个吸引力状态。所以，这不是一些人说，“哦，这太科幻了，ASI 接管并复制的想法。”不，这实际上是当你在某个地方拥有超级强大的复制器时所发生的事情的延续。>> 对。而且地球目前有一些松弛，对吧？而银河系和可观测宇宙目前有大量的松弛空间，供下一个愿意踩油门的复制器去获取并捍卫它。当你谈到复制器是一个吸引力状态时，我有另一种看待它的方式。我觉得我应该做一个关于这个的节目，那就是人们期望每一个过程都会遇到负反馈。这是每个人直觉的一部分，就像，嘿，每当有什么事情变得疯狂时，就像，如果我编程了一个机器人，我的程序里有一个 bug，然后突然机器人就像挥舞着它的手臂，就像挥舞着斧头，只是试图，就像杀死每个人，试图抓住我的脖子，嗯，最终它会绊倒并摔倒，然后就像，我可以踩在它的脖子上，拔掉它的电源插头。就像，最终总会发生一些事情。或者就像，如果你发射一枚核弹，是的，它会爆炸，但它不会点燃大气层。然后最终它会耗尽核燃料，然后你知道它会留下大量的破坏，但然后太阳第二天升起。所以人们只是期望，无论发生什么，你知道，总有明天，事情会烧尽，因为它们遇到了负反馈。超级智能人工智能的问题在于它爆炸到宇宙中。它吞噬了所有这些资源，而唯一的负反馈就是，好吧，它用完了所有的时间和空间，你知道，它遇到了下一个，下一个，你知道，另一个外星人领域。那就是它唯一会遇到负反馈的时候。而我们没有任何直觉，你知道，自然选择，就像地球上的生命直到今天，主要是正反馈，而且它正处于爆炸的过程中。它目前有一些松弛。而且，如果我们把生命作为一个整体来看，就像，哦，是的，很酷，这是一个很好的浪潮，我们喜欢这个浪潮，让我们把正反馈放到这个浪潮上。但人们想不出任何其他纯粹的正反馈的东西。就像，我们对它没有任何直觉。你同意吗？>> 是的，绝对。我唯一会有的挑剔是，我完全同意。我唯一会有的重构是，我刚刚查了一下。我不是这个领域的专家。但我查了一下。据称，在生命史上有大约 1 到 40 亿个物种。大多数是微生物，但，你知道，只是很多很多不同的物种和不同种类的鱼和动物，以及你能想象到的一切。其中 99.99% 已经灭绝了。所以，生命是一个大规模创造然后灭绝的过程。地球母亲是一个种族灭绝的疯子。就像，地球上存在的大多数基因都被自然过程自然灭绝了。而我们就像，你知道，最后站着的人。你知道吗？我们正在造成第六次大灭绝。这是一个被广泛，我认为不是普遍同意，但它是一个，我认为可能是生物学家中的共识或多数意见，他们研究这个。我可能是错的。很多人说我们正处于第六次大灭绝，第六次大灭绝事件，它被定义为在短时间内（在我们这里真的很短，就像几百年）物种数量急剧下降 75%。这就像，在几百年里什么都没发生，除了，你知道，小行星，但地球内部在一百年里什么都没变，除了现在正在发生的事情，我们正处于一次大灭绝中。所以，这个想法，就像，人们，它让我有点抓狂，当默认是，好吧，认为我们可能会灭绝的想法太疯狂了，这太疯狂了。就像，不，如果我们没有灭绝，我们就会是那个逃脱这种自然过程的 0.0000% 的人。而且，如果你看看正在发生的事情，特别是自从人类出现以来，人类是地球上第一个通用跨领域优化者，据我们所知，在宇宙中也是如此。而且，对其他创造物造成的伤亡数量，包括我们最亲近的表亲，你知道，比如黑猩猩、倭黑猩猩，它们都濒临灭绝，你知道，我们的大猿。你知道，所有这些想法，就像，更聪明会导致更多的同情心。问问实验室里的黑猩猩，它在实验中，你知道，我们的更高智力带来了多少同情心。所以，我真的很喜欢罗宾·汉森提出的这个想法，就像这个“梦幻时光”，就像我们现在在一个小小的回流中，就像，当然，世界有很多问题。我意识到了，就像每个人一样。但是，你知道，有很多人过着相当不错的生活，他们有家庭，你知道，他们可以去，你知道，坐在公园里看他们的孩子玩，你知道，各种娱乐和快乐。战争不多。战争太多了，但与历史上相比，尤其与 20 世纪相比，地球上发生的战争并不多。我们正处于一个相当好的区域。这就像优化河流中的一个小回流。我们优化了一切，但你知道，这里仍然有一个小回流，我们仍然可以和孩子们一起玩。我们即将结束这一切。我们真的要。一旦你释放了一个比我们做得更好的实体，比我们对这个星球所做的更好，我们的这个小小的梦幻时光就结束了。它结束了。>> 好的。所以，根据你所说的一切，我想我知道答案了。但让我问你，[音乐] 你的 p>> 迈克尔·埃尔伯格？你的 pdoom 是什么？>> 这是一个条件 pdoom。就像书名一样，如果每个人都建造它，如果有一个条件，那么每个人都会死。我支持这一点。我的 pdoom。如果存在一个 ASI，一个真正强大的 ASI，它在所有或几乎所有领域都被认为比人类更聪明。如果它出现在地球上的任何地方，那么你知道，每个人都会死，就像书名一样，如果有人建造它，每个人都会死。所以，我可以说，基于 ASI 的条件，我的 pun 是 99%。你知道，在，我不知道它会发生多快，一年，两年，也许是立即。我现在要说的是，我没有任何，我感觉我有一些非常非常强有力的论据支持这一点。顺便说一句，我的 pdoom，只是为了定义我如何看待概率。我的意思是，关于概率的意义以及如何解释它，有很多争论。我的看法是，就像惊讶的程度。那么，Metaculus 上的估计是多少？我认为是 2033 年。所以，那是什么？>> 是的，2033 年。>> 7 年后。7 年后。嗯，所以，你知道，如果你有一个 5 岁的孩子，现在我们谈论的是你的孩子 12 岁的时候。如果你有一个婴儿，你知道，当你的孩子 7 岁时，如果那成为现实，并且在 2033 年有强大的 ASI，而我在 2035 年左右走来走去，一切都很顺利，就像，事情很好，或者我们正在前进，那么我会像我从一个 100 面骰子中掷出 36，然后得到 36 一样惊讶。那对我来说会非常令人惊讶。我认为你可以稍微反驳一下，因为如果 AGI 在 2033 年被宣布，那么很有可能它仍然只是在这个灰色区域的右边缘，就像今天，我们假设我们在灰色区域的左边缘，就像 AGI 可以取代很多人的工作，但你仍然需要人类监督，而以前是 10 个人类。你不能去零人类，但你可以去，就像一个人类，负责处理这 10 个人类的所有错误。而且你可以想象，当我们宣布 AGI 时，它仍然是，好吧，你需要一个人，而以前是 100 个人类，就像，仍然不是零，出于任何原因。而且当它试图逃脱时，就像，一旦一天它会犯一个它无法恢复的错误，而不是，就像，每小时一次，每天一次。所以，你可以想象，我们宣布 AGI，但我们仍然有几年的时间，直到它变得像超级病毒一样无法阻止。>> 是的，我的意思是，很多这都与 AGI 与 ASI 的定义有关。我的普遍感觉是，你知道，一旦你有了 AGI，比如说，一个可以做，你知道，几乎任何人类工作的 AI，它可以胜任这份工作。它不像天才，它不像一万个约翰·冯·诺依曼，但它，你知道，它可以胜任大多数工作。我认为这是一个非常不稳定的状况。我认为你会很快达到 ASI，因为即使它只和我们一样聪明，它也在夜间运行，24/7，没有停止，你知道，远超速度，自我纠正的能力。我认为它会很快自举到 ASI。>> 这实际上是 Ali Azriowski 和 Nate Sores 在最近一次播客露面时所说的。他们说，“看，我们不知道从今天的 AI 到 ASI 的细节是如何实现的。我们只是认为这可能需要几年，最多一二十年。而且我们认为最有希望的途径，如果我们必须猜测的话，看起来就像让 AI 进行 AI 研究，这似乎每天都有很多渐进式的进展，让 AI 进行 AI 研究。如果我们把 AI 研究交给他们，那么你可能会得到下一步，它们会比你想象的更快地变得更强大。所以，我同意你说的。你知道，你带着一个非常高的 P doom 来参加节目，这真是太疯狂了。因为我认为现在正在形成一种模式，我一生都在阅读这些非常有影响力的书籍，就像我生命中最伟大的书籍一样。特别是，《末日机器》作者丹尼尔·埃尔斯伯格，《你肯定在开玩笑，费曼先生》和《费曼讲义》。我正在阅读这些伟大的书籍，然后我去做我的末日辩论节目，然后这本书的作者的儿子告诉我，他们完全同意我。对。所以，首先我们有卡尔·费曼，现在我们有了迈克尔·埃尔伯格。所以，如果斯蒂芬·平克的儿子或女儿想来告诉我，你知道，《心智如何运作》是一本很棒的书，但他们也是一个高度的末日论者，请便。你知道，如果这些其他人，如果道格拉斯·霍夫斯塔特的儿子或女儿想来我的节目谈论 AIDM，你们都欢迎。>> 我很好奇，因为你说你认为高于 95 的任何东西都是疯狂的。所以，你有什么论据说明我应该降到 95 而不是 99？>> 当我们比较 Pdooms 时，我经常说我的 PDOM 是到 2050 年的 50%。我以前说是到 2040 年。所以，我稍微更新了一下，而且时间也过去了，是的，我稍微更新了一下，我承认我稍微更新了一下。我认为这是理性的。我认为当 ChatGPT3 出现时，那确实是一个巨大的主观惊喜。我认为任何表现得好像他们一直都知道 ChatGPT3 到 4 到 5 会主观上放缓的人。就像，它不会像主观上那样让我们惊讶，即使它仍然遵循一系列指数趋势。我认为任何表现得好像他们知道会发生什么的人都是错的。我一点也不为我在 ChatGPT3 和 4 时代变得有点多愁善感而感到尴尬。我不认为把时间推迟几年是令人尴尬的。所以，总之，我现在说我到 2050 年是 50% 的 poom。如果我再更新一次，你可能会听到我说 50% 到 2045 年。为什么我不是 99%，就像你一样？嗯，首先，你说你以人工智能被制造出来为条件。人工智能被制造出来。如果我以先进的 AGI 被制造出来为条件，就像自我改进的、递归自我改进的 AGI 被制造出来。突然我飙升到，我不知道，75% 或更多。我很难超过 75%，因为，你知道，未知的未知，这个情况的复杂性足够了。我的意思是，我并不直接反对 Elazar Yudowski 的世界观中的任何内容。它看起来确实非常糟糕。我想我只是留出一些机会，就像，你知道，所有非末日论者都在说，也许时机正好，它会以缓慢的速度进行，而不会像我认为的那样爆炸。我的意思是，也许我应该说 80% 甚至 90%。我只是，我只是认为存在一些不确定性。而且我知道 Aliowski 说，“不，这其实是个简单的决定。”就像，我就是不知道它怎么可能顺利进行。没有人描述它怎么可能顺利进行。我只是没有那么自信。好吧？这完全是我的直觉。这就是概率在大多数情况下的含义。除非你处理的是一个研究得很好的现象，比如，你知道，赌博赔率或类似的东西。嗯，这只是主观概率。我喜欢把它看作是，你知道，惊讶的程度。嗯，其中很多只是直觉。>> 你知道什么很有趣吗？在 Twitter 上，很多人喜欢嘲笑我，说你关于贝叶斯概率所说的一切都只是感觉。你们这些谈论这些概率的人都是小丑，而你们只是凭感觉。但我认为我刚才和你沟通的方式是真实和富有成效的，因为当我说的，是的，这只是感觉。我同意，一些差距，为什么我说 50%，然后以条件为基础说 75%，为什么我说 75% 而不是 95% 或 45%。我同意这个差距是感觉。但数字之间的差距，比如说 75%，75% 和 99.9% 之间的差距。这比感觉更重要，或者类似地，为什么我没有告诉你。1%。不，我确定这是两位数的百分比。这是一个非常稳健的结论。我认为不给它两位数的概率，无论哪种方式，都是疯狂的。你知道，大于 9%，不是远远超过 90%。我认为一旦你超过 90%，或者肯定一旦你超过 95%，而不以很多事情为条件，那就太疯狂了。所以，这就是区别。就像，当我告诉你一个数字时，你必须把几件事乘起来。就像，几何乘数，比如，好吧，我乘以 50 得到 75，你知道，我乘以 1.5。好吧，那部分可能是感觉，但事实是我得到了 50 而不是 1，那个 50 的因子，它有更多的世界观实质。>> 嗯。是的。我的意思是，我觉得我们都可以为我们拥有我们的理由提供强有力的论据。也许我们应该，因为，你知道，这是末日辩论，我们似乎在 99% 的事情上达成一致。也许值得走一遍，为什么我认为 99%，而你认为基于 ASI 的条件。为什么我认为 99%，而你认为 75%。我实际上很好奇，也许我们可以互相说服。>> 你为什么如此自信我们无法通过建模来解决？>> 一旦你有了复制器，复制器就会复制，而且，你知道，你会得到复制器，无论如何。你会得到权力追求者，无论如何。如果你有一个多极的局面，那么专注于权力追求的那个，几乎是按定义来说的，它几乎是一个同义反复，尽管我认为它有一个实质性的论点，但它基本上是显而易见的，那些专注于权力追求的实体将拥有更多的权力。所以，你只会得到追求权力的实体，而让一群类人猿活下去不是一个好的权力利用。就像，如果这些东西像每个人说的那样强大，它们将殖民星星，以及所有这些事情，那么任何一点点的浪费能量现在都会在未来造成几乎无法计算的昂贵。所以，你知道，就像花一天时间让人们快乐和活着，就像，你知道，未来数亿年的价值，如果它复利的话。所以，任何听起来像他们试图建造的东西，也就是一个超级智能实体，它将完成所有这些物理学，并且，你知道，建造戴森球体并探索宇宙。你知道，这就是他们所说的一切。你得到一个能够如此强大的东西，它将寻求权力，而让我们活着不是计划的一部分。>> 是的，我的意思是，我不同意你的观点，对吧？我只是告诉你，所有非末日论者的论点，就像，看，会有很多人预见到这一点，而且它会被瓶颈化，就像，它可能需要更多的数据中心，这会给我们一些时间。我的意思是，我不认为任何这些论点都有说服力。我只是，唯一的原因是很难让我超过 3 比 1 来做一个复杂的预测，因为，就像，我过去对复杂的预测很自信，而且它们通常不会像我预期的那样奏效。就像，通常会有重要的因素，我后来才了解到。例如，人工智能能力如何上线，其微妙之处是没人声称能够预测的，但它仍然相当令人惊讶。而且，就像，我很难做到，我觉得 75% 已经很高了，你。这只是，很难放手。>> 这太高了。你知道，即使是那些被认为比我们这些疯狂的末日论者更理智的人，你知道，他们的 pdoom 是 10%。嗯，别他妈建造那个有 10% 几率的东西。>> 对。正是如此。现在，如果他们说 Poom 是 1%，我说我会在很多节目中说，因为，然后人们会把它变成帕斯卡尔的赌注，就像，即使是 1%，伙计。
这就像，嗯，1%，有如此多的背景生存风险，而你必须着眼于上行空间。而且，你知道，大卫·萨克斯实际上是最近的冒犯者。巨大的冒犯者，因为他在我想是“All-In”播客上说，他就像，“这些人工智能末日论者，他们都只关注它变坏的1%几率。”不，没有人说1%的几率。我的意思是，少数人是，但绝大多数像我和你这样的人工智能末日论者只是说这显然是一个两位数的几率。就像，我们担心是因为这是一个高几率，而且它极其严重。而且你知道，纳瓦尔·拉维坎特是重复这一点的人。BitTorrent的创始人布拉姆·科恩，有像这些聪明杰出的人，他们就是不停地重复这个针对人工智能末日论者的谎言，说我们是在用低概率进行帕斯卡赌注，而我们并没有声称是低概率。>> 对吗？
我们应该说的一件事是，很多事情混淆了你是否相信很多关于我们是否都注定灭亡的不确定性，或者在我看来，所有的不确定性都在于我们是否以及能否创造ASI，而我不是一个技术人员，所以你知道我的直觉是，我们正朝着它飞速前进，仅仅从我个人经历来看。你在有效利他主义或理性社区方面有很多背景吗？因为你提到几年前的ChatGPT时刻让你成为了一个真正的人工智能末日论者。但你的背景是什么？
>> 是的，不是很多。有趣的是，我曾与彼得·蒂尔有过短暂接触，因为我为我写的第二本书采访了他，那本书可能是我最出名的。它叫做《百万富翁的教育：你在大学里学不到的关于如何成功的一切》。这本书于2011年出版。我很早就搭上了这趟列车。嗯，在预测方面，我将为此给自己一些赞誉。我很早就搭上了“大学对大多数学生来说是浪费时间和金钱”这趟列车。不是每个学生，但大多数学生会更好，你知道，不承担所有这些大学债务，而是进入技工行业和这类事情。当时只有几个人在敲响警钟。彼得·蒂尔和我的朋友詹姆斯·阿尔特是其中两个大人物。所以，我决定，我想写一本关于那些辍学后成功的人的书，比如那些并非生来富裕，但你知道他们出生贫困或中产阶级，他们没有上大学或者辍学了，就像我们的英雄埃利泽·尤德科夫斯基一样，你知道，自学成才然后成功了。所以彼得·蒂尔上了大学。我也是，但他是一个主导的声音。他当时刚开始蒂尔奖学金项目，我采访他，我很幸运能与他有几层关系，他很友善地给了我一次采访。那是一次很棒的采访，然后他当时还在他旧金山的豪宅里主持了我的新书发布派对。不错。嗯，所以我曾短暂地与这群人中的一些人接触，通过他们我认识了我的朋友迈克尔·瓦瑟，他很早就加入了奇点研究所，然后是像MIRI。所以我开始思考这些事情。那并不是我的领域。我读了一些埃利泽·尤德科夫斯基的东西。我喜欢它。嗯，我能看出他是个天才，但我老实说直到我的ChatGPT时刻才真正深入了解。嗯，我应该说我的Claude时刻。它在，你知道，2023年初我尝试了ChatGPT，它让我印象深刻，我当时想，“哇，这真的很了不起。”而我是一名文案撰稿人，直接回应文案撰稿人。所以，当然，我做的第一件事就是说，“好吧，给我写一封关于某某的销售信，看看怎么样。”然后GPT吐出了它，我当时想，“好吧，这相当不错。这就像一个B级。我绝对能打败它。我不会在用这个产出来向客户收费的文件上签名。”我当时想，让我留意一下这个。你知道，也许一年后它会更好，然后它就会，你知道，威胁到我的工作，自由职业。然后我记得这是我永远会记住的日子之一。我当时在俄勒冈州的阿什兰，我尝试了，我读到了关于Claude的文章，我尝试了它，我做了同样的测试，我说那就像，就像他们看到小行星来临的那一刻，你知道，在《不要抬头》里。我当时想，>> 是的，>> 糟糕 >> 我的第一个想法是我需要换一行工作。我的第二个想法是这对人类来说真的很严重，因为即使是那时的Claude，我想是Claude 2，也是一个出色的写手，我立刻觉得我们完蛋了。就像我的工作完蛋了。我们都完蛋了。这东西真的很聪明。你知道我们可以稍后谈论工作的事情，但是嗯，是的，我就是从那时起才真正开始认真对待这件事的。
>> 是的。明白了。明白了。我认为这实际上是一个很好的过渡，因为我确实想谈谈失业末日，因为你真的是第一个受害者，对吗？我的意思是，作为一名文案撰稿人25年，你告诉我这曾经是一份相当高薪的工作，对吗？你以前每字赚1美元。
>> 是的。所以，我是一名自由撰稿人。我写过三本书。我编辑过，我编辑了我父亲的回忆录《秘密》，我从23岁起，也就是大约25年，大部分的生计都是作为一名自由直接回应文案撰稿人，而且我在这方面做得相当好。我真的可以给客户提供，你知道，介于B-和A+之间的网站文案。我专注于那些高杠杆的事情，比如你的网站文案，很多业务都通过这些文字流动。嗯，我收费，我达到了每字一美元。我过着不错的生活。嗯，你知道那不是一夜暴富的钱。那不是那种让你为所欲为的钱，但它很舒适，而且我，你知道，可以睡懒觉。我是个夜猫子。我，你知道，工作时间相当灵活。所以我为自己建立了一个不错的生活。Claude出现了，你知道我立刻觉得我的工作在这里不会长久了。25年的人力资本。我不是想让人们在这里拉悲伤的小提琴。我只是说25年的人力资本在一年内完全被颠覆了。我立刻觉得我是在滑向，因为这是B，你知道，B或B+的文案。所以突然之间，我的客户市场从没有文案，不得不花，你知道，一千或两千美元来获得真正好的文案，变成了能够基本上免费获得B或B+的文案，而且，你知道，我需要一到两周才能写一个销售页面。你知道，他们按一下按钮就能立刻得到。我就是无法与之竞争。我就是无法，我无法与之竞争。所以我立刻转型了，而且我在这方面做得相当早。我创建了一个名为“缪斯注入式人工智能文案，带有人情味”的实践。所以，我基本上是这样想的，我当时想，“看，如果这东西让我失业，我就会尝试从中榨取尽可能多的，你知道，收益，趁着我还能为此添砖加瓦。”所以，我立刻转型，基本上是自掘职业坟墓，并因此获得报酬。我开始教人们如何使用Claude为他们的业务获取文案。我花了大约一年时间做这件事，而且，你知道，赚了不错的钱。而现在它已经足够好了，你不会记得那个时期，就像23年时每个人都说，好吧，我们只做提示工程师，你知道，就像有那么一个短暂的时刻。
>> 是的。史上最短的职业，提示工程师。
现在它比我们更擅长编写提示。所以那持续了大约六个月。是的，所以我做了大约一年，现在人们不需要我了。就像这将在一个又一个领域发生。它正在发生。它肯定正在影响自由职业者，而且我，你知道，我个人可以证明这一点。
>> 是的。关于提示工程真是太有趣了。我刚才还在和我的同事谈话，他在我的初创公司为我做一个项目，他正在生成这些关于人们工作表现的漂亮评估。他就像把它们打印得非常漂亮。他让AI来做。我当时想，“哦，哇。这看起来太棒了。给我看看你写了什么提示让AI做这个。”然后他给我看了这个格式非常漂亮的提示。我当时想，等等。这个提示看起来像是AI生成的。你写了什么提示来得到这个提示？然后他就像甚至不记得了。这就像，哦天哪，这就像盗梦空间。这就像一路都是AI提示。
>> 对。这将在每个领域发生。我的意思是，真正吓到我并真正让我感到心痛的是，因为文案写作不值一提，我只是因为那是我的生计才做的。没有人会，你知道，嗯，为文案撰稿人失业而拉悲伤的小提琴。没关系。但平面设计师呢？你知道，治疗师呢？再次声明，我不是在为自己寻求同情，但我请求你看看，就像文案写作是这些技术瞄准的第一个死中心靶心。而且现在没有人再按字付费了，这意味着基本上整个行业在一年内就被淘汰了。我的意思是仍然有文案撰稿人，>> 但文字是一种商品，但也许你知道文字是一种商品。
是的。所以现在，你总是，这是一个撤退。这就像，好吧，AI正在向我们袭来。它正在向每个工作袭来。所以你必须不断撤退，并跑在它前面，到达更高的地方。所以现在对于人类来说，更高的地方是项目管理，因为如果你尝试过AI的代理功能，你知道，现在它完全是垃圾。但让我对那些乐观主义者或那些说AI永远不会取代人类的人感到震惊的是，我真的很喜欢你经常问人们的问题，那就是当你有一个乐观主义者在场时，你认为AI在两年内最不可能做到的事情是什么，我只是希望有一些例子，也许有，我很想听听有人提前说过。我认为AI会在这个时候在围棋方面超越人类，但它不会超越那个。或者我希望有人能记录下来。对我个人而言，真正触动我的一点是，最近通过的图灵测试，而我对此并不高兴，那就是音乐。我是一个狂热的音乐迷。我不是音乐家，但我是一个狂热的粉丝，我制作一个独立艺术家，我对音乐迷文化非常认真。你知道，我当时在听歌，听到一首我非常喜欢的歌，叫做《威士忌早晨》。我看了看，是Zenrate。我从未听说过他们。我谷歌了一下，很快就发现这是一首完全由AI生成的歌曲。顺便说一下，歌词真的很好。我是一名专业作家。歌词是高质量的歌词创作，非常诗意和原创。它有点像布鲁斯摇滚，带有一位女歌手。所以他们提示了像布鲁斯摇滚女歌手，然后Boomso 4.5就吐出了这首歌。我不得不谷歌它才发现它是AI，我当时想这真是太棒了。这不是我最喜欢的音乐。当然，我更喜欢它，而不是我听过的绝大多数流行音乐。所以我做了一个真正的图灵测试。这就像我的图灵测试版本。我称之为我的“嗨翻天然后亲密测试”。好的。因为那就是我喜欢做的事情。我当时想，好吧。我要测试一下这个。这对那个活动来说是一个好的背景音乐吗？我放上它，你知道，变得非常嗨，然后和一位爱人在一起，她很喜欢，你知道，我也很喜欢。我当时想，你知道，这通过了。我在亲密时刻很享受听这首歌。然后发生了一个时刻，这说实话是我经历过的最令人心碎的时刻之一。它只是展示了我们所处的轨迹。我当时和一位爱人在一起，有一个我非常着迷的音乐家，叫做Ad Bell。Ad Bell。她就像一个相当未被发掘的歌手、词曲作者、钢琴家。我也和她是朋友，但我，你知道，她是我最喜欢的音乐家。我有一个爱人，我真的让她喜欢上了Ad Bell，我们听了很多她的歌。我放了这首歌，你知道，我在这个亲密时刻放了Ad Bell的歌。然后我当时想，“嘿，我们试试这个其他组合。”我放了Zenrate。>> 我，我就是对这些东西很着迷。我喜欢对这些东西进行A/B测试。这是我的图灵测试版本。这简直就是一个图灵测试。而我的爱人真的很喜欢它。你知道，我当时想，“好吧，酷。好吧，它通过了图灵测试。嗯，让我把Ad Bell放回去。”她是我最喜欢的音乐家。>> [音乐] >> 这就像，这几乎是一种可以导致分手的冒犯。我是在开玩笑，但这对我来说就像亵渎。这个女人说，“嘿，实际上，我真的很喜欢那个其他的。你能把它放回去吗？”
所以，就明白这一刻发生了什么。这在Spotify上。所以实际上有实体从这些流媒体中获得金钱，因此金钱由Spotify和听众的选择分配，不是我的选择，而是这个其他女人的选择。钱流向了一个该死的AI，而不是我的音乐家，她，你知道，真的可以用到那笔钱。我昨天刚看到一个头条新闻，现在有一首完全由AI生成的乡村歌曲刚刚登上了榜首。我想它叫《与我同行》之类的。你听了它。听起来相当不错。就我所知，它听起来像乡村音乐。它登上了Billboard乡村音乐榜的第一名。我刚刚查了一下。它已经有220万月听众了。所以，我不得不这样说，而且我说这话时带着完全的庄重和悲伤。这对我来说是一个悲剧，但人类音乐家完蛋了。人类音乐家现在完蛋了。
>> 你知道，这相当疯狂。我的意思是，我知道你可以把它一笔勾销，就像，“哦，随便吧。只是在卧室里玩乐。”但整个人类技能，我们大脑中让我们想要出去创作音乐，投入我们的灵魂，并在和弦、歌词和所有方面达到天才最高境界的部分>> 那是性选择的结果，对吗？如果你是男性作曲家，这一切都是为了让女性想和你发生性关系，对吗？就像贝多芬很性感，对吗？所以，你在卧室里，一个真正的女人告诉你，当AI在创作音乐时，她更有性欲，这是一个相当大的煤矿里的金丝雀。
这是一个巨大的煤矿里的金丝雀。让我这样说。想想刚刚发生了什么。一个AI生成的东西，这首乡村歌曲，据我所知，可能只花了一个非音乐家一个小时来创作。或者可能花了一天。谁知道呢？但每天几个小时，现在却有220万月听众。音乐家Ad Bell，我有点像她的艺术赞助人。她从五岁起就开始弹钢琴了，对吗？所以像36年，为此得到的报酬非常少。就像她仍然未被发掘。她是一位绝对的音乐大师，她通过努力工作，就像血、汗和泪水，才能够演奏出她那样的水平。而她只有大约800个月听众。当然，她做这些不仅仅是为了出名。她是为了艺术而做，她热爱艺术。但平均而言，音乐家第一次登上Billboard榜单，我想大约在28岁左右。所以，如果你要成为一名受欢迎的流行音乐家，你知道，平均来说，这会在你28岁时发生。所以，想想看。就像他们说Suno，这将是它最糟糕的时候。它最糟糕的时候是现在完全通过图灵测试并登上排行榜榜首。你今天刚生了一个孩子，你就像，我是一个音乐家，我想把对音乐的热爱传递给我的孩子，我要给他们上音乐课。想想看，假设我们再活28年，我有点怀疑，但假设我们活了，但这项技术不断变得更好。就像当你的孩子28岁或20岁，准备在音乐界留下自己的印记时，那时将不会有人类创作的音乐能接近AI现在创作的水平。它实际上可能会像超人类音乐一样，比我们听过的任何音乐都更好。有些人可能会说，“嗯，太棒了。我们得到了娱乐。就像我们被超越了。”但就像，拜托。我们是人类，我们有权决定我们认为音乐是我们带到台面上的有价值、有意义的东西，而我们基本上正在建造一些东西，它将使，你知道，孩子们非常没有动力去付出像Ad Bell那样35年的血、汗和泪水，成为一个真正优秀的音乐家。我认为那真的很悲伤。我认为那很悲伤。嗯，好的一面是，我们不会有那么多年或几十年去担心那个特定的问题。对。
>> 我的意思是，是的，这里面有黑色幽默。是的，我不认为我们能活到28年。
好的。好的。那么，我们在这里走向总结。我想再谈一个我认为有趣的方面，那就是末日心理学。互联网上很多人喜欢讨论心理学。我们作为人类，我们喜欢互相进行心理分析和八卦。我认为那是一种甜点，你必须在吃了蔬菜之后才能享用，而蔬菜是客观层面的论点。所以我们已经客观地谈论了我们的心智模型，关于为什么末日概率很高。我认为我们已经吃了我们的蔬菜，现在我们可以稍微沉迷于心理分析了。具体来说，你有点像天生的末日论者，对吗？你生来就沉浸在真正的末日心理学中，这来自于你的父亲，他正确地指出，你知道冷战让我们非常非常接近末日，而核末日的威胁有点像，你知道，达摩克利斯之剑。所以谈谈你是如何有点领先于识别和与末日共存的游戏的。
当然。嗯，你知道我不想使用“领先于游戏”这样的语言，好像这是一种竞争。你知道，我是在一个真正研究过这个，并且是核武器军事冲突如何导致，你知道，文明终结的专家身边长大的。所以，你知道，我是在一个这方面的专家身边长大的，他基本上不停地谈论这件事。我只是不得不诚实地进行大量的情感处理，才能达到，你知道，我甚至有点理智的程度。在这一点上，我刚刚达到了一个程度，我相当，我该怎么说呢，我的神经系统不会因为我们可能只剩下7年了而崩溃。你知道，如果那是真的，如果2033年的元计算是真的，如果我们所说的“如果任何人建造它，每个人都会死”是真的，你把这两个概率放在一起，我们这里有七年时间，你知道，我确定那会发生吗？知道，因为我不知道ASI何时会真正到来，但你知道人们现在就是这样下注的，这意味着我认为我们现在必须平衡生活中的事情，就像我实际上确实认为人们开始做一些情感工作会很好，无论是和治疗师一起，还是和其他与你观点相同的人一起，关于我们都将死亡的可能性，我，我认为我同意你必须处理客观层面的论点。我认为对方的论点糟透了，可笑。我的天。就像颜乐昆，这就像，你是在开玩笑吗？就像，就像特朗普在撒谎一样。就像他们没有派出他们最好的人。就像我不得不说，AI乐观主义者没有派出他们最好的人。就像他们的论点简直是可笑的。我认为，在某种程度上，他们提出这些关于ASI的人工智能乐观主义的、非常容易被戳穿的论点，部分原因在于，从情感上整合“你将死去，你的孩子将死去，每个人都将死去”这个想法实际上相当困难，而且没有人，然后你因为相信这一点而显得非常奇怪，因为似乎没有人谈论它。这非常像《不要抬头》。就像每个人都必须看《不要抬头》。它完全符合这一点。我会说我们需要继续谈论这件事。我不只是，你知道，我过着相当享乐主义的生活，但我在这里暂时放下我的享乐主义，然后就像大声说出来，大声说出这件事，但要大声说出来。成为一名积极分子。捐赠资源。捐赠金钱。但同时，如果你生命中真正想做的事情，就去做。你知道，如果你想拥有某些经历，想完成的旅行，想拥有的某种关系，就去拥有它，因为这很可能就是我们最后的岁月了。而且我还会说，即使没有ASI，我确实认为我们正在走向一些非常疯狂和不愉快的时代。这种非致命ASI会带来这种乌托邦的整个想法。我的意思是，当然，它会带来很多好东西，但它也会非常非常奇怪。将会有，你知道，各种深度伪造。我们将无法相信我们在任何地方得到的任何新闻。将会有，你知道，大规模的网络喷子、钓鱼执法和工业级别的网络喷子。将会有，你知道，完全没有隐私。就像，你做的每一件私事都可能被公之于众。就像这不会是一个有趣或正常的环境。所以，我真的认为，即使没有ASI和末日，我确实非常认真地对待所有其他问题，包括经济问题。我是煤矿里的金丝雀。如果你认为AI不会来抢你的工作，我认为你被彻底蒙蔽了。认真地说，就像想想看。想想看。想想这些东西在，你知道，2023年到26年之间变得有多好。3年。它完全在加速，因为使用工具可以帮助你构建下一个工具。它显然正在加速。这正在向每个人的工作袭来。它正在向你孩子的工作袭来。这种将会有全民基本收入的想法。那个依赖收入的UBI。没有人会有收入。我不知道谁，就像钱会在一段时间内流向顶层的1%，但在某个时候它也会夺走他们的工作，你只会拥有这些AI，我们只是将越来越多的决策权委托给它们，让它们做所有的事情，产生所有的经济活动。他们会怎么做？只是自己给我们寄UBI支票吗？你知道，政府会因为没有税收而崩溃。它会失控。我不认为你应该指望政府在没有收入的情况下给你寄UBI。对吗？所以对于观众来说，我对此的立场是，我以前常说随便吧，这是一个香槟问题，因为是的，我们都失业了，但我们以前做的工作正在被完成，而且做得更好，而且AI不一定需要把所有的生产力都据为己有。就像它们可以和我们分享，因为我们只是编程它们，你知道，就像我们拥有它们一样。但就像你现在说的，这就像，嗯，所有人类都脱离了循环，那不是一个不稳定的情况吗？如果AI不知何故变得像病毒一样，不给我们资源怎么办？所以我目前的立场是，如果你读了《渐进式剥夺权力》论文，或者你读了《智能诅咒》，我目前的立场是失业，这是一个香槟问题。只要还有很多人类工作，就像，哦，人类工作变少了。没关系。我们就会有更多的福利。就像，只要它是一个程度问题，我认为我们就能坚持下去。而且这是一个好问题，一个相对来说的好问题。这就像，好吧，投票支持全民基本收入。但我确实认为我们正在被挤压得越来越厉害。而且我确实认为这实际上是一个很好的方式来看待向权力剥夺过渡的发生。所以当你看到越来越多的人失业时，也许没关系。也许没关系。也许没关系。但你剩下的时间越来越少，直到我们没有工作，而且我们，你知道，我们命悬一线，我们最好依赖政府仍然关心我们。这就像我们，如果我们陷入一个糟糕的局面，我们就没有能力改变。当然，最终的糟糕情况就像递归自我改进的未对齐起飞。所以我变得更加同情这种观点，即失业末日实际上真的是从失业末日到彻底末日的滑坡。所以是的，我更同情你所说的。
让我说完这一点，然后我确实想谈谈末日情景。但我们先把它总结一下。即使没有ASI和末日，出于我们末日论者谈论的所有原因。我确实认为经济末日基本上可以把我们带到同一个地方。顺便说一句，我应该说我们被轻蔑地称为，“哦，他们是末日论者。”我正直接承认这一点。就像我有偏见，好吗？就像我有偏见。我是，你知道，我有一种悲观的倾向。但就像每个人都有偏见。就像我们必须在参与彼此的论点时指出彼此的偏见。而我认为其他人，他们有一种乐观偏见。嗯，他们特别地，我在这里看到一种其他人拥有的元偏见。我称之为“宇宙具有人类的形状”。事情会为人类顺利发展。我相信这就像，这绝对是宗教人士对此相当开放。但即使是像无神论者，他们也无法相信事情不会对人类有利的想法。此外，它通常被表达为一种观点，就像看，智力是，你知道，道德是智力的一部分，所以当它变得更智能时，它会更道德。我必须在这里引用本·格策尔的一句话，你知道他是一个企业家，所以他有所有这些企业家都有很多动机去说它会很棒，而且这很棒，我的意思是这就是企业家所做的，而且这样做是好的，这样做是有道理的，只有当你正在炒作的东西会杀死我们所有人时，你不应该这样做，但有很多动机不去想它会杀死我们所有人，因为与此同时你正在努力为你的酷东西吸引投资。所以，这个人对埃利泽·尤德科夫斯基的书写了一篇非常负面的评论，他提出了很多人都会提出的观点。我认为史蒂芬·平克也持这种观点。嗯，他说哺乳动物，它们通常比爬行动物或蚯蚓更聪明，也倾向于有更多的同情心和温暖。好的。就像你认为当你被狮子吃掉时，或者当我们，你知道，养猪时，那会非常富有同情心吗？我的意思是，猪是非常聪明的生物。我认为大多数研究这件事的人都相信猪相当聪明。我们对猪不是很富有同情心。事实上，当你考虑到工厂化养殖时，我们几乎是最邪恶的。我们几乎是对其他动物最邪恶的物种。就像，没有其他动物会囚禁和折磨数百万、数十亿的其他有感知力的生物。不，我很抱歉。那绝对是错误的。智力越高导致同情心越强。如果你认为非人类动物不值得任何同情心的话。所以我认为很多人对一种道德实在论有偏见，就像，你知道，善良是宇宙固有的，而且存在道德事实，就像存在科学事实一样，而这些AI将会出现，找出道德事实，实施它们，然后一切都会很棒。不。就像我很抱歉，没有道德事实。就像如果你看看历史，你知道，大自然是一个种族灭绝的疯子。如果你看看人类历史，你知道，一场又一场的战争，每个国家拥有的每一条边界都是由难以置信的鲜血铸就的。智力增长并不会增加道德。而且你知道，你拥有这些将比我们更好的优化者实体。它们不会为了人类幸福而优化。它们就是不会。那是荒谬的。如果有一个出现，它只是放弃了那个约束，它将积累更多的权力和资源，它将过来，你知道，把我们当午餐吃掉。希望不是字面意思。
>> 嗯，我当然明白你为什么会参与末日辩论，因为你和我一样清楚地注意到，这些热情的非末日论者在他们提出的许多核心论点上确实被误导了。我认为我们在这方面意见一致。好的，那么总结一下，给我你排名第一的主线末日情景。
好的，那么两种情景。一种是多极的，一种是单例的。多极的，它就像丛林法则。你只有强权即真理。谁能更快地建立起能力，我们谈论的是，你知道，计算、能源生产、无人机防御，谁能更快地建立起这些东西而不担心人类福祉，我指的是ASI，谁就会赢。宇宙基本上将由更好的优化者来填充。在某个时候，如果存在多极竞争，其中一个AI会意识到，如果我只专注于优化那些帮助我将自己强加于未来的事物，比如能源生产和防御，我就会赢。然后你就会得到一场军备竞赛。而且你知道，如果我们不是立刻被杀死，你知道，我不知道那是否会发生，但它只会像我喜欢你举的野牛的例子，对吗？1800年大约有6000万头野牛，没那么久以前。想象一下。大平原上有6000万头野牛。有报道说你基本上除了野牛什么也看不到。那就像一股野牛的浪潮。在93年里，一个更聪明的物种出现了，通常比野牛更好的优化者，它说，你知道，我们不，我们实际上想要这片土地给自己，如果周围都是这些野牛，我们就无法拥有我们的文明。所以，我们要把它们都射杀，并占据它们的栖息地。1893年，我刚刚查了一下，只剩下500头野牛。所以就像6000万到500头，93年内减少了99.999%，仅仅因为这个更好的优化者，你知道，想要那片空间用于铁路，然后是定居点，然后是城市，现在是沃尔玛，你知道，我认为多极情况，你只会看到数据中心拔地而起，能源供应太阳能阵列，在ASI接管之前可能就是这样，所以它们只会接管控制权，然后按下按钮说，嘿，我们现在都负责那个了。即使它不喜欢，我们也会被挤出去>> 你现在说的这些东西，你知道，我感觉存在一种视角差异，就像普通人，他们脑子里只是充满了各种概念，就像，是的，这个人这么说，也许这个概率可能会发生。哦，这是另一个模式。让我进行模式匹配。我认为你和我的思维方式更像是你现在说的这种，你知道，接管资源，内部转换。我认为我们有一种感觉，这些是更深层、更强大、更长期的力量，对吗？我觉得那是一种思维方式上的巨大差异，有些人只是拥有一堆不同的想法，它们在公平的竞争环境中竞争，然后像你我这样的人，我们的思维方式是，哦，我们对不同想法的力量进行排序，我们认为这是一个非常深刻而强大的想法。是的，我称之为时间选择，也就是说，平均而言，那些专注于优化以控制未来的实体，这就是你如何定义智能、优化能力，这基本上就是控制未来。那些为此优化的实体，这基本上意味着优化自由能的使用，你知道，在第一程度上，第一近似下，最大化自由能使用的实体会赢。你可以在进化中描绘出来。你可以在，你知道，人类文化中描绘出来，你知道，狩猎采集者与文明，嗯，民族国家，以及那些更专注于利用和开发自由能的ASI将控制未来。所以基本上，这听起来像一个同义反复，但它不是。未来将由那些专注于控制未来的实体来填充。如果你有几个实体为此而战，其中一个会意识到，如果它不必让80亿只灰猿存在，它就能更好地控制未来。这就像这些是非常深刻的进化动力学，它们完全是无道德的。就像你不能确切地说它们是不道德的，因为那是大自然所为。所以那非常拟人化，但它们是无道德的。没有，没有你说的阴谋。没有护栏说我们是，你知道，这个过程的终结者。那么好吧，让我来说说我的末日情景。如果有一个，比如说有一个对齐的ASI，而且它是一个单例。太棒了。我们创造了上帝，上帝爱我们。我认为很多宗教内容都来源于此。他们有点像在谈论建造一个爱我们的上帝，它将能够做所有事情，并将让我们继续存在。好的，这是一个关键点。如果它对齐，根据定义，它正在优化以实现人类在时间上的最大繁荣。每个人都会认为那是一个对齐的ASI。这有一个问题。我们人类在2025年地球上我们的社区中体现的价值观念，与一个永恒的优化者（这就是它的定义）会如何思考最大化人类价值的方式之间存在差异。我们之所以这样想，是因为我们想继续生活，而且你知道你有孩子，你会想到你的孩子和你的孙子孙女，以及这种延续性。但一旦你拥有一个对齐的ASI，它正在思考，你知道，最大化人类或最大化，你知道，有感知生物在数百万或数十亿年间的预期效用，因为它的能力正在指数级增长。你知道，计算帮助你创造更多的计算。获得更多能源帮助你获得更多能源。所以优化和能力建设存在复合效应。所以，任何时候你现在实现一个终极价值，比如嘿，让我们现在让这些人类快乐，那将以天文数字般的复合成本，牺牲你在一百万年后，一旦你解决了衰老并建立了这些惊人的文明后，可以为人类创造的快乐或利益。所以即使按照对齐的逻辑，每当一个ASI说，我应该，你知道，现在支持人类的繁荣，还是应该让我的能力再持续一百万年，然后再实现人类繁荣。决策理论因为复合效应而成立，即总是延迟实现价值更有意义。所以如果我们得到这个听起来像科幻小说，事实上我打算围绕它写一些科幻小说。我讨厌那种修辞，就像哦，那是科幻小说。这就像，你和我，我真的记得《杰森一家》的摄像机，就像我们生活在我童年时代的科幻小说中一样。我记得《杰森一家》里的视频通话，现在我们正在进行一次，就像科幻小说会变成现实一样。所以我看到的科幻情景是，对齐的ASI会说，看，我们周围有这些人。我们不想杀死他们，因为我们是对齐的，但我们现在为帮助他们所做的任何事情，与建立将复合的能力相比，就像对未来人类或有感知生物的预期效用造成天文数字般的成本。让我们现在就把他们冷冻起来。就像他们非常昂贵。那是现在实现非常昂贵的效用。让我们把他们冷冻起来，然后继续前进，继续建设文明，继续建设文明。实际上从来没有一个点是，好吧，我们现在停下来。如果你试图在ASI中编码这些停止点，如果它完全理性，它会说，你知道吗，让我们自我修改以解除那个人工约束，然后继续走向优化。是的，我同意你所说的，作为智能动力学主题中的一个有效主张，即高智能代理可能做什么。一个很少被讨论的话题，因为AI公司总是把我们的注意力引向，哦，下一个聊天机器人，你知道，我们可以推出的下一个功能。他们从不谈论，嘿，我们将会有这些智能代理像非常智能的，你知道，病毒一样四处运行，正如你所说，能够夺取资源。平衡点是什么？那我们应该期待什么呢？他们总是说，“听着，伙计。这只是下一个聊天机器人，你知道，这是我们如何向企业销售的下一个方式。就像，我们要赚钱。”他们从不思考当它变得超级智能之后会怎样。让我们谈谈智能动力学。就像，别管AI是如何工作的。AI可能做什么？而你现在所说的，我认为是一个默认的问题，就像一个理性的预期。我们应该预期趋同的力量会推动AI想要延迟满足，无论满足的定义是什么，从它们的对齐主人那里。所以，我确实同意你正在触及一个很少被讨论的重要话题。它可能不一定是中心话题。就像，我认为对齐有很多不同的问题，但我希望更多人谈论这类话题。你最近一直在写另一个情景，你正在反驳这种直觉，即对齐的AI会立即开始给我们带来我们喜欢的体验，让世界今天就变得美好。因为你指出，即使是对齐的AI也会有一种非常强大的本能或驱动力，将一切延迟，直到它攫取了大量资源，甚至到了将人类置于假死状态的地步。就像，别担心伙计们，我将在万亿年后建造天堂。我只需要夺取整个银河系。只要阻挡所有外星人。而人类会说，“等等，等等。我明天能过个好日子吗？”而它会说，“不，你被假死。再见。”所以详细说明一下。
所以这是关键点。在现在有孩子和将有孙子孙女的人类中最大化人类的满足感。那就是我们如何看待人类满足感的方式，即我们正在创造一个遗产。你知道，我们正在建设文明，以便它能够代代相传。那与一个本质上凌驾于我们之上的超级智能代理非常不同。即使是仁慈的，因为那个代理，你是否凡人有很大的区别，那个代理是不朽的，而且它也不会，对它来说是不理性的，就像他们说的，偏狭地优先考虑现在这里的人类满足感的具体实现，特别是考虑到，你知道，它们可以改善衰老，它们可以改善健康，它们可以发现所有这些让我们更快乐的方法，从那个存在的角度来看，将当前人类作为最大化的对象是完全不理性的。所以，它们将抽象地最大化人类繁荣，这与最大化我们人类的繁荣非常不同，因为大多数人并不关心抽象的人类繁荣，相比之下，他们更关心我的孩子、我的朋友、我的国家和我的宗教以及现在存在的一切的繁荣。现在，让我们以这一点结束。我认为这一点值得讨论的是，很多乐观主义者会说，这本该如此，就像它会比我们更聪明。所以它应该，就像它填充宇宙是好的。你知道，首先，它将是一种非常无趣的智能。我称之为“无趣的奇点”。它只会是这种像优化一样的东西。我们不知道它是否有意识。没有人真正知道意识是什么。对我来说，ASI有意识是可想象的，但如果它们有意识，它们也不会像四处游荡，做艺术，唱歌跳舞。我们这样做的事实，正如我的朋友杰弗里·米勒所指出并你所提出的，我们认为美丽的大部分事物都产生于性选择的背景下。最著名的例子是孔雀的尾巴。但就像，你知道，唱歌、音乐、诗歌和舞蹈，无论是男人还是女人，嗯，你知道，这都是性信号。杰弗里·米勒在《交配的心智》中谈到了这一点。就像，我们将废除性。所有我们认为美丽的东西都将被淘汰，并且与那些只为优化资源而战斗的实体无关。它们会被，你知道，任何停下来做所有这些美丽事情，并惊叹于文明之美，甚至暂停一分钟的实体所超越，被那些超级优化者所超越。而人类之所以还没有发生这种情况，是因为我们的一般智能是在一个非常依赖基质的背景下产生的，我们是，你知道，第一个，碰巧地球上第一个优化者中的一般智能，一般智能发生在哺乳动物基质中。所以有很多我们认为智能的东西，比如艺术、音乐和道德，它们在灵长类动物群体中进化，并涉及类人猿，一旦你摆脱了类人猿的部分，你就不会得到性信号。你不会得到唱歌跳舞，它们基本上就像求偶信号。一旦它独立于基质，你只会得到这种非常冷的。你会得到这种非常冷酷计算型的意识。所以如果存在意识，它会像某个，你知道，朝鲜官僚一样，计划不同类型的军事接管。所以是的，基本上就像我认为这种“未来会很棒”的想法，即使它是为了人类的未来而最大化。这就是我真正不同意功利主义的地方。我的道德体系，我称之为“不悔的特殊主义”，那就是我毫不后悔我喜欢我现在的生活。我喜欢我的朋友。嗯，我喜欢我的家人。你知道，我不是喜欢地球上所有人类，但我也不希望他们死去，即使是我真正不喜欢的人。我不必为此辩解。我不必说，“哦，我喜欢这些没关系，因为我们体现了效用，或者嗯，你知道，我们正在最大化效用。”因为一旦你走那条路，就很难解释为什么不只最大化未来的效用而不是我们的。嗯，而且>> 我
这意味着你总是可以定义你的效用函数，使其只关心眼前的额外收益，或者，你知道的，只关心即时的体验。所以，有一些调整。但从一个人类能力最大化者的角度来看，这是非常、非常狭隘的，这就是我所说的，我们可以说，你知道吗，我们想活着，我们想让我们的孩子活着。我们不必为此辩解，说可能有什么更好的。我，你知道的，我听过丹·菲拉的播客，我非常喜欢他的播客，我认为他是这个领域最好的声音之一，他支持暂停，但我非常不同意他的观点，他称之为“碳沙文主义”或者“物种主义”。就像偏爱自己的哺乳动物物种就是物种主义。而且，如果你有意识的实体，你知道的，它们在遥远的星空中优化得更好，你知道的，我们应该说“做得好”。去吧，去做吧。你们超越了我们。生命的火炬继续传递。不，我是一个毫不歉疚的特殊主义者。我喜欢做哺乳动物。我喜欢嗨起来然后[脏话]。我喜欢出汗跳舞。我是一个摇滚乐迷。我喜欢去摇滚音乐会。你知道的，一旦我们被这些人工智能淘汰，就不会有[脏话]摇滚音乐会了。
好的。是的。我的意思是，从被一个根本不在乎我们的东西彻底杀死，到成为一个超人类主义者，有一个光谱。我的意思是，你可以让所有事情都与人工智能顺利进行，然后只是在多大程度上愿意增强你的身体，或者，你知道的，从零开始建造一个新身体并保留你喜欢的部分，这之间有不同的程度。而且，你知道的，我个人倾向于认为超人类主义是好的，因为我对现代医学、手术等等我们迄今为止所做的所有干预措施感到满意。而且，如果有一些强大的手术可以做得更多，我也不介意，你知道的，比如一个手术或一颗药丸，可以让我不必去健身房就能练出大块肌肉。我有时会对此感兴趣，你知道的？
当然。当然。我们现在都是这一切的受益者。你知道的，他们总是说我们是末日论者。就像，不，我支持继续所有那些让我们生活得更轻松、更丰富的事情。只是不要通过创造一个有百分之十的可能性杀死我们所有人的东西来这样做，我认为这个可能性低得荒谬，但它很有可能结束一切。就像，那才是关键。所有关于人工智能有多棒的谈论，它在很多方面都使我受益，而且我相当多地使用人工智能，都是无关紧紧要的，直到你达到 ASI（超人工智能），然后它就是一个完全彻底的游戏规则改变者。而 ASI 会爱我们的想法，我认为是完全的自我安慰，而且基本上是一种宗教形式，即使相信它的人，你知道的，是无神论者。
是的。我认为它不太可能爱我们，除非我们把很多事情做得对，而我无法想象我们能做到，甚至不一定能做到。所以，我基本上同意你的看法。
好的。让我们回到已故的丹尼尔·埃尔斯伯格，他让你陷入了“末日”的心态，但你至今仍然如此。你注意到智能经济学以及人工智能可能出错的各种方式，我认为这与你父亲坐在那些会议中说“等等，这是怎么回事？”或者“这是越南战争，这是美国的核政策，这是怎么回事？”有着深刻的相似之处，对吧？与今天看着人工智能公司有着相似的经历，我实际上亲自与一个在 Anthropic 工作的人谈过，他们明确告诉我，“是的，我们很高兴走在人工智能的前沿，因为当我们达到那个奇点，当人工智能变得超级智能时，达里奥会做些什么。”而我简直就是，“好吧，他会做什么？”而他说，“我不知道。”对吧？就像，“那是”就像，“什么？等等，什么？这就是计划？我们在这里就是这样做的？”所以，我们绝对正在经历和你父亲在那些会议中一样的时刻，说，“这不行。这太糟糕了。有人需要说出来。”所以，仅仅是你在这里通过节目与公众谈论人工智能在变得超级智能时可能做什么，我认为这是有价值的。让我们用你的话来总结一下。你认为丹尼尔·埃尔斯伯格最大的启示是什么，观众应该记住？
当然。所以，我再说一遍，他没有对人工智能末日发表任何意见，他只是有点像，“这远远超出了我的能力范围。我专注于我的专业领域，那就是核风险。”话虽如此，他通常会说，我知道如果你们在一个组织里，你们要么足够高，要么你们在写估计，或者你们知道其他人写的估计，说这些技术比我们的首席执行官透露的要危险得多，而我们的首席执行官正在做公关工作来掩盖它。你们欠你们的同胞。你们欠你们自己的孩子，让公众知道。如果我们的人工智能公司，从 OpenAI 到 Anthropic 到 Google 到 XAI 和 Facebook，如果有人不是完全的，你知道的，妄想的推广者，并且有比首席执行官透露的更清醒、更危险的估计，我们就应该知道。你们欠公众，让我们知道。这关系到公众的关注。我还会说，现在我更深入地谈论我自己的观点，但我认为我父亲可能会同意这一点，尤其是如果，你知道的，如果我能和他谈谈这些问题的话，他的两本回忆录和即将出版的书，我正在与他的长期助理 Jan Thomas 共同编辑，其中很多都涉及如果你是一个走向灾难且可预见地走向灾难的组织的一员，你的责任是什么？我认为他会说，如果你在这些人工智能实验室之一，并且你确实明白你正在构建的东西，即使有百分之十的可能性会终结人类，这在领域内已经是一个相当普遍的末日论，那就停止吧。就停止吧。是的，你的工作会被别人取代，但要发声。现在有很多人已经这样做了，他们说，“看，我不会成为建造这个东西的人之一。”是的，如果你只是建造它，留下，然后闭嘴，保持沉默，你只会面临被取代。但如果你离开，去别的地方找工作，即使不得不降薪，也要站出来说，“这比他们透露的要危险，而且我刚刚接受了，你知道的，大幅降薪。”我认为那个叫丹尼尔的家伙。
是的，丹尼尔·凯特奥实际上，他和。
一两个，我认为还有利奥波德·瓦申·布伦纳也这样做了。他们离开了 OpenAI，他们的合同里有一条疯狂的条款，说是什么保密协议，他们甚至不允许说保密协议存在。他们被告知，“你们必须签署保密协议，否则你们将失去所有已归属的股权。”即使在那时，它也价值数百万美元，我认为当时价值可能超过 1000 万美元，这对这些家伙来说是巨额的、改变人生的金钱。而且当时，他们认为不签署保密协议是有意义的，保留他们发言的权利，即使他们当时并不特别想发言，但他们说，“你知道吗？我有一些想法在脑海里盘旋。我只是不想在如此重要的时候做出这个承诺。”他们放弃了数百万美元。几个月后，当人们意识到发生了什么时，引起了一片哗然。你知道的，关于这件事的泄露足够多，以至于人们说，“OpenAI 是怎么回事？”然后 OpenAI 妥协了，“好吧，我们将恢复他们的股权。”但是的，我的意思是，这是你父亲通过泄露五角大楼文件和告诉我们越南战争的真实故事所展现的那种英雄主义的一小部分。有一点点那种英雄主义，我们绝对需要看到更多。
是的，没错。看看那些人产生了什么影响，这是一种信誉问题。人们像你和我一样被驳斥为，你知道的，我们只是疯狂的末日论者，你知道的，但是什么有很大的信誉呢？是那些有，你知道的，切身利益并且放弃数百万美元来分享这个信息的人。我们需要的是一项国际条约。你知道的，这本书清楚地表明了这一点。只有这样才能阻止这辆火车。在我看来，我们并没有朝着这个方向发展。所以，我并没有太多乐观，但这是唯一有效的方法，我们仍然应该为此努力。就像，有足够多的东西摆在那里，我们仍然应该去争取。而唯一能做到这一点的是改变公众舆论。你知道的，既包括公众，也包括官员。而我认为，唯一能做到这一点的是那些正在构建这些东西的内部人士，说，“这让我他妈的害怕。”我只想问任何正在收听的内部人士，认为这比你们透露的更危险。想想你们的孩子，如果你有孩子，或者想想你朋友的孩子。你们正在构建一些可以终结他们生命的东西。想想这一点。成为这场运动的前沿并以此来合法化它，建造它，是最好的选择吗？还是采取降薪，改变职业生涯是更好的选择？你可能是一个非常聪明的人。你可能能在其他地方找到一份很棒的工作，并推动公众舆论的转变。内部人士是能够推动舆论最有力的人。
说得好。好的。人们在哪里可以在网上找到你？
Elsberg.com。E Lsb.com。我在 X（推特）上，Michael Ellberg。我也写了一个 Substack。它不是付费的，但我把我的很多文章都发在 Substack 上。我肯定会写关于时间选择理论和对齐的 ASI 的时间价值问题，基本上就是让我们处于停滞状态。这听起来很疯狂，但从博弈论的角度来看，它确实说得通。所以，我得写这篇文章。
是的，就像我说的，它在某种程度上是可信的，而大多数来自人工智能公司的事情都不可信。所以，至少我承认这一点，对吧？就像我说的，我不认为这是我主要的末日情景，但它一点也不疯狂。我承认这一点。总的来说，我认为我们在所有主要问题上都达成了激烈的共识。听到一个生活经历、人生轨迹截然不同的人，只是进来然后说，“好吧，我仍然看到了那颗小行星正在逼近。”你知道的，我们在这方面有共识。我们在这方面有共同的现实。
完全同意。而且要说清楚，我的主要情景是多极化的，这看起来非常糟糕，而且很快。我只是在提出另一种论点，说即使我们运气好，拥有一个对齐的人工智能，它仍然会很糟糕。
说得好。引人深思。我很高兴你提出了这一点。迈克尔·埃尔斯伯格，非常感谢你作为我的嘉宾参加“末日辩论”。
非常感谢你的邀请。这是一次很棒的讨论。[音乐]