Transcription
我是 Vitalik Bdderin，您正在收看《末日辩论》。>> 我很高兴能和 Vitalik 谈论 DAC，即去中心化民主防御性加速。在一个拥有某种程度协调一致的不同主体集合的生态系统中，我会感到更加自信。>> 这是可处理性在洗白问题。>> 超智能人工智能对齐很可能是棘手的。>> Vitalik Bdderin，你的 P Doom 是多少？[音乐] 欢迎来到《末日辩论》。我的嘉宾 Vitalik Bdderin 是以太坊的创造者，以太坊是仅次于比特币的全球第二大加密货币，按市值计算。目前估值 5000 亿美元。它也是一个通用的去中心化应用程序区块链平台。Vitalik 是一位顶级的慈善家，支持许多事业，包括人类寿命研究、生存风险缓解，特别是 AI 风险、大流行病预防和缓解，他捐赠了价值 6.65 亿美元的 Sheibba 代币用于印度的 COVID 救济项目。最后，他是经济学、治理、制度设计和人工智能等广泛主题的思想领袖。我很高兴能和 Vitalik 谈论 P Doom 以及如何降低它，特别是他提出的 DAC 或去中心化民主差异化防御性加速的想法。Vitalik Bdderin，欢迎来到《末日辩论》。>> 非常感谢，Lauren。很高兴来到这里。>> 您有很多著作和演讲。它们侧重于以太坊、区块链系统、应用密码学、制度设计。您认为您在智力和生产力职业生涯中的核心主线是什么？我认为，如果我必须将我所有著作和项目的所有目标浓缩成一句话，那将是关于建立一个更自由、更开放的世界，但特别要以一种真正对人们有效的方式，而不是仅仅为了意识形态而存在，而是为了真正让世界变得更好。>> 是的。是的，我想告诉观众，除了发明以太坊之外，我真的很喜欢您所做的一些事情。所以，这就像理论和应用的制度设计工作相结合，然后也是利他主义，对吧？我的意思是，您在捐赠您的金钱，您在鼓励其他人捐赠他们的金钱，您树立了一个如何用金钱帮助他人的绝佳榜样。这是一个很好的结合。您有一个很好的例子，说明了这种资助的受益者之一吗？>> 巴厘岛基金。这是来自 2021 年的狗币产生的。那些狗币的价值远远超出了我的预期。它最终资助了一项全球性努力，试图支持非常全面的开源生物防御，基本上是在每个环节中断大流行病。我们最大的受助者是 Open Water。它基本上是将医疗成像个人化。其理念是，这是一种您可以佩戴的设备，然后它使用超声波，我们感到兴奋的用例是能够检测微血栓，这是长 COVID 的常见原因，但后来我们意识到，实际上是的，这是一种超级通用的技术，实际上它甚至对 BCI 也有应用，这很有趣，因为这正是您需要指向您的大脑而不是指向几根血管的相同类型的东西。我认为在这个行业至少在这个层面的资助和复杂性方面，之前还没有开源过。而且我今年和明年都在关注，他们实际上有一个产品，并且已经开始有客户了。>> 太棒了。您作品中令我印象深刻的另一件事是，您非常注重高质量的讨论，这非常罕见。您乐于对话。您始终在寻求真理。您的写作方式非常坦率。而且在加密领域，很容易过度炒作和推销您的持仓，但您从未这样做过，对吧？您一直非常直率。我认为，您知道，每个人都知道您非常低调。这很令人印象深刻。而且总的来说，对于像您这样有影响力的人来说，很容易建立一个回声室并吹捧您的自尊心，对吧？这是一种自然趋势，但您一直保持着，您知道，非常谦虚。您来参加这样的播客。您知道，您身处其中。如果您不同意您的观点，我不会有所保留。而您对此完全没问题，因为您重视，您认为高质量的讨论是有益的，对吧？>> 当然。实际上，理性主义者社区，特别是像 Elazar Yudkowsky 和 Scott Alexander 这样的人，我知道您也很欣赏他们，我认为他们在很大程度上影响了我青少年时期的思想。他们所推崇的许多美德。比如智力诚实，这种元价值观的概念，基本上是试图以一种即使在很多问题上都错了，也不会把事情搞得一团糟的方式来构建世界。还有利他主义，对吧？以及试图从更大的图景来看待事物，而不是仅仅成为某个特定部落的士兵。这些事情，我上高中时一直在阅读，我认为它们是我一直努力遵循的道德榜样。>> 很好。所以您基本上在上高中时就发现了 LessWrong？>> 我认为是的。>> 您有多大程度上使用预测市场？>> 嗯，实际上相当多。嗯，是的，我有一个 Poly Market 投资组合。是的，我是那些“零博士”之一。我基本上会找到人们明显过度兴奋的问题。去年我赚了一些钱的最有趣的一个问题是，关于英国在 2024 年是否会发生内战的市场。我认为这开始是因为埃隆发推说，肯定会发生内战。英国在过去十年里发生过多少次内战？基准率肯定远低于每十年一次，对吧？所以我说，你知道，点击购买。做这种事情绝对是我众多业余爱好之一。>> 很好。是的，有道理。在理性主义者圈子里，这绝对是一个常见的爱好。您对 Elazar 和 Neri 的整体看法是什么？>> 我实际上非常尊重 Elazar。我认为，他在序列中写了很多文章，它们以许多其他写作方式未能做到的方式为我澄清了很多事情。对吧？而且理性主义有时会受到批评，而且是以一种非常稻草人的方式，对吧？就像哦，就像哦，理性主义者，你知道，他们会为了 50 亿美元诈骗人们来资助他们的有效利他主义慈善机构。但然后，我们有 Elazar 和 Scott 在记录中写了很多直接与 Sam 所做的事情相矛盾的东西，对吧？所以，是的，我因此尊重他。Neri 为 AI 安全做了很多重要的基础工作，我很高兴这个领域现在也足够大了，可以远远超越他们。所以，总的来说，非常积极。您如何看待 Elazar 的论点，即如果有人构建它，所有人都会死亡，指的是超智能 AI？>> 嗯，这是，你知道，他的世界观绝对是我认为非常合理的几种世界观之一，而且，这绝对是我担心的事情。>> 我认为您公开表示您非常尊重 Elazar 这一点非常棒，因为有些人会嘲笑他。显然不是我，但我看到一些科技界的人嘲笑他，甚至说，“哦，末日论者，他只是想赚钱，对吧？就像这是他的，他的份额之类的。”而这些同样的人实际上非常尊重您和您的去中心化理念以及您的系统设计。所以，通过尊重的传递性，看到您尊重 Elazar，我认为这些人应该重新审视一下。>> 我认为他们绝对应该，对吧？所以，我认为，在这种情况下，你知道，挑战之一是，你知道，就像一旦你成为一个拥有金钱、拥有致力于该有机体并将其视为自己身份一部分的人类机器的一部分。你知道，你绝对需要比逻辑更多的东西来说服人们，但同时，你知道，保持乐观是很好的，而且绝对希望逻辑和理性能够继续成为共同基础，并且双方都能继续被新事物说服。>> 同意。所以我们即将进入讨论的真正核心。让我们从每个人都想知道的头号问题开始。您准备好了吗？>> 准备好了。您的>> Vitalik Bdderin，您的 P Doom 是多少？>> 大约 12%。>> 哦，真的吗？12%？我认为也许它开始是 10%，然后有一段时间变低了，对吧？所以现在又回来了。>> 嗯。>> 好的。是的。发生了什么？>> 我认为，在过去一年左右的时间里，地缘政治变得更加糟糕和愚蠢，这绝对是其中很大一部分，对吧？我认为这是决定世界是否合作，甚至即使不考虑其他人怎么做，各国之间是否感觉应该合作的变量之一。所以，这对我是个很大的更新。我认为另一个是，一些通往更长的时间线并最终关闭的道路。对吧？所以，我认为像链式思维这样的事物的存在。我认为我的时间线肯定在某种程度上被压缩了。所以，我会说，看，我的大部分 PDU 质量都在 2050 年之前。而且基本上，是的，您让我的时间线越高，我的 P Doom 就越低。同样，如果它们变短，P Doom 就会上升。它甚至在年初的时候更高了。我认为在年初的时候，它大概是 15% 或 16%。感觉整个代理和 Coot 的事情可能会走得更远，更快。同时，世界的政治方面看起来会更加破裂。尽管感觉这两个变量都有些平静下来了。>> 我想稍微细化一下 P Doom。您说它大约是 12%。您说如果时间线更长，它就会更低。让我停留在 2050 年。那么，如果我将末日定义为所有人死亡呢？就像人类在 2050 年之前灭绝。这大致是您的 12% 指的是什么吗？>> 嗯，好的。是的，让我思考一下。我认为，嗯，有多少比例是末日并且在 2050 年之前？至少九个。>> 是的。当然。当然。好的。是的，因为你知道，当我谈论 P Doom 时，我的立场是，我认为到 2040 年，大约有 50/50 的机会一切都结束了。所以，我是一个 50% 的末日论者，但我也认为它不像，它不是 50.00，对吧？它显然是一个非常模糊的数字，当我说是 50 时，我实际上是在说，我认为人们说 1% 或 2% 或 0.1% 的概率是疯狂的。我也认为说 99% 是疯狂的。所以，我感觉自己很理智，因为我拥有正确的数量级。我认为 10% 到 90% 是众所周知的，Yan Ley 来自 OpenAI 说，“哦，我的 PDM 是 10% 到 90%。”对我来说，这捕捉到了理智的范围。对我来说，它开始变得不理智，如果你超出了这个范围。>> 是的，我认为不。而且肯定有很多聪明人都在各种地方。我的意思是，也有聪明人超出了理智的范围，而且，在两个方向上，对吧？我确实尊重他们。但我确实有这种普遍的直觉，就是，你知道，那些说世界上非常复杂的事情的概率非常接近零或非常接近 100% 的人，或者对某事过于自信的人。>> 您签署了著名的 AI 安全中心关于 AI 风险的声明，该声明称，缓解 AI 灭绝的风险应与大流行病和核战争等其他社会规模风险一样，成为全球优先事项。您的推理是什么？我认为，AI 灭绝的风险，甚至 AI 带来的低于灭绝水平的非常糟糕的事情，都是非常值得关注和重视的。这显然是一项极其强大的技术。我称之为 AI 末日的标准故事。基本上，快速的能力增长和工具性趋同导致一个超级强大的 AI 想要杀死我们，你知道，不是因为它想，而是因为我们是由它可以重新排列成其他东西的原子组成的，这似乎很有道理。而且我从未听说过一个超级令人惊叹的、无可辩驳的论点来反驳它。而且我认为，如果您将其与社会中思考如何降低这种风险或问题的可能性的人数相比，考虑到能力增长的速度，这显然是一件重要的事情，我们应该关注并以这种程度的谨慎和关注来看待它。>> 所以，这份声明是在 2023 年发布的，现在已经有几年了。您对它如何建立了这些杰出人物都同意 AI 有风险的相互了解感到满意吗？>> 我认为是。它肯定在以一种非常积极的方式使这个话题主流化，对吧？而且，我认为像这样的声明所做的就是，它有助于表明，实际上对 AI 风险的担忧是该领域内非常主流的事情，我认为这在很大程度上帮助公众接受了这种观点，即这是非常主流的，而且一点也不边缘化，所以，是的，我认为它在某种程度上是讨论中有价值的一部分。>> 是的，我完全同意。我认为缓解末日的工作很大一部分始于移动 Overton 窗口，让人们意识到其他人也和我们一样，都认为“嘿，这个超智能 AI 似乎是一个真正的担忧”，而不是完全忽略它，而大多数人仍然这样做。>> 当然。>> 让我们谈谈 AI 的时间线。我知道您有一些想法，所以我直接问您。AGI 或 ASI 最有可能在什么时候到来？我将从我的 AGI 和 ASI 定义开始，因为它们有些特殊。我的 AGI 定义是，AI 足够强大和通用，以至于如果您突然将其上传到机器人身体中，并且所有人类同时消失，它将能够独立地继续文明。这显然是我们不仅仅是在处理一个工具的时刻。我们实际上是在处理一个物种，而且我们正在处理一个不再明确人类是主导者的东西，对吧？就像您实际上有两个不同的实体，如果它们必须这样做，它们都可以完全独立地做自己的事情。那就是 AGI。然后对于 ASI，我的 ASI 定义是，AI 足够强大，以至于人类再也无法做出贡献，就像甚至无法提供协助一样，除了那些人类仅仅因为是人类而被明确重视的任务之外。这里的一个激励类比是，如果您看看国际象棋，那么计算机在 1980 年左右就比平均专业人士更擅长国际象棋了。然后计算机变得比世界上最好的国际象棋选手更强大，著名的深蓝对卡斯帕罗夫的比赛发生在 1996 年。但后来计算机变得如此强大，以至于计算机本身就击败了人类加计算机，这被称为半人马，发生在 2017 年，对吧？所以，实际上有一个 20 年的时期，在此期间，人类加 AI 是最理想的组合。>> 您怎么知道是 2017 年？因为我实际上查过一次，找不到确切的年份。>> 我认为，好的，所以我想起了泰勒·科文（Tyler Cohen）写的一篇关于 2010 年代初中期半人马的文章，其中肯定提到了它不是一个过时的概念。然后我记得人们最近一直在谈论>> 对>> 就像基本上半人马是一个过时的概念，在某个时候，实际上它只是问了 AI，它只是给出了 2017 年作为截止日期。>> 我的意思是，我必须相信，到目前为止，我认为半人马没有帮助，因为，你知道，如果它确实有帮助，那将是疯狂的，但你可能会遇到像 AlphaGo 被黑客攻击一样的情况，对吧？就像有人通过做一些非常出乎意料的事情或类似的事情击败了 AlphaGo。所以，我可以想象，人类半人马唯一的角色仍然是存在在那里，并避免有人做一些完全出乎分布的事情。>> 非常可能。是的。但如果您看看今天人类 AI 协作的工作方式。是的。就像我自己的编码经验一样，对吧？就像在 AI 编码之前，90% 是修复错误。现在编码是，80% 是修复错误。现在编码是 95% 是修复错误。但我对 AGI 的 95% 的信心，我认为，当我被问到这个问题时，大约一年半前，它是 2027 年到 2200 年。>> 好的。>> 95% 是巨大的信心。所以，您的区间很宽是有道理的。我甚至不会问您 95%。>> 我认为，我大概有两个大的估计，它们重叠很多。实际上，分布可能看起来太尖锐了，但最大的部分是一个单一的峰值，它处于这个区域，可能是 10 年，可能是 5 到 10 年，可能是 30 年，我将这看作是描述 AI 进展的两种故事。第一个故事是这样的：基本上，现在我们正在火车上，虽然这不是您的末日列车，但它绝对是一列目的地是“被抛下并立即被扔到末日列车上”的火车，因为它已经冲下悬崖了。但火车是，你知道，能力在快速增长，投资在快速增长。有一个足够自给自足的行业，每个问题都能迅速得到解决。您遵循的主导性指数图是 AI 可以执行的活动所需的时间，以人类评估它们所需的时间来衡量，对吧？这在某种程度上评估了，你知道，独立的能动性和独立完成事情的能力，而无需人类协助，而且它大约每七个月翻一番。然后有时我知道有迹象表明这甚至可能在加速，然后>> 是的，是的，只是为了向观众澄清，您说的是那个图表，它说的是人类和 AI 可以完成的任务有多长，其中 AI 正在击败人类，比如它们可以击败人类完成一个两小时的任务，但如果时间更长，人类就会占据优势。>> 对？如果您遵循该图表，那么该时间与人类整个职业生涯相交的时间可能在 2030 年代初到中期，对吧？然后，您也可以看到它甚至在加速，因为，就像，随着实际 AI 确实是一件大事变得越来越清楚。然后，人们不断投入更多资源，您很容易看到这在几年内就占到 GDP 的两位数百分比。是的，甚至在几年内，然后 AI 达到人类水平，甚至在此之前，我的意思是，我们得到了 AI 研究人员，AI 研究人员加速了 AI 的进展，然后它就非常迅速地达到了顶峰，然后它就非常迅速地超越了人类水平，然后它就非常迅速地变得超级智能，对吧？我的另外一个故事是这样的：我们这个十年所做的事情，基本上是在重演 1970 年代的事情。在 1970 年代，人们非常兴奋，因为 AI 能够进行数学计算，很多这些可以形式化指定的任务，并且以非常超人的水平超越了它们，人们的直觉是：哦，人类很难在脑海中计算出圆周率的 100 位数字，这台计算机可以做到，那么计算机区分猫和狗有多难，对吧？而且，你知道，当时有很多这样的想法，也许是的，AGI 实际上，是的，只有五到十年，对吧？而事实证明并非如此。事实证明的是，我们在自动化人类能力的一个子集方面做得非常好，但还有其他一些人类能力仍然非常遥远。而这个故事是，也许我们正在重复同样的事情，只是它有点更微妙，就像类别划分是什么，而且，就像，有不同的方式来划分它，你可以谈论，你知道，插值与外插，在领域内运作，与一些创造根本上新的东西。我认为最好的形式化仍然是 France 的 Arc Prize，但即使 Arc Prize 今年也可能失败，这并不能否定这个故事。我认为，我非常有信心，在两年内，AI 将无法独立启动一个新的大型在线业务。>> 是的，这是一个很好的里程碑。是的，这就像一个非常完整、非常全面的任务，对吧？它涉及与环境互动，解决技术问题，解决商业问题，解决，你知道，人类协调问题，对吧？所以问题是，如果，就像，基本上在 2020 年代，我们看到了 AI 在这些你可以称之为“领域内工作”或“插值”的任务上做得越来越好的热潮。而且很多任务都属于这一类，但仍然存在这一类更难以捉摸的子集，人类更擅长。然后这个故事是，好吧，我们最终会超越这些，对吧？我之所以说 2050 年，是因为，我记得几年前有一个有趣的分析，人们基本上估计了进化过程所消耗的计算量，以及个体人类生命所消耗的计算量。那么，第一个更大，对吧？然后你说，好吧，当 AI 消耗的计算量将超过它时，答案是大约在本世纪中叶，对吧？然后论点是，你知道，生命本身创造了像我们一样强大的东西，一次基本上只是非常随意地搅拌了一个巨大的计算汤，大约 10 的 40 次方步，然后我们就出来了，对吧？所以，也许如果我们只是笨拙地做同样的事情，那么在 10 的 40 次方步之后，你知道，就像像我们这样的东西会出现，对吧？所以，是的，这是一个合理的论点。基本上，我们越接近那个，它将是两者的结合，但就像我可以看到 AGI，然后从中出现，然后 ASI 可能需要更长的时间。>> 是的，这很有道理。如果您只是猜测 AGI 将在您的定义下，即它可以维持自己的文明，那么您主要的年份是哪一年？>> 大概是 2030 年代。>> 对？我的意思是，我认为这是那些关注它的人的共识。这似乎是一个很好的主要猜测。我认为早期 2030 年代将是最受欢迎的答案，对吧？>> 是的。而且我认为，你知道，有一些机会是，有一些机会是 2030 年代后期。然后我认为有一些机会是，我们得到了符合 AGI 定义的东西。但然后它需要很长时间才能达到 ASI 水平，对吧？而且，你知道，比如说，如果国际象棋的 21 年时间证明是正确的，它基本上意味着，从 AGI 水平到 ASI，实际上需要这么长时间，或者可能更长。所以，我认为很多事情都是可能的，而且，我希望从事那些在这些可能性的大部分子集中有价值的事情。您如何描述当前 AI 缺乏什么，与真正的 AGI 相比？你知道，像 LLM，人们喜欢贬低 LLM。还记得他们称它们为“随机鹦鹉”吗？我觉得这个词正在失宠，因为人们意识到，好吧，它必须比这更多。它正在执行一些相当复杂的功能，涉及到对事物含义的深刻理解，而不仅仅是统计数据。所以，它们不再被称为“随机鹦鹉”。但您认为基于 LLM 的系统的根本限制是什么？我使用它们时注意到的模式是，AI 在帮助我驾驭人类已经走过的领域方面非常出色，而我却是个新手。所以，一个例子是 Android 开发。我以前从未真正做过 Android 开发，然后，我今年决定为自己制作几个简单的生产力应用程序，它帮助了我，而且我实际上能够在一到两个小时内制作出基本的东西，这在以前是不可想象的。但我发现 AI 有时几乎毫无用处，在我是领域内排名前 1000 的专家，尤其是在这些非常新的领域时，几乎毫无用处，对吧？比如，你知道，密码学可能是其中一个大例子，还有一些更疯狂的，你知道，ZK Snark 类型的东西。基本上，我认为一个限制是，要达到高水平的质量，它仍然依赖于大量的训练示例，对吧？这就是这种直觉，你知道，它们擅长某些事情，你可以类比为插值，但它们不擅长你可能类比为外插的事情。我的意思是，系统一与系统二思维也是这些类比之一，你知道，它们更擅长>> 那些更像本能的东西，而不是，就像，而不是深入的思考，尤其是深入的原创思考。>> 对。但 03 已经很令人印象深刻了。你知道，链式思维系统或推理模型，因为它确实会思考，然后采取行动，然后让你，你知道，搜索网络，提取大量文档，分析它们，思考下一步该做什么。所以，我觉得那个系统二。>> 是的，它确实。是的。嗯，但它给出的答案在令人印象深刻的程度上得分非常高，但通常在对我的效用方面得分低得多，对吧？就像我。就像我给它难题一样。就像我有一个新的笔记本电脑，上面有一个 5090，因为我想做本地 AI，而且我有 Linux，而且我有 Linux 兼容性问题，请帮我解决，它不断提出这些惊人的巧妙计划，似乎显示出对 Linux 的深刻理解以及该做什么，但当我执行它们时，它们不起作用。我再做一遍，它们也不起作用。>> 5090 是一个 GPU。>> 是的。它基本上是您可以在笔记本电脑中获得的最强大的 GPU 类型。>> 很好。>> 它所具有的弱点是这种类型，这对于 AI 安全来说非常重要，对吧？因为风险的一个主要论点是这种超级智能的烟雾问题，对吧？基本上，AI 可以做一些令人惊叹的事情，在我们的当前世界和我们当前的科学背景下，然后它可以创造下一波科学，然后它可以做得更好，然后它创造下一波科学。对吧？但如果 AI 是我刚才描述的方式，你知道，今天的 AI，那么今天实际发生的是，它利用当前科学浪潮做出了惊人的事情，然后它发明了下一波科学，然后它开始用它做事，然后现在它有点超出分布，它就开始完全搞砸了，然后它就搞砸了，对吧？所以，无论是任何超级进展的发生，还是任何真正有风险的事情的发生，它都必须跨越这个鸿沟。>> 是的，我的意思是，这很有道理。你知道，今天使用 LLM，它们在提供与它们见过的文档相似的答案方面遇到了更多麻烦。我的意思是，我绝对明白你的意思。这总是让我感到奇怪，因为，你知道，下一个版本出来了，它们就是不知何故变得更好了，对吧？就像，你知道，它们显然不完全好，但就像我犹豫是否要对，比如，明年做出任何有把握的预测。>> 是的，我同意。对。而且我认为，需要明确的是，我绝对非常反对这些类型的轻蔑的 AI 理论，它们说，是的，你知道，AI 只是 X，而人类是更深刻的东西。我认为，如果你有一些还原论的理论说，你知道，AI 只是 X，那么我认为有三个可能性是真的。第一件事是，实际上 AI 已经不是 X 了。第二种可能性是，AI 很快就会不是 X 了。第三种可能性是，好吧，实际上人类也只是 X，对吧？就像，有那个可爱的互联网表情包，上面写着，“嘿，你知道，别在意老虎。它只是由原子组成的，它知道你是由原子组成的，它只是想为你重新排列一些原子。”对，>> 没错。它只是>> 没错，我非常反对这种试图在根本上轻蔑 AI 的做法。我认为我所说的弱点，它们是今天 AI 的真实情况。它们肯定不会是未来 AI 的真实情况。在未来的某个时候，AI 将能够做到。我的意思是，要么是人类所做的一切，要么是人类所做的一些事情加上足够多的替代能力，以至于它可能永远不需要达到，因为有更好的路径可以达到相同的目标。问题是，基本上，是的，什么时候以及以什么形式它会达到那个目标。>> 没错。有些人，比如著名的罗杰·彭罗斯（Roger Penrose），还有我 YouTube 评论区里的很多人，认为意识是当前 AI 和人类之间的防火墙。您认为，如果它们没有意识，这会阻止 AI 拥有类似人类的功能吗？>> 嗯，不会。我的理论是，AI 最终很可能是有意识的。就像我是那些，我忘了名字，但算法中心的人之一。所以我相信意识是一种算法的属性，一种特定类型的算法。所以人类是有意识的，模拟，如果我们被上传到计算机，那么上传也将是有意识的。我的论点是，基本上，第一步是，我ません相信“哲学僵尸”，对吧？所以“哲学僵尸”是这个花哨的，是的，术语，基本上，是的，就像那些行为像人，并且与人有所有共同点，除了没有意识之外的实体。我不相信它们的原因是，实际上意识不仅仅是一个纯粹的形而上学属性，意识是一个影响物理可观察世界的属性，而它影响物理可观察世界的方式是，有很多人谈论意识，写下来的文字，它们是原子的集合，以特定的模式出现在宇宙中，对吧？所以，感觉非常反直觉，就是，你会拥有能够写出谈论意识的东西的实体，而它们实际上并没有意识，对吧？所以，如果你接受第一步，那么第二步，如果你相信有可能模拟物理定律，对吧？如果，基本上，如果你相信物理定律是定律，那么，你知道，你应该能够在硅中实现它们，然后如果你在硅中实现它们，那么人类的进化方式与此大致相同。然后他们相信，他们在硅中谈论意识，对吧？然后，如果你接受这两点，那么这就意味着在硅中拥有意识是可能的。那么下一个问题是，AI 会是那种类型吗？你知道，基本的论点是，我们进化出了意识，在某个时候，因为意识对我们有用，可能是因为它使某些形式的能动性更有效，而且，你知道，AI 正在越来越多地为能动性而构建，而且 AI 也是通过模仿人类和从人类那里获取大量训练数据而构建的，所以，你知道，我们基本上得到了两个选择意识的向量，所以，你知道，有一些机会它会真正导致意识，而且，我的意思是，当然，仍然有一些机会不会。>> 是的。我同意您所说的一切，以及您关于哲学僵尸的观点。我认为我们都在阅读相同的来源，对吧？Elazar 在这方面写了很多。我会把它放在节目说明中。LessWrong 的哲学僵尸序列。>> 所以听起来您没有一个硬性的原则。您没有一个防火墙说当前的 LLM 永远无法突破这个防火墙。你知道，有些防火墙我甚至没有提到。有些人说，“哦，它不是真正的推理，对吧？它不是真正的能动的。我们已经涵盖了它不是真正的有意识的。”听起来您没有防火墙。您只是愿意让它在许多不同的方向上进行推断。正确吗？>> 我认为是的。>> 是的。好的。是的。同样。同样。让我们谈谈人类智能之上的头部空间，或者换句话说，您预计 ASI 最终会变得多么强大？比如说在 100 年后。>> 是的，我认为它会远远超出人类智能。我的意思是，反对这一点的一个论点是，每个 IQ 点只给你带来 1% 的额外收入，而且在 140 或 160 以上可能会趋于平缓，然后，也许，就像，实际上，如果你超过 160，你就会开始，就像，不可避免的副产品一样，变得疯狂，以一些反生产的方式，所以也许我们已经达到了上限，对吧？这是标准论点，我听到的另一个反对论点是，如果你比较，你知道，神经元与热力学极限。我记得有一篇文章是关于这个的，我认为它给人的印象是，我们仍然在最佳状态的三个到八个数量级之外。IQ 类型智力增益不是 AI 可以比人类更好的唯一方式。所以，最自然的另一种方法就是时钟周期时间，对吧？如果你想象一个 IQ 为 125 的 AI，但它可以比我们快 10,000 倍地思考，对吧？所以，基本上，是的，在我说话的时间里，它将能够完成相当于这个播客一半长度的讲话，然后，就像，那是一个绝对可以超越人类思维并超越人类的，并导致非常快的经济翻倍时间以及各种事情的东西。我的意思是，它实际上会以非常诡异的方式变得非常可怕，对吧？我认为罗宾·汉森（Robin Hanson）关于 AM 时代的书中最让我印象深刻的一个观察是，如果你思考速度比人类快一千倍，那么主观光速就会下降到每秒 300 公里，如果你思考速度比人类快一百万倍，主观光速就会下降到每秒 300 米。所以，基本上，你知道，在某些方面，我们又回到了古代，当时，你知道，城市很远，而且，你基本上必须，你知道，在马匹之间传递信息，对吧？从我们的角度来看，一切都会变得非常疯狂，你知道，事情会发生，所以，我绝对认为有很大的头部空间。>> 是的，有一个非常引人注目的视觉效果，当你想到植物时，你知道植物有丰富的内心生活，你知道它们会朝着太阳弯曲，它们确实会以某种方式移动和生长。这只是发生在一个非常缓慢的时间尺度上，当你把它们和动物放在一起比较时，这并不完全是一场公平的战斗。>> 当然。>> 所以，我认为我们将会看到这种现象。你知道，每分钟行动次数，对吧？就像 AI 将以比您和我高得多的每分钟行动次数来玩生命游戏。>> 是的，我的意思是，这是许多不同形式的 AI 已经在做的事情，对吧？>> 是的。我的意思是，我认为不幸的是，有一些甚至相当黑暗的事情创造了完全朝这个方向的激励。我的意思是，我确定我们俩都在关注，你知道，无人机和 AI 辅助战争的兴起。我们肯定还没有完全达到那里，对吧？就像，今年的主题是，你知道，光纤无人机，它们基本上是人力驱动的无人机，后面有 20 公里的电缆，所以它们仍然由人类操作员控制。但 20 公里的电缆非常烦人，而且有很大的压力要消除对人类操作员的需求，对吧？然后，>> 就像在这种竞争游戏中，一旦进入机器人对机器人，那么，你知道，减少反应时间变得极其重要，对吧？>> 而且另一个大的是金融，对吧？你可以想象只是有激励措施将反应时间进一步推低。>> 是的，而且，我的意思是，我绝对认为我们会走向那里。>> 好的，那么关于科幻小说呢？你知道，像纳米技术，有些人因为埃莱泽提出这一点而批评他，但我支持他。这只是一个想法，AI 将会做一些在我们看来是科幻小说的事情，但它们基本上是我们可以获得的、我们尚未触及的新型技术。就像我们还没有掌握纳米技术，但原则上，你知道，埃里克·德雷克斯勒（K. Eric Drexler）关于纳米技术的书，原则上，AI 应该能够很快弄清楚如何做这种事情，而不必经过多年的研究。您怎么看？>> 是的，特别是纳米技术是我非常不确定的事情之一，对吧？因为，在很多方面，你知道，纳米技术基本上是一切的超集。它是大流行的超集。它是无人机的超集。它是数据中心的超集。而且，它在理论上极其强大。但另一方面，你知道，我有一种挥之不去的感觉，如果存在一些非常低分子数量的东西，可以具有那些特性，那么生命和进化到现在就已经发现了它们。而且，我确实感觉自己在这方面有点外行。然后我认为，还有就是，我有点看外部事物，对吧？然后就是，你知道，经验事实是，这些东西在 1990 年代就被理论化为是一件大事，但从那时起，它就停止成为一个主题，而且我们似乎停止在这方面取得太多进展。所以，你知道，可能 AI 是发现一切并发现如何做得非常好的东西，或者可能存在根本的，你知道，小分子配置的热力学不稳定性原因，阻止了这一点，基本上是有限的。我的意思是，为什么分布对我来说？>> 是的，好的。我的意思是，这倒是公平的。就像，我们可以从纳米技术似乎没有取得多少进展的事实中学到什么，至少我没有听说过。所以，这非常有趣。关于您关于生命没有发现新型纳米技术的另一观点，我猜除了细胞中熟悉的类型之外。我想指出，你知道，生命受到很多限制，技术树，细胞的构建路径，就像你必须使用蛋白质，它们来自氨基酸，而且，你知道，它们的键非常弱，它们使用范德华力，所以它们实际上并没有利用你可以组合分子的全部范围。>> 是的，好的。嗯，所以这里有一个论点，我可能会提出，而且，实际上，如果你有一个惊人的反驳，那么我会说，我会很乐意被启发，基本上，好的，所以，如果某样东西比生命更有效率，那么很可能它需要通过比生命更小的规模来实现。生物发生的概率直观地说，应该随着事物的复杂性呈指数增长，指数的基数小于一，对吧？因为如果你甚至需要添加一个额外的组件才能使基本的复制器成为可能，那么偶然需要同时发生的事件数量就会增加一，所以可能需要两倍或几倍的时间，对吧？所以，很可能，生物发生确实以非常高的概率创造了最简单的能够成为复制器的东西，对吧？所以，>> 是的，没错。这基本上就是我说的。是的。>> 对。但然后问题是，我的意思是，就像，如果存在其他类型的进化无法触及的东西，就像，我同意，有很多非常有价值的东西是进化无法触及的，就像，你知道，我们没有，你知道，会用机关枪射击狮子的斑马，对吧？或者轮子，对吧？但然后，直观地说，它可能更有效率。如果它在某种程度上更简单，而且如果它更简单，那么，为什么生物发生不会先产生它？然后，如果它更复杂，那么，我们甚至确定它实际上会比生命更有效率，并且能够胜过生命吗？>> 对。好的。但是您确实同意，总的来说，当您有一个人类工程师在工作台前时，他有很多进化过程不会拥有的选择。>> 是的，当然。>> 好的。好吧。公平地说。我提出科幻小说是因为，从我的角度来看，顺便说一句，你知道，我也在寻找一个分歧，因为我认为您和我会有分歧。所以，我想让观众们欣赏这里的烟火。我个人认为，有很多头部空间。
超越人类的智能。而且我认为我们生活的宇宙，你知道，它的熵值相当低，对吧？说到底，物理定律可能相当简单。我的印象是，它们不需要很多比特来描述。而且我认为人工智能很快就会弄清楚。它会有点像在探索我们宇宙中工程制造的知识边界。而且我确实认为它会主观上感觉像一个蓝图，你可以决定原子放在哪里。就像我觉得它会感觉像它对如何配置这个宇宙有着很强的掌控力，而我们人类，我敢说，如果我们推断我们的轨迹，我们正在走向那里，这似乎是自然的推断，但我们可能还有一两个世纪的距离，而人工智能将很快到达那里。所以我才举了纳米技术的例子，你知道，想和你试探一下，你是否也认为这似乎是可能发生的？>> 是的，我认为纳米技术，我是说，它是其中一个有趣的例子，对吧？如果它是可能的，那么它绝对是超级可怕的，因为在那个层面，它将能够超越任何非纳米技术的东西，对吧？但另一方面，要让纳米机器人真正成为纳米，它们的源代码必须是，你知道，几千字节和几十千字节。而这感觉像是一个范围，在这个范围内，进化可以尝试大量的不同事物，对吧？当然，你可以争辩说，你知道，存在理想的解决方案，而离理想解决方案只有一步之遥的东西可能一事无成，所以进化就永远不会发现它，对吧？如果你想到计算机科学中的算法，我是说，像快速傅里叶变换，一个快速傅里叶变换，如果一个比特翻转错误，它就不是接近好的快速傅里叶变换，它只是随机的垃圾，对吧？所以>> 对>> 基本上，我认为，如果你开始审视不同类型的超级技术的具体例子。我认为你必须对每一个都非常实事求是。>> 当然。所以我们可以谈谈太空旅行和戴森球，对吧？就像哦，收集恒星的所有能量。这似乎是物理学完全允许的那种事情，对吧？所以这只是一个深入研究工程学的问题，而且似乎我们人类，只要有足够的时间，我们就会做到。我只是认为人工智能可以跳到解决方案。这就是我关于人工智能将如何工作的猜测。你知道，它将拥有什么水平的智能，将使工程学对它来说如此容易。>> 我同意。嗯，好的，特别是关于戴森球，我认为人工智能最终肯定会创造它们。嗯，我认为问题是需要多长时间，对吧？因为在原子重排的速度以及它扩展成一个重排该行星原子以形成戴森球的完整产业的能力方面，确实存在根本性的限制。嗯，我认为从人工智能安全角度来看，相关的变量基本上是，它是否是那种它能够突然弹指一挥间就接管的东西，还是需要一段时间的东西，对吧？因为如果是前者，我们就完蛋了，如果是后者，那么这是一个有很多潜在机会的过程，基本上是人们在其他人工智能的帮助下参与和干预。>> 当我提出这种推理时，一个常见的反驳是人们说，“好吧，你知道，混乱，男人，你无法真正对宇宙做太多事情，除了人类能做的，因为你无法预测会发生什么，因为有混乱。”你是那些人之一吗？>> 嗯，我的意思是，我认为确实如此，是的，ASI将无法做到的一些事情是出于混乱的原因。比如我的概率是90%的可能性ASI将无法找到SHA 512的预图像。我认为是的，就像哈希函数>> 而且同样，你知道，我预计ASI能够进行的长期预测将受到限制。我认为对三体问题有超过50%的信心。我相信存在根本上混乱的系统，而且它们实际上很容易被发现，即使是偶然发现，而且它们是不可预测的。但就像是的，我绝对不认为，你知道，这些东西是为什么你不能拥有戴森球或者为什么你不能像今天一样取得重大技术进步的论据，>> 对吧？我的意思是，人类工程的模式似乎已经很清楚了，是的，有混乱。是的，你无法预测任何事情，但实际上，你制造了飞机，只有一百万人中有一个人死在上面，对吧？飞机是能飞的，对吧？即使纳维尔-斯托克斯方程或其他什么非常复杂，但我们仍然在做。>> 是的。而且，你知道，确实有很多现象在微观层面是混乱的，但在宏观层面却遵循着相当可理解的规律，有时你必须将一两个事物建模为随机性，而这最终是完全可以应对的。>> 好的。所以听起来我们到目前为止有很多的共识。让我们继续谈谈技术乐观主义这个概念。这要追溯到2023年。马克·安德森发表了关于技术乐观主义的文章，然后你用DAC回应了他，我们稍后会谈到。但在此之前，让我问你，你是技术乐观主义者吗？>> 我认为是的。我认为，从历史角度来看，技术可能是世界上最强大的善源，我认为，默认情况下，有很多我们应该能够从技术中期待的惊人事物。嗯，我期望，只要政治不干涉，技术将使食物和住房变得极其便宜。嗯，它将治愈所有疾病。嗯，它将做很多事情来可能甚至帮助我们成为更好的人。嗯，有各种各样的事情，甚至技术已经做了所有这些事情，对吧？嗯，你知道，很多疾病已经被治愈了，你知道，因为互联网，我们都能比以前更了解情况，甚至嗯，就像技术有时会制造问题，但趋势往往是我相信的，即当技术浪潮N制造了一个问题，技术浪潮N+1就解决了它，对吧？而且对我来说，最好的例子是空气污染，对吧？空气污染在20世纪50年代是一个极其严重的问题，按照我们的标准，伦敦和洛杉矶这样的城市是无法居住的，对吧？但然后我们基本上决定，嘿，你知道，我们希望这个问题得到解决，我们解决了它，现在这些城市相对来说很棒，对吧？>> 甚至在空气污染之前，马匹还在路上到处拉屎，对吧？>> 是的，没错。所以，是的，我相信这一点。但我认为一个主要的驱动图表是，如果你看看过去一个世纪的预期寿命图表，它只是在不断上升，对吧？而且，也许反对那种不受约束的技术乐观主义的最大论点是，哦，那意外的后果呢？这些东西可以被用于坏事。但然后，最坏的，最坏的情况是什么？对吧？而答案是20世纪的第二次世界大战，对吧？而第二次世界大战是极其糟糕的，对吧？而且，它使得预期寿命大幅下降，这在图表上是可见的，但同时，1955年德国的预期寿命比1935年更高，对吧？而且，所以，这是一个极其强大的力量，如果它甚至能够冲刷掉像第二次世界大战这样糟糕的事情，那么你就得给它一些尊重，对吧？但然后，当然，你知道，有一个我猜我们都同意的警告，那就是超级智能AI不像其他技术，对吧？而且，你知道，这是我们必须考虑的这些事情之一，你知道，是否存在不连续性？而另一件事是，我认为，技术使事物变得更好的模式不是，技术解决前一项技术所制造的问题的模式，它不是自动的，对吧？它取决于人类说，等等，这一波技术造成了这个问题，我们必须去解决它，对吧？而且，我认为，我们是这个系统中的人类，我们也必须是这个过程的一部分，对吧？所以，我认为，你知道，这是我对技术乐观主义的两个主要警告。基本上，一个，你知道，ASI是不同的，二是，你知道，好事不是自动的，你知道，我们必须做事情，而且经常甚至，你知道，做一些涉及复杂事情的事情，比如政府政策，这些政策实际上能让好事发生。>> 很好。好吧，说得好。我也是一个技术乐观主义者。有些人可能没意识到，但我绝对是。我也对这张疯狂的图表印象深刻，它呈指数级增长，显示了，你知道，比如人类的平均财富。我最喜欢的关于技术乐观主义的书的章节是，你知道，马特·里德利的《理性乐观主义者》。>> 我没读过。我听说过。>> 第一章是我最喜欢的。其他章节对我来说更令人难忘，但第一章非常好，因为它基本上只是在谈论过去有多糟糕，而现在有多好。而且我认为这是完全正确的，而且这是非常深刻的。你知道，人们没有足够多的人欣赏这个基本事实。你显然是。如果你问我，嘿，我们为什么会有好东西？我会说，显然是技术，然后也是资本主义，对吧？我不知道哪个是更大的力量，技术部分还是资本主义部分。我觉得两者都是必需的。>> 嗯。技术是最大的力量，对吧？而且我认为，制度质量的提高，资本主义绝对是一个重要的因素。然后我认为，更具包容性和大规模联盟的政治秩序绝对是，你知道，像民主这样的东西，我认为贡献相当大。嗯，而且战争的减少也贡献相当大。与一千年前相比，我们现在合作能力的提高。>> 好的。所以你是一个技术乐观主义者。你是一个超人类主义者吗？>> 让我看看。我该如何定义超人类主义？我认为，你可能必须通过一种聚类定义来定义它，对吧？嗯，你知道，我是否想拥有长寿技术来活一万年或更长时间？是的。我最终想被上传吗？我的意思是，当然，一旦安全了。>> 嗯。>> 另一方面，嗯，你知道，我是否想强迫整个世界去做这些事情？不。嗯，所以，但同时我认为超人类主义者本身，比如那些自我认同为超人类主义者的人，通常很容易说，是的，你知道，如果有人不想自我上传，如果有人只想过普通人的生活，那么他们绝对应该拥有那个权利。嗯，所以，是的，我认为，是的，我是一个超人类主义者。>> 好的，我也是。好的。所以你在谈论技术乐观主义时指出，我们必须加上一个星号，因为似乎AI不像其他技术那样。它似乎构成了更大的危险。例如，你知道，对于其他技术，就像你指出的那样，比如，哦，我们有汽车，它们在污染。通常，答案是，继续前进，迭代，它会自己解决。你知道，更多的技术可以解决一切。但在AI的特定情况下，似乎可能有一些动态打破了我们技术乐观主义者的历史模式，对吧？也许可以详细说明一下。>> 是的，最大的问题是独立自主性，对吧？历史上，是的，我们发明了技术，它们能做很多事情，但最终必须有人按下某个按钮才能让事情发生。所以权力最终仍然掌握在人类手中，对吧？而且，即使那样，在很多方面也可能令人担忧，对吧？就像除了AI之外，我认为我更担心技术的一个问题是权力集中，嗯，一些现代数字技术导致了权力集中，嗯，事实是，可以制造数十亿台设备卖给人们，但最终这些设备仍然会打电话回家，你可以看到人们在做什么。你有开关的访问权限，你可以看到一切，你基本上是，你知道，你不是在卖产品，你是在卖你数字帝国的会员资格，而且这种规模没有限制，对吧？这些事情让我担心，对吧？但我认为，真正的大问题是独立自主性，以及基本上ASI不是一个工具，它是一个物种，而且它是一个能够超越人类的物种。>> 完全正确。现在还有另一个角度来看待这个问题，那就是发展过程的危险以及无法重来的可能性，因为如果你看看为什么技术如此之好，为什么技术进步如此值得投资，那么人们会研究技术，他们会迭代，他们会不断改进它，而第一个版本通常是粗糙的，然后第二个版本会更好，依此类推，对吧？但在AI的情况下，你有点像这种正反馈循环，而且有一个很大的危险是不会有第二个版本，对吧？>> 完全正确。我认为自主性是导致这种情况的一个重要因素，对吧？因为如果你看看那些没有自主性的极其破坏性的技术，这可能是超级大流行病，根据最悲观的假设，你知道，这可能是核战争，根据最悲观的假设。这些事情会杀死很多人，但它们不会杀死100%的人口，对吧？就像，至少你有，你知道，南极基地，你有潜艇，你有世界偏远角落的个人地点，它们会幸存下来。而杀死大多数人的东西，它不是一个聪明的东西，它不会主动采取行动说，嗯，你知道，我的目标函数是杀人。让我去找人，确保我没有漏掉他们，对吧？它只是一个非常愚蠢的东西，执行一个策略，它在哪里成功就在哪里成功，在哪里失败就在哪里失败，然后就结束了，对吧？但ASI不是，它是有目标的，而且我知道它会去追踪那些潜艇和南极基地，把它们杀死。嗯，所以，是的，这就是危险。好吧，如果你稍微回顾一下2023年、2024年的技术讨论史，有一种奇怪的二分法，即有效利他主义运动与技术减速的想法混为一谈，好像它们是同义词，而它们是两个非常不同的想法。然后作为回应，一些人离开了，发明了这个想法，即技术加速是有效利他主义的对立面。他们称之为有效加速主义，他们说我们应该有点不顾一切，加倍投入技术加速，而且他们似乎对AI可能根本不同这一点不敏感，对吧？>> 是的。而且我认为，要记住的元事情之一是，你知道，今天意识形态的水平，你知道，老实说，质量已经下降了，对吧？而且，这在各个层面都是如此，即使你看看那些疯狂的人的宣言，对吧？就像，你知道，泰德·卡辛斯基，你知道，是的，他杀了人，但他的关于工业文明未来的宣言，它有合理的论点，而且它们是非常错误的论点，但它们是你可以去争论的智力论点，对吧？但然后，如果你看看今天和他同类的人，那只是感觉，而且就像>> 他们真的把那些宣言给搞砸了>> 或者如果你看看，你知道，像青铜时代的心态，如果你读了那个，那都是感觉，对吧？>> 政党平台也什么都不是了。>> 是的，没有那种深刻的愿景，你知道，这是一套我所相信的核心基本原则。这些是我拥有的目标。你知道，这些是需要改变的事情，以便尝试实现这个目标。让我们只是，就像，它极其基于感觉。它极其，是的，只是那种，让我们快速做一个能达到特定美学的东西。嗯，就像，它绝对是，是的，我的意思是，比以前更>> 甚至亚洲，对吧？而且，老实说，EA也是如此，对吧？EA知道，它没有经过深思熟虑的智力论点来解释为什么，你知道，像AI安全这样的事情是错误的。它只是说，嘿，是的，减速就是黑暗，这是光明，而这基本上就是它的全部。但同时，你知道，感觉确实能打动人，而且，有很多你真的觉得，你知道，技术减速已经走得太远了，而且，我的意思是，这也与关于你知道的觉醒已经走得太远的整个讨论联系在一起，而且，你知道，感觉的本质是，它们基本上是关于想要与一切纠缠在一起，而且，就像，正好相反的脱钩。而且，有很多观点认为有效加速主义听起来完全正确，你知道，你知道，欧洲应该有更多的空调，而且，你知道，负增长是非常错误和毁灭性的，而且适得其反，嗯，而且，我认为我们在许多形式的生物技术上应该更加勇敢，而且我认为，你知道，那些想禁止合成肉的人是坏的，是疯狂的，对吧？有很多技术问题，加速方是完全正确的，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，而且，。
在技术天花板上，对吧？我想有些人会做出这个选择，有些人则不会，对吧？但如果我们谈论的是遥远的未来，那么对我来说，基本上只有两个选择：一个是令人毛骨悚然的，另一个是彻底的无能为力，对吧？而且，嗯，基本上是因为我的意思是，我知道会有人在以人类速度的许多倍进行思考，而且我知道我们肯定会到达那里，但同时，你也知道，要达到这一点，必须经历相当多的迭代。>> 您最近牵头将权益证明链成功合并到以太坊中。您是否可能因为合并而变得过于自负？>> 嗯，有可能，对吧？但同时，嗯，你知道，我认为也有一些好的情景，它们并没有沿着我所描述的那种路径发展，就像，你知道，有一种情景是，我们得到了一个对齐的 ASI，然后最终 ASI 会决定，嘿，人类重视自主权，所以，让我来想办法让人类在这个技术天花板的世界里拥有更多的自主权，我设法度过了更危险的阶段，让每个人都……对。所以，我想，也许我们可以，嗯，在这里要拆解的一件事是，对吧？是，嗯，关于这个，关于这些情景的一些更令人毛骨悚然的事情，在多大程度上是 DAC 世界特有的属性，而哪些是任何足够先进的技术世界的普遍属性，对吧？因为，嗯，对我来说，基本上就像我说的，对吧？有两个选择，对吧？其中一个就是人类会发生一些非常令人毛骨悚然的事情，比如我们自己被上传，这就像其中一个例子，而另一个选择是彻底的无能为力，然后当然还有第三个选择，那就是永久暂停，对吧？但对我来说，永久暂停只是随着时间的推移变得越来越不稳定，而且我认为，嗯，这在很多方面都会导致政治上的令人毛骨悚然，以至于世界上大多数人最终会非常不喜欢，对吧？所以，有一个根本性的问题是，一旦你进入真正遥远的科技未来。嗯，你知道，这三个选项中你会选择哪一个？而且，我确实尊重很多人，他们基本上选择了人类无能为力的选项，并说，好吧，没关系。我们将拥有一个世界，在那里我们基本上退休了，人工智能的思考速度是我们的一百万倍，它们在做所有重要的事情，而且，嗯，生活基本上对我们来说就像一场游戏。而且，嗯，我尊重导致那种答案的思考方式，但同时，我的意思是，我觉得有一种基本的人类驱动力，不仅仅是享受世界，而是真正成为其中的一个积极组成部分，为之做出贡献。所以，如果你把它推向逻辑结论，那么我认为，嗯，就像这两个中的第二个选项，或者这三个中的第二个选项，就变成了最容易接受的选项。>> 第二个是哪个？>> 嗯，对。所以，选项一是人类退休，成为在田野里吃草的牛，嗯，而人工智能，它们的速度是我们的百万倍，在做重要的事情。选项二是人类上传，嗯，就像我们变成某种东西，嗯，就像我们的思想感觉像是连续的心理体验，我的意思是，就像从我们现在的位置到能够以技术天花板的水平思考的东西。但仍然，你知道，那个最终阶段感觉与我们现在的位置相比，就像我们现在的位置与你两岁时相比一样截然不同。然后第三个选项是永久暂停。>> 好的。是的。我的意思是，第二个选项似乎是理想的，就像 Elazar 的趣味理论系列，对吧？我的意思是，我认为，嗯，趣味理论系列有一个版本，其中，嗯，基本上我们就像在田野里吃草的牛，而且，嗯，就像我们，我们基本上被置于游戏中，这些游戏让我们感觉到了进步、意义和做有价值的事情。但是，同时人工智能可以完全超越我们。但我认为，是的，最终第二个选项是，我的意思是，可能仍然有点，嗯，如果它能发生的话，更兼容。>> 嗯。现在我们谈论好的结果，我认为你做出了一个观察，即人工智能公司并没有真正清楚地说明它们所设想的好结果是什么，对吧？就像 Sam Altman 谈论事情变化得惊人地少。这是他最近的说法。就像事情会发生很多变化，但你会惊讶于它们变化得有多少。你怎么看？是的，我的意思是，我认为，嗯，好的，就像人工智能公司，它们所做和所说的一切，在这一点上，都受到各种政治激励的极大指导，对吧？而且，嗯，曾经有一段时间，我认为它们受到这些非常理想主义事业的指导，也许在某种程度上它们仍然假装如此，但那基本上在 2023 年和现在之间已经消失了，无论你实际相信什么，为了营销而说你正在带来一个根本上非常可亲和可识别的未来，唯一不同的是我们拥有更好的工具，它们会为我们做那些令人不快的事情，这肯定更好。嗯，而且，你知道，这是那种为公众和媒体优化的故事。然后，当然，嗯，这就是真正让我担心的事情，对吧？为政府优化的故事基本上是，是的。你知道，我们将使你的军事级。>> 是的。>> 是的。就像军事用途的这些东西。嗯，就像那，嗯，就像那真的让我担心，对吧？就像那是，那是某种东西，那里有一个非常迅速的文化转变，几年前每个人都坚决认为，他们正在为和平而不是战争制造工具，而且，嗯，我认为 Anthropic，你知道，就像有明确的契约一样。我不记得了，我想也许 OpenAI 也有，但然后他们都明确地放弃了它们，而且，嗯，他们基本上都，你知道，接受了成为他们所在国家的国家安全国家的一部分，而这些东西作为武器的使用已经越来越多地成为世界的一部分，而且它会继续下去，而且它会走得更远。当你提到军队时，我想问，你认为你的主流末日情景是否与军队制造人工智能有关？>> 是的，这是一个好问题。我认为这肯定是我概率质量的很大一部分。嗯，基本上是因为，我的意思是，如果你陷入一场严重的战争，对吧？那么，你知道，在叙利亚战争中，趋势就是，基本上，人们经常带着一种崇高的规范进来，关于，你知道，是的，我们在战争中，但即使如此，也有我们不会违反的基本原则，对吧？所以在第一次世界大战中，你知道，英国的一个原则是，不征兵，因为你知道，我们重视自由，嗯，然后在第二次世界大战初期，并没有像现在这样大规模地轰炸城市，但随着战争的进展，随着人们越来越绝望，基本上后者一直在升级，而且，是的，就像，就像任何事情一样，在开始时说，好吧，你知道，有战争，但我们不会用它来冲刺 ASI，最终一旦进入第四年或第五年，越来越多的人会说，去他妈的，为了做越来越接近冲刺 ASI 的事情，而且，嗯，安全措施越来越少，而且，嗯，你必须这样做，因为另一方也在这样做，然后你就走向了末日。>> 好的，我认为我找到了我们之间分歧的关键，因为我的 Pdoom 是 50%，而你的 Pdoom 是 12% 是有原因的。我认为你的太低了，我认为这就是为什么这回到了你在回复 AI 2027 时的一条评论。你说过，让世界变得不那么脆弱是可能的。所以，你知道，你似乎对，嗯，制定保护措施，以便人工智能不会太快地失控并冲破它们，感到乐观。所以，例如，你说你乐观地认为网络安全的最终目标将是我们拥有防御严密的系统。就像，这是让你对 PDOM 明显低于 50% 有信心的那种事情吗？这是其中之一，对吧？我认为，嗯，我也只是对完全未知的未知事物有很大的概率，重要的变量出现了，我们谁都没有想到，但也许只是为了阐述那种情景，对吧？基本上我争论的是，在 AI 2027 情景中，他们认为人工智能将达到这种超级智能的疯狂水平，但到 2029 年，我们将拥有治愈癌症、治愈衰老、纳米技术、早期戴森球、自动化机器人经济。而我注意到的事情是，基本上他们将所有这些技术都给了攻击者，但他们没有将任何技术给其他人来尝试用于防御，对吧？然后在那样的故事中，我们被一场流行病消灭了，但实际上我们知道，流行病是相当愚蠢的代理人。而且，嗯，我们在防御流行病方面离最佳状态还有几个数量级，对吧？即使是像 Balvi 资助的那种普通技术，我的估计是，如果它们被采用，那么，嗯，我们可以减少 10 到 20 倍的空气传播，而且，如果，如果达到该范围的上限，那么，基本上即使是麻疹也无法作为一种疾病存在，对吧？>> 嗯，我的意思是，对于 AI 20227，你知道，我并不像他们那样担心他们的情景，对吧？更像是，我认为我和你之间更大的关键是，是的，当然，好的，我们可以防御这种特定的流行病载体，或者其他什么，对吧？但我仍然认为我们将处于一种“计划”情况，你知道，就像我们只是没有在人工智能将呈现给我们的时间尺度和智力水平上做出反应。>> 是的。嗯，所以，好的，所以我确实认为，嗯，就像会有一天，嗯，就像这些新技术浪潮正在发生，真的很快，对吧？而且，嗯，就像现在这些事情发生在，嗯，几年到几十年的尺度上，然后到某个时候，那个尺度将是几个月，然后将是几周，然后将是几天。我不认为这会排除我的任何情景，对吧？因为，嗯，基本上就像人工智能创造了我们必须担心的新的情景，然后，嗯，就像人类加上人工智能对情景的反应，嗯，就像，那将发生的速率也将继续增加，对吧？而且，嗯，就像我确实认为，你知道，我们作为人类，在强大技术的帮助下，如果我们真的必须这样做，我们可以非常非常有效，而且，嗯，这是一个将是混乱的世界，对吧？而且，我确实不认为我们会干净地出来，但我也，嗯，也不认为攻击者会干净地出来，对吧？>> 你想象过我们甚至会留在这些决策过程的循环中吗？你知道，人工智能不会很快就独立运行，你知道，假设有足够高的智力。>> 对？嗯，这又回到了我们大约一个半小时前讨论的话题，对吧？我们当时在谈论 AGI 和 ASI，对吧？这就像我们的时间线是什么一样的问题，对吧？如果你说人工智能独立运行的时间尺度太快，人类无法产生影响，那基本上就是在说，为什么是 ASI，对吧？>> 对。是的。而且我认为 ASI 很可能在未来几十年内出现，对吧？所以，嗯，是的，我认为，嗯，就像我的那种情景，在 ASI 更早出现的世界里，确实变得，你知道，不太可能，而在我们基本上拥有更多关于所有这一切的迭代，发生在 ASI 之前的时期，并且可能我们可以在 ASI 之前的时期接近技术天花板的世界里，更有可能。嗯，但我想在时间线更短的世界里，那么我会争辩说，基本上，是的，我们需要的是某种暂停，但我们想做的是找到一种方式来获得那种暂停，一种方式，嗯，尽可能不集中权力，并且尽可能可行。而且，嗯，然后，但然后如果我们成功了，那么我们所做的就是，我们基本上将自己带入了 ASI 时间线再次延长的世界。然后问题是，好吧，我们正在推迟，但我们推迟是为了什么呢？然后我会争辩说，有价值的事情基本上是做 DX 式的事情。>> 好的。嗯，我绝对看到了你主流非末日情景的吸引力，对吧？就像，我们享受看着人工智能变得越来越聪明、越来越酷，解决所有这些问题，而且，嗯，让它保持在边缘，它还没有失控或独立运行，并剥夺我们干预这些循环的所有权力。就像，我绝对理解你，我希望能够经历这样一种情景，即我们以某种方式坚持下来，并且不死，并且仍然在循环中。它只是感觉像一厢情愿的想法，让我自己认为会是这样。>> 是的。而且，嗯，我承认，你完全正确，这有一定的可能性。好的。嗯，你知道，有一个问题我称之为棘手性问题，那就是，嗯，我们可能需要面对，在 20 年的时间尺度上，看看超级智能人工智能对齐的难度，然后说，你知道吗，这可能是一个棘手的问题。我觉得这个问题很少被讨论。>> 超级，超级智能人工智能对齐是棘手的，这很有可能。我认为，如果最终证明是这样，那么我仍然会对一个没有一个代理主导一切的生态系统更有信心，但有一个不同的代理集合，它们是基于希望的各种不同的方法，围绕着各种不同的人群对齐。即使最终证明所有这些超级智能都在我们人类只是看着事物飞逝而我们无法做出贡献的时间尺度上运行，这对我来说仍然感觉更安全。>> 所以，我的威胁模型，你知道，是 Alzaras 和 Miris 的，那就是，如果有人建造了它，每个人都会死，就像我们正在玩沙狐球。我们越来越接近零分的边缘，我唯一能想到的就是，嗯，不要靠近边缘。我认为我们根本没有计划来应对边缘。就像，我觉得你刚才描述的是你在试图描述一个应对边缘的计划，而我却觉得我们应该远离边缘。>> 是的。而且我认为，嗯，我会争辩说，嗯，我思考这个问题的方式是，嗯，如果你必须批评，你知道，嗯，任何应对边缘的计划，无论是我的，还是 ex 的，还是任何人的，都是它们有点，嗯，技术上天真。但我会争辩说，远离边缘的方法在政治上是天真的，因为，嗯，我们基本上是在谈论一个囚徒困境的终局，而且，嗯，在现实的背景下，政治合作的非常深层次，而 2025 年的主题似乎是，越来越多的疯狂独裁者发现，你可以直接轰炸人们，然后，你知道，他们开始直接轰炸人们，对吧？听起来我们都同意问题的性质是我们陷入了进退两难的境地，对吧？而唯一的区别是，你说，嗯，显然我们不能去岩石。而我说，嗯，显然我们不能去硬地方，对吧？我们都，我们都认为某件事是不可能的。但就像，嗯，我们只是必须谈论哪一个更不可能，对吧？>> 是的。我同意。对。而且我认为，嗯，你知道，在某种程度上尝试做正确的事情，做正确的事情，是有价值的。嗯，我认为，嗯，我们应该避免做错误的事情，对吧？所以，嗯，在技术方面，你知道，我反对的是，我的意思是，让能力进步发生得更快。就像，我反对这一点，即使更快的技术进步是完全开源的。但如果你反对让它发生得更快，这是否意味着你可能只是希望它发生得慢一些？>> 我会的。是的。>> 好的。好的。我也是。我也是。>> 是的。嗯，然后在政治方面，我认为，嗯，就像，嗯，一个人真正想要，是的，避免的是那些基于某种中心化方法的安全愿景，基本上涉及好人先赢得比赛。我真正担心的一件事是，你知道，那种丑陋的冲刺和布伦纳式的，你知道，态势感知方法，基本上说，你看，嗯，你知道，如果我们想安全，那么，你知道，我们必须赢得比赛，然后，嗯，基本上加速，比其他人更快，然后，嗯，基本上呈现，嗯，中国一个论点，就像，你看，我们已经赢了，现在你必须签署这个世界计算机由我们统治，我们来决定所有限制是什么，而且，就像，好吧，所以，你知道，你基本上，是的，说你希望中国签署一个限制他们可以运行多少盒子的协议，嗯，你知道，关于他们有多愿意这样做，我们知道什么，对吧？而且，嗯，我认为这些，嗯，安全，是的，就像一个小的团体获胜，嗯，那种方法，安全，是的，说，你知道，看，我们，我们将自我选择为，你知道，将人类安全地引导过过渡的精英，而且，你知道，嗯，我们将获胜，然后你应该相信我们，就像，那种事情对我来说，嗯，可能和，嗯，天真的不受约束的加速一样危险。我的意思是，很大程度上是因为，嗯，就像，计划的第一步是加速，然后第二步和第三步是安全。嗯，所以，如果我们找到方法，让人工智能进步发生，嗯，至少不太可能发生疯狂的快，而且，嗯，同时，嗯，确保扩散继续发生，而且，嗯，同时，嗯，尽我们所能让世界更具合作性。然后，与此同时，你知道，做更多的事情来让世界更能抵御即将出现的近期和中期威胁，那么，嗯，那就是改善事情的最佳途径。>> 所以，回到棘手性问题，对吧？所以，从我的角度来看，如果我们是一个理性的文明，我们将有一种方法来后退并评估问题看起来有多棘手或多棘手。这第一次出现在我脑海里是在 2023 年，当时我只是在 Twitter 上，我看到了 Yan Ley，他当时是 OpenAI 的安全主管，直到大约一年后他厌恶地辞职，但他当时是 OpenAI 的安全主管。我记得他发了一条推文，听起来很乐观和积极，比如，哦，我们在安全团队取得了一些不错的进展。你知道，我很乐观。你知道，这是一个难题，但我们最终会解决它。我的反应是，嗯，等等，谁的职责是指出这个问题是棘手的？如果它是棘手的，对吧？我甚至不是说它是，但如果它是，谁的职责是指出，嘿，这是一个棘手的问题？因为看起来那个职位上的人只是假设他需要继续前进，尽力而为。他没有后退并进行元评估是否要敲响警钟。>> 是的。而且，嗯，他们也没有动力，对吧？你知道，这些是公司，嗯，基本上在某些方面，整个投资推销都涉及，你知道，这些公司将成为 AGI 和 ASI 繁荣导致世界经济的重要组成部分的概率，而且，你知道，在过去的时代，嗯，你知道，你会有强大的公共资助的学术界，它有，我的意思是，同样不一致的激励，但至少有不同的激励方向，而且理想情况下，它将独立于，你知道，科技界和军事界，并且它能够发表这些论点，但，嗯，现在这并不非常强大，嗯，然后，当然，嗯，OpenAI，你知道，嗯，一开始有一个理想主义的愿景，它将拥有非营利性治理，然后它将拥有一个非常强大的内部对齐团队，但然后，你知道，正如我们所见，基本上公司最终为了安全而放弃了开放性，然后为了赢得比赛而放弃了安全。>> 是的。是的。说到 OpenAI，我想问你关于这种情况，你知道，关于政策的话题，以及关于谁的职责是说它是棘手的。所以，还记得在 OpenAI 董事会政变期间，Helen Toner 观察到，有一个著名的戏剧，她观察到确保 AGI 造福人类，你知道，OpenAI 的章程可能与 OpenAI 倒闭而不是让 Sam 担任 CEO 一致，对吧？所以，她当时就在那个位置上说，“嘿，嗯，这不会有好结果。我们不应该只是尽力而为，我们应该有潜力，你知道，关闭它。”>> 是的，我同意。而且，你知道，我认为，是的，这是一个常见的模式，对吧？就像，我忘了这是从哪里来的，但标准的笑话是，我想拯救世界，我想成为那个这样做的人，对吧？就像，人们和各种各样的组织和实体，无论是营利性的还是非营利性的，还是政府的，还是慈善的，还是其他的，它们通常非常厌恶这样一种想法，即完成其使命或目标的最佳方式可能就是停止从事他们正在从事的工作并解散。>> 我想问你关于 Anthropic 和 Dario Amodei 的 Anthropic。显然有很多值得喜欢的地方。我的意思是，团队显然是摇滚明星，有很多很棒的人，我知道他们很矛盾。我，我知道，就像我个人和 handful 的 PAI 人员在他们办公室外抗议时，我知道他们感到内疚。>> AI>> Dario Amodei>> 就像他们认真对待抗议。嗯，而且他们是好人。所以，我能理解他们的立场，尽管我的立场是他们应该辞职。你知道，Anthropic 在某种意义上是人工智能公司中最好的行为者，因为他们真正认为安全很重要，而 P Doom 就像，我不知道，比理性的范围，超过 10%。现在，说了所有关于 Anthropic 的好话之后，也有一个论点是它们实际上造成了最大的损害，因为从我的角度来看，它们正在“棘手性洗白”这个问题。就像，还记得我说过，说这个问题可能是棘手的非常重要，但当 Anthropic 说，是的，有，你知道，有很大的灾难可能性，但我们只是尽力而为，就像，不，等等，退后，不要，不要尽力而为，先评估它是否棘手，我觉得 Anthropic 是最 guilty of 棘手性洗白的。是的，我认为非常合理，从机构设计的角度来看，我认为，嗯，就像，如果你给我一家人工智能公司，它的目标是既推进进步又确保安全，那么，嗯，我首先想到的事情之一就是，嘿，也许我们想确保安全方面的独立性，这样它就不会，嗯，感觉有必要，嗯，有符合进步方面期望的意见。而且，如果你把这个逻辑推向极致，那么基本上你得到的是，公司应该拿出三分之一或一半的国库，然后，嗯，投入一个完全独立的非营利组织，它的工作是，嗯，从外部批评公司剩余的进步部门和其他所有公司，对吧？而且，嗯，这显然不是他们正在做的事情，对吧？而且这是他们都在远离的事情。我的意思是，正如 Robin Hanson 一直说的，人类非常擅长合理化。我，我的意思是，但另一方面，在组织中勇敢，然后说，嗯，让我们，嗯，我们想要做这个激进的事情，很多人会认为它很疯狂。这很难。但我希望，嗯，这些公司里的人确实有勇气，嗯，然后尝试做一些这样的事情。>> 是的，他们在 OpenAI 尝试过，使用了 20% 的资源，对吧？但那是一个公司内部的团队，对吧？然后，当然，你知道，理论上有一个非营利组织。它有一个使命，但然后，你知道，正如我们所见，不幸的是，尽管我非常尊重，嗯，治理实验，嗯，创造混合结构，既是营利性的，又具有某种有力的社会使命。就像，我认为这个特定的实验随着时间的推移肯定被磨损了，而且我认为 Moninoi 持续了十年，现在我只是将其视为一个营利性实体，我认为，嗯，基本上所有非营利性治理部分的主要社会价值是，它，嗯，给公司，嗯，公司结构带来了不确定性，这吓跑了投资者，减少了他们能够获得的资本，而这本身就是人工智能安全的一个非常重要的贡献，对吧？但它，嗯，你知道，即使如此，它也是有限的。>> 所以，从我的角度来看，你知道，我们有点陷入了你所说的“逐底竞争”的动态。你知道，它们只是资本主义行为者。但我想问你关于 Dario Amodei 的“逐顶竞争”，对吧？因为他基本上说，嘿，我们将进行一场“逐顶竞争”。我们将，嗯，建立一家人们愿意加入的公司。这是 Dario 的话，一家人们愿意加入的公司，它从事人们认为合理但又能保持其在生态系统中的地位的实践。如果你能做到这一点，人们就会效仿。你怎么看？这似乎是那种在某些时代可能运作良好的事情，但在更混乱的时代就会崩溃。而且我认为，嗯，你知道，我们将在未来几十年里进入一个更混乱的时代。嗯，所以我认为，我的意思是，他有这种想法非常值得称赞。嗯，我认为，嗯，Anthropic 这样做而不是像 OpenAI 或大多数其他公司那样做，这很棒。但是，嗯，就像，仅仅这样做就足够了吗？我的意思是，我不这么认为，因为我认为，嗯，人类合理化的能力非常强大。人类非常强烈地受到，嗯，社会因素和激励以及，嗯，与你所处的环境变得更大（无论是金钱上还是非金钱上）相关的动机的影响。所以，嗯，这对于非营利性事物也是如此。而且，如果你想，是的，可持续，那么你必须找到一种方法来真正给自己提供与你做正确的事情相一致的激励，而且，嗯，我还没有看到 OpenAI 这样做。我认为，我的意思是，如果他们这样做了，那么，嗯，那将是惊人的，那将让我更开心。>> 所以，当我听到 Dario 的“逐顶竞争”时，我只是问自己，嗯，逐顶竞争的游戏理论是什么？因为我认为它是逐底竞争。你真的可以把它翻转过来吗？我的结论是，嗯，就像他所说的确实有一点道理。就像，当 Anthropic 提出，嘿，让我们拥有负责任的扩展政策，或者，你知道，他们提出的想法，或者，让我们做一些研究，你知道，测试我们的人工智能，做机械可解释性。就像，所有这些都可以成为游戏理论均衡的一部分，如果它是免费或廉价的，对吧？所以，基本上，嗯，就像渐进式改进，对吧？这就是他提出的。>> 是的。嗯，就像我会如何“偷窃”这个论点，基本上是，嗯，顶尖人才想成为让世界变得更好而不是更糟的一部分，而且，嗯，就像，嗯，真正的顶尖人才通常非常愿意大幅减薪，以便成为，嗯，那种事情的一部分。而且，嗯，所以如果他们这样做，那么，嗯，那就可以吸引顶尖人才，而且，嗯，我实际上认为以太坊本身，它的成功很大程度上是因为这个，对吧？就像，以太坊是加密领域中真正努力坚持理想，保持去中心化，重视开源，重视安全，重视审查抵抗等事物的，当有很多区块链试图为了速度、企业部署和消费者用例而走捷径时。而且，嗯，它确实以某种方式发生，你知道，尽管以太坊是其中最具意识形态的之一，但它一直在成功。而且，嗯，我认为，嗯，这种效应可能是其原因的重要组成部分。但是问题是，你是在一个这种压力起决定性作用的时期运作，还是不是？而且我认为很多事情都依赖于协调，所以那可以奏效。嗯，我认为人工智能更像是工具，而不是社区，所以那种压力，嗯，可能相对较低。而且，嗯，所以，我的意思是，我对那里不太乐观，但同时，是的，嗯，它，嗯，绝对非常高兴，有阿里克人正在朝着那个方向思考。>> 是的，我的意思是，这是一个很好的观点。嗯，我，我，我忘了，嗯，你说的关于，嗯，好吧，看，如果你想吸引最优秀的人才，而人才有这些观点，那么你就，你知道，你就赢了，所以你可以得到报酬，基本上，而且，嗯，当你在“逐顶竞争”时，你会得到更好的人才。所以，是的，我的意思是，我必须给 Jario 赞扬，因为他说的有一点道理。问题只是，它在多大程度上对抗了“逐底竞争”？我会说不多。但无论如何，好的。所以，最后一个话题给你。嗯，我们，你知道，我们已经进入了对象级别。我认为我们，嗯，对比我们的观点非常有趣。我没有看到我们观点之间有巨大的差距。就像我说过的，关键只是，我们认为事情以一种可管理、去中心化、防御性的基础发展的可能性有多大。你似乎比我乐观得多，但我认为我们可以。它感觉不像疯狂地认为我们中的一个人会随着时间的推移而向另一个人更新，对吧？>> 嗯。我认为是这样。>> 好的。所以，所以，把事情带回家，嗯，我想在这里放大，进入元级别，谈论话语。>> 你在发明顶尖的加密货币方面，在最前沿，你非常像一个加速主义者。你显然是一位先驱，但你毫不犹豫地指出，哦，是的，如果人工智能那么危险，我们必须考虑，嗯，暂停解决方案，监管解决方案。所以你真的展现了很多，嗯，思维的灵活性和，嗯，非意识形态性，对吧？而且只是，嗯，开放性，以一种我在社交媒体上看不到的方式，你看。>> 是的。而且我认为，我的意思是，嗯，这些是我，嗯，我确实有意识地努力的理想。我认为，嗯，有一些美德，我，你知道，嗯，自从我，嗯，加入，嗯，阅读了，你知道，序列和，嗯，以及 Scott 和，嗯，以及其他东西。就像，我十几岁时看的所有东西。嗯，所以，我认为，嗯，虽然，嗯，这些事情对我来说很重要。嗯，我认为，嗯，如果我们想进入，嗯，如何让更好的话语规范成为常态，而不是，嗯，依赖于个人，对吧？而且，嗯，我确实不认为，嗯，随着时间的推移，我对任何，嗯，任何压力免疫，那么，我认为我们确实必须同时关注人工智能智力环境中的激励措施，但然后最终，是的，社会结构，对吧？因为，嗯，一般来说，人们非常厌恶表达观点，最终也厌恶持有冒犯他们社交圈的观点。这是一个极其强大的力量。而且，嗯，很多人在人工智能领域，特别是在湾区，嗯，在，你知道，与人工智能公司工作的人，以及投资人工智能公司的人，以及普遍在科技行业的人，他们真的相信这些意识形态的模因组合，他们真的，嗯，处于中心位置。而且，你知道，当你处于这样的环境中，嗯，并且，嗯，持有与此不同的观点，嗯，确实很难。然后，当然，你知道，另一方面，嗯，确实有一个人工智能安全泡沫，而且，嗯，那也是一个，嗯，非常，你知道，地理上集中在一个地方，你知道，嗯，确实，是的，我认为，嗯，确实有一个我担心的模式，那就是，嗯，十年前，它关于吸引想法的人，但然后随着时间的推移，它越来越多地变成了一个社会群体，它将自己视为一个社会群体，这可能潜意识地偏向于，嗯，保护这个社会群体的相关性，对吧？而且，嗯，所以，嗯，我实际上想知道这个问题，那就是，嗯，基本上，嗯，我以我希望的方式保持理智，而不是，你知道，我发疯，或者我们俩都发疯，你知道，我们必须有一个非零的概率，嗯，实际上只是，嗯，我是一个游牧民族，不在湾区的结果。如果更多的人，你知道，嗯，这样做，那么，嗯，我们会不会有更多的独立思考？然后另一个重要部分是，嗯，只是身处加密领域，这绝对是一个科技行业，所以，嗯，你得到了，嗯，它是科技，你知道，你必须学习数学，你必须，嗯，真的，是的，跟上数学的最新进展，但同时，嗯，它是另一种数学，如果人工智能最终停滞一个世纪，那么，实际上，嗯，完全，嗯，对我们来说，从我们自己的利益的角度来看，完全没问题，对吧？所以，基本上，嗯，断开连接的价值，在个人利益方面，是我不知道，嗯，这是积极的，而且，嗯，我们应该找到方法，嗯，尝试从中受益更多。>> 我就是这样看待现在的人工智能 Xrisk 的讨论的。我认为在更广泛的人群中，你知道，就像普通的美国人，他们在调查中报告，你得到的结果是，我没有确切的数字，但大概是，哦，是的，70% 的人认为这是一个中度到高度的担忧，人工智能将是一个严重的威胁，应该被监管和减缓。这基本上是普通美国人的默认观点，说实话，很多人甚至不像你和我认为的那样是技术乐观主义者。所以，从我们的角度来看，他们不一定是因为正确的原因而有问题。但即便如此，我仍然觉得普通人对 AIX risk 感到担忧是正确的。但然后我进入科技领域，我看到很多对像我这样的 AI 末日论者的攻击，你知道，那些 PDM 很高的人。所以，让我给你一些 ad hominem 攻击，因为我觉得你可以化解这些攻击，因为你作为一个技术领导者有足够的信誉，你可以基本上，你知道，阻止其他技术领域的人的 ad hominem 攻击。所以，例如，炒作末日是一种边缘立场吗？>> 我，嗯，我会说不是。嗯，我会说炒作末日是一种在人工智能领域被很多人持有的立场。嗯，我会认为，在普通公众中，可能有一个细微之处是，有很多人是悲观的，就像事情会变得中等糟糕，就像有很多人的普遍感觉是，哦，世界正在走向地狱，事情越来越糟，而且，嗯，这可能包括像第二次世界大战，它可能包括气候变化，它可能包括错误信息，对吧？嗯，然后，但然后那些人，嗯，其中，嗯，人类将因为人工智能而灭绝的可能性，到 2040 年，是更边缘的，但同时，对吧？嗯，就像，他们，嗯，我认为仍然在很多重要目标上达成一致，对吧？而且，你知道，如果我们谈论，嗯，我在人工智能驱动的权力集中方面提到的一些问题，嗯，很多人可能会使用不同的词语，但会同意一些非常相似的东西。嗯，而且，即使是任何这些个体问题，处理错误信息也是 DAK 的一部分，对吧？嗯，所以，而且，同时，嗯，处理错误信息只是，嗯，拥有一个，嗯，理性的讨论，实际上，甚至能够处理出现的任何问题，对吧？所以，我认为，嗯，你知道，肯定，嗯，在主流和像我们这样的人之间存在意见分歧，然后，嗯，在我们这样的人和加速主义者之间存在意见分歧，而且，我的意思是，我认为，嗯，有时，嗯，所有不同的方面都有，嗯，有效的观点。好的，因为今天我在 Twitter 上，我来回与 Grady Booch 争论，他是一位著名的软件工程师，UML 统一建模语言的发明者。所以，绝对是一个合法的人，但他告诉我，他说，“我断言你的立场是边缘的，但它可能对你来说是主流的，因为你似乎被困在一个回声室里。”好吧，所以他显然是错的。我们不在回声室里。也许他身处回声室。布亚。好吧。嗯，>> 是的，请继续。>> 是的，我的意思是，我认为有一种分形效应，对吧？你知道，嗯，我们所处的回声室，然后这些回声室存在，但同时，也有一些特定的信念，实际上，是的，比那更广泛，对吧？而且，所以，嗯，你知道，相信人工智能末日的一般人，可能，是的，从未听说过工具性趋同，对吧？而且，嗯，如果你问他们为什么，嗯，他们不会重复那个理论，对吧？他们甚至可能有不同的理论，这非常有趣，我们可能需要更多地倾听，对吧？但他们不会有那个理论，对吧？所以，我认为，是的，嗯，气泡存在，但同时，你知道，我绝对可以，嗯，只是说它是一个气泡，并不是一个决定性的论点，人工智能不值得担心。>> 对，好的。所以，我再告诉你一些我经常看到的 ad hominem 攻击，你可以说“是”或“否”，它们是否属实，好吗？末日论者不是建造者，他们不在竞技场里。>> 我认为非常错误。嗯，我认为。首先，很多签署了对人工智能风险担忧的人，你知道，包括声明，包括那些在谈论这个方面变得非常重要的人，他们是现代机器学习运动的先驱之一。嗯，我认为，嗯，另外一件事是，末日论者不是建造者，而且末日论者是，嗯，一个资金充足且有影响力的团体，这些说法在某种程度上是不兼容的，因为，嗯，要获得充足的资金，资助者必须建造了什么东西，对吧？而且，你知道，嗯，在，我担心人工智能，当然，你知道，我在加密领域建造过东西。嗯，Yan Tolen 担心人工智能，你知道，他创立了 Skype。嗯，然后，你知道，像 Dustin Moskovitz，就像非常，是的，嗯，基本上，是的，就像早期的人，嗯，那些相信人工智能风险的人，无论是过去 20 年还是过去两年，都是在各种地方都成为有效的建造者的人。>> 完全正确。是的。很高兴你提到了这一点。好的。那这个呢？真正了解人工智能如何工作的人都不是末日论者。>> 我认为非常错误。嗯，我认为，显然，嗯，像 Eleazar 这样的人拥有非常深入的知识。我认为比平均加速主义者在，嗯，人工智能工作方式的细微差别，以及像梯度下降这样的工作方式，以及像，嗯，Transformer 和思维链这样的工作方式。嗯，我认为，嗯，有，嗯，那些花了，你知道，嗯，多年甚至几十年，嗯，研究人工智能对齐方法的人，比如所有这些人工智能公司里的对齐团队，那些说，嘿，嗯，Poom 是 50% 的人，你知道，即使他们的最终结论是，好吧，我还是在努力，对吧？这些是那些在这些实验室里面的人，并且做了很多，嗯，非常，是的，深入的，细致的，嗯，人工智能可解释性方面的工作。嗯，所以，不，我认为，嗯，人们担心，在很多情况下，他们对人工智能的工作方式了解很多。你知道你的生活方式，你似乎在科技领域联系广泛，而且你总是遇到新的人群。所以，当我问你这些关于，你知道，什么边缘，人们怎么想的问题时，听起来你处于一个很好的位置来回答。对？>> 在很多情况下，绝对不是全部。>> 完全正确。对。好的。所以，这个环节很棒。我很高兴我们做了它。我的意思是，那就是我们在这里做 Doom debates 的主要内容。你知道，使命就是移动语调窗口，人们会说。
哦，哇，好的，是的，这确实是你知道的，受人尊敬的人们正在谈论的事情。好的，那么下一个针对个人的攻击是，末日是大公司为了争取监管俘获而使用的一种叙事。我认为在某种程度上是真实的，就像，嗯，我认为，如果你看看特别是反开源的那种迷因，我认为很有可能这个迷因之所以如此流行并被如此迅速地采纳，很大一部分原因是因为，你知道，历史上在科技领域一直存在着强烈的亲开源情绪，而且在缺乏安全论证的情况下，有一个强烈的观点是，如果你正在开发运行在数据中心、集中在少数几家特定公司内部的人工智能，那么你就是在制造像Facebook X那样对人们生活产生更亲密、更具侵入性影响的东西，而唯一符合道德的做法是开发开源人工智能，你可以本地运行，比如可能在你信任的任何硬件上运行。而这种反开源安全的说法恰好及时出现，给了人们一种道德许可，去制造一个封闭的东西，它在数据攫取能力上实际上就像Facebook一样，但更糟，并且让他们觉得自己做得对，感到某种正义。所以我确实对此感到担忧。但是，与此同时，我认为这显然与绝大多数人工智能安全人士的动机相去甚远，对吧？比如，扬·塔林就不是一个对监管俘获感兴趣的人，就像我们，好吧，如果你想要监管俘获，那么像埃利亚泽·尤德科夫斯基和斯科特·亚历山大就不是成功的人，像柯蒂斯·亚文才是，对吧？然后你可能会问，为什么柯蒂斯·亚文没有更多地搭上末日列车呢？对吧？尤其是在知识分子中，这非常，就像，完全不觉得关心人工智能风险与人工智能公司之间的任何权力争夺有关。我认为，特别是那些支持封闭控制以及支持快速赢得竞赛的观点，其中一些是达尔·阿马德说过的，那些东西肯定，我认为，你知道，与政治激励有关，我们应该对此感到担忧。
所以我的意思是，监管俘获基本上是公司建立护城河的一种方式，但当我想到这些人工智能巨头，那些最能从虚伪的恐吓中受益的公司时。听起来他们已经在GPU、资本和人才方面拥有了护城河，对吧？那他们为什么还需要去建立这另一道护城河呢？我的意思是，我认为在一个新兴行业中，你的护城河有多大从来都不清楚，对吧？总是可能人工智能会被商品化，或者大型语言模型会被商品化，很有可能价值积累层最终不会是基础模型层，原因有很多。然后我的意思是，有监管俘获，然后还有我谈论过的更微妙的俘获形式，它们基本上就是，是的，只是帮助你自己的员工和公众对那些保持事物更封闭和集中的商业模式感觉良好，对我来说，这是一种俘获形式，尽管这更多是关于迷因层面，而不是关于政府。嗯，所以，是的，我的意思是，我认为他们做这些事情的动机并非为零，但与此同时，很多，很多有这些担忧的人对此确实非常真诚。
是的。好的，最后几个人身攻击。末日是假的。人们并不真正相信末日。
非常非常错误。我认为，就像，在很多这些理性主义圈子里有很多人真正地内化了末日，他们因为末日而经历心理精神崩溃，他们因为末日而改变职业，他们甚至因为末日而改变个人生活习惯，而且我认为他们做了一些不负责任的事情，比如不再为退休储蓄。我认为人们应该继续为退休储蓄，我甚至会说，你不应该把你的全部退休储蓄都投入到加密货币中。嗯。
哇。
但是，嗯。
好主意。
是的。就像有些人，他们的整个行为模式、举止和情绪状态都表明，对他们来说，这不是一场表演。
没错。我本来想问你，你知道，泰勒·科恩（Tyler Cowan）就此提出了著名的质疑。他说，如果你看看任何人工智能末日论者，他们的投资或赌博行为都表明他们并不真正相信末日，但你已经回答了。你说，嗯，有很多人在处理他们的毕生积蓄时表现得有点不负责任。
绝对是。是的。
现在，我个人目前不是那种人，因为我有50%的末日概率，我仍然在过着50%的好情景。所以，我正在为退休储蓄。我比平时更早地预支我的开销。我在短期内放纵了一点，长期来看稍微给自己制造了点麻烦。你知道，我正在稍微改变这种权重平衡，但这很适度。我没有做任何极端的事情。而且我从来没有理解泰勒·科恩希望我个人做些什么不同的事情。
是的。是的，我的意思是，我认为，当我阅读他提出这类论点的某些帖子时，很多时候都是关于金融和投资行为的，比如，在2020年、2021年购买GPU公司和计算机硬件公司的股票确实是一个非常好的主意，对吧？据我所知，很多像AI X风险人士确实有效地利用了这一点，尽管也有很多人没有。但基本上，是的，我认为他提出了这样的论点：如果你有一种非标准的信念，认为会发生一些重大而疯狂的事情，那么这种重大而疯狂的事情总是会带来市场后果，你应该去寻找它们，并且你应该在它们上面下注。而我认为有时事情并非那么简单，你无法真正预测价值积累公司会怎样，很多时候技术会朝着一个完全疯狂的方向发展。很多时候，总价值很高，但边际价值很低，所以它最终不会变得非常值得投资。很多时候，现有企业最终成功适应并攫取了大量的市场价值。所以我认为做那种事情确实很难，但与此同时，你知道，我认为这是一个非常有价值的思想实验，而且在某些情况下，人们认真对待了他们信念的市场后果。我认为很多理性主义者在早期做得非常好，对吧？就像他们在2020年2月，当人们还在说“哦，上周只有10个病例，这周是100个病例，有什么大不了的？”的时候，他们实际上做空了很多东西。然后，你知道，他们当时在想，“等等，上周是10个，这周是100个，这个函数看起来像什么？”然后他们意识到他们基本上必须做空全球经济，他们也确实这么做了，而且效果非常好。嗯，所以，是的，我认为他的论点有其道理，你应该认真对待，但它也常常并非那么简单。是的。好的，最后一个人身攻击。末日，人工智能末日。这只是书呆子的狂喜。它正在填补宗教留下的空白。这是一个末日邪教。我，我认为从任何内部视角来看这些人的心理，这都感觉不现实，对吧？就像，我所看到的心理历程基本上是，你知道，他们首先看到了这个关于为什么人工智能风险值得认真对待的论点，然后他们把它当作一个有趣的智力谜题，就像“哦，这是一个有趣的智力谜题”。然后几年过去了，没有反驳的论点。然后又几年过去了，还是没有反驳的论点。然后又几年过去了，他们才意识到，等等，这种信念不是关于，是的，我只是作为爱好拥有的纳尼亚魔法之地。这是一种对世界做出主张的信念，而且它对世界做出主张的前提条件正在到来。然后，等等，我实际上必须认真对待它。然后，等等，哦，天哪，这实际上对我很多其他的意识形态预设来说很不方便。而且，很多时候，它更像是被不舒服地拖拽着，又踢又叫，而不是热情地拥抱一种，是的，宗教。就其心理吸引力而言，我会说，它是这样一种想法：你可以仅仅通过做数学和认真思考，而无需预先嵌入现有的社会结构，就能学到一些关于世界的独特而令人惊讶的东西。就像，如果你必须在非理性层面上找到关于人工智能风险的某种吸引力，我会说是这个。我不会说它是作为结果的末日本身。我认为，即使结果是，比如说，基督教神权政治是正确的政治体系，它也会吸引基本上相同的人。就像，如果结果是这些人工智能风险论点以某种方式导致了那个结果，那么可能相似的一群人也会相信它们，对吧？嗯，所以，是的，我认为这更多是关于过程，而不是关于结论的结果。
太棒了。我很高兴你说了所有这些话，因为人们真的需要听到这些。你知道，这些人身攻击已经太过分了。我们只是两个冷静、理性的人在评估末日论点。好的，我想这是一个很好的结束点。那么观众们，我认为从这次对话中，从维塔利克所说的一切中，有两个非常好的收获：首先是如何成为一个灵活的、非意识形态的思想家，权衡最有可能的未来。我想你可以从中看到一些关于他如何处理他的末日概率（PDoom）的见解。他已经将其更新到12%。希望他和我不久就能达成一致。但另一个值得观察的是如何进行高质量的讨论。你不需要进行人身攻击。你可以尊重双方。你可以尊重所有的立场。你可以说出你的症结所在。说出什么会改变你的想法。我认为这是一次杰作。所以非常感谢你的到来。
是的。非常感谢。
非常感谢维塔利克来到节目。他是一位思想领袖，每个人都应该将他的观点纳入他们的末日概率（PDoom）和他们解决问题的方法分析中。因此，他的末日概率至少在10%以上的理智范围内，这是很有意义的。我制作这个节目的目标是让更多像维塔利克这样的人，更多这些真正受人尊敬、有思想、观点重要的人，来到“末日辩论”节目，让我们听听他们的观点，与他人的观点进行辩论，并在为时过晚之前努力接近真相。我想为这个节目创造一种现象，就像2023年人工智能安全中心的那封信一样，有那么多人签署了它。类比就是，有那么多人来参加末日辩论，以至于你开始注意到，等等，为什么最后这几个人没有签署呢？所以在那封信的例子中，就像，哦，杨立昆（Yann LeCun）有点像个异类，没有签署，而微软、OpenAI、Anthropic、谷歌DeepMind的人都签署了，然后就像，哦，好的，杨立昆和马克·扎克伯格没有签署，但其他所有人都签署了。你知道，所有重要的人都签署了。这就是我希望通过末日辩论创造的。我认为这是一个足够重要的对话，仅仅在你的回音室里发推特是不够的。仅仅安排一个友好的记者按照你的条件来采访你也是不够的。在讨论方面，我们需要做得更好。而维塔利克真的挺身而出。我的意思是，你看到了，我和他意见不一致。50%的末日概率对比12%，但他完全愿意。他挺身而出了。而且我认为，我希望这是一个趋势的开始，未来在末日辩论或其他同样富有成效的辩论和讨论论坛上会有更多的讨论。
好的，但作为观众，你的部分呢？如果你想支持这个节目，这并不难。你只需要访问 doomdebates.com，输入你的电子邮件地址。这是支持这个节目的最佳方式。基本上，就是加入那个邮件列表。这样，我就可以给你发送特别更新、独家内容。我们可以在Substack上建立信誉。我们正在喂养算法。你知道，Substack会把它推荐给其他人。然后前往我的频道 youtube.com/doomdebates。在那里点击订阅按钮，阅读其他人的评论，写下你自己的评论，告诉我们你是如何更新你的想法的，并且打开你的播客播放器，在那里搜索“末日辩论”，写一篇评论，那会很棒。所以，所有这些方式你都可以支持这个节目，这支持了更好的讨论，也带来了很棒的嘉宾。滚雪球效应现在真的在发挥作用。我们有了很好的势头。感谢观看。下次在“末日辩论”再见。 [音乐]