Transcription
欢迎来到“末日辩论”。我今天的嘉宾是 Azie Genan。我actually 在 2008 年的奇点峰会上认识了他，那时机器学习研究所还叫做奇点研究所，他们会举办这些大型会议。Azie 和我有很多共同的兴趣。所以，我们都曾是“less wrong”社区的一员。他获得了哈维·穆德学院的工程学学士学位。他曾是牛津大学人类未来研究所的研究学者。他曾在 80,000 Hours 工作过。他曾在多家科技初创公司工作过，然后在 2019 年创立了量化不确定性研究所（QU），你可以把它读成“query”，就像搜索查询一样。这是一个非营利组织，致力于研究预测和认识论，以改善人类的未来。它还发布了许多开源软件工具，包括 squiggle 和 guesstimate 和 meta forecast，这些工具都有助于高级预测建模。Azie，欢迎来到“末日辩论”。是的，很高兴来到这里，谢谢你的邀请。是的，很高兴你能来。我之所以邀请 Azie 来，是因为他基本上就像一颗你们可能还没有读过的稀世珍宝，但他一直在不断地写很多非常好的 Facebook 帖子。我翻阅了他自 2022 年 1 月以来在 Facebook 上发布的所有内容，相当于每天一篇帖子，我整理了很多精彩的内容今天和大家分享，我们会一起讨论。听起来不错？是的，听起来很棒。那么，为了开始，你能给人们介绍一下你是什么样的吗？你的主要热情是什么？从你的帖子来看，我了解到你对预测、概率贝叶斯建模、改善社会、利他主义等方面很感兴趣，但你会如何描述呢？基本上，我们希望人们在做出关于人工智能安全的重大决策时更加明智。这一点非常重要，因为对于到底该怎么做，存在很多不确定性。正如我确信你所意识到的，双方都在进行很多糟糕的讨论，即使是最聪明的人现在也感到困惑。所以，一个大问题是，我们能否创造出能够帮助我们提升水平、更好地推理这些事情的技术、工具和思维方式？很好。好的。是的。所以，共同的主题是“思考工具”，对吧？没错。这实际上与 Elzrikowsky 在我们最初在“less wrong”社区时，也就是 2007-2008 年左右的写作非常相似。所以我认为你和我在这方面有共识，他给了我们很多非常有用的理性工具。是的，我认为早期的工作中有一些非常棒的东西。那时人们更关注理性。例如，Sefar 是主要组织之一，是的，我认为他们做了很好的工作。我认为在过去几年里，这种研究即使在这个社区里也没有得到足够的关注，我认为这有点可惜，但我仍然对很多这些方向感到兴奋。是的。是的。为了让观众有所了解，less wrong 社区有很多关于人工智能和超级智能以及我称之为“intellamics”的内容，但也有很多关于如何更好地思考以及如何理解世界的内容。你知道，认识论理性。Aliowski 在他第一次写这些东西，写这些序列的时候，他基本上在想，天哪，如果我想让人们跟随我对超级智能的结论，我必须教人类很多关于如何正确思考的知识。而我就是那些认为这一切都奏效的人之一，我认为 Azie 也是。比如，我认为我们都同意 Elzra 正确地阐述了许多这些非常强大的关于如何思考的原则——比如使用概率、使用贝叶斯推理，你知道，使用期望值计算。所以，今天我们看到的很多现代预测市场和 Aussiey 的工具，我认为都可以追溯到 Alzar 在那个时代稍稍超前，从文献中提取出这些东西，然后说：“嘿，伙计们，我们真的需要使用这类东西来思考。”这是公平的描述吗？是的，我认为这是一个很好的起点。我想说的是，也许这完全归功于 Alzar，当然还有很多人，很多聪明的知识分子、哲学家，甚至接近 Zephar 的人一直在推动更正确的思考方式，推动“trammeticism”，推动例如贝叶斯统计学，所以有很多哲学思想是我们借鉴的，但在这种情况下，这是一个非常好的聚集点，他能够创造一个社区，分享了很多相同的直觉。我认为将 Alazar 定位为许多人所认为的“伟大的综合者”是非常公平的。他的想法中有多少是新颖的？我实际上认为有一些，但占少数，对吧？所以，他所做的很多事情是整合了所有这些线索。比如，如果你读过 Fineman，你就可以找到一条线索。如果你读过 ET James 和所有这些他称之为“传统理性主义者”的人，你也可以找到一条线索。在他之前，有很多线索。以我自己的教育为例，我在大学里完成了通识教育要求，他们教了我很多关于哲学的知识，他们也教了我贝叶斯推理。他们说：“看，这是贝叶斯定理，它是如何工作的。概率是如何运作的。”我当时想：“好吧，酷，酷。”然后我读了 Alzas 的书，我心想：“哦，贝叶斯概率是最真实的。”当你遵循贝叶斯定理，当你进行贝叶斯更新时，你实际上是在进行一个更好的科学方法版本。即使是这种联系，对我来说今天似乎很明显，但当时我心想：“不，等等。这个贝叶斯定理实际上非常基础。这是拼图中一个重要的部分，即使是超级智能也会将其放入其知识库中，并将其视为一个非常，你知道，第一顺序的事情。”是的，我同意。而且我还要指出，我认为他做的一件主要事情是，我认为很多人会说，“less wrong”社区一直非常出色。现在有很多作者，有些是知名的，有些则不是，他们推进了这种分析，并将其引向不同的方向，进行了探索。现在已经远远超过了任何一个人所能做到的。所以，很高兴看到这一点，但仍有许多工作要做。是的，我同意这比 Yazari 还要多。这是公平的。你是如何开始接触“less wrong”社区并思考人工智能未来的？我在大学一年级时，一位朋友在刚到大学校园的头几天就告诉我关于奇点峰会的事情，然后我们很快就在哈维·穆德学院创建了一个名为“人工智能与未来科技”的俱乐部，以便在字母排名中名列前茅，然后我们就去了奇点峰会，那是在那时介绍我们认识的。所以，当时有一小群我们对这些技术和想法感兴趣的人，他们各自以不同的程度继续保持着这种兴趣。嗯。好的。在我们继续之前，我必须把一件非常重要的事情说清楚。[音乐] Poom。Azie，你的 Poom 是什么？嗯，我认为你知道，我对这个非常不确定。嗯，我天真地猜测大概是 10% 到 30%。尽管如此，我还要指出，我认为只要你的估计超过 0.1% 或 1%，你就应该非常关注这个问题。嗯，可以说，考虑到这个问题的严重性，1% 与 99% 并没有太大区别，对于我们很多决策来说。我的意思是，我认为当它真正开始与决策相关时，大概是 5% 到 10%，因为即使是 1%，你也可以将其忽略不计。我的意思是，核风险每年大概是 1%，所以就这一点而言，我认为很少有人会说核风险每年有 1% 的几率导致所有人死亡，因为那会迅速累积，对吧？嗯，我认为即使是 1% 的几率导致全人类死亡，那也是 80 亿人加上我们所有的后代，这是一个非常重大的风险，我不想轻易对待，对吧？所以，我认为我们应该非常非常小心所有这些 1% 的风险，如果它们存在的话。这是其中一个问题。好的。这听起来很明显，但你会签署关于人工智能风险的声明吗？该声明称，应对人工智能导致的灭绝风险应与大流行病和核战争等社会规模风险一样，成为全球优先事项。我同意这项声明，我也会签署。嗯，我确实认为你有时会简化这项声明，因为我不知道确切的情况，我希望了解谁在说这句话的背景。所以，我能更好地确切知道我同意什么。嗯，尽管如此，我同意这项声明，我可能会签署。很好。好的。所以，Azie，我之所以想邀请你来节目，是因为你通过你各种各样的帖子，是高质量话语的一个很好的例子。比如，你总是非常深思熟虑，非常宽容，非常理性。我认为我们在这档节目中会看到这一点，当我们深入探讨你写过的不同内容时。但我想邀请你来，是因为每当我看到 Twitter 上出现各种争论时，我都会看到很多低质量的话语。例如，最近 Founders Fund 的一位投资者 Mike Salana 发了一条推文，他说：“我非常反感深思熟虑的美学。一种表演性的冷静、理性、宽容的语气，其措辞和语言让人感觉某人正在与你一起学习或无私地分享，而这掩盖了潜在的党派偏见。”然后我回复他，我说：“等等，你反感良好话语的特征？一个人如何才能向你敞开心扉并改变主意，而不触发你的过敏反应？对我来说，我心想，他基本上是在说，是的，当某人以一种理想的开放心态接近你时，就像他们真的想向你学习并且愿意改变主意。我讨厌那样。那是最虚伪的。我心想，太好了，那我还能做什么？但在 Twitter 上，这条推文有 133,000 次观看，1.7K 次点赞，而且，你知道，我并没有因此而落后。所以，话语现状就是这样吗？我认为这是一条极其平庸的推文。嗯，虽然主要缺点可能不是他写了这句话，而是它获得了如此多的关注，对吧？这是一种任何人都可以说出来的，通常会得到很少关注的句子，因为用两句话很难说出太多内容。嗯，我认为这突出的一点是，他所说的并不清楚。所以，我认为几乎任何人都会说，当然，在某些情况下，一个人可以表现得非常礼貌，但实际上可能非常恶意。有办法做到这一点。然而，这并不意味着所有的礼貌都是坏的，对吧？嗯，而且很难知道他到底是什么意思，用两句话来说，对吧？这听起来像是在说很多东西，但很难知道。嗯，所以我认为一些非常好的西方哲学认为清晰原则非常重要。如果你要说一些煽动性的话，精确地说明你的意思非常重要。在这种情况下，他一点也不精确。特别是，是的，他没有精确地说明你应该如何做得更好，因为在我看来，他只是提到了你可能做的最好的事情，当你试图提高话语质量时，他说那很糟糕，这让我想起像猎巫一样，他们说：“啊哈，她烧了，这意味着她是个女巫；或者她没烧，这意味着她是个女巫。”就像，“等等，她怎么可能不是女巫？”对吧？这让我想起那个。嗯，我想说，如果他的真实立场是“我不想任何人拥有任何好的辩论方式，我根本不希望人们礼貌”，我会非常惊讶。我不认为他在说如此极端的事情。我认为问题是我们不知道他在说什么，因为只有两句话。就像，有很多细节说明他可能真正相信什么，而我们却无法得知。嗯。嗯。嗯。嗯。有一位评论员认为他知道迈克的意思。他叫 Kiochi Mogo，他回复了我。他说：“直接点，别玩弄心计。”然后我说：“但是迈克提到的沟通特征是做一个直率的人的最佳策略。”然后 Kyoshi 说他在谈论沟通的治疗方法。这是幼儿园老师与学生说话的方式。这是温和的育儿。这不是自由平等成年人之间应有的交流方式。所以我理解迈克的想法，他看到一个理性的人试图保持开放的心态，试图促进良好的话语。而在迈克看来，这就像有人在翻阅一本治疗书籍，并试图玩弄心计。而且，我理解有一种错误的方式去做，但似乎迈克忘记了还有一种正确的方式去做。我认为我质疑的是，你为什么认为这条推文如此有趣？嗯，它很有趣，因为它很受欢迎，而且它说了一些对我来说非常重要的事情，那就是如何进行高质量的话语，我认为这是我们的社会真正需要的。这是“末日辩论”试图推广的。而迈克基本上很好地描述了当有人参与其中时是什么样子，然后说那是最糟糕的事情，对吧？所以，对我来说，这就是为什么它会触发。我理解你将这一方面解释为触发。然而，我认为他的推文不值得如此多的关注。很难知道他真正相信什么。嗯，他说得可能带有煽动性，我们并不知道。嗯，我认为正确的反应就是忽略它。好的，我明白了。而且，你非常宽容，因为你对迈克没有太多了解，所以我在引入很多其他背景。当然，他确实经常采取低质量的话语方式。顺便说一下，迈克·萨拉纳有很多值得称赞的地方。我喜欢他的很多推文。我认为我关注他。我偶尔会读他的东西。就像我总体上有点喜欢他，但他确实经常采取低质量的话语方式。这就是为什么我对他现在采取低质量的话语方式非常有信心。我同意这是低质量的，只是以不同的方式，对吧？我想说这只是信息密度低。他说的东西不多。我猜他是有意煽动，以一种有趣的方式，因为它能获得更多的参与。嗯，我想说，我通常不会太关注这类话语。嗯，你知道，这是我在“末日辩论”中喜欢做的一个环节，我喜欢参与 Twitter 上的争吵。问题是，我在 Twitter 上不是最受欢迎的账号。所以，很多时候我只是一个普通的回复者，但然后我就会过分，我会在“末日辩论”中把它提出来，然后他们就无法回复了。这样我就能获得最后的发言权。其中一些也显示了 Twitter 如何诱使你想要参与这些愚蠢的讨论，对吧？因为这些讨论非常愚蠢。我认为它们基本上不值得我们花费任何时间。就像，如果你想进行一场好的讨论，这些话题可以进行好的讨论，但这并不是，对吧？这是两句话。所以，你是有意选择多发 Facebook 帖子而不参与 Twitter 吗？是的，绝对。就像，我认为有，是的，有好的方式，是的，有好的方式来玩 Twitter 游戏，但我认为这非常困难，而且我认为很多聪明的人会被诱骗进入这些有毒的环境，然后很快变得高度意识形态化，只是玩 Twitter 游戏，互相发表热门言论以获得公关，而没有真正进行高质量的讨论。嗯。非常真实。好的，那么我们继续，来谈谈你目前的项目。所以，你有一些非常有趣的高科技软件，你已经研究了很多年了。所以，你基本上是全世界在拥有这些工具来构建复杂模型并用于预测的艺术方面的顶尖大师。正如我多年来所见，这确实是你的重点。所以，请告诉我关于这些事情。嗯，是的，为了有一个高层次的理解，我们的很多工作都集中在概率风险评估，特别是蒙特卡洛模拟。这是一个现有的行业。它已经存在了很长时间，但它相当小众，但确实很有用。所以，通常概率估计是为企业环境或需要进行非常昂贵决策的环境保留的。其中一些是因为软件很难使用。我是一名网络工程师，所以我能够探索其他类型的做事方式。所以，我在 2016 年左右制作了 guesstimate，作为一个实验，试图制作一个更简单的用户界面来做很多相同的分析，因为我认为它可以用于许多其他方式，而且我认为它确实取得了一定的成功。我们获得了数千名用户，并且它对 EA 群体很有用，而 EA 群体是我最关心的群体。从那时起，我们基本上做了一些更雄心勃勃的事情。所以，最主要的是 squiggle，这是一个用于处理不确定性数学的编程语言。一旦你有了它，那么接下来的问题当然是，我们如何利用人工智能来自动化squiggle 代码的创建？我们能否自动化成本效益分析，这基本上是我们经常感兴趣的主要事情。好的，那么我们将进入一些演示。我们将看到你在过去几年里构建的一些软件。我们将从 guesstimate 开始，它有点像一个 Excel 电子表格，但单元格可以具有概率函数。然后我们将转向你的下一个工具，squiggle，它更像是一个完整的编程语言，比如 Wolfram Language 或 Mathematica，它允许人们进行更高级的概率预测。然后我们将转向 squiggle AI，它允许 AI 使用squiggle。所以，我们将一起了解所有这些。所以，是的，我们可以从一些简单的例子开始，人们已经制作了。所以，你可以在这里看到，有人试图弄清楚一个特定的花店会带来多少收入。这就像他们早期的日子。每个变量都是一个独立的概率分布。所以我以为这会是一个电子表格。guesstimate 基本上是一种电子表格。我以为它看起来像 Excel，但它看起来不像单元格网格。它只是一堆相互连接的单元格，就像 Excel 单元格可以有依赖关系一样，但你基本上放弃了它们在网格中的想法。所以，它是一个网格。嗯，它只是我们也显示了项目之间的箭头。所以，它确实像一个网格结构，如果你看的话。嗯，哦，这很有趣。所以，这就像想象一下，你把一个二维 Excel 电子表格中的所有单元格都放大，因为每个单元格都有一个概率分布的小图，然后你还明确地使用箭头来表示事物，而不是仅仅使用等号来表示一个单元格依赖于另一个单元格。你甚至可以直观地表示错误。你是正确的。我们改变了用户界面，使其更容易理解如何处理概率分布，以便更好地反映我们真正专注于估算。嗯，Excel 同时做很多事情，所以它在任何一个方面都无法做得如此出色。在这种情况下，很多都遵循相同的结构。在 Excel 中，一个单元格会有一个数字，但在你的电子表格中，你已经优化了它，这样你就可以得到一个数字，这个数字代表一个完整的概率分布，但你也可以看到分布的形状在单元格内。是的，正是如此。这些都是概率分布。嗯，有几种写法。我们试图提供几种不同的格式，它们都很不错。嗯，具体来说，在这种情况下，概率分布是 5,000 个从该分布中随机抽样的样本，你可以选择一种分布。如果你使用函数表示法，还有其他分布可以写，其他一切都如你所料。所以，只要你理解数字现在有范围，并且所有单元格现在都是完整的分布而不是单个数字，那么其他一切都如你所料。所以，你只需输入等号，然后输入你会在 Excel 中输入的方程，但现在它将处理完整的分布而不是具体的数字。所以，它并没有增加多少复杂性，但你获得了更多的收益，可以说。所以，在这个特定的电子表格中，有什么例子是分布相当广泛的变量，因此它允许我们预测一系列场景？所以，我的意思是，其中很多都很宽。所以，在这种情况下，这个人对每个客户的消费金额非常不确定。嗯，所以他们猜测平均值将在 10 到 90 之间，这是一个相当大的范围。嗯，基于这个范围以及其他不确定性，我们得到的收入估计是 140 到 500，这是一个宽泛的范围，但同时，它并没有你想象的那么宽泛。它仍然能让你对你正在处理的事情有所了解。嗯。所以，就像，好吧，客户每人可以花费 10 到 90 美元，因此，在所有其他因素混合在一起之后，我的底线可能会是什么样子。你知道，在所有这些其他因素混合在一起之后。是的，嗯，这是一个很好的理解系统的方式，基本上这是人们过去使用的基本估计方法，除了输入现在可能是不确定的。对。对。所以，我认为这很常见，公司经常打开 Excel 创建财务模型，让所有单元格相互依赖，但在任何给定时间，单元格只显示一个数字。所以，他们所做的就是进入单元格并更改数字，然后查看，更改数字，然后查看。或者他们可能会复制粘贴整个工作表，并拥有多个工作表来表示不同的预测。但在你的情况下，你就像，看，让我们同时进行。让我们让单元格代表一个范围，然后你就可以看到改变它如何改变一切的形状。是的，我认为，就像我说的，有一个既定的领域在做这种数学，而且这可以说是更正确的方法。嗯，所以，当你这样做时，你会对结果的实际期望有更好的理解。所以，从数学角度来看，它确实更好。在某些情况下，它可能更复杂。所以，嗯，之前的工具通常专注于狭窄的行业决策，而且公司没有利用这些工具，这有点说明问题，因为可以说，金融领域很少有人精通这些工具，而且工具确实有点糟糕。嗯，但我想，是的，如果你经营一家小企业，现实地说，这真的是一个杀手级应用吗？因为看起来，对于一家小企业来说，如果你只是向他们展示，看，这是你公司的糟糕、中等和良好的预测，这对于他们来说已经足够好了，不是吗？所以，这绝对是一个开始。嗯，但这取决于你想做得多好。而且，随着你做的越多，你就会欣赏模型中的很多细微差别。所以，一个类似的问题是，为什么你有一个处理奇数的系统，如果它只有偶数，在某些情况下，这对于决策来说已经足够了，而且你是正确的，但你可能，在某些方面，就像，你也可以有奇数。奇数将有助于使数学更加正确。你基本上是在说，看，是的，你可以做一个粗略的版本，但为什么不是每个人都学会这是真正的预测方式呢？我还要指出，嗯，通常的下限和上限非常粗糙，而且常常具有欺骗性。所以，根据你如何进行数学计算，有可能在不进行这种计算的系统中，下限和上限会远远超过它们所需的范围。或者人们会随意输入非常奇怪的数字，如果他们不喜欢，人们甚至不会就下限的含义达成一致。嗯，如果你想认真对待事情，那是一件相当危险的事情。所以，例如，在有效利他主义中，我们经常试图确定这项干预会带来多少好处。如果有人说，“哦，你知道，这是我的干预。我决定他们可以带来 1000 美元到 100 亿美元的好处。”嗯，这是我的下限和上限。我不会告诉你那意味着什么。它来自我坏掉的方程，但那可能没关系，因为，你知道，我们为什么要关心呢？那真的不可接受，对吧？如果我们能做得更正确，那就好多了。是的。好的。所以，这是花店的例子。嗯，让我们举一个关于在生产中创造大量价值的例子。这里有一个例子，关于 12 个月期间的叙利亚返回估计。我可以查看变量，然后你可以说，嘿，嗯，这取决于你关注哪个国家，我们有几种不同的估算方法，然后所有这些都归结为一些最终的难民数量。好的，明白了，明白了。是的。我认为我对此有了更深的理解，比花店的例子更深，因为你知道，我自己经营一家小企业，我只是觉得它对大多数小企业来说不是一个巨大的痛点，因为这就像，看，财务模型，它总会有误差范围。所以，仅仅是更精确一点，我并不认为这对大多数小企业来说是一个杀手级应用。但然后你向我展示，看，现在你是一个政府，你试图预测今年有多少难民会返回，有很多变量，你确实需要一个范围，因为你谈论的是加上或减去五十万。所以，你确实需要最好的计划，否则你就会浪费数百万美元做出错误的准备，对吧？我也想说，嗯，你可以开始做很多事情。所以，有一个敏感性模式，它显示了，嗯，对于最终的任何变量，不确定性来自哪里，因为有些输入会比其他输入更不确定，而其中一些最终会使最终变量比其他变量更不确定。所以，如果你想更好地理解系统，嗯，这告诉你应该更关注哪些变量。人们很容易估算一切，然后陷入细节，或者估算错误的事情，或者经常发生的是，人们花很多时间估算容易测量但实际上对获得最终变量信息不那么有用的事情。所以，是的，对于听音频的人来说，这是一个非常优雅的可视化，你有不同的国家，波斯尼亚、阿富汗、利比里亚，然后你有每个国家的难民人数，第一年返回人数。所以，这是一个真实的例子吗？是否有人在政府部门真正使用这个来决定数百万美元的准备预算将如何分配？嗯，我用它作为人们制作的现有公共例子之一，嗯，我完全不知道。我猜没有多少人是这个东西的爱好者。所以，也许我知道确实有一些非政府组织和一些有效的利他主义组织使用 guesstimate。嗯，在有效利他主义中，guesstimate 被用于进行期望值分析。所以，通常你的干预有多有价值，嗯，为此有很多成本和收益，你想把它们都分解开，然后假设你可以将这个期望值估计提供给资助者，他们可以然后，嗯，玩弄输入，决定输出是否符合他们的期望，并做出资助决定。很好。好的。所以，这就是 guesstimate，然后我们可以继续讨论 squiggle。是的。所以，squiggle 是一种类似于 guesstimate 的形式，但它是一种编程语言。所以，guesstimate 更像是，你知道，有一个用户界面，其中有节点，你将它们连接起来。当添加大量复杂性时，添加自定义函数时，当你想让模块与其他模块通信时，这并不奏效。为了做这些事情，嗯，编程语言通常是更好的选择。嗯，所以，我们做了一个可以编译成 JavaScript 的东西，它在浏览器中运行。嗯，我们想做一个包含蒙特卡洛模拟工具和用户界面的技术工具包，所有这些都可以在 JavaScript 中访问。同时，我们想有一种人们可以查看、阅读和理解的简单语言。嗯，这是一个非常简单的例子。如果你查看我们的文档，你会看到很多可以玩的东西，它们都是交互式的。嗯，在这种情况下，有一个经典的关于特定地区有多少钢琴调音师的问题。波士顿是其中之一。所以，这是一个如何将其变成程序化东西的例子。对。它与常规编程语言的一个关键区别是，我们将概率分布视为一等公民。嗯。所以，现在它们只是一种变量类型，我们确保在使用该变量的函数时正确进行数学计算，并努力为你展示不错的结果。对。明白了。好的。所以，就像有人让你用 Python 编写一个关于一个城市拥有人口并由此产生钢琴调音师数量的蒙特卡洛模拟一样。很多人知道如何用 Python 来做，并把很多数字存储在变量中。但你说，啊，你不必把数字存储在变量中。你可以存储一种特殊类型的值，它是一个概率范围，然后你就会得到更平滑的蒙特卡洛类型的输出。是的，有很多方法可以做这些事情，不同的方法有不同的优点和缺点，对吧？嗯，Python 中有一个有趣生态系统，有人实际上，嗯，一些人重新思考了优先级，制作了一个叫做 squiggle pie 的东西，它有点像 squiggle 的库，帮助在 Python 中实现它们。Python 确实有一个大型的 pymc3 工具包和其他工具来做繁重的蒙特卡洛模拟工作。嗯，但它们通常有不同的侧重点。通常 Python 的东西会更技术化，语言看起来肯定不像那么干净，而且因为它不是 Python，所以它不像在 Web 环境中那么容易集成。所以，如果你想要一个可以轻松部署到生产市场或轻松在线分享的东西，我认为 Python 通常有点太多了。嗯，它看起来就像这个界面受到了 Brett Victor 的启发，对吧？就像那个著名的网上的人，他展示了如何可视化概念，以及如何让编程语言更具视觉性。我认为他一直是这个领域的巨大灵感。完全正确。好的，太棒了。所以，是的。所以，这就是 squiggle。我可以看到它在这里非常强大，而且它嵌入了就像一个游乐场。好的，接下来我们应该看什么？所以，是的，下一个重点是 squiggle AI。一旦我们有了语言，嗯，最明显的事情就是使用 LMS 来实际编写语言。所以，例如，在这里我只是想给它一个问题：“全民基本收入会对美国的劳动力供应产生多大影响？”它能够快速地汇总大量的输入假设，猜测这些输入假设的参数，然后给出某种分析作为输出。好的。好的。好的。是的。我的意思是，这很棒，因为作为人类，构建这些模型很乏味。但现在你已经开发了另一个工具，squiggle，它可以表示这些复杂的模型，现在只需再迈出一步，就可以说：“好吧，LLM，输出一个squiggle 模型。”所以，你可以问它一个问题，然后得到一个非常精心设计的概率模型。是的，很多人不习惯这种建模方式。但我们发现，通过 guesstimate 和 squiggle，创建这些模型的关键直觉、洞察和启发式方法并不难编码到 LMS 中。所以，LMS 是生成相当强大的期望值分析的绝佳合作伙伴。它还没有完全达到目标。就像，肯定还有更多工作要做才能与顶尖人士相媲美，但我认为我们正朝着这个方向发展，嗯，是的，LMS 进行的成本效益分析和估算可以成为对话中非常有用的部分。那么，这对超级预测有什么应用呢？因为你不认为超级预测者在他们脑子里有一个这样的模型吗？所以，他们是在软件中倾倒出来吗？他们是记在心里吗？他们实际上在做什么？是的，这是一个很好的问题。所以，超级预测者，抱歉，超级预测者是来自“超级预测”或“良好判断项目”的一个特定术语。嗯，但你可能更关心的是 Metacalis 和 Manifold 等平台上的顶尖预测者。所以，你的意思是，除非它来自 Philip Tetlock 地区，否则它不是真正的超级预测者。是的。的法国。我认为他们注册了商标，并试图说只有通过他们的特定测试才能称为超级预测者。好的。好的。所以，我将开始说“顶尖预测者”。是的，我认为这是一个很好的术语。嗯，优秀的预测者使用各种不同的工具。所以，他们会使用不同的，你知道，期刊研究工具。他们会用不同的调查方式。他们会打电话给在正确位置的人，然后直接问他们问题。他们经常做的另一件事是进行成本效益分析或进行估算。所以，很多人会使用 Excel，他们会使用 Google Sheets，他们会使用 guesstimate，最近一些人一直在使用 squiggle。嗯，Nuno Sure 是一位顶尖预测者，他与我们合作了很长时间，并且继续使用这些工具。嗯，这里有一个独立的问题，可以说是一个缺点，那就是预测者通常关注可验证的问题。所以，嗯，预测者通常会关注，比如，根据一个已知的实体，2027 年的 GDP 估计是多少？他们不会预测这个项目将产生多少价值，因为通常没有非常明显的方法来验证这一点，对吧？所以，我非常感兴趣的是，我们如何才能解决这些可验证性较低但仍然重要的问题？这些问题更多地属于评估方面，其中一些是，嗯，这方面的工作效果很好。有趣的是，我想知道是否也有办法让某人因拥有一个非常好的模型而获得认可，即使他们最终没有赢得预测市场，或者你知道我的意思吗？就像，想象一下，真实的结果发生了，而这是一个他们给了较低概率的事情，但其他人同意他们有一个很好的模型，你知道，就像，难道不应该有一个更好的评分函数吗？所以，我认为你基本上会这样表述：目前的预测市场与我们可以想象的相比，非常幼稚和基础。它们肯定不是所有推理和所有正确知识的答案。所以，预测市场不鼓励人们贡献数据，例如。它们不像维基百科。我认为一个更成熟的生态系统将是这样的：它会找出你可以提供你拥有的任何信息，然后它会根据信息的价值来支付你。它可以是“这里有一个没有人见过的数据库”，也可以是“这里有一个成本效益分析”。我认为squiggle 可能在这里提供了一部分拼图，因为当我设想理想的 Manifold 类型预测市场网站或理想的 Poly market 网站时，它不仅仅是人们说一个预测或一个 0 到 100 的概率。它还包括上传他们的squiggle，然后说：“哦，这是我的squiggle。这是你的squiggle。哦，这里有一些信息让你更新了你的squiggle，所以我应该为此获得报酬，对吧？这难道不更像是理想的知识提取合作系统吗？”是的，我认为你描述的正是事情应该发展的方向。嗯，一些预测平台已经开始鼓励人们写好的评论，但一直没有太多，就像预测市场空间实际上很小。没有多少数千万美元投入到让工程师创建一些显而易见的工具。嗯，但总的来说，有一个很大的空间是如何鼓励人们提供有用的信息，我认为这确实是我们应该发展的方向。是的，我很高兴你专注于这一点。我的意思是，很明显，在更好地提取人类知识和从预测市场中获得更多收益方面还有很多工作要做，然而，预测市场本身已经成为人们会查看的地方。你知道，即使是美国总统大选，我记得在大选日，我的妻子和她的朋友们在看电视新闻网络，很明显特朗普有 95% 的获胜几率，他们说：“哦，仍然很接近。仍然很接近。”他们说：“你在说什么？看看这些预测市场。”对吧？所以，预测市场已经成为一个可靠的新闻来源，比我们以前拥有的任何东西都做得更好。然而，这仍然是早期阶段。它们仍然只利用了其潜力的很小一部分。是的。嗯。是的。我认为预测市场就像，它们基本上在任何时候都是一系列智力创新，介于完全理论化和完全普遍应用之间。而预测市场是我们今天拥有的更令人兴奋的之一，它做得还不错，可能比一些最显而易见的要令人兴奋，这也是它受到这个社区广泛关注的原因之一，但它仍然有很长的路要走，我们仍然有更多的工作要做。对于理性主义社区来说，现在预测市场越来越成功，这不是一个好论据吗？因为就像，看，我们从 2000 年代就开始喊这些东西了，对吧？我们都说，“嘿，我们需要预测市场。”Robin Hansen 是领导者，但“less wrong”社区基本上都同意。我认为一些理性主义者和 EA 社区非常注重他们所说的“追求真相”，以及经验主义、理性主义、贝叶斯主义，他们在这方面非常精通。但他们也有关于他们认为什么是产生世界信息的实际方式的具体选择。鉴于此，我认为他们做得非常好。当然，有些人可能会抗议说，他们用来获取知识的基础方式是不正确的。嗯，但我想，鉴于我们接近的世界观，我认为这些社区一直处于领先地位。这也是我很高兴与他们合作的原因之一。我经常在吹捧理性主义者有多好时提到这一点，因为我想，看，如果人们知道得更多，我们本可以在 20 或 30 年前就拥有预测市场，对吧？我意思是，如果互联网存在，那就可以了。互联网已经存在了二十多年。如果政府监管机构同意，如果更多人同意，我们本可以在 20 年前就做到这一点。所以我经常举这个例子，我想，看，我们还知道什么，而你们不知道，对吧？就像我们作为理性主义者，还有哪些见解，我们仍然需要把社会带到那里？我认为有很多这样的见解。是的，我的意思是，嗯，这里有很多东西。我的意思是，总的来说，我非常赞同，嗯，是的，我认为这个社区在这方面一直处于领先地位。话虽如此，我的意思是，这个社区也有，他们非常注重精英大学的学生和那些学习这些会很容易的人。嗯，我想说，鉴于这个社区如此聪明，嗯，我认为他们应该更容易说服别人。所以，我认为，嗯，这并不是说这个社区是超级有能力的。嗯，肯定有一些明显的不足。我认为，嗯，如果我喜欢更多地关注认识论工具的一个原因是，我认为如果人们能变得更聪明、更理性，他们可以做的一件事就是弄清楚如何让别人变得更聪明、更理性。我认为现在我们还没有达到标准。对我来说，这只是一个非常有趣的观察，因为很多人在想到理性主义者时，想到“less wrong”，很多人会说，“哦，是的，那是 1.0 版本，大家都已经过去了。现在你有 postrat，你有后理性主义者，现在你有现代 AI 实验室。他们发现 AI 只需要预测 token。所以，所有旧的预测都不相关了。很多人都认为，哦，是的，我们已经超越了那个旧的 1.0 理性主义社区。而我的想法是，哦，不，我们仍然在努力把社会带到一个我们几十年前就领先的地方。就像，如果你看看 2009 年的理性主义，我们知道预测市场。我们知道 intellamics，对吧？这件事就像，哦，我的天，GPT03，它正在编造方法来假装它完成了工作。是的，我们在 2000 年代就在谈论这个，对吧？我们知道这些东西。而且实际上还有更多我们知道的东西。
这仍然是现代对话尚未跟上的。有效利他主义，它甚至存在争议，它正变得越来越主流，但它显然是最终目标。社会不会从有效利他主义退缩，对吧？所以，就像我们弄清楚了这些东西，并且我们知道它是正确的。我们知道智能经济学是正确的。我们知道人工智能最终会以某种形式收敛以最大化效用。就像，我们知道这些东西，而我们只是在慢慢地拖着社会前进，而我们还没有完成拖拽。所以那里有很多东西。嗯，我的意思是，在某种程度上，我与你的阵营非常相似，因为我更同意有效利他主义的立场。我没有太多时间，我不会花太多时间听那些“后老鼠”以及一些现代人工智能实验室对这些创作者话题的说法，这告诉你我对他们的看法。嗯，我认为，哦，天哪，从我的立场来看，我不确定有效利他主义和“less wrong”有多么令人惊叹，但我很确定其他团体不太令人印象深刻。所以，我希望就像，嗯，你知道，他们说当你真正掌握了一项技能时，感觉就是这样，对吧？很多人太谦虚了，以至于他们觉得自己是大师，但他们只是注意到周围的每个人都奇怪地无能。但我非常希望，就像 40 年后人们会回顾并说，嗯，我们都大错特错了。要不是我们早点意识到这些显而易见的事情就好了。我希望他们会说，也许有效利他主义者比其他一些团体错得少。我认为我们都有很长的路要走。同时，我非常同意，嗯，是的，而其中一些团体，我会说，比如“后老鼠”对我来说似乎不太在行。就像他们没有多少全职人员在思考和撰写这些东西一样。所以，我不确定要多关注这一点。然后是现代人工智能实验室，我在思考如何加速人工智能方面对他们非常尊重，对吧？而且我认为对于这类问题，他们可能使用了许多好的技术。但除了这一点之外，我认为几乎任何人都会持怀疑态度是有原因的。
现在，说到改进社会的预测市场工具集，你开发的一个工具就是“元预测”，对吧？给我们展示一下。它很简单。基本上，它就像其他预测平台的聚合器。所以它既包含了大量问题的答案，也有一个 API，一些其他人已经使用它来创建其他更好的可视化，展示预测正在发生什么。所以主要的平台是 Manifold、Poly Market 和 Looks like Smirks。还有什么？是的，你可以在这里看到完整的列表。所以它将包括我们自己的，比如 Foretold、Guesstimate 等等。嗯，尽管如此，你知道，Manifold 有太多问题了，它有时确实会占据主导地位。明白了。是的，Manifold 的问题确实很多，因为人们不必冒真金白银的风险，对吧？这有帮助。是的。所以，我注意到你还在聚合很多预测市场。所以，这很有趣，比如我想知道乌克兰战争中某种和平协议的可能性，我的下一个最佳选择是必须打开 Poly Market。我必须打开所有这些其他的预测网站，所以输入到 MetaForecast 可能会是我最方便的选择，对吧？是的，我认为基本上现在有很多预测平台。所以通常最好是在像 MetaForecast 这样的聚合平台上进行一次搜索，以了解它们所有不同的预测平台可能包含什么。然而，据推测，存在套利行为，对吧？所以我不会感到惊讶，然后说，“我的天哪，Poly Market 的分析与 Manifold 的分析如此不同。”因为有人已经同时打开了这两个标签页，你知道，买入一个，卖出一个，所以它们的价格非常相似，对吧？所以在市场非常相似、流动性很强且涉及大量资金的情况下，就会发生这种情况。通常情况并非如此。通常你得不到所有三个。所以，有时你会得到，在那些情况下，你是对的。所以，听起来随着人类在预测市场技术方面变得更加成熟，聚合器的价值可能会降低，因为各个网站本身就会很活跃。所以，是的，我认为关于预测基础设施在中长期将走向何方的有很多问题。另一个关键方面是我之前提到的，不同的预测平台现在有不同的问题。所以，你仍然需要考虑这一点。我认为从长远来看，人工智能将如何处理这个问题是一个大问题。所以，似乎人工智能预测者正迅速变得和普通人类预测者一样好。所以，可以说，我们真的应该拥有可以让你与众多人工智能预测者交谈和互动的网站。我认为其中一些基础设施正在建设中。我想可能会有更多。是的。稍后我们将讨论你对人工智能用于预测以及人工智能用于许多社会机构的看法。我认为这是一个你思考了很多的大领域。所以，让我们回到你的最后一个演示。打开 Annotate。是的。所以这是一个非常简短的东西，但我认为它能让你了解我正在围绕评估进行的工作方向，以及我们如何利用大型语言模型来扩展评估，我认为有些人没有想到这一点。当人们想到文章评估时，他们通常会认为只有一个评估者，或者有一套来自一个无法自我评估的实体的评估。我认为这通常是错误的看法。鉴于我们拥有大型语言模型，并且我们有理解它们的方法，我认为我们不妨投入更多资源来解决这个问题，用各种方法进行评估等等。这里有一个例子，就是几个不同的大型语言模型代理都在审查 Sam Altman 的一篇文章。他的许多文章都极具推测性且非常可疑，但同时，它们写得很好。所以，这是一个例子，其中清晰度教练在问题中指出，这是一篇写得很好的文章，但 OpenAnnotate 是供人类注释人类的工具，或者也供人工智能注释。目前它仅用于大型语言模型注释。是的。所以有很多人要求大型语言模型对他们的写作提供反馈，以及像你一样总结别人的写作。你基本上是在说，为什么我们不，当你使用浏览器浏览网页并阅读所有这些东西时，为什么不一直都有大型语言模型反馈呢？我正在说很多事情。我说的基本上是，这种思考方式可以带来非常有趣的功能和特性集，我认为它值得更多的探索。对吧？这不仅仅是关于它是一个浏览器扩展。它还例如，在这种情况下，所有文章都附带了它们的评估列表，比如关于一切的评估。所以你可以开始发现评估中的偏见。讽刺的是，偏见检测器的评估比 EA 影响评估器要负面得多。你知道我从来没有想过这一点，但这非常有道理。我的意思是，想象一下训练你自己的代理。你喜欢，看，我喜欢检测人们似乎有偏见的时候。我只想让你一直强调这一点，就像我在告诉我的代理一样，然后我让这个代理在我阅读网络、阅读社交媒体时在我身后看着。就像，嘿，你让我提醒你注意偏见。嗯，这个人写了大约一百万篇关于这个的文章。我检测到这里有很高的偏见概率。或者，哦，这个人提出了一个似乎已经被驳斥的论点。所以，基本上，任何我想注释的东西，我都可以自动获得，现在有了大型语言模型的力量。是的，就是这样。就像，基本上，有很多方法可以有价值地让大型语言模型处理文本信息并做有用的事情。我认为值得大量探索，比如尝试所有这些方法，尽可能多地获取关于它们会是什么样子以及如何使用它们的信息。这非常有趣，因为现在每个人都知道，当你编写代码时，很少有人会直接使用你的代码编辑器。我知道我个人正在使用 Cursor。所以，当我输入代码时，我会有 AI 建议非常有用的大块文本自动完成。所以每个人都知道你现在真的不能生啃代码了。而阅读似乎仍然很原始。就像我在浏览社交媒体，我在阅读人们的帖子，而我没有像阅读方面的 LLM 助手。是的，完全同意。而且我设想一个更复杂的世界，就像任何时候你阅读任何东西，你都会得到你感兴趣的关于那个东西的所有问题的亮点。它还会提供关于这个文档的所有重要背景信息。潜在的偏见是什么？哪些事情没有被提及但应该被提及？关于任何特定的文本，我们通常会完全忽略的额外信息有很多。是的，我愿意预测，在接下来的两年里，我们社交圈中的人们使用某种基于 LLM 的助手来阅读，就像他们日常的阅读一样，将非常普遍。而且，说实话，我一直在考虑制作我自己的小产品，不是在阅读方面，而是在收听方面，因为我每天都有大量的播客和采访要听，但它变得太压倒性了。我希望能将其缩减到最好的三分之一，但如何获得最好的三分之一呢？嗯，我需要 AI 来帮助我。所以，我一直在考虑制作一个收听方面产品，而你一直在考虑在阅读方面做这件事。我认为世界需要两者。有很多像这样的明显分析。嗯，有一个叫做“黑锅铲项目”。他们发现了一个科学错误，这个错误在黑锅铲周围引起了很大的轰动。有人声称它们极其危险，因为计算错误。就像，人们对它们进行了一些数学计算，认为，嘿，这些黑锅铲会造成健康危害。很多人扔掉了他们的黑锅铲，因为他们说，“哦不，你需要恐慌。你需要惊慌失措。”但事实证明这只是一个错误。而且这是一个如此简单的错误，如果你小心的话，可以说，你可以用 LLM 来捕捉它。明白了。明白了。是的。所以世界充满了交流，你知道，大型白皮书、政策文件、总统应该阅读的文件。这些都充斥着各种各样的错误。通常错误会悄悄溜走。而现在你说在 LLM 时代，我们将变得更加严谨，不会再有粗心的错误。是的。是的。嗯，这是一个巨大的空间，就像，也有一个巨大的范围，一方面你有带有各种错误的文章，另一方面你有分析，比如这篇文章中有多少新颖有趣的信息。我们越能进行这种分析，人们就越能从中受益。希望其中一些能够带来积极的协同作用，即我们对信息有多大价值有非常强的评估，然后其他人则试图提供有价值的信息。对吧？所以，就像一个非常强大的评估会造就强大的作家。对吧？而你的工具侧重于评估写作，而不仅仅是为读者增强它。你说得对。是的。好的。让我们来谈谈有效利他主义。你是有效利他主义者吗？嗯，我会说是的。这是个简短的回答。我也会说是的。这有点好笑，因为很多人被问到这个问题时，有效利他主义，众所周知，人们会说，“嗯，我算是有效利他主义的。”有很多人这么说。是的。我认为，尤其是在 FTX 之后，这已经成为一种现象。但也没有一个非常明确的定义或界限来确切说明有效利他主义在哪里结束，而其他东西在哪里开始，对吧？你知道，当 FTX 事件发生时，你知道，Sam Bankman-Fried，他总是谈论成为一个有效利他主义者。他捐赠给了有效利他主义事业，然后他却成了不道德的罪犯。有些人说，他不是不道德的。他只是在做有效利他主义所说的。有效利他主义说，你只是最大化预期价值，即使你在此过程中把别人搞砸了。而像我这样的大多数有效利他主义者都不同意有效利他主义就是这么说的。所以，无论如何，当 FTX 事件发生时，我的态度是，嗯，显然有效利他主义仍然非常有意义。就像，仅仅因为这个人是个罪犯，而且是个 [ __ ]，这并不能真正改变我对有效利他主义的热情。你怎么看？我的意思是，我已经在我的阵营里了，对吧？我同意你的看法。所以，当然，嗯，是的，我倾向于不过多地关注 SPF 作为一个特定的个体。就我个人而言，我认为我花了一段时间来研究 SPF 发生了什么。我认为，你知道，他给我的印象是一个权力寻租的马基雅维利主义者，就像伊丽莎白·霍姆斯、拿破仑一样，有一长串破坏性的权力寻租者。他们有非常不同的行为原因，但他们仍然能够利用一些道德推理来为自己辩护。正是如此。所以，当这件事发生时，并不是支持他的有效利他主义者知道他是个罪犯。对吧？好的。所以，当他亮出底牌时，他说，“惊喜，我正在使用客户资金进行这些投资。就像，我的资产负债表看起来不像你认为的那样。”现在，这部分拼图并没有揭示有效利他主义者是不道德的。就像，这只是一个人，结果是个罪犯。我认为这类似于伯纳德·麦道夫揭露他进行庞氏骗局的时候。并不是所有支持他的人都说，“啊哈，资本主义是腐朽的。”因为看看伯纳德·麦道夫。就像，“等等，什么？只是一个人搞了个骗局。”是的。嗯，这里有很多东西需要深入探讨。我确实喜欢细微之处。所以，我可能会说，嗯，你知道，我认为 SPF 的所有亲近的人可能都可以做一些事情来进一步调查。我认为确实是人们不知道发生了什么，但可能需要更多的谨慎和更多的关注。其中一些来自有效利他主义的立场。其中一些来自 80 亿美元的那些把资产投入他们基金的人。我真的希望那些人能够组织一些事情。所以，我不会确切地说，只是为了说清楚，你是说 Sam Bankman-Fried 周围的有效利他主义者本可以做得比红杉资本更好的尽职调查，红杉资本是排名第一的成熟的风险投资公司。你是说，“是的，红杉资本在尽职调查方面完全失败了。”就像，直到崩溃的那一天，他们的网站上都有一篇歌颂 Sam Bankman-Fried 的文章。但这些围绕他的有效利他主义者，他们本应该做得比这更好。嗯，我也认为红杉资本应该做得更好。就像，我认为所有接近它的人都失败了，对吧？就像这个，我同意你，每个人都失败了，对吧？对我来说，这太疯狂了。我只是有一种视角，当这种失败发生时，我想，是的，失败是常有的事，罪犯也是常有的事。你知道，伯纳德·麦道夫与资本主义无关，对吧？就像，伯纳德·麦道夫运作的那个系统，拿别人的钱试图投资以赚取更多钱。那个系统，资本主义，金融化，那是一个完全好的净积极系统，仅仅因为一个人利用了它，而且人们多年来都没有抓住他。就像，多年来。有些人怀疑，有些人不怀疑。他欺骗了很多高质量的投资者。对我来说，这很相似。就像，是的，有些人可以做得更好，但那又怎样？这与有效算法无关。我的意思是，我大致同意。嗯，我认为很多因为 SPF 而鄙视有效利他主义的人真的没有深入思考或参与讨论。嗯，他们中的许多人会说，“哦，SPF 是个坏人，所以，我将停止帮助别人。”我认为这简直是荒谬的。嗯，同时，我认为你有时确实需要小心，就像你具体指出的一样，关于我认为有点诱人地说，有效利他主义是完全完美的。而且我认为有效利他主义可能做得更多来保护自己，因为有效利他主义在这件事中受到了很大的伤害。就像，很多有效利他主义者后来非常生气。这真是个巨大的混乱。嗯，显然现在是的。所以，我认为很多人可以做得更多，我们应该作为一个整体社区从中吸取很多教训，并努力防止未来的坏人。同时，我认为 SPF 并没有改变我的想法，即我想努力帮助世界各地的人们，并且我想聪明地去做，这在很大程度上是你所关心的核心。正是如此。有很多人认为，嗯，这个品牌已经无法修复地被玷污了，我们需要一个新的品牌，我们需要转向其他东西。而我只是说，你看，归根结底，当我还有一些剩余的钱，想做一件好事时，我想把它捐给那些我能有效帮助的人，我不会去一个该死的宠物慈善机构。就像，我想看看如何用 100 美元在接下来的 50 年里极大地改善某人的健康。就像，我仍然有兴趣做这件事。而且我认为我不需要称之为有效利他主义以外的任何东西。是的。嗯，抱歉，我很大程度上同意你的看法，正如我经常说的。嗯，我说，就像，有效利他主义的品牌，我认为，可以说，我们所知的有效利他主义这个特定事物的特定品牌，我认为它不是什么大事。我认为，就像，有效利他主义不必过度推广自己。嗯，它也不像，品牌现在不太好，因为人们出于好或坏的原因都有负面联想。但这是一个不同的问题，你知道，我们是否认为人们仍然尝试帮助他人并尝试在这样做时使用数学和明智的推理是道德上合理的？而且我认为，我非常怀疑那些说我们应该停止做这些事情的人，因为 SPF 的原因。现在，即使是这个品牌有如此多负面联想的概念。我甚至认为这被夸大了。我现在就可以告诉你，如果我去问我妻子，她对有效利他主义有什么联想？她会说，嗯，利他主义，我认为利他主义是好的。就像，她甚至不知道我在说什么。这很复杂。嗯，有效利他主义社区对此进行了很多讨论。我认为有些人认为，没有人知道有效利他主义是什么。我们仍然需要推广它。另一些人则认为，一些聪明的 Twitter 用户和一些聪明的知识分子确实知道，他们只是听到了关于它的坏消息，原因不好，或者，你知道，出于他们的原因。所以，这本身就是一件事。尽管如此，我再次认为，我不知道这个品牌具体改变了多少。如果我们试图倡导我们所相信的，我认为我们可以做到这一点，而无需提及有效利他主义。就像，通常这会碍事，原因有很多。就像，我们只是希望人们，你知道，更利他，更多地帮助世界，并且也更理性，并且希望我们不会得到我们不确定的其他观点成为方程式的一部分。而且我认为这些事情可以在没有“有效利他主义”这个词的情况下完成。所以，我认为有很多东西，但是的，我从有效利他主义中学到的一个教训，以及从 Will McKaskal 的第一本书《做得更好》中学到的，我强烈推荐这本书，即使你不谈论有效利他主义，只是利他主义实际上可以是好的这个想法。就像，最显而易见的事情，当你这样说的时候，但现在有很多愤世嫉俗的人认为，每个慈善机构都腐败。它只是开销，你永远不知道。就像，你去做某事，它可能适得其反，也可能做好事。而当你谈论有效利他主义时，你不仅了解到一些慈善机构比其他慈善机构有效一百倍，你还了解到我们可以相当肯定地说，一些慈善机构实际上是好的，利他主义并非如此不可能的问题。就像，事实上，你可以给一个你不认识的人资源，并且实际上帮助他们。是的。我认为，从我的角度来看，任何对这个话题有点认真的人，如果他们至少读了一到三本关于它的书，他们就会意识到这是一个微妙的问题，而且在成千上万的慈善机构中，至少有一些是相当不错的选择，并且有统计数据。我猜几乎没有你提到的人做过这件事，而且很多人凭感觉行事，而很多感觉是基于对那些人来说方便的。就像，如果你相信慈善事业是无用的，那对你来说太棒了，因为那样你就可以证明不花钱做慈善。太棒了。我喜欢不花钱做慈善。嗯，但我不知道，是的，我同意，这有点像，我的代表是，这有点像一个不严肃的观点。尽管如此，这并不意味着没有一些更严肃的学者出于其他原因批评有效利他主义。但那是其他原因。普遍的观点很愚蠢。或者它有点像为非常明显的原因辩护，我认为。好的。所以，一个相关的课题。我们中的许多有效利他主义者都受到许多不同的功利主义论证的启发。就像，让我们优化未来的某个指标，然后将指标的概率乘以指标的价值，比如拯救的生命数量或减少的痛苦年数，等等。人们用来反驳这种思维方式的一个论点叫做“令人厌恶的结论”。他们说，你看，如果你把它推到极致，你最终会得到一个世界，比如，地球上有 1000 亿人类，但他们都过着最低限度的生活。就像，他们都只是吃着粗粮。他们挤在非常小的卧室里，几乎像笼子一样，这就是“令人厌恶的结论”，他们会告诉你，是的，我的生活几乎不值得过，而在你的脑海里，你认为“令人厌恶的结论”实际上是可以的。所以，你为什么这么认为？这是一个复杂的话题。我会说，有不同的看待它的层面。我会说，一个开始的层面是，我认为很容易使用我们几乎不理解的理论反例来做出重要论点，而且方式有点愚蠢。例如，我可以想象有人说，“嘿，我是一个亿万富翁，当然我可以帮助世界上很多人，但存在这个令人厌恶的结论，根据这个，在这个非常理论的约束下，在这个极其理论的世界里，有可能达到这些奇怪的设置。因此，我什么都不捐。”这太荒谬了。这太疯狂了。我认为，你在那里思考问题的方式有点失控了。我认为任何现实的看法都会说，这是这个辩论中一个方面的许多例子。有赞成和反对的观点。具体来说，我认为“令人厌恶的结论”通常不是有效利他主义者过于担心的事情。嗯，很多时候，它只是说，“嘿，这取决于你自己如何评价人，对吧？你可以说你认为零点在哪里，一个人净值是多少，你在哪里认为他们的生活净值是可考虑的，而它低于那个。”所以，是的，你开始根据你如何看待人们的价值来做权衡。如果你决定在最后你不喜欢你看到的东西，那可能更多地说明了你如何看待人们的特定方式，而不是整个价值衡量方式本身。对吧？对吧？所以，这可能告诉你，门槛只需要稍微提高一点，你就会满意。我同意你，用“令人厌恶的结论”作为今天不做慈善的理由是荒谬的，因为我们离那还很远。就像，所以即使你同意，是的，这是一个滑坡。我不喜欢滑坡的底部。似乎我们离斜坡很远，我们可以滑一点。但然后我的问题是，好吧，纯粹理论上，你不认为“令人厌恶的结论”是相当令人厌恶的吗？再次，对我来说，我的意思是，“令人厌恶的结论”是根据你提供的效用函数选择的。就像，是你说了，“嘿，这就是零对我的意义。我有一个特定的金额，在这个金额上，这个人正在经历零效用。”一旦你给出那个计算，那么“令人厌恶的结论”就是说，“哦，嗯，有一些例子，很多人接近零。所以根据你提出的这个东西，成本效益优化意味着，是的，有一些场景，你会有很多高于你设定的零点的人。但这是你的选择。如果你不喜欢那个结果，如果你看到它然后说，“嘿，我的简单函数最大化效用的结果是创造了很多刚刚超过我的零点的人，而这个特定的东西感觉不对，”那么我会很好奇，也许你只需要稍微改变那个零点，直到你发现结果是合理的，并且你也发现输入是合理的。我认为这是一个很好的见解。所以，如果我试图说，你看，这是多么令人厌恶，即最优化世界，拥有最多的人口，最优化资源分配，就是给每个人最少的资源，这样他们就只能吃最基本的营养食物，这是最有效率的生产方式。如果我说所有这些，然后我说我讨厌它，那么你说，嗯，为什么你不改变你对什么是最小的定义，然后稍微好一点，直到你喜欢它，因为是你自己提出了定义。对吧？所以，是你自己试图设定这个阈值。所以，如果你决定，在最后，阈值产生负值，然后你说，哦，这产生了负值，那么这是一个很好的迹象，表明你只是设定了阈值，就像，这是你的阈值，对吧？所以，是的，这有点像滑坡，你说，好吧，你不必一直滑到地下室。你总是可以说，使用你自己的效用函数，地板在哪里。是的。而且有很多这样的情况，就像，当你真正遇到具体例子时，就像，我们有 1000 个人，每天收入 20,000 美元，或者 10,000 人收入 1,000 美元，这取决于数学如何计算。这取决于你来决定哪个看起来更好。在某个时候，我想很多人会停止，但停止并不意味着，就像，优化和尝试根据这种数学来帮助人们的想法是错误的。是的。而且当我们谈论“令人厌恶的结论”时，另一个观察是，它不像你能给某人的最便宜的东西，就像，每意识到的存在最有效率的东西。它不像最便宜的东西就一定是最好的。例如，就像，如果你给某人听最便宜的音乐，它仍然可以是真正伟大的音乐。哦，是的。嗯，是的，有很多，我认为，嗯，很多人认为基本的生活，我认为比他们预期的要好，当你看看幸福曲线之类的东西时。嗯，很多人似乎即使贫穷也享受生活。但所有这些都与主要问题无关，就像，这是一个非常具体的理论实验，或者你知道，思想实验，即使撇开人们的想法的经验来看，你也不需要说，基本上，最大化效用的基本原理是一个非常干净、非常难以反驳的事情，基于这些非常非常狭窄的场景，对吧？好的，是的，你确实显著地改变了我，让我觉得“令人厌恶的结论”不像我之前想的那么重要。所以，就像，带来享受生活的意识实体的数量，我认为我们将能够为每个实体提供足够的资源。而且，再次，我不知道具体的经验在多大程度上起作用，因为我设想在很多具体的决定中，我们将玩弄一些高于基线幸福感的东西。我将指出，有一些哲学讨论与这个问题相关，而且有一些聪明的人，他们有非常深刻的哲学见解，会争论其中的一些观点。所以，我认为，这并不是一个完全确定的事情，但我认为很多这些论点将是很多听众不关心并且不会关注的事情。但你应该知道，有一个更大的辩论，关于这个问题的具体方面。很酷。好的，让我们回到你最大的关注领域之一，那就是思考如何利用人工智能来应对所有这些不同的用例并改善社会的未来。所以，我们谈到了你称之为“人工智能评估”的东西，当我们谈论 OpenAnnotate 时。你说，嘿，人工智能可以评估你写作中的偏见和其他写作属性，并给你一个分数。还有哪些事情可以用人工智能系统自动评估？我的意思是，理论上，世界上所有可以评估的东西都应该被评估，包括评估有多好。如果你认为评估是净负面的，那本身就是一种评估。所以，你可以，你知道，进行评估，说这个其他评估会很糟糕，然后就不做或不公开那个评估。但实际上，我的意思是，我们应该评估所有项目有多有价值，所有工作有多大价值。很多这实际上是公共物品和协调问题，如果我们能够解决所有不同的部分，就可以得到极大的改善。有很多东西可以谈论，关于如何优化世界的每一个方面，因为我认为几乎所有方面都可以通过更好的推理来改进，而一种发挥这种推理的方式就是这些评估。尽管如此，就你的听众关心和我关心的事情而言，一些大的问题是，关于如何处理人工智能，如何处理人工智能实验室，以及如何处理人工智能争论，理论上，我设想我们想要做的是，我们想要对进行这个特定实验的预期价值，或者将这个人工智能释放到野外，或者采取安全措施，有非常好的评估，对吧？就像，可以说，如果我们能够做到这一点，即我们可以通过大型语言模型进行很好的成本效益分析，那么政策制定者就可以要求人工智能实验室这样做，并确保他们不做违背它的事情，对吧？而那将比任何粗略的措施，比如，哦，你不能超过这个 GPU 限制之类的，要更细致、更复杂。是的，所以就像帮助争论正确的政策就是它们如何提供帮助。我的意思是，也推荐结束政策。一般来说，我们希望人工智能能够监督关键的决策，然后标记哪些决策对社会净有益，哪些对社会净有害，然后风险最大的那些应该被标记，超级标记，然后应该交给政策制定者和其他系统，对吧？是的。你有一个更大的愿景，基本上是人工智能治理，对吧？而你写过的一些入门级的东西是，你可以使用人工智能来帮助人类治理其他人。是的。我的意思是，我认为人类在治理其他人方面很平庸。我们只是有协调失败，在某个阈值之后就会真正崩溃。而大型语言模型能够做很多治理工作，而治理工作通常包括审查很多东西，确保激励措施正确。很多这种详细的工作都可以通过智能来完成。所以，可以说我们拥有非常非常强大的工具，我们可以使用，这既可以监督人类，也可以监督人工智能。所以，当我想到人工智能越来越聪明时，你会发现在 OpenAI 的语言中也是如此，就像，很快我们就会有人工智能，它将是人类工人、人类经理和人类首席执行官的直接替代品。所以，当我设想这种加速，这是它的方向时，我设想人工智能开始像对待资源一样对待人类，有点讽刺，就像我们对待计算机一样，对吧？我只是对我的电脑大喊大叫，对吧？我的电脑只是我的奴隶。我把它当作工具。所以，我设想很快就会有人工智能首席执行官，就像，伊隆·马斯克乘以 100，对吧？就像，只是对人类大喊大叫，就像，粗暴对待人类。基本上，就像，给你，戴上这个头显，我只会给你下达指令，你只需要进行最少的思考，直到我给你下一个指令。但将是人工智能粗暴对待人类。具体来说，它将是，“看，你有一个身体，你有手。我需要你去为我做这个体力任务。就像，去当我的水管工。好的，太棒了。现在回来，就像，下次我需要一双肉手时，我会让你知道，但在此之前，我就在这里的赛博空间里很好。”就像，这就是我设想的，当我想象人工智能很快就会命令人类时，桌子会怎么转。但你说，“不，不，不。让我们不要想那个。让我们只考虑人工智能如何帮助协调人类社会。”嗯，我认为有很多东西需要考虑。就像，我认为，尝试思考人工智能将如何管理特斯拉的未来是一项有用的事业。然而，我也认为人工智能将帮助我们管理特斯拉，对吧？就像，人工智能将帮助我们制定可能影响特斯拉去向的法规。可以说，我们与大公司合作面临的主要挑战之一是很难监管它们。其中一些是因为我们现在不够聪明，对吧？但如果我们聪明得多，如果我们能够更多地监督事物，我们可以为公司创造巨大的激励措施，例如，然后这可以，你认为有什么特别有趣的案例，现在一家公司的瓶颈是因为它没有良好的监管激励措施作为例子？社交媒体就是一个例子，很多人已经放弃了甚至试图在那里设定良好的激励措施，因为他们认为政府的参与太复杂了。我的意思是，我记得扎克上了乔·罗根的节目，他问了我一个非常公平的问题，当乔提到所有关于隐私、监管和诉讼的争议时，扎克说，“好吧，如果你在我的处境，你会怎么做？你认为什么是好的政策？”而乔基本上什么都没说，这实际上是可以理解的。我实际上倾向于认为扎克做得相当不错，我认为这是一个有争议的观点。但根据你的观点，你认为他可能应该做一些更好的政策，而且也许人工智能可以指出这一点。你怎么看？我的意思是，我认为，嗯，社交媒体非常强大，对吧？它可以产生很多积极或消极的外部性。很多人花很多时间在上面。你正在改变很多激励措施。所以，它，我认为，现在社交媒体非常优化，以至于为创建的社交媒体赚钱，你知道，它被优化以产生参与度，产生诱饵等等。系统中没有多少激励措施可以确保人们对世界更加准确或更快乐，尤其是如果这会以他们使用社交媒体为代价的话。他们只是没有这种激励。所以，可以说，政府的很多工作就是帮助实现这种激励，对吧？而且有很多方法可以做到这一点，只要有足够的信息。是的。所以，也许你想象的方式，它有点像 GDP，但更多是为了幸福和生活质量，然后我们衡量公司如何提高这一点。是的。我们在这里可以做很多事情。在一个世界里，你可以想象我们有一个小代理，一个代表美国利益的人工智能代理，它正在观察 Facebook 正在做的每一个决定。也许很多这些决定甚至不是来自参与的人类，因为人类非常复杂，难以处理。他们有秘密的动机，所有这些东西。如果 Facebook 有一个人工智能首席执行官，但这是一个经过大量评估的人工智能，例如？所以，不，它不会做任何鬼鬼祟祟的事情。我们可以观察它的决策过程，并确保它在决策过程中不做任何违法的事情，而人类很容易做到这一点，对吧？所以，我们可以从政府或集体利益的角度拥有更多的控制权。同样，我想说政府也有很多问题。我认为我们应该尝试自动化它们，或者我们应该尝试更多地监督它们。好的。我的意思是，所以就我个人而言，在短期内，我并不觉得这很有说服力，就像，哦，我们将通过这个新指标让 Facebook 在隐私方面做得更好。我认为这有点牵强，在我看来，但我想在执行明确的政策方面可能有更多的应用。我的意思是，很多人说特朗普总统正在挑战很多监管的界限。所以，这是一个值得关注的领域，但可能不是他。我的意思是，可能我们也应该关注像国税局更好地履行其职责，尽管税法可能相当不清楚，但可能有一些地方，如果政策得到更好的执行，可能会更好，也许我可以帮忙。嗯，是的，我的意思是，政府内部有很多事情。这是一个巨大的事情。我也认为，就 Facebook 而言，我同意，根据时间线的走向，我不知道这是否会在疯狂的人工智能事件发生之前发生。可以说，有效利他主义者最关注的事情是确保人工智能转型顺利进行。我们如何确保，我的意思是，是的，政府在那里做出正确的决定，对吧？正是如此。是的，因为我们正在进行头脑风暴，就像所有这些东西都会很酷，但现实地说，如果它会产生影响，最大的影响可能只是这个问题，就像管理转型，如何不发生人工智能接管，所以像“我们可以实施一项关于何时必须关闭人工智能芯片的政策，因为它继续下去太危险了”之类的政策，所以也许人工智能可以帮助暂停人工智能类型的政策。是的，我认为那是，是的，尽管如此，如果你对政府感兴趣。一直有人谈论在政府中使用预测市场。但一般来说，就像，LLM 代理，它们不会像，有可能使 LLM 系统比人类更容易理解、可解释和可评估。所以，在政府高层拥有它们，对于某些类型的决策来说，如果做得非常好，可能是一件好事。就像，与人类系统相比，我们对 LLM 系统的期望有更高的上限，在信任度和其他方面。我认为是的，它们可以做出具有约束力的承诺，就像它们承诺做什么一样，这不仅仅是一个承诺，它实际上是符合这些审计的，就像我的代码一样，我可以证明我的代码具有这个属性，就像我一旦上任就不会做其他事情一样。是的。它们还可以知道比许多人允许的更多的信息。所以，你可能会有两个 LLM 代表两个政府或两个政府实体，它们知道很多秘密，然后进行谈判，然后销毁自己，或者你知道，这些代理将被丢失。所以，你不必担心这些秘密被泄露，但你仍然可以有使用这些秘密的谈判方。对吧？对吧？好的。让我们回到关于人工智能能力增长的政策。所以，我是“暂停人工智能”组织的成员。我认为我们正在玩火。与一个理智的物种应该做的事情相比，我们已经走得太远了。你最近开始认为“暂停人工智能”的立场有点昂贵，我们需要看看更详细的提案，关于各种行动组合，而不是像暂停人工智能那样激进。所以，也许你可以详细说明一下。哦，天哪。嗯，是的，我的意思是，这有很多东西，就像我说的那样，人工智能政策和监管是一个巨大的话题，很多人都在研究它，而且通常很少有人在研究。
提案只是暂停人工智能，对吧？就像很多提案都是政府应该做的一些具体事情，以便更好地监管人工智能，监督它。嗯，你可以放慢它的某些特定方面。所以，例如，如果我们认为，我认为实际风险很可能来自正在发生的事情的一个子集。所以，嗯，例如，微软或像苹果这样的公司创建人工智能系统来，嗯，监督你的iPhone，这不会带来巨大的风险。但是，嗯，OpenAI 进行下一次训练运行，如果它将是高度自主的，并且拥有，嗯，非自然的力量，那才是风险真正可能开始发生的地方。所以，嗯，第一件事就是真正找出，嗯，风险在哪里，然后，嗯，真正尝试，嗯，首先监督那些东西，然后，如果你真的需要，嗯，真正放慢其中一些部分。是的。因为在你最近的Facebook帖子中，你说，看，我们不能只是说“暂停人工智能”，因为现在我们正在从股市抹去一万亿美元，这意味着很多人的生活会变得更糟。所以我们真的必须在这里尝试使用更精细的手术刀。那么，你认为我们应该首先关注什么？嗯，我的意思是，我认为，嗯，我不是，嗯，我不会花时间做人工智能政策。有几个组织这样做。嗯，所以我想，嗯，MIRI 刚刚发布了一个，嗯，政策报告。嗯，从高层来看，它对我来说看起来相当合理。嗯，甚至还有像 AIA 2027 这样的，嗯，最近发布的报告，它涵盖了其他方面。总的来说，已经做了很多政策工作。所以说实话，我可能会有点天真地从那里开始，那里有很多具体的东西。嗯，话虽如此，我特别热衷于一些使用人工智能来帮助监管人工智能的事情。所以，例如，嗯，使用人工智能来审计，嗯，人工智能组织，以确保没有发生任何可疑的事情。嗯，我的意思是，有一些非常基本的事情，比如我们确实希望对正在发生的事情有很大的透明度。嗯，我们想确保我们能在需要的时候阻止事情发生。嗯，是的。是的。我的意思是，我觉得“一键停止”对我来说是一个相当重要的部分，它被描述为，看，每次运送一个 GPU。GPU，它必须是一个接收来自国际组织的无线电信号的系统的一部分，该组织拥有，你知道，匹配一个已知属于集中式组织的公钥，你知道，集中化是令人讨厌的。但归根结底，我认为我们作为一个物种至少需要一个关闭按钮。就像这是我们的最后希望。就像，我认为我们中的许多人都同意，事情很有可能迅速失控。如果我们能建立某种准备措施，那将是很好的，因为这似乎是可能发生的。所以，我倾向于同情那些硬件级别的关闭按钮类型的提案。嗯，所以这里有很多事情。我认为，嗯，为 GPU 设置一个易于按下的关闭按钮是完全没问题的。嗯，但我们不按它。这与争论我们现在应该停止所有人工智能开发不同。对。我说的意思是，你不需要，嗯，现在就完全停止所有人工智能开发，因为人工智能是一个巨大的事物。嗯，它有很多部分，等等。我只是对它可能造成的后果感到紧张。但我认为，嗯，是的，实施技术以确保国家行为者更容易获得 GPU，这对我来说似乎是好事。我认为这最终是一种非常单边主义的事情，就像，嗯，一旦，抱歉，随着人工智能开发者开始做更多可怕的事情，尤其是在极端情况下。这是整个，整个全球社区都应该感到恐慌并希望监督的事情，并对此发表意见。而现在这并没有发生。所以，我很高兴能帮助推动这一点，然后帮助他们做出决定，这可能意味着，嗯，更多的监督和一些监管，尤其是在最可怕的部分。对。对。对。好的。所以，我认为你的观点基本上是，不要阻止前沿公司。不要阻止前沿人工智能公司训练他们下一个比他们之前的模型更强大一点的人工智能模型。就像现在不要暂停它。但也许值得准备好随时暂停它们。所以，更具体地说，肯定会有一些狭窄的暂停，我对此没意见。所以，如果你说，看，前四家公司不能进行比以前更多的 GPU 模型训练运行，但他们可以做其他类型的人工智能工作，这对我来说不会显得很疯狂。这是一种有限的事情，我预计它在短期经济影响方面可能会造成约一千亿美元的损失。嗯，我有点担心的，是这些更宏大的提案。就像，在接下来的 3 年里，任何人工智能开发者都不能做任何事情。我认为这有点愚蠢。嗯，与更像使用手术刀和更复杂的措施相比。但说得好。我的意思是，作为一个人工智能倡导者，并没有一个我特别喜欢的政策。我的意思是，对我来说，这非常像是进退两难。人们喜欢来我的比喻中提起那块石头。他们喜欢说，“你想要国际协调？这不可能。”国际协调是不可能的。试图与我们合作。这不可能。我说，“好吧，你说这不可能。我可以用同样的话‘不可能’来谈论 10 年内安全的人工智能。对我来说，这似乎是不可能的。所以，仅仅指出一件事并说‘这不可能’对讨论没有帮助，当所有选择都是不可能的时候。所以，你只能选择最不可能的选项。这就是讨论的性质，对吧？哇。哇。你刚才说了几件事。嗯，我认为，嗯，许多同情人工智能的人同意我的许多观点。我认为有很多重叠之处，比如我们都认为我们想要监管。我们想确保有一些国际监督。嗯，你说的关于“你知道这不可能，所以我们不能关注它，因为其他事情也不可能”的具体事情。我的意思是，我认为有很多事情是可能的。嗯，其中一些，你知道，国会议员，其中一些人同情这些事情。嗯，而且我也不知道，如果这是不可能的，我也不想关注它。这不完全是支持它的论点，对吧？我的意思是，论点只是，嗯，美国可以协调起来认为这是一项好政策。但当你还试图拉拢中国，更不用说俄罗斯以及任何其他不那么友好且拥有人工智能能力的国家时，一旦你试图让所有这些国家合作，一个国家密谋如何脱离或害怕其他国家密谋反对它，因此密谋如何脱离的动机就太大了。就像，这就是为什么这不可能的论点。嗯，我的意思是，再次，那些事情，我很多都不反对，而且我认为我们不需要，嗯，做像一个非常笨拙的人工智能暂停版本，以便获得很多好处来解决你的问题。我认为我们可以，但是，如果只有美国开始在国内监管自己的人工智能，如果中国全速前进，那也不会有什么用，对吧？等等，那么你的“暂停人工智能”提案到底是什么？就像，不是吗？是的。是的。我的“暂停人工智能”提案是进行国际监管，直到任何地方获得强大数据中心的任何人，以训练下一个最强大的人工智能模型，都必须与集中式暂停进行连接。而且，说实话，这是一个模糊的提案。我的意思是，我不认为自己在这方面是一个称职的政策制定者。我我。我只是在说，嘿，我们如何才能不以最明显的方式被杀死，那就是，嗯，他们扩大了人工智能模型，开发者按下了回车键，它完成了一个任务，而这个任务爆炸了。就像，这就是我所想象的，最愚蠢但仍然很可能发生的死亡方式。所以，你所描述的听起来是一种你可以采取的具体策略。嗯，我可以想象另外一百个同样合理的提案。嗯，对我来说，那听起来没问题。我的猜测是，任何一个提案都有可能成为绝对最佳提案的渺茫机会。嗯，所以我的意思是，我的猜测是，这个提案不是最好的，但任何时候你提到一个提案，它与我的提案在同一个范围内，它不也需要国际合作吗？你不能只是说，“哦，好吧，美国正在用它自己的数据中心这样做。”就像，那不会奏效。所以，好吧，这带来了其他问题。我们一直在谈论“我们应该暂停人工智能吗？”现在我们正在谈论“我们应该争取国际合作吗？”我认为。等等，但这难道不是同一个问题吗？因为我不认为有人说一个国家应该暂停它的人工智能，就像，那将会有很大的帮助。我不认为有人这么说。首先，肯定有。我认为，嗯，一些不太错误的人群，嗯，我认为他们会说我们应该暂停。也许他们是从领先的立场说的。所以他们说，这是获得国际暂停的一种战略方式，我们开始这样做，我们告诉中国，你们最好在明年跟着我们，否则我们将逆转，一切都会失控。这是在寻求合作时采取先发制人的方式之一。好的。所以，现在我们已经将讨论从具体问题转移到了“一些人在‘不太错误’群体中是怎么想的。”我只是说，我就是不明白你为什么会提出有人提出一个提案，只在一个国家暂停人工智能。我认为每个提出这个提案的人都知道，这是更大国际计划的一部分。所以，我们在这里谈论什么？这是一个好问题，而且很难就此进行辩论。嗯，尽管如此，我想说，嗯，一些快速的事情。第一，我认为，嗯，我可能更同情暂停，嗯，美国的努力，或者大部分放慢它们。嗯，因为我认为有理由说，嗯，虽然国际协议会很棒，而且我们也希望为此努力，嗯，但事实也是如此，嗯，放慢美国的步伐可能会让事情总体上更安全，而这是放慢美国的步伐，是为了，嗯，美国最可怕的部分，而不是我们所有人。如果我们放慢美国 6 个月，而现在中国的最新模型领先于美国最新的模型呢？你那时会怎么做？所以，我认为你正确地指出了这里存在一种紧张关系，即，嗯，如果美国确实放慢了速度，这并不能完全解决问题，因为其他国家拥有优势，你知道，我们将能够从中受益。但我认为这并不完全，你知道，意味着这样做没有价值。我认为，嗯，我们，嗯，我们放慢速度会给中国减轻压力。嗯，中国已经表明他们能够非常迅速地复制我们的进步。即使你现在的论点也是从这个整体的角度来看，嘿，如果我是世界独裁者，我会命令国际社会协调暂停。所以，你，你战术上说美国应该暂停，作为促进这一目标的一种方式。是的。一方面是，嗯，抱歉，弄清楚如何处理人工智能政策是复杂的。这里有很多提案，很多问题。嗯，我认为对于，嗯，如果我们只能获得美国所做的事情，嗯，我们会决定放慢其中一些吗？我的意思是，我认为我更同情，我会说，嗯，是的，我认为，嗯，其中一些相当合理。我只想放慢，希望是可怕的事情，而不是，嗯，更无聊的事情，更无聊的事情，但我认为，嗯，对于这个巨大话题的那个非常具体的点，嗯，我同意那一边。好的。所以，是的，这大概是我认为我们对政策方面的看法。现在，你在你的文章中提到的一点，我同意，是人们在谈论安全时，很多都关注大型语言模型的细节，而这些细节是你和我认为有些短暂的，比如它们代表了朝着开发越来越强大的人工智能发展过程中的一种中间状态。你做了一个类比。这就像晶体管一样。就像晶体管刚出现的时候。想象一下试图制定关于如何监管计算机的政策，而这些政策是基于 1960 年代晶体管的细节的。比如，哦，你最好别让它们运行得太热，或者，嗯，我们可以做一些事情，让它们运行得太热，然后它们就会停止工作，而现代晶体管就是不一样。所以，也许可以详细说明一下，为什么监管对大型语言模型来说太具体了。是的。在这种情况下，我实际上想的不是关于监管，而是关于现在正在进行的具体的安全工作。所以，现在有一大批研究人员正在努力确保人工智能是安全的，通过技术手段，对吧？那就是技术人工智能安全。所以他们试图使用软件工程来找出他们能做什么。我认为这是一个挑战。我认为他们中的许多人已经认识到了这一点。但一个大问题是，嗯，很难知道所有这些工作在多大程度上能够泛化，因为，嗯，存在一个“路灯效应”。嗯，这是其他人也谈论过的事情。嗯，John Wentworth 是一个对此特别生气的人，在“不太错误”的博客上。但是，一个大挑战是，我们今天可以研究的许多最明显的大型语言模型安全问题，可能不是我们为了真正确保明天人工智能安全所需要的。对。是的。我认为你在这里区分的“哦，我们在解释这个特定的大型语言模型方面取得了一点进展。”比如，看，我们发现它是如何将这两个数字相加的。它像这样表示数字，然后使用这个线性代数来模拟加法。比如，他们从中得到了一些关于弄清楚大型语言模型所做的小部分洞察，然后它就区分了我之前做过的关于人工智能工程一方面，另一方面是你称之为“智能学”，这是最终目标。这是对超级智能做什么，或者仅仅是足够聪明智能做什么的研究。这与研究特定当前智能实现如何工作非常不同。是的，我认为，嗯，这是一个活跃的辩论，一个活跃的问题。嗯，不同的提案将声称它们能够泛化到不同程度，嗯，对于未来的事情。嗯，也有，是的，你是否同意，与所需相比，机械可解释性似乎处于一个泛化性相当低的领域？所以，嗯，其中一些是一个经验问题。所以，一个大问题是，嗯，我们什么时候会遇到我们担心的 AI 恐怖？如果我们明年遇到严重的 AI 恐怖，很可能来自当前范式的东西。所以，详细了解当前范式，很可能有助于我们应对。嗯，然而，如果 AI 恐怖发生在 20 年后，那么到那时可能已经发生了几次革命。是的。嗯，你知道，如果 AI 恐怖确实发生在明年，那只意味着我们甚至不需要完全的恐怖级别，因为对我来说，完全的恐怖级别是你成为一个超级智能优化器。所以，当你能够获得比人类更好的宇宙结果时，你就是一个真正的超级智能。看起来大型语言模型即使没有处于这种非常明显的超级智能目标优化器状态，也能造成很多混乱。看起来，嗯，它们可能只是造成混乱，因为它们可能足够好，可以，嗯，黑入计算机，嗯，让一些人变得更强大，嗯，并摧毁我们的感知能力，对吧？所以，现在到处都是深度伪造，你不知道你在和谁说话。所以，这有点好笑。看起来有，嗯，失败的方式是，嗯，如此不体面，以至于你甚至不需要一个完全的超级智能来以这种方式失败。嗯，所以，是的，这也很，嗯，基本上我认为有很多风险情况，或者，嗯，错误分析，或者，嗯，嗯，有很多不同的，嗯，灾难性情况的剖面图，你可以想出来。嗯，EA 人工智能安全社区关注的主要焦点是，嗯，有一个超级智能接管了所有人，嗯，甚至它自己的主人，是的，基本上它的大部分将是，嗯，这一个，也许几个，这是一个狭窄的、离散的事件，它发生了，这与其他事件非常不同，所以，嗯，你描述的事件是不同的，也有，嗯，也许人类会使用与那些人类一致的人工智能，但人类会想用它们做坏事。嗯，另一个是，嗯，也许人工智能，嗯，伤害，你知道，认识论和协调能力。所有这些我都认为相当不同。而且我认为，嗯，我认为所有这些都非常非常不确定。就像你可以说，嗯，嘿，这有很多，嗯，[ __ ] 会很奇怪。我们不知道它会如何发展。它会如何发展。所以，这些是需要考虑的重要风险。但我认为，嗯，我可能会将这些不同事情的概率视为严重风险，与其他事情的概率非常不同。是的。是的。好的。但回到你早些时候的观点，只是为了回顾一下，你说的是，嗯，也许我们对大型语言模型进行的机械可解释性研究将会有帮助，如果大型语言模型本身就成为一个巨大的威胁，而它们的行为或特征与今天相比没有太大变化。然后当然，这仍然留下了问题，即今天的机械可解释性并不那么先进。大多数研究人员，我听过一些似乎非常愚蠢的人提出这种说法，但他们也提出了相反的说法，但似乎大多数机械可解释性研究人员会主动承认，他们距离真正解释一个完整的大型语言模型的输出以及它来自哪里还有很长的路要走。嗯，是的，这有很多。所以，我认为，嗯，你说的对，嗯，基本上机械可解释性的案例侧重于一些非常具体的风险情景，而不是其他情景，对吧？比如，如果你担心人工智能接管，它就非常有用。嗯，如果你担心人类使用人工智能做坏事，它就没那么有用。嗯，所以，是的，那也是真的，那也是另一件事，对吧？但我只是说，即使机械可解释性今天也工作得不好，而且似乎还需要很多年才能工作好，是的，所以这是另一件事。嗯，有很多事情。我的意思是，我认为，嗯，目前许多当前的人工智能安全工作不是，嗯，这很艰难，嗯，这是一个新领域，它很昂贵，但，是的，嗯，它们并没有像我们希望的那样顺利。尽管如此，嗯，我认为它并不像它完全没用那么简单。嗯，我认为即使信息有限。嗯，这仍然可能对监督和控制系统非常有价值。所以，例如，嗯，如果我有一个为我工作的人，我不完全信任他，我能稍微看到他的大脑，但不是完全理解他的大脑是如何工作的，我仍然可以想象这对我是非常有用的。是的，当然。但是价值足够有限。我的意思是，这就像说，如果我的 5 岁孩子能稍微看到我的大脑，就像，我很容易就能骗他。嗯，我的意思是，是的，到那时你就进入了，嗯，可见性有多少？嗯，你期望它有多大帮助，对吧？其中一些是关于，嗯，研究目前是什么样的。我认为它没有进行得那么好，但我认为已经取得了一些进展。嗯，是的，我会说控制是最近可能受到更多关注的事情。所以，嗯，Redwood Research 在控制议程上做了很多工作，这与这个有点不同，而且我认为人们对此更感兴趣。嗯，是的。是的。好的。嗯，让我们来谈谈你帖子中的一些杂项话题。嗯，有点像调色板清洁剂，真的。就像一个随机的轻松话题，你发过帖子。比如你发过关于现状偏见的帖子。我来读一段。你写道，“想象一下，你有一个受欢迎的公共社区中心，人们可以在那里安静地工作，使用免费的电脑和互联网，并举办当地活动。然后有人来了，建议，你知道什么会很棒吗？如果我们移除 60% 的座位，并用基本上没人会读的书来代替呢？听起来很疯狂，但出于某种原因，我去过的公共图书馆似乎将大部分楼层空间用于书架。”所以，我完全同意。我认为我们必须在这里割断与图书馆拥有大量书籍的想法的联系。你怎么看？是的，我认为现状偏见非常巨大，就像从许多理性思考者用新的视角看待世界的角度来看。他们会达成共识，我们做很多事情的方式在很大程度上是过时的。但是，是的，这只需要，嗯，很多人看不到。当你开始将它纳入谈话时，很多人会反对它。嗯，所以这很艰难。是的，我自己也写过关于现状偏见。关于现状偏见的事情是，与其他你可以学会标记它们的偏见相比，标记某人患有现状偏见的方法是你自己必须是一个有远见的人。所以，你之所以认为图书馆患有现状偏见，是因为你是那个有远见的人，能够看到图书馆的真正意义是一个社区中心。而它真正应该是什么，就像更多的空间供人们闲逛和社交，以及去，你知道，也许有私密的安静区域打电话，以及，嗯，所有这些都是图书馆的真正理想本质，然后书籍正在搞砸它。但是你不能仅仅指出一个图书馆并说“现状偏见”，除非你首先拥有那种远见。是的，我同意你需要进行一种分析，才能理解，嗯，这个历史悠久的事物之所以存在，是因为其原因不再是最优的。这种成本效益分析，可以说是我们可以让大型语言模型为我们做的。所以，也许几年后，嗯，我们将能够标记所有这样的情况，然后快速地，希望地，因为这个而走向一个更好的世界。对吧？我的意思是，当你进行超级智能目标优化时，你不会遭受现状偏见。现状偏见实际上是人类大脑独有的。我的意思是，假设你处理某些东西的方式，比如你对图书馆的心理概念将保持稳定，这是一种计算节省。但我认为，嗯，很快，当你变得超级智能并看着一个图书馆时，你作为一个超级智能的大脑很自然地会将其视为其组成部分，而不是依恋于这种抽象，比如，“哦，这是一个图书馆，所以它有像传统图书馆那样的书。”我认为那会很快消失。是的，我我想指出，嗯，我确实认为有一种，嗯，伯克式的保守主义。所以，确实有一些，嗯，研究人员会说，那些已经完成并且似乎运作良好的事情，我们应该，这给了它们一些可信度，它不是一个完全的错误，超出了成本效益分析或类似的东西。但是，一般来说，当你进行许多类型的成本效益分析时，它不会，嗯，将现状偏见带入其中太多，对吧？所以，有很多类型的分析可以消除你担心的偏见，嗯，以帮助我们做出相应的决定。我们不需要一个超级先进的人工智能来做很多事情。我认为很多事情可以用，嗯，当代人工智能和相当基本的，嗯，类型的分析来完成。是的。好的。另一个，嗯，经典的奥西帖子。你在谈论理想的咖啡混合物。所以，奥西写道，“我有一个想法，喝无咖啡因咖啡和咖啡因粉。这样你就可以将咖啡与咖啡因分离，并且可以非常精确地控制咖啡因剂量。克劳德说这是个坏主意，因为显然咖啡因粉可能很危险。显然，很难从粉末中获得精确或一致的剂量。药丸或片剂仍然有效。似乎是一个选择。这可能都过度思考了，但可能值得多想一下。我有点欣赏它一开始似乎非常违反直觉，但在一些反思后却非常合理，而且我怀疑它会引起争议。是的。所以，当我读到这个时，我想，“哇，这家伙比我高明多了，因为我经常喝咖啡，我从来没想过要故意把无咖啡因和咖啡因分开。”我的意思是，是的，我基本上将这些类型的分析应用于很多事情，并试图找到这样的东西，部分是为了标记它们。嗯，我我想指出，嗯，它有点突出了，嗯，我对人工智能系统帮助我们推理的结论感到兴奋。比如，也许会是这样，嗯，那些听取他们建议的人将在五年内过着古怪的生活方式。他们会违背我们所有的常规，在我们看来会显得很疯狂。但是，嗯，实际上当你开始计算时，嗯，它实际上是相当合理的。对。所以，这确实引出了一个相关的问题。你认为自己是阿斯皮吗？我不这么认为。我认为，嗯，抱歉，其中一些是，嗯，特定的科学诊断，嗯，我认为我没有做过。是的。我的印象是，嗯，我不会将自己归类为这种情况。嗯，话虽如此，我的意思是，我与很多人非常接近，因为，嗯，抱歉，这个社区的许多人在这方面都很高，而且我认为我们关心的特质可能有点相似。我不确定。我通常诊断自己为阿斯皮。你知道，我没有看过医生。我只是觉得没必要这样做。但是，回顾我自己的生活和我大脑的工作方式，似乎我非常明显地是一个阿斯皮类型的人。然后和你交谈，你知道，我确实有同样的印象，但显然你比我更了解自己的想法。嗯，是的，我不确定还能从中得出什么。嗯，我想说，还有另一个叫做，嗯，高度敏感个体，嗯，他们有点像不同的人群，他们，嗯，只是关注细节，嗯，所谓的。所以，我认为这可能，嗯，这占人口的比例要大得多。所以，你注重细节，你擅长，嗯，计算机编程和，嗯，数学分析。你思考基于其组成部分来逻辑地解构事物，但在你的脑海中，你仍然非常神经典型。嗯，这是另一种说法，对吧？还有，嗯，你的基因是什么和你天生是什么，以及你经过深思熟虑后决定了什么之间的区别。就像，我希望，嗯，有人可以成为那种利用成本效益分析来认识到他们应该做很多成本效益分析的人，并最终得出结论，至少在一种类型的，你知道，设置中，正确的人就是这样，就是非常注重细节和非常关注这些事情。我不认为，我不确定有多少真的来自一个人的基因个性或其他方面。是的，说得好。而且我甚至不知道统计关联，但我将阿斯皮与更内向联系起来，你会说这描述了你吗？所以，嗯，在这里，嗯，这是看待这件事的一种方式。嗯，我有时会好奇，嗯，与人互动的预期价值是多少。所以我，嗯，做过不同的分析，我认为通常分析不如我想要的那么好。我认为，嗯，人们，嗯，在这个时代，你可以以 2 倍或 3 倍的速度听播客。你可以很快地看其他东西。嗯，是的，我认为，嗯，人们互相交谈通常被高估了，但是，嗯，我认为，嗯，你说的，我认为这表明你是一个内向者，因为我认为，如果你是一个外向者，那将是一个终极价值，就像，与人交谈有什么意义，因为在你的精神本体论中，你正在获得价值。我认为如果你是一个外向者，生活就会是这样。嗯，是的，这很复杂。我知道，嗯，外向者会，嗯，他们会获得能量。他们从与人交谈中获得更多能量。我确实，嗯，喜欢与人交谈以获得一些能量。我这样做是为了，嗯，释放。那就是，我有时会困惑我应该对那些人说什么。对，对，对，对。好的。好的。好吧，关于这个话题就够了。嗯，让我们来谈谈你经常提到的另一个话题，有效利他主义中的亿万富翁，因为我认为你提出了一个非常出色的观点。所以你关注的是 Dustin Moskovitz，他是最著名的亿万富翁 EA。我想亚军也应该是 Yan Pollen，对吧？那算是顶尖的两个。是的。而且，你知道，对于听众来说，Dustin Muskovitz 是 Facebook 的联合创始人。他是马克·扎克伯格的室友。他从 Facebook 股票中赚取了数十亿美元。他还创立了一家成功的公司 Asauna，其估值也达到了数十亿美元。我不确定它今天的技术价值，但他本人无疑是一位令人印象深刻的创始人。而且他对有效利他主义和慈善事业非常开明。他经营着 Open Philanthropy，对吧？嗯，Dustin Muskovitz 经营着 Good Ventures，它资助 Open Philanthropy。明白了，明白了。哇。所以这比 Open Philanthropy 的层级更高。好的，告诉我更多。而且，具体来说，嗯，Dustin Moskovitz 和他的妻子 Kir Tuna 一起经营它。嗯，我不知道。我认为她花在上面的时间比他多得多，部分原因是他在忙于 Asana。嗯，对。我不确定该关注什么。我想说，嗯，我认为 EA 已经非常幸运地，嗯，有这两个人基本上，嗯，开始资助这个领域。是的。而 Yan Talin 是 Skype 的联合创始人，技术上是第一个工程师，他从 Skype 的销售中赚了数百万美元，Skype 最终被出售并再次出售，价值数十亿美元。嗯，我不认为他获得了那么大的退出，但后来他也非常非常早就进入了加密货币领域。所以我没有确切的数字，但他的加密货币收益可能超过十亿美元，这是非常可能的。是的。嗯，是的，我不知道他们俩的净资产确切数字，但是，嗯，就像，嗯，Dustin Moskovitz，你可能说的是 200 到 300 亿美元。嗯，Yan 也许，是的，可能在 5 亿到 30 亿美元之间，或者类似的东西。没错。所以我们肯定是在谈论数亿美元。而且，他也是，嗯，Anthropic 的第一位主要投资者。所以，如果你只看他今天在 Anthropic 的股份，那至少是几十亿美元。非常容易，甚至可能是两位数。所以，嗯，我不是说这个人会挨饿，但同时，嗯，所以他有，你知道，未来生命研究所，我认为是他的主要事业，但他资助了许多其他，嗯，理性主义者和有效利他主义者和未来主义事业，我实际上见过他几次，他绝对是个好人。我非常喜欢这两人，因为正如你指出的，与他们的亿万富翁同行相比，他们确实是出类拔萃的，对吧？就像他们是唯一真正“参与其中”的人。嗯，所以我想说，绝对在这个游戏中，对吧？就像这些人是少数几个试图积极，嗯，关注有效利他主义者关心的话题的人。嗯，肯定有像比尔·盖茨这样的人会给慈善事业捐很多钱，但通常是给其他慈善机构，但绝大多数亿万富翁基本上什么都不给。我认为比尔·盖茨绝对值得一提，因为他的研究所盖茨基金会，他们确实走在与有效利他主义者相同的轨道上。他们说，“看，我们有这么多钱，我们想花它来做好事”，他们没有，嗯，完整的 EA 框架围绕它，但他们有自己的框架版本，这值得高度尊重，即使走到了这一步。是的。嗯，有很多话题，你知道，有很多关于如何处理这些，嗯，这些亿万富翁，他们已经把他们的大部分资产给了好的事业。嗯，我认为他们值得高度尊重，但同时，当然，也不是完美的人。而且我认为有很多，嗯，很棒的人只是没有钱捐赠。同时，我认为主要的，主要兴趣是，为什么这么多其他人不捐赠？就像，有，嗯，是的，近 2700 位亿万富翁，其中大多数人捐赠的金额很少，可能占他们财富的比例很小，也许其他人说，正如你在最近的一篇帖子中指出的，正如你指出的，EA 的大部分资金来自 Dustin Moskovitz 净资产的一个子集，这对于 Dustin Moskovitz 来说很好，但是，其他人都在哪里？你知道，这对我们这个物种来说太可悲了。是的，我认为这很糟糕。嗯，我认为第一件糟糕的事情是，很多人根本不捐赠，对吧？比如，在美国，平均捐赠率通常不到 5%，而美国比其他国家高，而且可以说，在过去 20 年里，平均捐赠率一直在下降。嗯，但是，是的，这看起来，嗯，看起来很糟糕，人们根本不怎么捐赠，即使捐赠，也往往不是最好的地方。嗯，对。而且你还指出，即使从纯粹自私的角度来看，如果你是迈克·彭博这样的人，你也可以花掉 500 亿美元，对吧？他看起来是个好人。他肯定是个老人。他大概 80 多岁了，对吧？花掉 500 亿美元。他有这 500 亿美元，如果他花在人工智能指导或生命延长上，从纯粹自私的角度来看，这可能会非常有价值。是的。嗯，我猜想，很多亿万富翁可能对目前的政治气候不太满意。就像，这似乎是我几乎任何人都不希望发生的事情，尤其是在美国。嗯，所以他们却花了这么少的时间或精力来确保美国更稳定，或者，嗯，全球世界更稳定和美好，这有点奇怪。如果我们真的问自己，看，好吧，好吧，那是我们的观点，但让我们试着站在他们的角度来看，对吧？他们的观点是什么？但是你写道，据我所知，这些人从他们的大部分财富中获得的主要好处是登上福布斯富豪榜。这就是我们能同情他们的最好方式吗？就像，这里还有什么缺失的部分，关于他们试图做什么？所以，是的。所以，嗯，最终有一个大问题，就是，他们拥有数十亿美元。他们花在上面的钱很少，无论是用于扶贫，嗯，无论是用于慈善事业，还是用于他们自己。他们也没有花在自己身上。很可能会发生的是，他们会将绝大多数财产传给他们的孩子，他们的孩子会富裕一段时间，然后将大部分财产传给他们的孩子，对吧？所以，这笔钱根本没有花出去。所以，有一个大问题，为什么钱没有花出去？嗯，有几个原因浮现在脑海中。一是，嗯，通常处于权力地位的人是那些只关心权力本身，而别无其他的人。所以，他们只是喜欢权力本身。所以，在这种情况下，我们基本上拥有财富囤积者，他们之所以在那里，是因为他们囤积财富，对吧？而对于一个因为善于囤积财富而处于拥有如此巨额财富的疯狂境地的人来说，突然停止并改变主意，这是非常困难的。这些人只是有一些奇怪的强迫症，一些奇怪的心理让他们处于那个位置。嗯，还有另一种看待方式，那就是，嗯，看，在这些人所在的特定社交圈子里。嗯，这似乎是一种更酷的事情。也许人们会更看重你，如果你的净资产是，嗯，800 亿美元而不是只有 600 亿美元，对吧？就像，对于这些特定的社交场景，嗯，你可以试着同情他们，说，“嘿，这些人可能在生活中有很多痛苦。”就像所有人在生活中都有痛苦，所以他们可能不是最精神稳定或超级快乐的人。嗯，他们可能，你知道，晚上会因为潜在损失的想法而哭泣。这是可能让他们不知所措的事情，所以他们只是决定不把钱花在任何有用的事情上。嗯，是的，当然有办法说，“嘿，这些不是，嗯，我们正在处理的是人，而不是怪物。”对。抱歉。所以，你知道，我们只是在猜测，对吧？我们不确定福布斯前 100 名的人到底在想什么，而且我认为你指出 Dusk 和 Moskovitz 实际上只排在第 110 位。所以，我认为我们没有一个福布斯前 100 名的人在认真捐赠给有效利他主义事业。而且你只是猜测。我们不确定。所以，如果任何亿万富翁正在收听这个节目，并想来告诉我们他们对他们如何使用金钱的看法，你们都被邀请了。任何一个净资产超过十亿美元的人，都可以自动被邀请参加“末日辩论”，来告诉我们发生了什么。是的，我很想知道。我认为我的快速猜测是，他们很多人认为的事情并不那么令人惊讶，就像，世界历史上一直有，嗯，历代都有很多富人没有花钱。所以，而且他们在其他方面也不是非常不正常的人。我们就像，人就是人。嗯，同时，我认为了解他们更多，并，嗯，也许找出如何继续处理这个话题并鼓励其中一些人，嗯，做更好的事情，非常有益。现在，你也写了一个乐观的观点。所以，我来读你写的内容。你说，“讽刺的是，这是我继续对世界未来感到乐观的原因之一。如果人工智能安全需要花费一千亿美元才能顺利进行，那么如果看起来足够明显，就有多个个人可以在一年内拿出这笔钱。奇怪的是，他们花了这么长时间才做任何事情。而且我认为这在很多方面都应该感到羞耻。愚蠢和自私，但只需要几个人就能做大事。如果人工智能和股市继续表现良好，富人会变得更富，理论上应该有更多的可支配收入，如果他们决定花掉，那可能是积极的。公平地说，有一个问题是，有些人将他们的财富投入到能够控制他们的工具中，而他们只能以这种方式获得。而另一些人的财富则投入到非流动性资产中。但我认为这只是部分借口。是的，我同意。这只是部分借口。我的意思是，埃隆·马斯克可以买下推特，天哪。是的。嗯，我认为，嗯，一种看待方式是，可能有大约 10 万亿美元的资产，人们似乎不知道该如何处理，基本上放在股市上，留给下一代，传给他们的下一代。嗯，问题是，嗯，我们需要说服这些人什么？嗯，可以说，如果我们能够获得人工智能，能够，嗯，我认为，这些人可能对这些话题的教育很少，对这些话题的理解很少，这可能非常公平。嗯，而且也许其中一些，你知道，对于我们提出的任何作为良好干预的建议，可能都有相当多的健康怀疑。话虽如此，嗯，如果我们能够拥有能够更好地推理这些事情，并且能够更好地，嗯，提出具体的，嗯，提案供他们资助，并假设在那些是诚实和真诚的事情上说服他们。嗯，我认为假设，是的，那里有很多钱可以很快地转移，如果，嗯，如果，就像，如果有一些，嗯，清晰的胜利。嗯，我也想指出，我们谈论的人工智能安全领域的所有资金可能只占，嗯，不到 30 亿美元，或者类似的东西，尤其是在非政府行为者方面。嗯，到目前为止，然后，嗯，也许我们正在谈论，嗯，100 亿美元，这是，嗯，半承诺用于人工智能安全，嗯，在慈善家之间。与此相比，这算不了什么。就像，再来一个亿万富翁，嗯，你知道，埃隆·马斯克，也许有 3500 亿美元，嗯，很多人至少有 1000 亿美元，或者至少有 500 亿美元，几乎任何一个人都可以极大地改变具体的方程式。嗯，当然，它也可以改变许多其他，嗯，非常有价值的慈善事业。所以，我不知道为什么这没有被做，但是，是的。是的。而且，如果有人想给我 5000 万，甚至只是 1000 万来推广“末日辩论”，你可以直接给我发邮件。我的邮箱在网站上。让我们来谈谈我最近的客人一直在谈论什么。所以，我最近的客人是 David Duveno，他是“渐进式去权力化”论文的合著者，他说，嘿，人工智能不会在一天之内迅速变得超级智能并剥夺所有人的权力，也不一定会通过纳米技术或疯狂的科幻小说来实现。它可能只是慢慢地扼杀经济，因为我们心甘情愿地将权力交给越来越多由人工智能组成的公司的手中，而人类则被排挤在角落里，无事可做，并慢慢地，嗯，失去我们的土地，未能成功地将我们的财富传给下一代。那就是“渐进式去权力化”的风格。你认为这是未来发展的主要情景吗？我认为，嗯，很多事情都是可能的。嗯，人工智能总的来说，嗯，会带来很多不确定性。很多变化将会发生。嗯，所以很难确定。
说道，我认为有很多理由可以对这种结果持怀疑态度。嗯，我认为有很多事情会发生，世界会逐渐获得力量，对吧？嗯，所以有一些思想实验，我正在做的其中一个就是，嗯，你可能会说，嘿，对于一个非常聪明的人来说，很容易控制一个不太聪明的人，即使那个人比他们拥有更多的权力，而我会指出，嗯，富人的孩子，对吧？所以，嗯，富人通常非常善于保持他们的权力，尽管他们很多时候非常愚蠢，就像有很多富人非常愚蠢但仍然掌握权力一样。在这个特定的世界里，我们非常擅长，我的意思是你可以做的一件事来维持，你可以做的一件事来维持权力就是不花钱，对吧？因为社会允许你保留它并支付你利息。所以，只要你不主动浪费它，你就可以把它传给下一代。而这些嗯社区通常有防御措施，以防止人们试图用理由来攻击他们，让他们放弃他们的钱，嗯，有时是为了嗯不是最好的嗯结果，但有时是非常合理的。所以，嗯，今天成为一个非常愚蠢的嗯富人是很有可能的，而且仍然嗯远离那些试图获得你钱的聪明知识分子。我我我认为很多人都同意，如果你能让人工智能遵守法律并尊重财产，那将是一个很大的帮助，因为我们可以成为那些富人，他们就像愚蠢的，软弱的，没有什么贡献的，但人工智能仍然，你知道，支付股息。呃，但我认为渐进式削弱权力的麻烦在于，即使我们有这样的情况，似乎仍然有很多力量联合起来，把我们挤压到越来越小的空间里。所以即使我们认为，哦，是的，经济对我们有利，但人工智能仍然会因为各种原因不断地蚕食我们的资源。我的意思是，我认为如何稳健地构建我们拥有事物而不贡献任何价值的那个小众市场，这是一个悬而未决的问题，但它似乎很不稳定。嗯，再说一遍，我认为其中一些来自于具体的案例，说明这是如何发生的，以及会发生什么问题，以及我们是否可以概括这些。嗯，我听说过的一个例子是，我们可以将此等同于我们所知的超级资本主义，资本主义创造的公司对世界来说是负预期的价值，当这些公司试图优化时，对人类是有害的。所以，如果我们试图，如果我们试图想象这些公司优化得更多，我们可以预期这对人类会更加有害。而且我认为，如果你认为只有公司会得到改善，那么这可能是一个合理的理由。但如果你认为我们监管和监督它们的能力也会提高，那么我们或许就能确保激励措施是一致的，这样它们就不会做任何会产生负外部性的事情，而这正是我看到很多损害的来源，对吧？嗯哼。所以你的意思是，玩具模型就像想象一个喜欢污染附近水源的工厂农场，如果你认为一个超级智能的工厂农场可以逃脱更多的污染，那么这对人类来说是一个坏兆头。但我的意思是，是的，嗯，我们应该能够使用嗯非常可控的人工智能来嗯只是监测污染量，嗯，在这种情况下，它是一个工厂农场。所以这是我因为其他原因不希望存在的东西，但说常规工厂，常规工厂会产生污染。是的，我的意思是，我们将能够使用嗯相当愚蠢且可控的人工智能来嗯只是监督系统，并在任何问题发生时提前警告我们，对吧？然后确保工厂有良好的激励措施。这听起来像是那些不担心像阿廖夫斯基式的烟雾的人的一个关键研究方向，我确实担心这一点。但对于那些只担心渐进式削弱权力的人来说，比如人类被排挤出去，也许有一些研究，关于我们如何才能做到像真正稳健的可控性，在那里，即使人类没有什么可以贡献，人工智能肯定不会想到如何重新利用人类的退休社区来嗯让他们的公司获得更多利润，然后支付给其他人，因为有一个嗯人工智能拥有人工智能的整个等级制度，虽然技术上向人类汇报，但人工智能也一直在创办其他公司，所以这变得很棘手。所以，总之，像一个能够管理那种混乱的人，也许这是一个好的研究领域。是的，我认为其中一些回到了认识论的议程，也就是说，如果我们能够利用人工智能来告诉我们什么是好什么是坏，而且一直都是如此，而且可靠性非常高，那么我们就拥有了一个非常强大的工具，对吧？所以，这是确保我们随着时间的推移变得更加强大而不是更弱的一条途径。然后还有其他方式，我们可以利用它来嗯或者嗯直接帮助协调，利用人工智能进行协调，利用人工智能进行治理，嗯，以便嗯非常大地将我们自己设定在一个非常积极的轨迹上，而不是一个消极的轨迹上。当然，它对于嗯监控所有嗯人工智能公司以及所有这些东西也很有用。是的。现在，当你谈到你的 pdoom 是 30% 时，这 30% 大部分是去哪儿了？是什么样的场景？嗯，我的意思是，其中一些确实涉及到我们如何预期在嗯，嗯，人工智能接管中发生失败。所以，我主要担心的事情，我并不太担心嗯人类摧毁世界，因为嗯，实际上没有多少人真的想摧毁世界之类的事情。嗯，但这是一个问题。我不太担心渐进式削弱权力，因为我认为我们有很多工具可以变得更加强大。我能想象到的主要问题是，一个人工智能真的从我们手中接管了整个世界。而且我认为这是一个相当具体的场景。需要发生一些具体的事情。嗯，而且我发现很多那种训练有点不太可能。明白了。好吧。所以，让我们回到正题，我们来做一个最后的快速总结。你在你的 Facebook 帖子中指出，大型观众现场讲座很糟糕，因为就像很多人挤在一个房间里，一个人对着所有人说话，而且你真的无法快进或什么的。所以，你并没有真正优化信息获取。你并没有真正优化嗯社交互动，所以它们很糟糕，对吧？所以我认为它们通常被高估了，对吧？我会说这是一个现状偏见的例子。嗯，可以说仍然有一些原因可以解释为什么它们对某些人在某些场合是有意义的，但我认为嗯，我看到的大部分嗯似乎都无法与例如发布视频或 Google 文档并让嗯人们被吸引到那里相比。是的，我绝对同意。而且我认为大学是最大的罪魁祸首。就像你今天要去课堂听一个你无法暂停的讲座，而且是由一个随机的教授在黑板上表演的。除非这位教授因成为顶尖 1% 的讲师而获奖，否则他们凭什么与 YouTube 竞争？这太疯狂了。即使他们是最好的 1% 的讲师之一，他们也应该制作很多很多观看的精彩视频。是的。对。嗯，我甚至不尝试现场进行 Doom 辩论，天哪。你知道，当你能够制作和编辑它时，这很有帮助。可以说，有些人有奇怪的心理，嗯，无论出于何种原因，他们只能在有人以某种方式与他们交谈时才能集中注意力，但我认为除了这些之外，嗯，这似乎非常可疑。是的。对。所以，让我们利用这个机会来谈谈 Ligh Haven 有多棒，这是 Lite Cone Infrastructure 在伯克利拥有的校园，Lite Cone Infrastructure 是维护 Less Wrong 的同一个组织。所以，Ligh Haven 是一个很棒的空间，有很多角落，可以容纳几个小团体。它确实有迷你讲堂，但我们说的是嗯更小、更亲密的讲座。所以，我们都同意 Ligh Haven 是世界上最棒的空间，会议空间之一，对吧？是的。我会说嗯，我认为没有多少会议会如此努力地优化这种嗯会议情况。他们有，而且我认为他们做得很好。正是如此。对。是的，在那些真正努力尝试的人中竞争非常少，而不是仅仅走过场，就像，好吧，如果这是一个会议，这就是人们期望会议的样子。而 Ligh Haven 则是，我们如何才能真正让会议变得最实质性，并为在那里的人们提供最多的充实？好的，我之所以说这些，是因为这是一个未经赞助的非官方广告，我认为你和我，我们都想向收听 Doom Debates 的人做一个广告，有一个叫做 less online 的东西。去 less.online 了解它。你和我都会在今年的 5 月 30 日、31 日和 6 月 1 日在那里。我们去年都去过，我们都对此非常满意，我们只是想把它宣传出去。更具体地说，我去年没有去。我今年可能会去。我去了嗯嗯，紧随其后的是一个由 manifold 举办的预测会议。所以，manifest。嗯。对，对，对。是的，正是如此。所以，这是同一个场地，实际上正在举办第二个会议 manifest，如果你去 less，你会看到关于 manifest 的信息。你和我以前都参加过 Manifest，而且那是我记得看到你的地方。但这一切都非常相似。如果你去看看 Manifest，并且喜欢它，那么我鼓励你去那里，因为 Manifest 和 Lesson Online 都非常非常好。如果你只是想和我一起出去玩，我目前只计划去 less。那已经三天了。是的，这很合理。我可能会在 Manifest 5 月份，可能在 le um，对这个领域感兴趣的人。好的，除此之外，我只是想提一下，Aussy 的研究所，query，量化不确定性研究所以正在接受 2025-2026 年的捐款。我认为你的目标是大约 20 万美元的预算来资助你所有的不同软件项目和你的新研究。是这样吗？是的，大致是这样。是的。很好。嗯，人们如何捐款？是的，基本上，第一步可能是联系我们。如果你去 query 网站，那就是 quantified.org。嗯，你会找到关于该组织的信息。去关于嗯是的，先给我们发个消息，我们可能会很高兴只是嗯你知道，只是聊聊天或者什么的，试图了解你的期望以及你希望看到什么。嗯，但你也可以直接捐款。我们在网站上也有嗯捐款信息。很好。如果人们想关注你并定期获取更多你的内容怎么办？所以，是的，嗯，好问题。所以我发布了很多内容，我们在网站上有一个新闻通讯。你可以使用它。嗯，如果你在 EA 论坛或 Less Wrong 上，我确实在那里发布了很多内容。嗯，你也可以在 Facebook 上关注我，我在那里发布了很多嗯中到长篇嗯，抱歉，有点像文章，大约 500 到 1000 字左右。太棒了。好吧。是的。所以，我很高兴我们能够成功举办这次 Doom Debates，因为正如我之前所说，我认为你是一个被低估的声音。我认识你很久了。我认为你的想法质量很高。你为讨论做出了所有这些贡献。所以我希望更多的人喜欢这次谈话，并关注你。是的，非常感谢，我很高兴来到这里。