Holden Karnofsky — History's most important century

好的，今天我很荣幸能与 Open Philanthropy 的联合首席执行官交谈。在我看来，霍尔顿是当今最有趣的知识分子之一。霍尔顿，欢迎来到月球学会。感谢您的邀请。让我们先来谈谈“最重要的世纪”理论。您愿意为观众解释一下这是什么吗？我的经历是，我最初联合创办了一家名为 GiveWell 的组织，该组织帮助人们决定如何最有效地进行捐赠。虽然我现在不像以前那样活跃了，但我仍然是其董事会成员。这是一个名为 GiveWell.org 的网站，它提供了关于如何最有效地进行慈善捐赠以帮助很多人的一些好建议。在我们 GiveWell 工作期间，我们遇到了 Cari Tuna 和 Dustin Moskovitz。Dustin 是 Facebook 和 Asana 的联合创始人，我们开始了一个项目，后来发展成为 Open Philanthropy，试图帮助他们将巨额财富用于尽可能多地帮助人们。因此，我花了我的职业生涯来寻找用一美元、一小时，或者基本上任何你拥有的资源（尤其是金钱）来尽可能多地做好事的方法。我发展出了这种专业的专长，即寻找被低估、被低估但极其重要的想法，因为我认为很多时候你可以在那里找到你可能称之为“超额投资回报”的东西。有一些机会可以花钱并获得巨大的影响力，因为你正在做一些非常重要但被他人忽视的事情。因此，正是通过这种专业的专长，我积极寻找那些未得到足够关注的有趣想法。然后我遇到了有效利他主义社区，这是一个基本上围绕着尽你所能做好事的理念建立起来的社区。正是在这个社区中，我遇到了“最重要的世纪”这个想法。这完全不是我自己的想法，我是在很多人的帮助和 input 下得出这个结论的。基本想法是，如果我们在这个世纪开发出正确的人工智能系统（这看起来是相当可能的），这可能会使这个世纪成为人类历史上最重要的世纪。那么，现在让我们来谈谈为什么会这样，或者你如何看待这个问题。一个方面是，如果你回顾所有的经济史（世界经济增长的速度），你会看到加速。你会看到它今天的增长速度比以往任何时候都要快得多。关于为什么会这样的一种理论，或者通过基本经济增长理论的视角来看待它的一种方式是，在正常情况下，你可以想象一个反馈循环，人们会产生想法，然后这些想法会带来更高的生产力，更多的资源。当你拥有更多资源时，你也可以拥有更多的人，然后这些人又会产生更多的想法。所以你会得到一个反馈循环，即人、想法、资源、人、想法、资源。如果你从几百年前开始，并运行这样一个反馈循环，标准的经济理论认为你会获得加速增长。你的经济增长速度会越来越快。基本上，如果你把我们到目前为止的经济发展历程画在图上，并进行最简单的向前预测，你会预测我们的经济将在本世纪达到无限的增长率。我目前认为这并不是一个默认的好事，原因在于那个反馈循环中的一个环节在几百年前就断了。所以它是更多的人、更多的想法、更多的资源、更多的人、更多的想法、更多的资源。但是，在几百年前，当人们拥有更多资源时，他们就不再生育更多的孩子了。他们变得更富裕，而不是人口更多。这一切都在我博客“Cold Takes”的“最重要的世纪”页面上进行了讨论。现在发生的是，当我们有了更多的想法和更多的资源时，结果是我们并没有拥有更多的人。我们没有那种加速的反馈循环。如果你拥有能够完成人类在科学技术进步方面所做的一切的人工智能系统（这意味着人工智能系统可以填补循环中“更多想法”的部分），那么你就可以恢复那个反馈循环。你就可以获得科学技术方面那种无限制的、高度加速的、爆炸性的增长。这就是其核心的基本动态，也是一种试图利用经济增长理论中熟悉的观念来解释的方式。另一种解释方式可能是，“天哪，如果我们拥有能够完成人类在科学技术进步方面所做的一切的人工智能系统，那将是疯狂的。”如果我们能够完全自动化那些能够彻底改变地球的新技术，那么我们拥有的每一台计算机都可能成为一个致力于推进技术的新思维。所以，无论哪种方式，当你思考它时，你都可以想象世界发生惊人的快速和戏剧性的变化。我在“最重要的世纪”系列文章中认为，在我看来，这个世纪很有可能（可能性大于 50%）会看到能够完成人类在科学技术进步方面所有关键任务的人工智能系统。如果发生这种情况，我们将看到科学技术的爆炸式进步。世界将迅速变得与今天截然不同。你可以把它想象成，如果几千年的变化被压缩在很短的时间内。如果发生这种情况，那么我认为你可能会进入一个非常陌生的未来。我用一个名为“数字人”的假设技术想法来举例说明那可能是什么样子。那将是生活在虚拟环境中的人，这些环境是模拟的，但也很现实，而且和我们一模一样。当你想象那种先进的世界时，我认为有充分的理由认为，如果我们实现了那种科学技术进步的速度，我们基本上可以达到科学技术的极限。我们可以找到大部分可以找到的东西，并最终拥有一个远远超出地球的文明，对环境有很大的控制力，在很长一段时间内非常稳定，并且在很多相关方面看起来是后人类的。如果你这样想，那么这基本上是我们塑造这一切的最后机会。简而言之，“最重要的世纪”假说就是，如果我们开发出能够完成人类在科学技术进步方面所有事情的人工智能，我们可能会很快进入一个与今天截然不同的、非常未来的世界。它可能是一个非常稳定、非常庞大的世界，而这是我们塑造它的最后机会。我们这个时代的怪异之处 明白了。我和许多其他人会觉得这非常疯狂。你能否向我们介绍一下你是如何从从事全球发展工作转变为这样思考的？例如，在 2014 年，你的一次采访或谈话中，有一句话是这样说的：“我研究了非洲的状况，了解了非洲的状况，并看到了在非洲做好事的途径。我不知道如何看待遥远的未来状况，不了解遥远的未来状况，也看不到我对此感到满意的前景。”也许你可以向我解释一下你是如何从那里走到今天的。首先，我想把它与我在 GiveWell 的工作联系起来，以及为什么这一切都属于一个主题。如果我们正处于这个世纪创造这些先进人工智能系统的边缘，那么我们可能会面临一个非常好的或非常糟糕的未来。我认为有一些合理的论点是，如果我们不谨慎行事，并且开发出设计粗糙的人工智能系统，它们可能会有自己的目标。最终，宇宙中将很少有对人类有价值的东西，或者一个星系会这样，或者一个世界被心怀不轨的政府利用强大的技术来创造一个不好的世界。我们也可能最终会消除许多形式的物质稀缺，并拥有一个比今天更好的星球。我问了很多问题，是如何才能用最少的钱帮助最多的人？如果你问如何才能用最少的钱帮助最多的人，那么资助一些工作来帮助塑造这个转型，确保我们不会过于鲁莽地前进，并且我们确实增加了获得美好未来世界而不是糟糕未来世界的几率，这就是用最少的钱帮助了无数人。这就是动机。你引用了我当时正在进行的争论，我们在 2014 年发布了文字记录——那是我到达这里旅程的一部分。我当时正在与一些人交谈，他们说：“霍尔顿，你想用你的资源帮助很多人。你应该专注于这个本世纪可能出现的、很少有人关注的巨大事件，并且可能有机会让这件事对人类来说是好是坏。”所以我当时说：“天哪，这确实很有趣。”我确实觉得它很有趣。这就是为什么我花时间进行这些对话。但我说：“当我看到全球贫困和全球健康时，我知道我能做什么。我看到了证据。我看到了我可以采取的行动。我没有看到这一点。”那么是什么改变了呢？我想说，改变很大一部分可能是最无聊的答案。我一直坚持。我在 2014 年坐在那里说：“天哪，这真的很有趣，但这一切都有些令人不知所措。这一切都有些疯狂。我不知道我该如何思考这个问题。我不知道我该如何提出一个我真正相信的、并且今天可以采取行动的 AI 风险。”现在，我只是思考这个问题已经很长时间了。我相信关于遥远未来的大多数说法都非常不可靠，不值得采取行动，但我认为有一些事情可以谈论，关于向非常强大的人工智能系统过渡可能是什么样子。有一些事情我愿意说，如果人工智能系统设计不当，有自己的目标，并且最终由它们来统治世界而不是人类，那将是糟糕的。这似乎很糟糕。我比那时更熟悉人们可以做些什么来降低这种可能性，以及人们可以采取哪些行动来降低这种可能性——所以这可能占答案的一半以上。但另一个占答案近一半的因素是，我认为自那时以来，人工智能领域发生了巨大变化。2014 年是所谓的“深度学习革命”的开始。自那时以来，我们基本上看到了这些计算密集（但基本简单）的人工智能系统在许多不同的、不相关的任务上取得了很大进展。想象一下，目前人们开发人工智能系统的方式，最先进的人工智能系统，可能会将我们带到那种能够自动化人类在科学技术进步方面所做的一切的极其强大的人工智能系统，这并非疯狂。想象一下，我们可以继续使用这些系统，让它们变得更大，投入更多精力，但基本上保持同一条道路，你就可以到达那里，这并非疯狂。如果你这样想象，那么想象可能出现的风险以及我们可以采取的措施就会不那么令人畏惧。所以我不认为这一定是主要的可能性，但足以开始具体地思考这个问题。采访中的另一句话吸引了我：“人类的上层阶级有能力弄清楚 MIRI 声称弄清楚的事情的记录吗？”顺便说一句，为了观众的背景，MIRI 是 Eliezer 当时领导的组织，你当时正在与他交谈。我不记得 MIRI 确切地想弄清楚什么，也不确定我是否真正理解它们。我绝对认为预测未来是困难的，无论你是谁，无论你多么努力地思考，无论你学习了多少。我认为我们“世界”或模因集合或任何你想称之为的东西的一部分，至少夸大了这一点。我认为我当时比现在更相信这一点。在 2014 年，我会说：“天哪，没有人能够做出关于我们未来几十年可能是什么样子的明智陈述，或者做出关于我们今天应该做什么来为之做准备的明智陈述。”从那时起，我认为很多人已经研究过这个问题，并寻找了人们做出长期预测和长期干预的历史例子。我不认为这很惊人，但我认为我最近写了一篇题为“未来的记录”的博客文章。它看起来……还可以。“还可以”是我对它的评价，我认为没有人能够精确地预测未来并确切地知道我们应该做什么。我也不认为人类在这方面的记录如此糟糕和毁灭性，以至于我们不应该认为我们至少有能力尝试一下。如果你带着对自己所做的一切都比乍一看和感觉起来更不可靠的认识进入这项事业，并寻找你真正会押注的少数几件事，我认为这是值得的。我认为这值得一搏。我的工作是找到我们可以做的 10 件事，其中九件会令人尴尬地失败，但有可能其中一件会如此成功，以至于弥补了其他一切。我认为认为我们可以就我们今天所做的事情如何使这些未来的事件变得更好做出有意义的陈述，这并非完全疯狂，尤其是如果未来的事件离我们非常遥远（尤其是如果它们在未来几十年内）。这是我至少在某种程度上改变了想法的事情。明白了。好的，我们稍后会谈到预测，但让我们继续关于“最重要的世纪”的客观对话。我想确保我理解了理论。这个论点是，因为我们生活在一个奇怪的时代，所以我们不应该对一个世纪内发生一些变革性的事情感到惊讶，还是这个论点是这个世纪可能会发生一些变革性的事情？这是一个奇怪的时代。所以，我们还没有讨论过，但我认为值得一提的是，“最重要的世纪”系列文章的一个重要部分是论证，即使你忽略了人工智能，我们这一代人所处的时代也有很多奇怪的事情。我之所以花费这么多精力来做这件事，是因为在 2014 年，我对这些关于变革性人工智能的故事的最大反对意见，并不是关于人工智能或经济模型或对齐研究的具体说法是否有意义。这一切听起来都很疯狂，而且很可疑。如果有人对你说：“你知道，这可能是人类历史上最重要的世纪。”这是很可疑的。我给这个系列起这个名字，是因为我想让人们知道我正在说一些疯狂的话，我必须为之辩护。我不想退缩或软化或隐藏我所做的巨大声明。我认为我最大的怀疑来源是我没有任何具体的反对意见。说我们可能生活在人类历史上最重要时期中最重要的时期之一，这听起来很疯狂，也很可疑。所以我的系列文章的很大一部分是在说，认为我们生活在这样一个时代很奇怪，但我们已经有很多证据表明我们生活在一个非同寻常的时代，这个时代将是历史上最重要的时代之一的竞争者名单——即使你还没有涉及任何关于人工智能的内容，并且只是使用了完全普遍接受的事实。例如，如果你绘制经济增长的历史图，你会发现过去几百年比人类或世界历史上的任何其他时期都增长得更快。如果你绘制关于科学技术发展的任何图表，你会发现所有重要的东西都集中在最近的过去。几乎没有办法规避这一点。我看了很多不同的切入点。几乎没有办法让你得出这个结论。一种说法是，宇宙大约有 110 亿或 120 亿年的历史。地球上的生命有 30 亿年的历史。与此相比，人类文明只是一眨眼的功夫。我们正处于这个非常狭窄的时间段，也就是过去几百年，我们看到了巨大的技术进步和经济增长。所以这很奇怪。我还谈到了当前经济增长的速度似乎很高，以至于我们无法再持续很长时间。如果再持续 10,000 年，那也只是一眨眼的功夫，在星系尺度上。在我看来，我们将耗尽星系中的原子，无处可去。所以我认为有很多迹象表明我们生活在一个非常奇怪的时代。我还要补充一点——我认为很多不同意我观点的人会说：“看，我相信最终我们会发展出太空殖民能力。我们可以星际旅行，将生命遍布整个星系，也许还会拥有通用人工智能，但说这将在一个世纪内发生是疯狂的。我认为可能需要 500 年。我认为可能需要 1000 年。我认为可能需要 5000 年。”我在系列文章中提出的一个重要观点是，我说：“嗯，即使是 100,000 年，从长远来看，这仍然是一个极其疯狂的时代。”如果你做一个图形时间线，展示我的观点和你的观点，它们在像素级别上看起来完全一样。所以已经有很多理由认为我们生活在一个非常奇怪的时代。我们在这个星球上，在整个星系中没有其他生命迹象。我们相信我们可以将生命遍布整个星系。仅凭这一点，我们就会成为星系中最早存在的生命之一——只占一小部分。所以，这很大程度上就是这个系列文章的内容。我将明确回答这个问题。你问：“这个系列文章是关于变革性人工智能是否会到来并使这个世纪变得奇怪，还是关于‘这个世纪可能会变得奇怪，因此变革性人工智能将会到来’？”核心论点是，变革性人工智能可能在这个世纪被开发出来，而关于“我们生活在一个多么奇怪的时代”的部分只是对一个反对意见的回应。这是对怀疑论的回应。这是一种说法，已经有很多理由认为我们生活在一个非常奇怪的时代。所以实际上，关于人工智能这件事只是一个适度的数量级更新，而不是你对事物的思考方式的彻底革命。有一位著名的喜剧演员有一个段子，他想象生活在公元前 10 年是什么样子。假设有人证明目前的深度学习技术由于某种原因无法扩展，并且变革性人工智能在这个世纪非常不可能。我不知道这是否是一个假设，但姑且这么说吧。即使这是一个奇怪的时代，就经济增长而言，除了变革性人工智能之外，还有其他影响吗？我鼓励人们去看看我的系列文章，因为我有很多图表来说明这一点，现在要简洁地做到这一点可能有点困难。但是，在了解了我们所处时代的奇怪程度之后，我认为我最大的收获是，我们应该真正寻找下一个重大事件。如果你生活在 300 年前，并且你在谈论帮助人们的最好方式，很多人可能会谈论各种形式的帮助低收入人群。他们可能会谈论传播各种宗教信仰。认为你应该考虑的是蒸汽机以及它如何改变世界，这似乎很疯狂，但我认为工业革命确实是一件大事，而且可能是正确的思考方式，如果有可能思考它如何改变世界以及你可以做些什么来让世界变得更好。所以，这基本上就是我的立场。我认为作为一个世界，作为一个全球文明，我们应该高度重视“我们生活在一个奇怪的时代”。在过去的一眨眼之间，增长一直在爆炸式增长，加速增长。我们真的需要对即将到来的事情感到担忧和警惕，并思考所有可能彻底改变世界的事情。我们应该列出所有可能彻底改变世界的事情的清单，确保我们尽了一切努力去思考它们，并找出今天我们可以采取哪些措施来真正提供帮助。也许在我们做完这一切之后，我们可以让世界上最聪明的人中的许多人尽力思考问题，当他们想不出更多的时候，我们就可以回到我们担心的其他所有事情上。目前，世界在这方面的投入非常少，这种投机性的“嘿，下一个重大事件是什么？”即使它不是非常有成效，即使没有太多可学的东西，我觉得世界应该在这方面投入更多，因为风险极高。我认为这是一个合理的猜测，我们生活在一个刚刚被工业革命彻底改变的世界，而未来可能会被下一个事件彻底改变。我只是不认为这在任何圈子里得到太多讨论。如果得到一些讨论，我会感觉更自在。我不认为整个世界都应该只专注于下一个变革性事件，但我认为目前它得到的关注太少了。工业革命 很高兴你提到了工业革命，因为我觉得“最重要的世纪”理论中包含两个似乎不完全兼容的隐含主张。一是我们生活在一个极其狂野的时代，而且这里的转型可能比以往任何一次转型都更狂野。二是我们可以通过某种方式来确保这次转型顺利进行。你认为工业革命初期的人，凭借他们当时所知道的一切，能否做出一些重大的事情来确保它尽可能顺利地进行？或者你认为这在某种程度上是一个糟糕的类比？这是一个很好的类比，可以引人深思，并让你思考：“天哪，如果你预见到工业革命的到来，而且经济增长真的在 1700 年代和 1800 年代达到了一个新的水平，你会做什么？”我认为答案的一部分是，这并不清楚，我认为这有点像一个论点，我们今天不应该过于得意忘形地认为我们确切地知道该做什么。但我不认为答案是完全没有。我有一篇我从未发表过，也可能永远不会发表的关于“Cold Taste”的滑稽文章，因为我把它弄丢了。它基本上说的是：“如果你当时知道工业革命即将到来，或者你认为它可能会到来呢？”你会问自己可以做什么。你可能会给出的一个答案是：“嗯，天哪，如果发生这种情况，无论哪个国家发生，它都可能具有不成比例的影响力。如果我能帮助改变那个国家的思想和文化，让他们更好地处理人权，更重视人权、个人自由和其他很多东西，那将是多么棒的事情——天哪，看起来人们确实在这样做，而且看起来效果不错。”这就是启蒙运动。我甚至举了一个滑稽的例子——我可以查一下，这完全是一篇戏谑的文章。但这个例子是某人思考：“嘿，我正在思考一个关于政府对其公民有什么义务的深奥问题”或者“公民什么时候有权推翻政府，或者什么时候可以强制执行某些信仰，什么时候不可以？”然后对话中的另一个人就像：“这是最奇怪、最深奥的问题。这有什么关系？你为什么不帮助穷人？”但这些正是启蒙思想家思考的问题。我认为有一个很好的论据是，他们提出了很多塑造了整个世界的东西，因为英国变得如此有影响力，并为许多关于被统治者的权利、言论自由、个人权利和人权的事情奠定了基础。然后我转向下一个类比。就像我们今天坐在这里，有人说：“嗯，与其研究全球贫困，我不如研究一个深奥的问题，即如何让人工智能系统按照我们的意愿行事，而不是做自己的事情。我认为将它们视为相似的并非完全疯狂。”现在，我不认为启蒙思想家实际上在做这件事。我不认为他们说这可能是最重要的千年，但有趣的是，似乎并非一无所获。看起来你不可能想出任何东西。在很多方面，这看起来就像启蒙思想家所做的事情，当时具有相同的深奥、奇怪、过度理性的感觉，但最终却非常重要。所以感觉也不是完全没有先例。也许我对这一点有点悲观，因为我认为那些致力于个人权利框架的人并没有预见到工业革命。我觉得那种真正预见到工业革命的人，他们的政治哲学可能是一种负面因素，你知道……卡尔·马克思。如果你看到类似的事情发生，我认为这并非完全不明显。我的基本立场是，我并不非常自信。我不是说有很多先例，我们确切地知道该做什么。我不是这么认为的。我认为我们应该尝试一下。我认为我们不应该完全失败主义地说：“嗯，很明显，历史上从来没有什么你能想出来的，人类在预测未来方面无能为力。”我不认为这是真的。我认为这足以说明问题。我的意思是，天哪，你今天也可以说：“看，研究如何让人工智能系统按照预期行事，在任何时期都是一件完全可以做的事情。”这并不是一件坏事。我认为约翰·洛克之所以做他的事情，是因为他认为在任何时期做这件事都是一件好事，但关键是，如果我们正处于这个关键时期，它就变成了一件更好的事情，并且被放大了，以至于可能比其他事情更重要。我可能对这个理论感到怀疑的一个原因是，我可以这样说：“哦，天哪，纵观历史，人们常常确信他们生活在最重要的时代”，或者至少是一个特别重要的时代。如果你回顾一下，每个人都可能对生活在最重要的时代是正确的。你应该对任何人在这类事情上是正确的有一个非常低的先验概率吗？你如何回应那种逻辑？首先，我不知道人们是否真的经常说他们生活在历史上最重要的时代。这将是一个有趣的研究课题。但仅凭我读过的关于过去政治哲学作品的东西，我并没有到处都看到这种说法。它确实发生过。它确实发生过。我认为一种思考方式是，你有两个理由认为你特别重要。一是你确实如此，并且你对此做出了合理的观察。另一个是你想要如此，或者你想这样认为，所以你在自我欺骗。因此，纵观历史，很多人会因为第二个原因得出这个结论。大多数认为自己最重要的人都是错的。所以，这一切都是真实的。这当然可以适用于我，也当然可以适用于其他人。但我认为这完全没问题，完全真实。我认为当我们发现自己做出这些观察时，我们应该有些怀疑。同时，我认为如果每次你发现自己认为风险很高，或者你处于一个非常重要的位置，你就决定忽略这个想法，那将是一个非常糟糕的规则或规范。我认为那将非常糟糕。如果你想象一个宇宙，其中确实有些人生活在一个特别重要的时代，而有很多人则自己编造故事来讲述他们是否如此，你希望这些人如何行事？对我来说，最糟糕的规则是，所有这些人应该像：“不，这太疯狂了，忘了它。”我认为这是最糟糕的规则，因为生活在重要时代的人们将做错事。我认为另一个糟糕的规则是，每个人都应该完全认真对待自己，并将自己的利益置于他人之上。我提出的一个规则是，所有这些人应该认真对待他们的信念，并根据他们的信念尽力而为，但同时也应该遵守常识性的道德行为标准，不要过多地进行“不择手段”的推理。研究对齐完全是好的，也是可以的，但人们不应该为了实现他们的目标而撒谎或违法。这就是我提出的规则。当我们拥有这些高风险、疯狂的想法时，我们应该尽力而为，不要因为它们而变得如此疯狂，以至于打破了社会的所有规则。这似乎是一个更好的规则。这就是我试图遵循的规则。你能多谈谈吗？如果出于某种原因，我们可以确信预期的价值计算是巨大的，而你必须打破一些法律才能增加人工智能顺利进行的几率，我不知道这有多么假设。你只是不确定你是否正确，所以你想谨慎行事吗？是的，我真的不喜欢“不择手段”的推理。看起来非常非常糟糕的是，人们说做可怕的事情，强迫彼此，并使用武力来完成这些事情是值得的，因为我们想要达到的目标比其他一切都更重要。我反对那些东西。我认为那些东西在历史上看起来比人们试图打破未来并做有益的事情要糟糕得多。所以我认为我在世界上的主要角色是试图打破未来并做有益的事情。我可以在不去做一系列有害的、常识性的、不道德的事情的情况下做到这一点。也许有一天会出现这些激烈的权衡。我还没有真正遇到过。如果我遇到过一次这样的激烈权衡，我必须问自己我有多自信。我认为目前的信息和信心水平不足以真正证明这些手段是正当的。好的，那么让我们来谈谈持续高增长的潜在不可能性。有人可能会想：“好吧，也许 2% 的增长不能永远持续下去，但也许增长会放缓到每年 0.5%。”如你所知，增长率的微小差异会对最终结果产生巨大影响。所以，到我们耗尽星系中所有可能的增长时，我们可能已经能够扩展到其他星系。这种逻辑有什么问题，即 0.5% 的增长仍然不意味着锁定，或者如果它意味着锁定那会很奇怪吗？我认为我们可能需要提供更多的背景信息。最重要的世纪的一个关键论点是，这只是我们生活在一个奇怪时代的论点之一。我也认为目前的经济增长水平看起来太高了，无法再持续 10,000 年左右。我提出的一个观点，这是我从 Robin Hanson 那里得到的，就是如果你只是采取目前的经济增长水平并将其推断 10,000 年，你最终会得出结论，我们需要拥有比今天整个世界经济价值多几倍的东西——每原子价值几倍。如果你认为我们无法突破光速，那么我们就无法走得更远。我们无法离开星系。所以从某种意义上说，我们耗尽了物质。所以你说：“好吧，但如果增长率下降到 0.5% 呢？”然后我就会想：“好吧，那么我现在在文章中估计的增长率大约是 2%。这是大多数发达国家的增长率。假设它下降到 0.5%。”只是问一下，持续多久？你计算过需要多长时间才能达到同样的地方吗？我想大约是 25,000 年。0.5% 的增长率大约相当于一个世界经济体。这是 10,000 年对 25,000 年，但 25,000 年是我们与下一个星系之间的光年数。这听起来不对。我不认为这个星系计算非常接近。也会有很多死空间。当你到达星系的外部时，那里不会有那么多东西。这听起来不太对，但我们就姑且这么说吧。我的意思是，当然，假设你今天有 2%，然后增长下降到 0.5%，并永远保持下去。我敢肯定这仍然太大了。我敢肯定，在合理的时间内，你仍然会遇到限制，但这本身仍然很奇怪。这就像：“好吧，我们生活在 2% 增长然后永远 0.5% 增长的 200 年期间。”这仍然会使这个时代变得有趣。这将是人类历史上变化最快、最动态的时代。不是很多，但你也选择了最接近、最完美的数字。所以，如果它下降到 0.1% 甚至 0.01%，那么耗尽东西需要更长的时间。但 2% 与 0.01% 相比，会更奇怪。所以我不认为有什么办法可以摆脱“天哪，这看起来很可能最终会成为一个非常特殊的时代或一个非常奇怪的时代。”这不值得纠结，但从那个角度来看，那么工业革命带来的 8% 增长的那个世纪——你会说也许那是最重要的世纪吗？哦，当然。是的，完全正确。不，快速增长的事情是它本身不应该存在。从增长标准来看，这个世纪不像过去一两个世纪那么特别。它说的是，这个世纪是少数几个世纪之一，或者我认为当我说是“经济增长标准下的 80 个最重要的世纪之一”时。这只是一个论点，然后我看了很多其他方面，这个世纪看起来很不寻常。说某个世纪是人类历史上最重要的世纪听起来完全是疯话，因为人类历史上有太多的世纪，尤其是如果你想从星系尺度来考虑它。即使你把它缩小到 80 个，它也远没有那么奇怪。如果我用一些没有争议的推理说服你，我们是 80 个最重要的世纪之一，那么我不需要再提供多少证据就可以说，实际上，这一个可能是 80 个中的第一名，因为你的起始几率超过 1%。所以要让你达到 10% 或 20% 或 30% 并不一定需要一个巨大的更新，就像我们从零开始一样。我想我仍然不相信，仅仅因为这个世纪很奇怪，这会对我们为什么或是否应该在这个世纪看到变革性人工智能产生任何影响。如果我们有一个关于变革性人工智能何时发生的模型，那么进入其中的变量之一是“2080 年的增长率是多少？”将这个作为特定技术发展何时发生的参数，感觉很奇怪。这只是系列文章中的一个论点。我认为我的方法是：“嘿，看看人工智能系统。看看它们在做什么。看看进步的速度有多快。看看这五个不同的角度来想象我何时能够完成人类在科学技术进步方面所做的一切。”就想象一下我们这个世纪就达到了。拥有能够完成人类在科学技术进步方面所有事情的人工智能，难道不是很疯狂吗？这难道不会导致很多疯狂的事情发生吗？在宇宙的历史上，我们只知道有一个物种能够做人类所做的事情。如果我们有两个，那不是很奇怪吗？其中一个是我们建造的新物种，可以随意复制，并在任何硬件上以不同的速度运行。那将是疯狂的。然后你可能会回来，说：“是的，那将是疯狂的。这太疯狂了。我排除这一点，因为这太疯狂了。”然后我会说：“好吧，我们有很多证据表明我们生活在一个不寻常的、疯狂的时代。”而你实际上应该认为，有很多迹象表明这个世纪不仅仅是从数百万个世纪中随机挑选的一个世纪。所以，这就是论证的基本结构。至于公元元年零年的增长率，我认为这很重要。我认为你在问这个问题，为什么公元元年零年的增长动态对这个论点很重要？我认为这是因为这只是一个问题：“经济增长的普遍运作方式是什么？我们正处于什么趋势？如果这种趋势持续下去会发生什么？”如果公元元年零年的增长非常低但正在加速，如果公元 100 年、公元 1000 年以及公元前 1000 年或公元前 1000 年也是如此，那么它就开始指向一个普遍模式。增长正在加速，并且可能出于特定原因而加速，因此你可能会期望更多的加速。人工智能成功情景 好的，让我们来谈谈变革性人工智能。你能具体描述一下成功是什么样的吗？人类是后变革性人工智能世界的一部分吗？我们希望这些人工智能成为帮助我们创造乌托邦的奴役神吗？具体的成功情景是什么样的？我的意思是，我认为我们已经谈了很多关于预测未来的困难，而且我认为我确实想强调我真的相信这一点。我对“最重要的世纪”的态度完全不是：“嘿，我确切地知道会发生什么，我正在制定一个计划来帮助我们度过难关。”它更像是有一个模糊的轮廓，一个可能正在逼近我们的重大事件。也许有两三件事是我们能想到的，看起来是应该做的。我们想到的其他所有事情，我们都不知道是应该做还是不应该做。所以我只是在寻找应该做的事情，以便我能让事情变得更好一点，或者帮助事情变得更好一点。这就是我的总体态度。就像你在暴风雨中的船上，看到一些被云遮挡的巨大模糊物体，你可能会想避开它。你可能不想说：“嗯，我认为那是一座岛屿，我认为上面可能有一只老虎。所以如果我们去以正确的方式训练老虎，等等，等等，等等，”你不想陷入那种情况，对吧？这就是我采取的总体态度。对我来说，成功是什么样的？成功可能有很多种，但对我来说，成功的一种表现坦率地说就是我们得到的东西与我们已经走在上的轨迹不太不同。换句话说，如果我们能够拥有按照预期行事的系统，充当人类的工具和放大器，并做它们应该做的事情。如果我们能够避免一个这样的系统被一个政府或一个人控制的世界，我们就能避免一个导致权力高度集中的世界。如果我们能够拥有一个人工智能系统只是另一种帮助我们做很多事情的技术的世界，并且我们发明了许多其他技术，并且一切都相对广泛地分布，并且一切都大致按预期工作，那么你可能就处于一个世界，在那里我们继续过去几百年的趋势，那就是我们都在变得更富裕。我们都获得了更多的工具。我们都希望能够越来越多地理解自己，研究自己，并理解是什么让我们快乐，是什么让我们茁壮成长。希望，世界会随着时间的推移而变得更好，我们会有越来越多的新想法，从而希望使我们变得更明智。我认为在大多数方面，今天的世界比 200 年前的世界要好得多。我不认为这仅仅是因为财富和技术，但我认为它们起到了作用。我认为，如果你回到 200 年前说：“霍尔顿，你希望世界开发出一系列新技术，只要它们大致分布均匀，并且大致按预期运行，人们大多变得更富裕并发现新东西？”我会说：“那太棒了！”我不知道我们最终会走向何方。我无法提前预测我们是否会决定将我们的技术视为拥有自己的权利。那是世界将要弄清楚的事情。但我希望避免可以识别出的巨大灾难，因为我认为如果我们能做到，我们可能会进入一个未来比我们更明智，并且能够做更好事情的世界。按照你的说法，人工智能赋能人类听起来不像可以持续数千年的东西。它听起来和黑猩猩说“我们想要的是人类成为我们的工具”一样奇怪。充其量，也许它们可以希望我们会给它们提供好的动物园。人类在这个未来中扮演什么角色？一个我很容易想象的世界，虽然这并不意味着它完全现实，是一个我们建造了这些人工智能系统。它们做了它们应该做的事情，我们利用它们来获得更多的智能和智慧。我稍微谈到过这个关于数字人的假设想法——也许我们开发了类似的东西。然后，在 100 年后，我们一直存在，人们一直在公共领域进行讨论，人们开始谈论人工智能本身是否拥有自己的权利，是否应该与我们共享世界。也许那时它们确实获得了权利。也许一些人工智能系统最终会投票，或者也许我们决定它们不应该，它们就不投票。无论哪种方式，你都有一个世界，那里有许多不同的存在，它们都有重要的权利和利益。它们投票决定如何建立世界，以便我们都能茁壮成长，度过愉快的时光。我们的物质稀缺性越来越少。需要做出的权衡越来越少。那将是伟大的。我不知道它最终会是什么样子。但不知道。有什么让你觉得不可思议的吗？是的，你拥有可以被

可以随意复制，但也有某种投票方式……哦，是的。那是一个必须解决的问题。我的意思是，我们非常关注投票系统如何运作，谁有投票权，以及我们如何避免不公平。我的意思是，如果我们决定存在某种数字实体，并且它拥有投票权，并且该数字实体能够自我复制——你确实可以在那里造成一些混乱。所以你会想出某种系统来限制你可以复制自己的数量，或者限制这些复制品中有多少可以投票。我希望这些问题能够得到处理，虽然不完美，但可以通过一个没有被巨大权力集中或系统失调所破坏的社会来非灾难性地解决。这听起来可能需要时间。但假设你没有时间。假设你接到一个电话，有人说：“霍尔顿，下个月，我的公司正在开发或部署一个可能合理地导致通用人工智能的模型。”开放慈善基金会做什么？你做什么？嗯，我需要区分一下。你可能没有时间来避免其中一些灾难。巨大的权力集中，或者人工智能系统不按预期运行并拥有自己的目标。如果你能阻止这些灾难的发生，你可能在构建人工智能后会有更多时间来拥有这些工具，这些工具可以帮助我们发明新技术，并帮助我们也许更好地解决问题并提出更好的问题。如果你拥有这些东西，你可能会拥有很多时间，或者你可以在很短的时间内弄清楚很多事情。但如果有人说——等等，你给了我多长时间？一个月。假设三个月。所以这稍微多一点。是的，我会觉得这非常可怕。我有点觉得，在其中一些世界里，我甚至可能无法提供巨大的帮助。我的工作是慈善事业（而且慈善家们历史上或一直以来做得很好的很多事情），就是我们帮助领域成长。我们帮助做那些在非常长的时间尺度上运作的事情。所以，开放慈善基金会目前经常做的一件事是，我们资助那些研究对齐问题的人，我们资助那些正在思考如何成功度过最重要的世纪的人。现在，这些人中的许多人都处于职业生涯的早期，并且还在摸索。所以，我所描绘的很多世界是十年后、二十年后或五十年后。有一个完整的专业领域，在传统机构不会支持它的时候得到了支持。那是因为我们。然后你来找我，你说：“我们只剩一周了。我们该怎么办？”我会说：“我不知道。我们尽力了。我们无法回到过去，试图为此做好更好的准备。”所以这将是一个答案。我可以就我在一到三个月的时间范围内会说什么说得更具体一些，但很多时候，坦率地说，我会手忙脚乱，惊慌失措。明白了。好吧。也许我们可以反过来问这个问题。假设你发现人工智能实际上需要比你想象的更长的时间，而你有超过五十年。有什么变化？你能做什么，而你可能无法做其他事情？我认为事情越遥远，我越觉得人类在长期预测方面存在困难是有效的。我越会感兴趣地关注我们做的其他非常广泛的事情的原因，例如努力扩大思考这些问题的人群，而不是试图具体研究如何让当今的人工智能系统按预期运行。所以我认为这是一个普遍的转变，但我会说，我倾向于对更长的时间尺度感到更乐观，因为我认为世界还没有为这一切做好准备，也没有认真思考过这一切。我们在开放慈善基金会所做的很多事情就是创造传统机构中不存在的支持，让人们思考这些话题。这包括进行人工智能对齐研究。这还包括思考我们在政治上想要什么，以及我们可能需要哪些监管来防止灾难。我认为这些都是很多事情。这有点像一个光谱。我会说，如果是在三个月内，我可能会试图弄清楚一个合理的测试，以证明人工智能系统是安全的还是危险的。如果我们能证明它是危险的，就利用这个证明来大力倡导广泛放慢人工智能研究，以争取更多时间来弄清楚如何使其不那么危险。我不知道我是否感到那么乐观。如果这种人工智能要到 500 年后才会出现，那么我倾向于忽略它，只是努力让世界变得更好、更强大、更明智。但如果我们在 10 年、20 年、50 年、80 年，在这个范围内，我认为支持早期职业生涯和支持那些将一生致力于思考这个问题的人将会是有益的。然后我们闪回到这个关键时刻，有更多的人一生都在思考这个问题。我认为这将是一件大事。让我们谈谈我们是否可以期望人工智能足够聪明以剥夺人类的权力，但又足够愚蠢以拥有这种目标的问题。当我环顾四周的聪明人时，似乎他们中的许多人都有非常复杂、细致的目标，他们对什么是好的以及如何做好事进行了很多思考。他们中的许多人没有。这总体上让你对人工智能更乐观吗？我对此并不感到安慰。这是人工智能对齐领域一个非常非常古老的争论。埃里泽·尤德科夫斯基（Eliezer Yudkowsky）有一个所谓的“正交性理论”。我不记得它具体说了什么，但它有点像“你可以对任何目标非常聪明。你可以有一个最愚蠢的目标，并且非常聪明地去实现它。”在很多方面，许多人类的目标都相当愚蠢。很多让我快乐的事情并不是深刻或美妙的事情。它们只是碰巧让我快乐的事情。你可以非常聪明地去追求这些事情，但这并不能给我带来多少安慰。我认为，基本上，我对现代人工智能如何运作的设想是，你基本上是通过反复试验来训练这些系统。你基本上是采用一个人工智能系统，鼓励某些行为，同时阻止其他行为。所以你可能会得到一个被鼓励去追求你无意中鼓励的东西的系统。它非常聪明地做到这一点。我看不出有什么矛盾。我认为，如果你要设计一个人工智能系统，并且每次它将更多的钱存入你的银行账户时，你都会给予它鼓励，你可能会得到一个非常非常擅长将钱存入你的银行账户的系统，以至于你会为了做到这一点而扰乱整个世界。你不会自动得到一个会思考“天哪，这是好事吗？”的东西。我认为，对于许多人类目标而言，我们的目标是否真的有意义并没有真正的正确答案。它们只是我们拥有的目标。你在其他地方写过，道德进步是真实存在的，历史上发生过，并且与实际的道德进步相对应。你认为有理由认为人工智能也会发生同样的事情吗？无论是什么过程导致了道德进步？我有点不这么认为。我使用“道德进步”这个词只是为了指代道德上的良好变化。我认为已经有了道德进步，但我不认为这意味着道德进步是不可避免的，或者每次你聪明时都会发生。我经常举的一个例子是人们对同性恋的态度。今天比过去更容易被接受。我称之为道德进步，因为我认为这是好的。有些人会说，“嗯，你知道，我不相信道德是客观的好或坏。我不相信有什么道德进步。我只是认为事情是随机变化的。”这通常是我举的一个例子，我会说，“但你认为那是一个中立的变化吗？”我只是认为它是好的。我认为它是好的，但这并不是因为我相信存在某种客观现实。这只是我标记或使用语言来谈论对我来说似乎是积极的道德变化的方式。我并不特别期望人工智能系统会像我一样在反思道德方面有同样的演变，或者会得出和我一样的结论，或者会提出对我来说看起来很好的道德观。我没有任何理由认为这些。我确实认为历史上有一些道德进步的例子。你认为历史进步的解释是什么？我可能会说的一件事是，人类之间有很多共同之处。我认为历史中有一些人类更多地了解世界，更多地了解自己，并互相辩论的例子。我认为很多道德进步只是来自于人类认识到他们以前刻板印象、负面评判和害怕的其他人。所以我认为，在某种程度上，人类了解世界和了解自己，会让他们得出更具反思性和更符合他们自身目标的结论。但是，如果你把一个根本不是人类的东西带入画面，它可能非常聪明和善于反思其目标，但从我们的角度来看，这些目标可能毫无价值。人工智能的最新发展让许多人认为人工智能可能比他们最初想象的要早得多。这些新模型的发布是否影响了你的时间表？是的，我绝对认为人工智能的最新发展让我有点更惊慌了。自从我写了《最重要的世纪》系列文章以及在此之前，有几年开放慈善基金会一直对人工智能风险很感兴趣，但随着我们看到人工智能的进步，这种兴趣变得更加浓厚。我认为我们看到的是，我们看到这些非常通用、简单的系统能够完成许多不同的任务。我认为人们对此很感兴趣。有很多关于 GPT-3 的汇编——一个非常简单的语言模型，顺便说一句，我的妻子和姐夫都曾参与过。这个非常简单的语言模型只是预测它在文本流中将看到的下一个词。人们让它讲故事。人们让类似的（虽然不完全相同）模型分析和解释笑话。人们让它玩角色扮演游戏、写诗、写歌词、回答多项选择题和回答琐事问题。我发现最荒谬、最奇怪的结果之一是这个叫做 Minerva 的东西，人们用了一个语言模型，并且几乎没有特殊的干预，就让它解决了这些困难的数学问题，并解释了它的推理过程，并且大约一半的时间都做对了。它并不是以一种非常专业化的方式来训练这些数学问题的，所以我们只是看到人工智能系统仅仅通过这种非常简单的训练程序就拥有了所有这些不可预测的、类似人类的能力。这是我发现有点疯狂和有点可怕的事情。我不知道它确切的去向或速度有多快。所以，如果你认为变革性的人工智能可能在本世纪发生，这对开放慈善基金会从事的传统全球健康和福祉工作有什么影响？如果人工智能得到对齐，它会对我们产生持久的影响吗？它会为我们创造一个乌托邦吗？我不知道乌托邦。我的普遍看法是，任何事情都可能发生。我认为我对这个“最重要的世纪”的普遍看法，以及它如此重要的原因，是因为很容易想象一个非常美好的世界，没有稀缺性，我们看到比过去 200 年更多的进步，并且我们最终会处于一个非常好的地方。也很容易想象一个可怕的反乌托邦。但我的看法是，你认为这一切发生的可能性越大，你认为变革性人工智能发生的可能性越大，你就越应该认为这应该是首要任务，我们应该努力使其顺利进行，而不是试图解决更多直接的、更短期的紧迫问题。我不是这方面的极端主义者。所以，开放慈善基金会两者都做。开放慈善基金会致力于投机性的遥远未来风险，开放慈善基金会也做了很多直接的工作。再次，我们直接推荐并将大量资金捐赠给那些顶级慈善机构，它们从事诸如在非洲分发蚊帐以帮助预防疟疾和治疗患有肠道寄生虫的儿童等工作。开放慈善基金会大力倡导将更多资金用于外国援助或更好的土地利用政策以拥有更强的经济。我们做了一些科学研究工作，这些工作更多地针对直接的医疗应用，尤其是在贫困国家。所以我支持所有这些事情。我很高兴我们正在这样做。这只是一个关于你认为变革性人工智能有多真实、多紧迫的问题。越真实、越紧迫，我们应该投入的资源就越多。是的，这对我来说很有道理。我很好奇，无论你在其他地方做什么工作，在变革性人工智能出现后，它们是否仍然会产生持久的影响？或者你认为它们基本上会因为那些真正的大事而消失？我的意思是，我认为在某种意义上，这些影响是永久的，因为如果你让某人过上更健康、更好的生活，那是一件重要的事情。没有什么能抹去那段生命或让那段生命变得不重要，但我认为就对未来的影响而言，我确实预计它在很大程度上会消失。我预计，无论我们如何努力让世界变得更好，都不会以任何系统性、可预测的方式持续到这些疯狂的变化之后。我认为这可能就像工业革命之前和之后的样子。可能有一些例外，但这是我的猜测。竞争、创新和通用人工智能瓶颈你对人工智能的竞争框架表示怀疑，或者你试图让你最喜欢的国家或公司更快地发展能力。但其他地方，你使用了“创新即采矿的比喻”，也许你可以在回答时解释一下。这个框架似乎意味着第二强大的 AI 公司可能紧随其后。所以，如果你认为第一个最强大的公司会更认真地对待安全，你应该支持他们。你如何看待这两个不同框架的互动？我认为，对于那些确信人工智能可能非常重要的人来说，他们通常会直接想到：“好吧，我想确保我信任的人首先构建它。”这可能意味着我的国家，可能意味着我的朋友，我正在投资的人。我通常称之为竞争框架，即“我想赢得人工智能开发的竞赛”，我将其与我认为也很重要的框架——谨慎框架——进行了对比，即我们需要共同努力，小心不要构建出失控并具有所有这些特性并以我们未曾预料到的方式行事的东西。我认为，如果我们确实开发了这些非常强大的人工智能系统，我们很可能会处于一个有多个参与者试图开发它的世界，而且它们都紧随其后。我非常感兴趣的是我们如何共同努力，在这样做的时候避免灾难。我可能不像第一次了解这件事的普通人那样兴奋，他们会说：“我选择了我最喜欢的一个，并帮助他们领先。”虽然我是一个对两者都感兴趣的人，但如果你认真对待“创新即采矿”的比喻，这是否意味着竞争确实是一个重要因素？创新即采矿的比喻来自另一篇冷酷的观点文章。我提出的论点是，你应该把想法看作是类似于自然资源，因为一旦有人发现一个科学假设，或者一旦有人写了一首伟大的交响曲，那只能做一次。那是一次性的创新。所以随着时间的推移，产生革命性的想法会越来越难，因为最革命的、最容易找到的想法已经被找到了。所以有一个采矿的比喻。我认为它对人工智能的事情并不特别重要，因为我所说的只是一个人成功使另一个人成功变得更加困难。我并不是说它没有影响，或者它没有加速。只是用一个字面上的采矿比喻来说，假设地上有很多金子。确实，如果你冲过去把所有的金子都拿走，我再来找金子就会更难了。这是真的。不真实的是，这无关紧要。我的意思是，你可能比我做得快得多。你可能比我领先很多。好吧。也许有人对变革性人工智能的怀疑是，所有这些都将受到创新过程中非自动化步骤的瓶颈。所以不会有加速的反馈循环。你的反应是什么？我认为最好的批评和我的最大怀疑是，你可以构建一个令人印象深刻的人工智能系统，并且几乎可以做人类所能做的一切。可能还有一步需要人类来完成，而这可能会成为一切的瓶颈。然后，世界可能不会加速太多，科学和技术也不会那么快地发展，因为它们几乎完成了所有事情。但人类仍然在减缓这一步，或者现实世界正在减缓一步。比如，发明新技术的现实世界实验需要多长时间就多长时间。我认为这是对这一切最好的反驳，也是我最想深入研究的。我最终确实认为有足够的理由认为，如果你拥有具有类似人类推理和分析能力的人工智能系统，你不应该指望这种瓶颈会使一切都变得非常缓慢。我在一篇名为《最重要的世纪的薄弱环节：完全自动化》的文章中写到了这一点。其中一部分是你不需要自动化整个经济就能获得这种疯狂的增长循环。你可以自动化其中的一部分，特别是与能源和人工智能本身等非常重要的技术有关的部分。这些在很多方面似乎比经济的其他许多部分受到的瓶颈更少。所以你可以开发更好的人工智能算法和人工智能芯片，制造它们，主要使用机器人，并利用它们来提出更好的设计。然后你还可以设计越来越高效的太阳能电池板，并利用它们收集越来越多的能源来为你的眼睛供电。所以，许多关键部分似乎并没有受到太多瓶颈。你可能已经拥有了能够像人类一样产生富有创意的科学假设的能力，这是一个关于我们是否应该期望这一点以及何时期望的争论。一旦你拥有了它，我认为你应该弄清楚，因为有大量思想家在寻找它们，所以有很多方法可以绕过你所有的其他瓶颈。所以一个例子是，你可能可以通过足够的力量、足够的能源、足够的人工智能和足够多的分析，找到一种方法来模拟你需要的许多实验。明白了。现在，你使用的能源和人工智能创新等具体例子可能是最难自动化的，因为它们是人类最近才开始取得进展的。你能解释一下为什么这些可能更容易吗？我认为一些最难自动化的东西可能与软件或能力无关。所以，一个可能极难自动化的例子是信任、做商业交易或照顾生病的人。即使人工智能系统拥有与人类相同的所有智力能力，并且能够写出同样好的诗歌，拥有同样多的想法，并且能够进行同样好的对话，它看起来也不像人类。所以人们不想要它。也许你可以在屏幕上创建一个完美的人类代表，但它仍然在屏幕上。总的来说，我认为人工智能的进步主要是在软件方面，而不是硬件方面。所以人工智能能够用语言、数学和棋盘游戏做很多令人难以置信的事情。在接下来的十年或二十年里，它们也能写出热门音乐，我不会感到惊讶。但这些人并没有在机器人技术方面取得同样的进步。所以奇怪的是，一项可能最难自动化的任务是拿起这瓶水并拧开盖子。因为我这只手非常适合这项工作。显然不是为此设计的，但就像这些手可以做很多事情一样。我们在这方面没有看到同样的进步。所以我认为有很多地方人工智能系统可能拥有的大脑可以做大约所有人类大脑能做的事情。还有其他原因导致它们无法完成一些关键的经济任务，但我认为这些不是我看到可能瓶颈研发的任务。明白了。这是我在我一篇更晦涩的冷酷观点文章中提出的一个论点。我说，能够真正取代每个人的工作的人工智能，比如每个人的工作，可能比人工智能更难，并且可以通过新技术彻底改变银河系。取代科学家的工作可能比取代教师或医生的工作更容易，因为教师和医生受到监管。人们可能会说，“我想要人类教师。我不想让 AI 当老师。”而你可以在你的实验室里和你的科学家一起找到改变世界的新理论。所以，我认为其中一些事情非常违反直觉，但我可以想象一些世界，在自动驾驶汽车上路之前就会出现非常奇怪的事情，这仅仅是因为监管的方式。锁定和薄弱环节明白了。好吧，让我们来谈谈另一个薄弱环节，或者你认为是薄弱环节的那个。锁定。你认为变革性人工智能导致锁定的几率有多大？所以，“锁定”是我用来谈论我们可能最终拥有一个非常稳定的文明的可能性。我在另一篇文章中谈到了这一点。它被称为《最重要的世纪的薄弱环节》。我写了一些关于该系列中最薄弱环节的文章，其思想是，纵观历史，当某人掌管一个政府，他们非常强大且非常糟糕时，这通常被认为是暂时的。它不会永远持续下去。世界是动态的，世界往往不会完全保持那样。纵观历史，世界发生了很大变化。说出来有点傻，但我会解释为什么这可能很重要。如果有人以一种非常残酷、腐败的方式管理一个国家，总有一天他们会变老而死去，另一个人会接管。那个人很可能与他们不同。此外，世界一直在变化。有新技术，有新的可能性，有新的想法。当今最强大的国家可能不是明天的最强大国家。今天掌权的人可能不是明天掌权的人。我认为这让我们习惯了万物皆是暂时的，万物皆会改变的想法。我在《最重要的世纪》系列中提出的一个观点是，你可以想象一个技术发展水平，在那里没有新的东西可以发现。没有多少新的增长可以实现。人们不会因为医学上似乎可以不衰老或死亡而死亡。所以，如果你拥有足够的技术，你可以想象世界上许多动态的来源实际上会消失。你可以想象一个能够真正为所有人服务的政府，而这在现在是做不到的，一个独裁者实际上不会衰老或死亡，他知道正在发生的一切，他能够对一切做出反应。你可以想象那个世界将完全稳定。我认为这是一个非常可怕的想法。这是我们必须注意的事情——如果技术进步的速度大大加快，我们可能会很快进入一个没有多少动态性、更加稳定的世界。这有多大的几率？我不知道。很难给它一个概率。但我想，如果你想象我们将迎来科学和技术进步的爆炸式增长，你就必须认真对待我们可能会撞到一堵墙，而且可能没有多少动态性的空间。我们可能会拥有这些非常稳定的社会。在概率方面，认真意味着什么？我不知道——四分之一，三分之一，一半，差不多——我在编造数字。我认为这足以认真对待，因为它会影响我们所谈论事物的利害关系。明白了。你是否担心锁定仅仅是从锁定一个负面未来的角度来看，还是你认为锁定任何一种未来本身就是坏事？如果你现在可以按一个按钮，锁定一个相当积极的未来，而这个未来没有活力，或者一个保证有活力但净预期是负面的未来，你会如何决定？嗯，我不会过多地考虑如何使用那些我永远不会拥有、也不应该拥有的、拥有巨大权力的不现实的按钮。我认为默认情况下，锁定主要是坏事。我觉得我们至少应该保留选择权，并拥有一个不是一个人说了算、按照他们想要的方式永远设定的世界。我主要是这样想的。我可以想象未来的某个世界，文明已经存在了足够长的时间，我们已经学到了我们应该学到的东西，我们知道一个美好的世界是什么样的，所以大多数人都对此感到非常自信，而且他们有理由感到自信。也许那时，锁定就不会那么糟糕了。但我主要认为锁定是一件坏事。我还设想，你可以锁定世界上的某些事物，以避免锁定其他事物。所以，我可以想象，如果你对世界运作的方式拥有巨大的权力——其中一些在我关于数字人的系列文章中有更详细的解释——但如果你拥有一个完全控制环境的世界，你可能希望锁定这样一个事实：永远不要让一个人拥有所有权力。这可能是一件你想锁定下来的事情，而这可以防止其他类型的锁定。你是否担心人工智能对齐是一种锁定形式？在某种意义上，如果研究的目标是防止偏离人类价值观，那么你可能只是在锁定次优的价值观。是的，我主要认为人工智能对齐只是试图避免发生非常糟糕的事情。我们不希望发生的是，我们拥有一个我们以为是用来帮助我们的人工智能系统，但实际上，我们实际上是在设计它去做一些极其随机的事情。同样，这些系统通过反复试验、鼓励、阻止或正负强化来工作。所以我们可能甚至没有注意到，通过我们给予的强化模式，我们训练了一个系统，让它想要将尽可能多的钱存入一个银行账户，获得尽可能多的权力，或者控制尽可能多的能源，或者类似的东西。也许它会给自己设定一个奖励数字，自己的分数达到最高。我认为，如果我们拥有比人类更强大、具有这些随机目标的人工智能系统，那将是一种锁定。那将是锁定一种与人类重视和关心的事情无关的未来。我认为那是一个非常糟糕的未来。现在，如果我们让这些系统按预期运行，我们仍然可能会遇到问题，因为我们可能会让人类做一些非常愚蠢的事情，并锁定非常糟糕的未来。我认为这也是一个问题。我感觉相当舒服，虽然不是 100% 确定，但我们可以说，我们希望避免这种情况，就像失误一样。我们希望避免拥有这些我们意外赋予了随机目标的系统。它们非常强大，而且它们比我们更擅长建立世界。所以我们得到了一个世界，它只是在做我们意外做的事情。我认为这是值得避免的事情。预测未来你对威尔·麦卡斯基尔（Will MacAskill）关于长期主义的新书最大的不同意见是什么？我喜欢威尔的书。我认为阅读威尔·麦卡斯基尔关于未来可能非常宏大且非常重要的书是值得的。在我看来，如果你想谈论长远的未来以及如何让长远的未来变得美好，你就是从“几乎我所做的一切都没有意义”的起点开始的。我确实相信很难理解长远的未来，也很难为它制定具体的计划。所以我想说，与威尔相比，我对哪些问题足够大、足够严重以至于值得关注非常挑剔。我认为人工智能问题足够具有变革性。它看起来很可能很快就会发生。如果很快发生，那就意味着我们可能真的能做一些有可预测效果的事情。我认为这种不匹配的人工智能是一个真正的威胁。人们今天设计人工智能系统的方式可能非常糟糕。我愿意投入一些资源来阻止这种情况，但这有点越过了我的门槛。大多数事情都不会。所以，如果你列出让未来一百万年变得美好的方法，我会看大多数，然后说：“我不知道。我并不真正相信这个。”我不会真正投资于此。我认为威尔在某种意义上比我更广泛。他对更多的事情感兴趣，而我比他更挑剔，因为我认为要了解什么真正影响长远的未来太难了，所以我只是在寻找一个非常短的清单，列出值得特别关注的事情。他是否在书中指出了什么让你觉得难以应对的事情？我不记得很清楚了。这本书是对很多东西的广泛调查。我可能会举的一个例子是，他谈到了停滞的风险。增长可能停止或增长放缓到非常低的水平的风险。这意味着我们应该努力做的是确保我们继续创新并继续增长，但书中还有其他部分听起来我们不应该进展太快，也不应该创新太多，因为我们不希望在我们还没有像“我们现在拥有的文明成熟度”来决定我们想要的未来之前就到达我们的未来。我们不希望在我们对如何使用它们有更好的想法之前就构建这些力量。所以我认为这些都是我只是觉得，“天哪，我不知道。”的例子。更多的增长可能很好。增长更少可能不好。停滞可能是一个巨大的威胁。过快地构建强大的技术可能是一个巨大的威胁。我真的不知道。我告诉你我在想什么。我在想人工智能，因为我认为它足够重要，足够可能，而且我们在一些主要风险上已经取得了足够的进展。对，对。当我回顾历史时，我经常觉得预测长期趋势的人过于悲观。在 70 年代，你可能对寻找更多石油或养活不断增长的人口过于悲观，因为你无法预测可能使这些事情成为可能的突破性技术。这是否让你对人工智能的未来抱有某种模糊的乐观态度，或者不是？我认为历史上，人们对未来的技术过于悲观了。我认为默认情况下，人工智能的前景看起来确实很可怕。如果我们不谨慎行事，很多方面都可能很容易导致一个糟糕的未来。这两点对我来说在一定程度上是平衡的。我知道很多人认为我们正处于深深的、深深的、巨大的麻烦之中，而人工智能拥有自己的目标并抹去人类的结局几乎肯定会发生。我不相信这一点，这也是我不相信这一点的原因之一。实际上，我认为情况看起来非常具有挑战性，默认情况下非常可怕，而且我认为我们倾向于高估事情有多糟糕和有多严峻。所以它们对我来说在一定程度上是平衡的。好的，明白了。在许多情况下，似乎不可能看到积极情景的出现。例如，如果你在 70 年代预测人口，是否有某种合理的方法可以预测这不会导致导致十亿人死亡的大规模饥荒？或者，如果当时开放慈善基金会存在，你是否会关注这一点？我认为很难知道过去的未来有多“可预知”，以及这对今天意味着什么。我认为，当你回顾过去试图预测未来的人时，这看起来非常不严肃。你可以说，未来的人也会这样看待我们。我敢肯定，他们会认为我们看起来比他们不严肃，但我认为有区别。我真的认为历史上没有尝试过严谨地预测未来。我不认为人们尽了最大的努力，而我们今天不能做得更好是显而易见的。所以人口就是一个例子。不一定是真的，你不能说“天哪，人口一直在增长，人们不断发明新的方法来获取更多资源。也许这种情况会继续下去。”我真的不相信你不能这么说。我绝对不相信没有人这么说。我认为有些人确实这么说了。所以，我认为我犹豫不决，只是因为有些人过去对未来做出了错误的预测。我认为很难知道是否真的没有办法知道，或者他们只是没有非常努力地尝试。你刚才说的一件事是，我们比过去的人更擅长预测。所以仅凭这一点就应该让我们对需要预测的未来更加乐观。这只是一个猜测。我的意思是，这就是社会。我们在所有智力领域都取得了很大进步。我认为在如何对未来做出良好、合理的预测方面取得了很大进步。我认为这是已经发生的事情。所以我认为我们应该期望自己比过去的人做得更好，而未来的人可能会比我们做得更好。对。当我看到像《生物锚点》这样的报告时，我经常想，阿西莫夫（Asimov）是否只是在胡说八道地谈论屏幕和他能用它们做什么。也许他的错误来源比这个八步方法少，你可能甚至不知道还有第九步或第十步缺失，这可能使整个事情无效，而且许多输入具有多个数量级、宽置信区间。你对此类怀疑有何看法？我的意思是，《生物锚点》是我思考的一个非常重要的输入，但它不是唯一的输入。我认为我对人工智能时间表的看法是 A，看看今天的人工智能系统，看看它们 50 年前做了什么，看看它们 10 年前做了什么，然后就像，“嗯，天哪，看起来很可能它们很快就能做人类能做的所有事情来推进科学和技术。”这是我思考的一个输入。我思考的另一个输入是我们称之为半信息先验分析，这是一份复杂的报告，因为它从许多不同的角度来看。我认为你可以将报告的要点总结为，人类历史上为制造人工智能所做的绝大多数努力是因为人工智能领域并不古老，而且经济和投入的努力急剧增加。我认为这是一个数据点，支持不要过于怀疑我们可能正处于变革性人工智能的边缘。在某种意义上，世界并没有努力太久。所以这是一个输入。另一个输入是专家调查，当人们询问人工智能研究人员何时认为人工智能能够完成人类所能做的一切时。他们倾向于说需要几十年。这可能存在偏见且不可靠，而且所有这些东西都有问题，但这是一个数据点。然后是生物锚点。生物锚点不是我会在播客上总结的报告。这是一份非常复杂的报告。它使用了许多不同的角度。它问了许多不同的问题。它有许多不同的数字。然而，我认为你可以将其归结为一些相当简单的观察。你可以说，在某种重要的意义上（这可以被争论和分析，但似乎在大多数你看待它的方式上都是正确的），我们以前从未制造过每秒计算量与人脑相当的人工智能系统。所以，我们没有能够做人类所做的一切的人工智能系统，这不应该令人惊讶，因为人类实际上在他们的大脑中所做的工作比普通人工智能系统所做的要多。然而，在本世纪，我们很可能会拥有如此规模的人工智能系统。如果我们估计训练它们需要多少，建造它们需要多少成本，这看起来在本世纪内可能负担得起。然后你可以谈论所有不同的定义方式，以及所有不同的量化方式，以及所有不同的假设。但我的底线是，几乎任何一种方式，无论你想如何定义人工智能大脑与人类大脑一样大意味着什么，以及如何训练这个大脑，大多数角度都表明，在本世纪内发生是相当有可能的。这是我的一点数据。这很重要。所以所有这些都是我观点的输入。好吧。所以这是我从埃里泽那里偷来的，他在推特上问，“在人工智能的整个历史中，是否真的有过任何一个人使用生物锚点或受生物启发的计算来成功预测过任何新颖的人工智能能力的发展时机？”他有非常复杂的句子。我在他的 Facebook 上看到了一些讨论，我认为答案可能是肯定的。然而，我主要想攻击这个前提。我只想说，很少有人能够精确地预测人工智能的里程碑，而这也不是我试图做的。我试图说的是，“天哪，在本世纪，我们很可能得到一些具有巨大变革性的东西。”他问的是几十年前的人工智能历史，而且甚至没有多少人试图做出预测。许多预测都比这更狭窄、更具体。所以，我主要认为这不是一个非常重要或有用的问题。我认为他所做的所有工作……有没有一个例子是有人使用埃里泽正在使用的那种推理来预测世界末日或类似的事情？这就是他所预测的。所以，我主要想挑战这个前提，说，“看，我们没有很多样本。”这不是一个庞大、成熟的领域，人们已经尝试了 25 次完全相同的事情并且每次都失败了。这主要是学术界的人在推进人工智能系统。他们不试图预测人工智能系统何时能做很多事情以及做什么？我们这里没有太多东西。我们必须尽力而为，做出最好的猜测，运用我们的常识，运用我们的判断，并运用我们拥有的角度。这是我的主要答案。另一个答案是，汉斯·莫拉维克（Hans Moravec）是最初的生物锚点提出者。我认为他预测通用人工智能将在 2020 年左右出现。根据埃里泽自己的观点，他会看起来非常接近。也许埃里泽认为我们会在 2030 年看到它。我认为这是可能的。所以，如果你相信这一点，那么回头看，这将是历史上最伟大的技术预测。我认为答案是也许。评论中还有一些关于莫拉维克是否通过检查视网膜来预测人工智能在视觉方面取得了巨大进展的讨论。对此有一些争论。我认为这一切都很模糊。我不认为这对思考生物锚点是一个很大的反驳。它只是我思考的一个输入。我认为，深度学习革命的出现以及我们看到的那些蛮力人工智能训练方法在过去不起作用但现在却非常有效，这对于生物锚点来说看起来不错。这发生在人工智能系统开始接近昆虫或小型动物大脑的规模，在人类大脑的几个数量级范围内时。你可以称之为巧合，但这些数字可能都相差 10 倍、100 倍、1000 倍。我的意思是，我们正在谈论非常重要的事情，并试图获得最好的把握和最好的猜测。我认为生物锚点到目前为止看起来还不错。它看起来并不惊人，但看起来还不错。现在，我敢肯定，许多人提出，增加科学、技术和经济增长的进步比致力于变革性人工智能更有说服力。我只想先听听你对此的广泛反应。当然。我认为我们在这里谈论的是进步研究的群体。我在 Cold Taste 上写了一篇关于这个的文章，名为“划船、转向、锚定、公平和叛变”，我在其中讨论了关于如何让世界变得美好的不同思考方式。我确实对世界在过去几百年里变得更好的方式在很大程度上是因为我们变得更富裕了，这一点表示同情。我们拥有更多的技术能力，所以也许我们应该多做一些。我不认为这是个疯狂的想法。我认为这是相当合理的，但我认为即使是几百年占人类历史的比例也不是很大。我写了一个名为“生活是否变得更好？”的系列文章，探讨了人类生活质量的整体图景。技术发展似乎使事情变得更糟是有先例的。农业革命看起来就是这样发生的，所以我对说“嘿，这东西已经好了 200 年了，让我们多做一些”表示同情，但我认为这并不是世界上最严谨、最确凿的论点。我认为我们确实有一些具体的原因相信开发某些新的技术，不仅仅是人工智能，还有潜在的生物武器，可能具有灾难性的危险。我认为托比·奥尔德（Toby Ord）用人类像一个正在进入青春期的孩子来做类比。就像在某个点之前变得更强壮一样。这很有趣。感觉很好，但然后到某个点，你足够强大，可以真正伤害自己，真正惹上麻烦，或者可能足够强大，以至于你不知道自己的力量。我认为有一个相当不错的论点表明人类正在达到那个点。我认为我们正处于可能发生核战争、生物武器或真正永远改变世界的人工智能系统的地步。所以，300 年前这样做可能是有意义的

很久以前，当我们都在努力养活自己时，会说：“嘿，我们想要更多的力量。我们想要更多的技术。我们想要更多的能力。”今天，我认为我们开始进入灰色地带。我们开始进入灰色区域，或者我们应该稍微放慢脚步，更加谨慎一些。我不是说要字面意义上的放慢脚步，而是说优先级。我宁愿关注那些我认为被严重忽视、可能影响全人类未来的问题，并至少尽我们所能来处理我们想对它们做什么。然后，把我的精力投入到为这种持续的技术进步提供更多的动力和支持，我认为这是一件好事。这仅仅是优先级的问题。好的。你认为如果想法越来越难找到，那么进步的整个愿景是否注定要失败？我之前讨论过“星系原子”的论点——我认为更广泛的常识性看法是，过去几百年里，世界发生了惊人的巨大变化。我们每年都有令人兴奋的新技术和新能力。我认为一个好的猜测是，这在某个时候会遇到瓶颈。可能是星系原子，也可能只是更无聊的东西。当我们看数据时，我们似乎观察到的是一种停滞，一种放缓，这种放缓可能会默认地继续下去。所以，是的，我认为这是一个很好的猜测，即世界正在以历史上大部分时间未曾有过的惊人速度变化，而且这种速度很可能在未来也不会持续。选择要解决的问题 好的。明白了。我想对于“想法越来越难找到，因此进步研究的相关性降低”这个想法，人们可能会有几种反应。如果你看看你自己的博客，你一直在抱怨那些低垂的果实，人们却不去摘取。没有人认真考虑变革性人工智能。没有人认真考虑乌托邦。没有人认真考虑理想的治理。你如何调和这一点与想法越来越难找到的普遍概念？我认为今天有很多非常重要的事情，但没有足够多的人关注。这在 50 年前是真实的，在 100 年前也是真实的。这可能在 50 年前比今天更真实。这可能在 100 年前比 50 年前更真实。渐渐地，那些没有得到任何关注的、极其重要的想法的供应可能越来越难获得，但难并不意味着不可能。我确实认为，如果人们想做一些真正新颖、改变世界、具有颠覆性和革命性的事情，那么最糟糕的方法就是进入一个根深蒂固的科学领域并试图革新它。我认为最好是运用你的常识，对世界上没有人正在研究的重要问题提出疑问，因为它不是一个科学领域（因为它不是学术领域，因为它没有机构），然后去研究它。我的博客有很多内容都在提倡这一点。例如，人工智能本身是一个非常成熟的领域，但人工智能对齐是一个奇怪的领域，目前还没有学术部门。我所谈论的很多内容，比如试图预测未来会是什么样子，是一件奇怪的、声望不高的事，你很难向你的大家庭解释。我认为如果你想做一些非常重要或非常革命性的事情，这可能是最好的地方。这就是为什么我职业生涯一直被它吸引——寻找慈善事业可能获得的潜在巨大收益。你曾经说过，我们不应该追随伟人的脚步成为一个伟大的人，而应该自己取得伟大的成就。难道不应该这样想吗，你也应该忽略你给出的光学建议或 80,000 小时给出的建议，因为那些具体的事情不会让你成为下一个爱因斯坦？我的意思是，你的相当一部分问题是我在那些对未来主义持怀疑态度的人群中看到的对话的一部分——在我看来，这几乎是变得不必要地花哨了。我只想说，“谁真正彻底改变了世界思考事物的方式？” 达尔文。那么，达尔文当时在做什么？达尔文有没有说，“嗯，我真的不想考虑这件事，因为我不相信人类有能力思考这件事，我也不想考虑这个话题，因为我认为了解未来太难了，等等，等等。”他有做所有这些事情，还是他只是问了一个有趣的问题？他只是说，“嘿，这件事似乎很重要。我将运用我的常识和判断力来弄清楚它是如何运作的，然后我会写下来。”我认为有些事情变得太花哨了。所以今天，如果我只是看看世界，然后说，“对于世界在未来成为一个好地方还是坏地方，什么是最重要的事情？”我考虑了很多可能性。我认为人工智能对齐是领先的例子之一，而且我没有看到很多人关注它，所以这就是我想做的。我认为很多做出革命性工作的人，我们现在回顾起来（很多人试图模仿他们），他们并没有试图模仿通常有效的东西，并避开无效的东西。他们只是在问有趣、重要的问题，并致力于解决它们。就我和 80,000 小时而言，我只是觉得我们不够出名，影响力也不够大，以至于我们认为我们感兴趣的东西是显而易见的，因此自动就不会被忽视。我认为我们谈论的东西被严重忽视了，但如果你找到了更被忽视、更重要的事情，那就太好了。假设给到 EA 的总金额增加了一个数量级。那时可能发生什么，而现在不可能发生？我不知道。我认为即使在那时，我们所处理的金额与任何政府预算相比仍然非常少。总的来说，在慈善事业方面，我总是在寻找这样的事情：“我们能看到一个领域的创建吗？我们可以资助人们引入新想法吗？”但是，与整体经济和整体政府相比，我们非常渺小。我认为即使将一切乘以 10，这种情况仍然会存在。我不确定我们具体会如何处理 10 倍的资金。我甚至不确定我们如何处理现有的资金。是的，但你认为未来会有更多的亿万富翁吗？如果是这样，你是否应该现在就更快地花钱？理论上，我们有所有这些模型说，“这是我们对最终可用资金的猜测，这是我们对最终会有多少捐赠机会的猜测。这是我们对什么值得资助、什么不值得资助的猜测。”这是一个非常初步的猜测。很多东西都非常非常不精确，但我们必须有一些看法——任何花钱的人都必须有。所以，我的意思是，是的，我确实倾向于认为 Sam Bankman Fried、Dustin Moskovitz 和 Cari Tuna 不是最后对尽可能做好事感兴趣的亿万富翁——但这真的很难建模。坦率地说，我们多年来已经制定了各种粗略的模型，但有时我们也会运用我们的直觉，只是说我们资助那些看起来相当好、令人兴奋的事情，而不资助那些不好的事情。这也是我们思考的一个输入。3000 万美元的 OpenAI 投资 明白了。你如何看待你的一些捐赠可能产生负面影响的风险？人们在你的 3000 万美元对 OpenAI 的投资背景下提出了这一点，但在各种情况下，尤其是在你谈论政治倡导时，人们可能会认为你所做的事情具有负面副作用，抵消了积极影响。这只是一个直接的计算吗？你如何看待这个问题？我认为理论上，我们希望做出收益大于风险的拨款，或者预期有净积极影响。我认为我们倾向于以常识的方式，对负面影响稍微保守一些。我们不想做的是进入一个理论完全混乱且错误的领域，如果我们多做一点功课，本可以知道这一点。我认为那样做是不负责任和不合作的。所以总的来说，当我们做出重大决定，比如大额支出决定或进入一个新的事业领域时，我们通常会尽一切努力去了解其缺点。如果我们尽了我们所能做的，直到合理收益递减，但仍然相信收益大于风险，那么我们通常会去做。我们的目标不是不惜一切代价避免伤害。我们的目标是以合作、高诚信的方式行事——始终尽力而为，始终试图预见缺点，但认识到有时会有意想不到的副作用。这就是生活——你做的任何事情都会有意外的副作用。我不同意你给出的具体例子，认为它是一个净负面效应的例子，但我不确定。你说的是 OpenAI 吗？是的。Twitter 上的许多人可能问过你是否投资了 OpenAI。我的意思是，你可以查阅我们对 OpenAI 的 3000 万美元拨款。我认为那是在 2016 年——我们写了一些关于其背后的思考。这项拨款的一部分是让 Open Philanthropy 在几年内获得一个董事会席位，以便我们能够在他们发展的关键早期阶段帮助他们的治理。我认为有些人认为 OpenAI 对世界产生了净负面影响，因为他们为人工智能的进步和人工智能的炒作做出了很大贡献，他们认为这给了我们更少的时间来准备。然而，我认为，在其他条件相同的情况下，人工智能的加速发展确实给了我们更少的时间来准备。这是一件坏事，但我认为这并非唯一的考量。我认为 OpenAI 也做了一些好事，并树立了一些重要的先例。我认为它可能比我猜测的如果他们不存在而存在的公司更关注我所谈论的许多问题以及高级人工智能的风险。我并不真正接受 OpenAI 是负面力量的说法。我认为这是非常有争议的。我们可以全天讨论。如果你看看我们具体的拨款，那更是完全不同的事情，因为其中很多不仅仅是为了推动他们，而是为了参与他们早期的决策。我认为这是一件有益且重要的事情。我的总体看法是，我不认为这项拨款是我们做得最好的拨款之一，也不是最差的。但我们肯定做了很多事情，你知道，没有奏效。我认为有些时候，我们做的事情产生了我们没有预料到的后果。没有慈善家能摆脱这种情况。我们可以努力做的是负责任，认真做好功课，事先了解情况，看到我们能看到的风险，并思考如何将它们最小化。未来证明伦理 让我们谈谈伦理。我认为你有一系列关于未来证明伦理的非常有趣的博客文章。当然。你想先解释一下这是什么吗？当然。我写了一个简短的博客文章系列，试图解释那些自称为“有效利他主义者”的人普遍持有的哲学观点和伦理观点。我提出的一个想法是（我不确定我是否正确地理解了它）我认识的许多人都在试图建立一个道德和伦理体系，这个体系能够经受住大量的道德进步。他们试图建立一个体系，如果他们后来变得更明智，学到更多，并反思他们的道德，他们就不会回顾他们早期的行为，认为他们犯了可怕的、恶劣的错误。历史上很多人只是做他们当时认为可以并且正确的事情，但现在我们回顾起来却感到震惊。你可以想象自己问：“我能拥有什么样的道德，才能让我不太可能在未来出现更多的道德进步，人们学到更多，而他们不会回顾我，并对我的所作所为感到震惊？”所以我写了一系列关于尝试这样做会是什么样子的文章，并概述了其中的一些原则，试图用它来解释许多有效利他主义者倾向于使用的道德体系——这通常是某种形式的功利主义，而且通常非常广泛地考虑谁的权利受到尊重。所以有效利他主义者对尚未存在的子孙后代非常感兴趣。他们关心在工厂化养殖场遭受虐待的动物。他们关心许多人今天不关心但数量庞大的各种群体。所以我试着解释一下。重要的是，我部分地阐述了这一观点，以便以后可以反驳它，而我还没有做到后者。所以我也对有效利他主义者普遍持有的伦理体系有很多保留意见。好吧，让我们谈谈你在这篇文章中概述的一些支柱。有情主义对我来说似乎相当合理。我大致概述了三个原则，你可能希望一个道德体系能够经受住审查，或者如果你学到更多并变得更好，你不太可能改变主意。一个原则是系统化。基于简单的普遍原则并在各处应用道德比拥有一个道德体系要好，这个道德体系总是让你在当下决定什么感觉是对的。后者可能受到你所处时代的许多偏见的影响，而前者可以让你压力测试核心思想。我提出的两个核心思想是我称之为“薄功利主义”，基本上是“最大多数人的最大利益”，以及“有情主义”，基本上是说，如果一个人能够遭受痛苦或体验快乐，那么他就被计算在内或很重要。我认为你刚才说有情主义对你来说是合理的。我认为有情主义可能是我眼中这个图景中最薄弱的部分。我认为如果你有一个道德体系，你坚持认为每个人都应该根据他们能够承受的痛苦或快乐的程度平等地被计算在内，你就会遇到很多奇怪的困境，而如果你没有这种观点，你就不必遇到这些困境。所以我认为这非常奇怪，但我认为它实际上是该观点中更具争议的部分之一。这有点像在说，“当我决定是否关心某人时，他们是否在遥远的未来，是否离得很远，是否与我完全不同，是否不是人类，我是否从未见过他们，这些都无关紧要，重要的是他们是否能感受到痛苦或快乐。”我认为这听起来很棒，我完全理解为什么有人听我说话会说，“你怎么会不同意呢？”但我确实认为它存在各种挑战，我还没有机会写出来。我怀疑我现在在这个播客上很难有说服力，因为我还没有想得够多。好吧——是的，听起来不错。让我们谈谈系统化。你拥有许多复杂且有时相互矛盾的道德直觉的事实是否表明，也许拥有一些基本原则并从中推导出其余道德的整个目标是一个注定失败的项目？这在某种程度上确实表明了这一点。我有点倾向于这种观点，这可能是我在反驳中会写到的。我也认为人有可能是困惑的，我认为一个人脑子里可能有很多事情，其中一些可能基于非常好的、非常好的意图，即公平对待他人，善待他人。其中一些可能只是基于其他奇怪的事情，比如想要支持那些和你长得像的人，或者帮助那些和你长得像的人等等。所以我确实对试图说“我的直觉相互矛盾，但其中一些来自好的地方。其中一些来自坏的地方”这个项目表示同情。如果我多想一想，我就会意识到哪些是哪些，我想尝试这样做。是的。让我们谈谈新的极权主义。斯科特·亚历山大（Scott Alexander）的一篇旧帖子中有一个问题，他问，你宁愿中世纪教会把所有的钱都用来帮助穷人，而不是支持艺术？所以也许中世纪的时候穷人少了，但你就不会有大教堂，也不会有西斯廷教堂。说实话，我不知道如果你在中世纪会怎么回答。这似乎不是这个论证最强有力的版本。也许那会很好。我不知道。我妻子非常喜欢这些古老的教堂——如果我更像她那样，我会对这个想法感到更加震惊。穷人过去的日子很艰难，所以他们过上更好的生活似乎很有吸引力，所以我真的不知道这是否是这个论证的最佳版本。未来证明伦理在多大程度上基本上是你非常有信心，未来的霍尔顿将拥有更发达、更好的伦理体系？你认为普通人或全人类的伦理道德会随着时间的推移而提高多少？这肯定一直是这个系列中的一个困惑点，部分原因是我认为我沟通得不好，这使得这个系列不太好。我使用“道德进步”这个词，我只是用它来指“事情变得更好”。我认为有时思考道德、获得一些见解并因此处于更好的位置是存在的。我认为这是真实存在的。有些人相信道德是客观真理，但我不是那样的人。然而，尽管我认为道德不是客观的，但我仍然认为存在有意义的道德进步的概念。拥有比我过去更合理的道德观点是存在的。我不想说的是，道德进步具有任何必然性。我不想说道德进步必然会发生，仅仅因为时间流逝。我不这么认为。我只是认为这是可能发生的事情。所以我确实认为未来的霍尔顿在道德方面可能会更好，因为我对这个话题非常感兴趣——我会继续努力改进它。我认为我们有一些理由认为这确实有帮助——一点点，非常微小，但我对此一点也不确定。我当然不认为社会必然会实现道德进步，但我确实认为我们过去已经取得了一些进步。好的，那么给这个伦理体系贴上“未来证明伦理”的标签似乎很奇怪，对吧？也许它只是未来的“霍尔顿证明伦理”。是的，可能。我在这个系列中对此进行了大量讨论，我认为我做得不够好。我认为我试图做的是使用一个术语，你不需要成为一个道德现实主义者也能接受。我真正想捕捉的是，“我现在能否思考以减少这种可能性：如果我以后改进了，我会对我早期的行为感到震惊？”这就是我想捕捉的概念。我不确定我是否真的成功了。诚信与功利主义 明白了。好的，你最近在 EA 论坛上发表了一篇我认为非常有趣的文章。其中一句是，“我的观点是，在大多数情况下，认同自己是 EA 的人往往具有异常高的诚信度——但我的猜测是，这更多的是尽管功利主义，而不是因为它。”那么，你认为这个巧合的解释是什么，即一群理性、不狂热、诚信度高的人恰好也是一个功利主义者社区？你可能有一群人，他们认为自己正在努力成为应该成为的那种人，或者努力使自己的行为与他们的信仰和言论保持一致——这使他们经常诚实，并遵守我们许多常识性的道德规则。这也促使他们真正努力正确地处理伦理问题，并得出功利主义这样的想法，这些想法非常系统化和纯粹，并为你提供清晰的理论指导。所以这可以驱动这两件事。而我认为，如果你是一个功利主义者，那么功利主义是否真的告诉你避免撒谎，这一点非常不清楚。有些人认为它会。有些人认为它不会。我认为这非常不清楚。你在试图做决定时提倡“道德议会”的方法。使用这种方法的正确组织层级是什么？个人是否应该基于他们内部有多个不同的道德派别来做决定？这是整个运动的正确方法，但个人应该专业化吗？这个方法应该应用的正确层级是什么？道德不确定性是我希望将来能写到的。基本思想是，可能有许多不同的思考方式来确定在这个世界上该做什么才是正确的事情。你可能会从一个角度看待世界，然后说，“那么，重要的是所有快乐的总和。因此，一个更大的世界会更好。因此，我应该非常痴迷于让世界尽可能大。”可能有另一种观点认为，真正重要的是痛苦。“我们应该尽量减少痛苦。我们应该希望世界变小。”可能有另一种观点认为，世界发生什么并不重要。“重要的是我的行为。重要的是我以诚信行事，我讲真话，诸如此类。”这些有趣的辩论在问，当你认为你对所有这些观点都有一些同情时，你应该怎么做？你如何选择一个行动，有些观点认为这是你做过的最好的事情，而有些观点认为这是你做过的最糟糕的事情？道德议会这个想法是由 Nick Bostrom 在十年前的《克服偏见》的一篇文章中提出的，我喜欢这个想法。我把它想象成我就是多个人。我只是把它想象成我脑子里有很多人在争论该做什么，他们都是朋友，他们都关心对方，他们想和睦相处。所以他们正在努力达成一个所有人都觉得相当不错的协议。这就是我处理不同道德观的方式。我倾向于做一些事情，这些事情对一个人来说非常好，而对其他人来说又不太坏，并试图让我的不同部分互相达成协议。所以这与我开头说的“不以终点证明手段”有关。我付出了很多努力去做那些“真正、真正、真正的好事”。如果这个“最重要的世纪”的说法是真的，那将是好的，但如果不是，那也不会太灾难性。所以有一些底线是我不愿意跨越的。我不会采取某些行为来促进那些担心人工智能安全的人的目标。所以我认为这是一种缓和的方法。贝叶斯思维与治理 对于像你这样担任 Open Philanthropy 首席执行官的人来说，希望你做出的决定能够反映你决策中的不确定性，这是非常有意义的。然而，如果只是像我这样的人，我没有担任领导职位，也没有大量的资源可以投入，我是否应该专门研究我持有的那种道德观点，还是我也应该尝试根据不同的道德观点来分配我的时间和资源？我认为无论我在世界上的地位如何，无论我拥有多少资源，我都会觉得我的决定在某种意义上是重要的，并且会影响人们，并且以它们影响周围人的方式很重要。所以，我认为对我来说，很自然地认为有很多不同的观点来定义什么是好人，而不是试图将它们变成一个单一的、统一的数学方程并取期望值——这是另一种我认为很有趣的方法。我确实认为我倾向于偏好的方法是想象不同的观点就像不同的人在努力相处并达成协议。让我们谈谈治理和管理。在软件领域，正如我确信你所知，有一个“10 倍工程师”的概念。在 Open Philanthropy 的研究分析师所做的工作中是否有类似的东西？说两个人做同样的工作，一个人比另一个人有效率高几个数量级，这是否有意义？在 Open Philanthropy 的任何一项工作中，有些人比其他人做得好得多。我认为这并不奇怪。我认为这对于许多工作都是如此，我也不知道原因。这可能是才能、兴趣以及一个人为此付出的努力的任何组合。我当然认为存在很大的差异，而招聘能够出色完成 Open Phil 所做工作的人一直是终生的挑战。你写过关于贝叶斯思维的文章。你认识很多亿万富翁，他们中的许多人是 Open Philanthropy 的捐助者。根据你的经验，这些最终非常成功的创业公司创始人是否具有贝叶斯思维，还是这是对他们的错误描述？是的，我写过这个叫做贝叶斯思维的想法，它基本上是关于愿意为任何事情设定一个概率，并使用你的概率，说出你的概率，以此来发现你为什么会那样想，并类似地使用期望值计算。我认为这在成功的科技创始人中比在普通人群中更常见，但也有很多科技创始人根本不这样想。我在贝叶斯思维中是这样说的。我认为它不是一个经过充分测试、充分验证的社会技术，能够带来惊人的成果，但我确实认为它更像是一个值得尝试的有趣事物。好吧，对于普通大众来说，贝叶斯思维几乎闻所未闻。是的，我的意思是，这不仅仅是名字。这种一直在思考期望值和主观概率的想法——几乎没有人这样做。然而，我认为科技创始人可能比普通人做得更多。这说得通。你认为采用更多贝叶斯思维是否能帮助某人达到顶层并取得更大的成功？这还有待观察，而且不清楚。我认为贝叶斯思维是一个值得尝试的酷东西。我经常尝试它。我觉得它有时能帮助我。和大多数事物一样，适度地、有品味地使用它，并且不要对每一件事都使用它，这是好的。也许 10 年后，随着它越来越受欢迎，我们将更好地了解其实际应用优势和劣势。正如我确信你所知，在有效利他主义领域有许多奖项，涉及各种智力工作。其中一些甚至来自 Open Philanthropy。你对他们发掘新想法的能力感到乐观吗？我会说我对所有这些奖项的影响力持中度乐观。我曾参与设计其中一些，但我确实看到了一些其他的……人们说，“嘿，如果你能给我们一个好的批评，我们就付你 X 美元……” GiveWell 会付钱给人们，让他们对他们关于哪些是最好的慈善机构的推理提出批评。Open Philanthropy 设立了一个奖项，以表彰我们应该关注但尚未关注的领域。我对这个奖项持中度乐观。我认为它会引起一些兴趣，并吸引一些原本不会关注的人，其中一些人可能有好主意，但我认为这不是解决这些问题的唯一方法，也不是它会自动解决它们。这通常也是设计奖项的人对它们的看法。你有一篇关于利益相关者管理的有趣文章，其中提到随着时间的推移，机构将不得不考虑越来越多的利益相关者的利益。你是否预计这将是 Open Philanthropy 未来行为的一个主要因素？这将对 Open {hilanthropy 的整体运作产生什么影响？是的，我认为总的来说，你的组织越大，你的城市越大，你的社会就越大——如果你想让每个人都快乐，你就必须让更多的人快乐。我认为这意味着，总的来说，随着公司规模的增长，它做出许多颠覆性快速改变的能力会降低。很多人会使用“敏捷”这个词。科技界很多人喜欢用这些非常负面的词来形容大公司的特点，用非常积极的词来形容小公司的特点。所以小公司是敏捷、快速、务实、适应性强、充满活力的，生产力高，而大公司则官僚、缓慢、不适应。我认为这都是公平的。我也认为，归根结底，大公司生产的东西往往比小公司多。我认为如果苹果公司仍然只有 10 个人，那可能是一个更令人兴奋的工作场所——但他们无法制造所有那些 iPhone。有大量的 iPhone 交付给大量的人，服务于大量不同的人的需求，并遵守大量的监管要求。有很多工作要做。所以我不认为这一定是一件坏事，但我认为公司成长是有代价的。我认为 Open Philanthropy 正在从事一种非传统的捐赠业务，并运用大量的判断力来做到这一点。所以我认为我们受益于保持尽可能小的规模，而且我通常会努力让我们在开展工作的同时保持尽可能小的规模——但我们仍然需要从现在的位置成长。明白了。你的意思是保持资金规模小，还是人数小？人数。好的，是的，人数。似乎奇怪的是，在你经验最丰富的组织中，你的内部看法是更多的利益相关者会是坏事——但总体而言，它一直是净零或正面的。好吧，这还不清楚——我们正在成长。我们比一年前更大，一年后也会更大。所以，我绝对不是在试图最小化公司规模。我们在成长，但我认为我们想关注它。我认为我们想把每一次招聘都看作是我们只有在有非常充分的理由时才做的事情。我认为有些公司可能从拥有 10,000 人中获益更多。我不认为我们永远会有 10,000 人。职业建议 对。现在你写的职业建议强调培养能力和专业化，但当我看看你的职业生涯时——它到处都是，对吧？我们刚在采访开始时就谈到了。你最初在 GiveWell 工作，然后在 Open Philanthropy 工作，现在你在预测人工智能。那么你如何看待这类事情？我是在专业化吗？这里发生了什么？我不知道我是否真的在预测人工智能。我主要提炼和整合他人进行的分析，并管理从事这类工作的人。我经常给出的职业建议是，拥有一个你非常专注、正在专业化的领域，并努力成为世界上最顶尖的人，这是非常好的。我职业生涯的总体主题是，我一直在处理问题，尤其是关于如何有效捐赠的问题，这些问题是——没有人真正开始解决。即使做一个相当糟糕的分析，也比现有的要好。所以，我职业生涯中经常做的事情，我自认为在某种意义上专业化的，就是我对一个很少被分析且非常重要的问题进行第一次糟糕的分析。然后我组建一个团队来对这个问题进行更好的分析。这一直是我的一般模式。我认为这是我最通用的技能，但我一直在变动，因为我认为我在职业生涯的各个阶段都说过，“嘿，这里有一些事情很少受到关注，而且非常重要，值得牺牲我在一个领域建立的专业知识，转而进入我认为我应该从事的另一个领域。”“冷思考”博客上的标志是什么意思？没有标志。我想你说的是浏览器图标。是的，是的。那是一个名叫 Mora 的毛绒玩具。如果我获得足够的订阅者，我会解释所有这些毛绒玩具是谁，但我和我的妻子基本上使用一个毛绒玩具人格分类系统，我们将一个人与各种毛绒玩具进行比较，以解释他们的优势和劣势。Mora 是一只粉色北极熊，非常有创造力，但也非常自恋，喜欢关注。所以她可以说是这个博客的吉祥物，因为这个博客非常疯狂，非常出格，只是我在公开场合写作。所以感觉就像她的精神。天哪，好吧。那么，让我问一下，博客的目的是什么？为什么除了担任一个大组织的首席执行官之外，还要有第二份工作作为博主？我认为这与我的工作相当契合。我不想让它带有 Open Philanthropy 的品牌。我只是想自由地按照我想的方式和我想的内容来写东西。我认为我们基于对世界非常规的看法做出这些高风险的决定。所以我认为我们应该努力让这些观点与世界其他地方产生联系。我认为，如果一个大型基金会给你大量的钱，但却悄悄地相信这些极其重要且真实的、没有人相信的事情，那将是不理想的。如果我们把这些观点推向世界，A，我认为所有向我们寻求资金的人都会更好地了解我们的立场，以及为什么我们对资助我们感兴趣的东西感兴趣。我认为在某种程度上，如果人们觉得这些论点有说服力，甚至只是理解它们，这有助于我们理解我们的想法，并可能为我们创造更多的受资助者。它可以帮助世界成为一个有更多好东西供我们资助的地方，因为更多的人了解我们的立场，希望同意它，并努力解决我们认为重要的事情。然后，在我的东西实际上是搞砸了、错了，我犯了错误，我把所有东西都想错了的程度上，这也是我知道的发现它的最佳方式。我不知道还有什么其他方法可以让人批评它，除非把它放出来，也许能引起一些关注。所以这就是我对此的看法——它是关于表达对我们正在做出的决定非常重要的观点，以便我们能够获得更多同意我们的人，他们能够资助、支持和合作，或者更多地了解我们犯了什么错误。好吧。那么，让我问你一个问题——这种情况发生过吗？博客上是否表达过一个重要的观点，因为反馈而改变了你的想法？还是主要关于沟通部分？我的意思是，确实有很多有趣的事情。例如，我写了一篇关于未来主义者记录的文章，最近丹·刘（Dan Liu）也写了一篇，我还没读。它有自己对未来主义者记录的分析，我需要比较一下，才能思考我真正认为人类在预测未来方面有多好。他当然有大量的数据是我不知道的，感觉有点像回应，或者可能不是由它引起的。有很多评论。关于我写的一些关于“最重要的世纪”的内容，有很多批评。还有其他的批评。我认为我写的大部分关于“最重要的世纪”最薄弱环节的内容都基于公众的批评。所以我认为我变得更加意识到我思维中很多最不令人信服、最薄弱或最需要论证的部分。因为这个，我更加关注那些方面。是的。这可能只是我自己的想法，但实际上听起来，你了解了人们对“最重要的世纪”这个论点的反应，但似乎没有什么浮现——这让你对它改变了很多想法。那将是一个巨大的、巨大的改变，放弃我认为我们可能处于人类历史上最重要的世纪的观点。我仍然相信这一点。我的意思是，我也听过一些人认为我低估了这一切——那些疯狂的人，他们认为我应该比我在系列中暗示的更早地计划变革性人工智能。所以，是的，我发布了“最重要的世纪”，并且我认为没有一个批评足够深入、足够有力，让我完全放弃这一切。这是一个宏大的图景，有很多动态的部分，我加深了我对其中许多部分的理解。是的。你工作中一个我发现非常有趣的地方是，首席执行官需要对所有涉及的问题有深刻的理解。你必须深刻理解，例如，道德议会或关于人工智能的具体预测，生物锚点等等，对吧？似乎在其他组织中，首席执行官只是将这种理解委托给他人，只要求要点。这是你认为更多领导者应该做的事情，还是你的职位有什么特别之处？我比专门研究某个主题的人对任何给定主题的了解都少。我认为我试图做的是，我试图了解足够多的主题，以便能够有效地管理他们，这是非常普遍的公司最佳实践。我认为这确实差异很大。所以，例如，像记账、财务、财务审计等等——这些很容易通过判断输出来判断，而无需了解太多财务知识。你只能说，“看，这是否合规？我们做了审计吗？我们通过审计了吗？我们银行里还有钱吗？我们银行里有多少钱？”你不需要了解太多就能有效地判断它。然而，在任何其他公司，你可能需要了解相当多的其他主题才能有效地判断它们。如果你的公司制造电脑或手机，而设计非常重要，那么首席执行官对设计毫无意见，只是认为“我将让我们的设计人员决定设计”，那将是非常糟糕的。这是公司的核心。它对公司很重要，他们应该了解一些事情。所以，我确实了解对 Open Philanthropy 至关重要的事情。做好事意味着什么？我们如何处理关于如何做好事的不确定性？什么是最重要的事业？如果人工智能可能是最重要的事业之一，那么我们何时会看到变革性人工智能？那意味着什么？失控人工智能的风险有多大？我认为我需要充分理解这些问题，才能有效地管理那些比我更了解它们的人。我很好奇——你对这个“最重要的世纪”的说法有什么看法？你觉得它很疯狂吗？当你读这个系列时，你有什么想法？是的，显然在整个采访中，我一直在试图挑剔一些小细节，但当我真正思考你提出的主要主张时，那就是这可能是最重要的世纪，变革性人工智能可能在本世纪发生。如果发生，那将是一件大事，是的，我并不反对。这很有道理。在准备采访和试图提出反对意见的过程中，我只是更加确信地思考：“在我职业生涯早期，我是否真的能做些什么重要的事情？或者这是我应该暂时不去想的事情？”很高兴听到。你有什么想法吗？没有。真的吗？完全没有想法？你有没有想过，“我能从事人工智能对齐工作吗？”嗯，是的，从这个意义上说，我考虑过一点。大概在两三个月后，我会认真思考我真正想做什么职业。非常感谢我的编辑 Graham Bessalou 制作了这个播客，以及 Mia Aiyana 制作了伴随每集播客的精彩文字记录，其中包含有用的链接，你可以在下面的描述中找到它们。记得在 YouTube 和你最喜欢的播客平台上订阅。干杯。下次见。