Transcription
Rob Wiblin：今天我将与 Ajeya Cotra 对话。Ajeya 是 Open Philanthropy [现为 Coefficient Giving] 的高级顾问，她在 2024 年领导了该机构的技术性人工智能安全资助工作。更广泛地说，她自 2018 年以来一直在进行与人工智能相关的研究和战略，并因其在时间线、能力评估和威胁建模方面的工作而在人工智能领域产生了巨大影响。非常感谢您再次来到节目，Ajeya。
Ajeya Cotra：非常感谢您的邀请。
Rob Wiblin：所以，进行这次采访让我有机会回顾并听了我们两年前半录制的采访。我不得不说，您当时非常有远见，或者说在那次对话中您提出了许多引起人们注意的问题，我认为在随后的两年半里，这些问题现在看起来更加重要了。您谈到了 METR 评估自主能力，这项研究后来变得极具影响力，在政策界广为传阅。您谈到了使用探针来监控和关闭危险的对话，这已经成为一种相当标准的做法，并且可能是机械可解释性最有用的产出之一。您谈到了使用思维链和草稿本来监控人工智能的行为及其原因的重要性。这仍然可能是主流技术。您谈到了人工智能模型日益增长的态势感知能力以及由此产生的欺骗性对齐的可能性，这现在已成为一个完全主流的话题。您谈到了当您训练模型不进行不良行为时，它们不一定会变得诚实，它们也会学会更好地隐藏自己的不当行为——我猜想研究已经证实了这种情况确实会发生，并且是一个令人担忧的问题。您谈到了您期望模型随着它们的智能提高而变得更加狡猾，尤其是在我们将强化学习重新纳入其中之后——这种情况确实发生了。您还谈到了很多关于谄媚的问题：您认为模型可能会因为我们喜欢而最终只是奉承人们，而不是提供准确的信息。所以，您并不是凭空想出了所有这些想法，但您确实走在了时代的前面，也许我们在这场采访中也会得到一些超前的想法。
Ajeya Cotra：希望如此！谢谢。
Rob Wiblin：所以您认为，关于人工智能的所有分歧的一个关键驱动因素是人们对 AGI 有多大可能加速科学技术，以及我猜想的物理基础设施和制造业的看法不同。这是为什么呢？
Ajeya Cotra：是的。我注意到的一件事是，随着 AGI 的概念越来越主流，它也变得越来越稀释。所以去年我参加了在纽约举行的 DealBook 未来人工智能小组讨论。我与一两位从安全角度思考问题的人，以及一些风险投资家和技术专家一起。主持人一开始就问我们，到 2030 年我们是否认为更有可能实现 AGI——定义为“能够做人类所能做的一切的人工智能”。七八个人举了手，不包括我，因为我的时间线比这要长一些。但随后他问了一个后续问题，关于在接下来的 10 年里，我们是否认为人工智能会创造更多就业机会还是摧毁更多就业机会。所以 2030 年是五年，十分之七的人认为我们将在 2030 年拥有 AGI。但后来发现，十分之八的人，不包括我，认为在接下来的 10 年里，人工智能创造的就业机会将多于其摧毁的。我感到有些困惑。为什么您认为我们将在五年内拥有能够做人类顶尖专家所能做的一切的人工智能，但在接下来的 10 年里，它实际上会创造比摧毁更多的就业机会呢？这里发生了什么？
Rob Wiblin：这似乎存在一种张力。
Ajeya Cotra：当我在小组讨论中就这种明显的张力采访一些人时，我认为他们很快就退缩了，他们说：“AGI 到底意味着什么？”主持人将其定义为一个非常极端的概念，但他们却说：“我们几乎已经有了 AGI。人们一直在移动目标，我们一直在制造很酷的新产品，但人们不接受这是 AGI，他们渴望更高的目标。”我觉得这很有趣，因为在老派的奇异主义未来主义者对 AGI 的定义中，AGI 是一个非常极端的概念。但我认为风险投资家有一种本能，就是将像 GPT-5 这样的东西称为 AGI，或者更温和一些的东西。所以我认为这造成了一种情况，即人们觉得他们已经获得了大量证据，表明 AGI 并不是一件大事，也不会带来太多改变——因为我们已经有了 AGI，或者我们明年就会有，或者我们在两年前就有了，看看我们周围：并没有太多改变。所以我认为存在一种期望，无论我们未来几年是否会实现 AGI，很多人已经开始不太关心这个问题了。他们仍然期望未来 25 年或 50 年的进程与过去 25 年或 50 年类似，即 2000 年到 2025 年之间有大量的技术变革，但变革的幅度是适度的。他们认为 2050 年的变革幅度将与 2000 年到 2025 年之间相似。即使他们认为我们将在 2030 年实现 AGI，他们也认为 AGI 将推动这种持续的温和进步。而我认为，到 2050 年，世界与今天的样子可能与今天与狩猎采集时代的样子截然不同。这就像是 10,000 年的进步，而不是由人工智能自动化所有智力活动驱动的 25 年的进步。
Rob Wiblin：您已经暗示了这一点，即人们对此有非常广泛的看法，但您能否让我们大致了解一下这个范围有多大，以及两端的景象是怎样的？
Ajeya Cotra：我想说，在标准的、主流的观点下，如果你问街上的普通人 2050 年会是什么样子，或者如果你问一个标准的、主流的经济学家，我认为他们会认为人口会稍微多一些，我们的技术会更好一些。也许他们有一些他们最感兴趣的宠物技术。也许我们有这个或那个。所以医疗保健会好一些，人们会活得更长一些。这种变化是极易管理的。我认为从那里最极端的另一端，是一种在《如果有人建造它，所有人都会死》中描述的观点。在这种世界观中，在某个时候，可能无法预测，我们会破解出极端超级智能的代码。就像我们发明了一项技术，它会突然从像 GPT-5 和 GPT-6 等等，变得比我们聪明得多——我们就像猫、老鼠或蚂蚁与这个东西的智能相比。然后那个东西可以立即对物理世界产生极其极端的影响。经典的、可以说是典范的例子是发明纳米技术：能够精确制造非常微小的、可以快速自我复制并能做各种事情的东西——比如发明接近光速的太空探测器等等。我认为其间存在一个完整的范围，人们认为我们将进入一个技术接近物理极限的世界，我们拥有接近光速的宇宙飞船，我们拥有可以像细菌一样快速复制但同时为我们做有益事情的自我复制实体。但在此之前，我们必须经历中间阶段。但我认为，所有那些未来主义者和担心人工智能 x 风险的人都同意一点，那就是他们认为在未来几十年里，我们很可能会获得由人工智能驱动的这种极端技术进步。
Rob Wiblin：一个人对人工智能或 AGI 加速科学研究（尤其是）以及物理工业的预期程度，与他们认为它可能出错的可能性或他们对整个前景的担忧程度之间的相关性有多强？
Ajeya Cotra：我认为相关性非常强。我经常发现，那些认为人工智能应该加速发展的人，倾向于认为人工智能在世界上的默认发展和部署方式非常、非常缓慢和渐进，他们认为我们应该减少一些繁文缛节，使其以更合理的速度发展。而那些担心 x 风险的人则认为，人工智能的默认进程是一种极其爆炸性的事情，它可能在一年、五年、六个月或一周内颠覆社会的所有维度。他们说我们应该放慢速度，也许需要十年。与此同时，那些加速主义者认为，默认情况下，人工智能的普及和获益将需要 50 年或 100 年，而他们希望将其加速到 35 年。
Rob Wiblin：有趣的是，在政策处方上存在巨大差异的人们可能目标是相同的速度。实际上，他们可能希望这个时期需要 10 年或 20 年：这是他们都想要的，但他们的基线如此不同，所以他们朝着完全相反的方向努力。您的模式预期是什么？您认为它最可能产生什么影响？
Ajeya Cotra：我认为，可能在 2030 年代初期，我们将看到 Ryan Greenblatt 所说的“超越人类专家的 AGI”，即一个能够比任何人类专家更好地完成您可以远程从计算机完成的任务的人工智能系统。所以它在远程病毒学任务上比顶尖病毒学家更好，在远程软件工程任务上比顶尖软件工程师更好，依此类推，适用于所有不同的领域。到那时，我觉得世界可能已经加速和改变了，更狭窄、更弱的人工智能系统已经渗透到许多地方，我们看到的世界已经大不相同。但到那时，我认为事情可以发展得更快，因为我认为认知领域超越人类专家的 AGI 可能能够利用人类的体力劳动来为自己构建物理执行器。无论人工智能是否已经接管并自行运作，或者人类是否仍然控制着人工智能，我认为他们都会有一个目标，那就是自动化物理领域。我对这有多难有相当大的不确定性，但每当我检查机器人领域时，我实际上觉得机器人技术正在快速发展。它之所以腾飞，与认知人工智能腾飞的原因相同：大型模型、大量数据、模仿、大规模应用对机器人技术大有帮助。所以我认为您可以很快——也许一年内，也许几年内——达到这样的程度：这些超人类的人工智能控制着大量的物理执行器，使它们能够完成自我复制的循环，完成运行打印出芯片的工厂所需的所有工作，而这些芯片又运行着人工智能，并进行所有维修工作，收集原材料。
Rob Wiblin：所以您是说，您预计在 2030 年代，这些人工智能模型不仅能够自动化基于计算机的研发，而且还能够领导构建生产它们运行的芯片的制造设备的工程。这是另一种正反馈循环。
Ajeya Cotra：是的。我强烈推荐 Tom Davidson 在 Forethought 上发表的文章《三种智能爆炸》。他提出了一个观点，我们经常谈论人工智能自动化人工智能研发以及自动化制造更好的人工智能的承诺和危险，但这只是一个需要完全闭环才能制造更多人工智能的反馈循环——因为我们谈论的是使 Transformer 架构稍微更有效率的软件，或者收集更好的数据来训练人工智能，但人工智能也运行在芯片上，这些芯片在英伟达的芯片工厂中生产。这些工厂的机器是由其他机器制造的，而这些机器又是由其他机器制造的，最终追溯到原材料。我认为这是我们很少谈论的事情，因为它会发生在之后：人工智能自动化整个堆栈，完整的堆栈，而不仅仅是软件堆栈，会有多难？
Rob Wiblin：因此，在有思想、有见识的人们中，对于 AGI 在顶峰时将加速经济增长的程度，存在着一系列预期。有些人说它将使经济增长加速 0.3 个百分点——所以这将是当前经济增长率的 15% 左右的增长，如果能达到这个水平，我将非常高兴——而有些人则说在顶峰时经济将以每年 1000% 或更高的速度增长，每年数千个百分点。所以基本上，在可能产生的影响上，存在着 100 倍、1000 倍或 10,000 倍的分歧。这是人们之间几乎无法理解的分歧程度。并非他们没有独立思考过，也没有机会交谈。他们已经谈论过，分享了他们的理由，但他们没有改变主意，并且在影响上存在千倍的分歧。
Ajeya Cotra：是的。
Rob Wiblin：在过去的几年里，您将与人们进行真诚、智力投入、好奇的对话作为您人生的一部分，跨越了整个光谱。您认为为什么这种分歧能够持续存在？
Ajeya Cotra：我认为归根结底，不同的群体倾向于依赖两种不同的、非常简单的先验知识，或者说是不同的外部观点。我认为那些认为事情会慢得多的人倾向于依赖：在过去的 100 到 150 年里，我们在前沿经济体中看到了 2% 的增长。想想过去 100 或 150 年里发生的技术变革。我们从几乎一无所有，比如电力只是一个想法，到到处都实现了电气化。我们有了洗衣机、电视、收音机，所有这些都发生了，计算机也在这段时间里出现了。所有这些都没有体现在经济增长的增长率上。我认为有一个主流经济学家喜欢引用的程式化事实，那就是新技术是维持 2% 增长的引擎，如果没有新技术，增长就会放缓。所以他们说，新技术总是这样的。人们认为它们将带来生产力繁荣，但你从未在统计数据中看到它们。你没有看到收音机，没有看到电视，没有看到计算机，没有看到互联网——你也看不到人工智能。人工智能可能非常酷。它可能是让我们继续前进的下一个事物。这是一种观点。这是他们不断回归的外部观点。而且可能是一个更普遍的事情：事情总是艰难而缓慢的，就像比你想象的要艰难和缓慢得多。就像，这是什么感觉？不是墨菲定律？
Rob Wiblin：墨菲定律：任何可能出错的事情都会出错。我认为这是我们在个人生活中的经验，在工作中很难完成事情，而对别人来说似乎很简单的事情。他们会说：“你为什么还没完成？”你会说：“嗯，我可以给你一个很长的清单。”
Ajeya Cotra：或者像霍夫斯塔特定律：即使你考虑了霍夫斯塔特定律，它也总是需要比你想象的更长的时间。或者像程序员的信条，这是我最喜欢的一个：我们做这些事情不是因为它们容易，而是因为我们认为它们会很容易。所以，认为事情会飞速发展是一种天真。如果你写下一个看似完美且无可辩驳的故事，说明事情会变得超级容易和快速，那么你就会不可避免地在那个故事中忽略了各种瓶颈和各种阻碍因素。这就是那种观点。然后我认为另一种观点很大程度上依赖于更长期的经济史。如果你试图为人类历史的最后 10,000 年分配合理的 GDP 衡量标准，你会看到加速。增长率并非总是前沿的每年 2%：每年 2% 与公元前 3000 年左右的增长率相比，实际上是惊人的快，那时可能每年约为 0.1%。所以增长率已经翻了好几倍——可能是一个数量级，也可能是两个数量级。我认为那些持较慢观点的人倾向于认为，进行长期历史数据分析的练习过于困难，无法依赖。但双方都同意工业革命发生了，并且工业革命大大加速了增长率。我们从增长率远低于 1% 增长到每年 2% 的增长率。我认为那些持较快观点的人倾向于依赖长期和模型，这些模型认为长期以来增长加速的原因是反馈循环，即更多的人可以尝试更多想法并发现更多创新，这导致粮食生产更有效率，从而导致可支持人口增加——然后你可以重复这个过程，获得超指数级的人口增长。然后，从这个角度来看，如果你能够利用人工智能来取代不仅是认知，而是认知和物理，整个组合，并完成人工智能制造更多人工智能所需的一切，或者人工智能和机器人制造更多人工智能和机器人所需的一切，那么就没有理由认为 2% 是宇宙的物理定律。它们可以以物理限制允许它们增长的速度增长，而这不一定与将人类驱动的增长保持在 2% 的限制相同。
Rob Wiblin：所以这是他们大致提出的观点的理由。但为什么即使在彼此进行了长时间的沟通之后，他们也没有在不确定性上达成一致，或者说由于存在相互竞争的因素，结果会是中间值呢？为什么他们仍然对截然不同的叙述保持相当的信心呢？
Ajeya Cotra：老实说，我不知道。我倾向于“事情会更疯狂”的那一边，所以我不能给出完全平衡的描述。但我认为，在那些认为事情会慢一些的人身上，我注意到的一件事是，他们的世界观中包含了一个内置的错误理论，用来解释那些认为事情会更快的人。所以，他们的世界观不仅仅是事情会继续发展，而是每个人都认为总会有一场新的革命。
Rob Wiblin：几乎每次，每个人都期望它会加速。
Ajeya Cotra：而且他们总是错了。所以存在这种动态，从他们的角度来看，我认为这是完全合理的。即使在对方的论点中没有一个超级有力的论证，你可以指出一个他们会接受的错误，或者即使你认为这个故事是合理的，你仍然有一个强烈的先验知识——
Rob Wiblin：过去也可能有人提出同样的论点。
Ajeya Cotra：这种想法。过去也可能有人对电视提出同样的论点，有人可能对计算机提出同样的论点。这些都没有实现。所以我认为这是一个很大的因素。我还认为，这些都是复杂的主意，而且对话还不够多。我认为可以有更多的对话，而且我认为可以有更多的对话试图将事物建立在近期的观察之上。但是的，我认为这是其中的一个重要部分。我认为他们有一个内置的错误理论，使得关于“人工智能如何制造机器人，以及机器人如何引导自己制造更多机器人”等等的客观对话：这种思维方式感觉不太合法或有趣。或者他们有一个说法，即那种思维方式总是导致一种偏见，认为事情会比实际发生得更快，因为那种思维方式很难考虑到所有的阻碍因素和所有的瓶颈。而我认为，另一方面，那些认为事情会更快的人觉得每个人总是笼统地假设会有瓶颈。然后他们会提出具体的瓶颈，而当你看这些具体的瓶颈时，它们可能会减缓从某种绝对顶峰的 1000% 增长——但它们并不是认为 2% 是上限，甚至 10% 是上限的原因。所以他们也有这种对瓶颈主观性的错误理论。
Rob Wiblin：所以弄清楚谁是对的，对于决策来说至关重要。我认为这场对话中的几乎所有参与者，如果他们完全改变了看法，那些认为会是 1000% 的人决定会是 0.3%，他们可能会改变他们正在做的事情，或者他们会认为这是一个决定性的考虑因素，很可能与他们之前所做的一切都相反。反之亦然：如果人们开始认为会有 1000% 的加速，那么他们可能会变得更加紧张，并对不同类型的项目感兴趣。那么，我们如何才能提前获得更多关于事情将如何发展的线索呢？看来理论论证并没有说服人们。我们能否尽早收集任何经验证据？
Ajeya Cotra：所以有一件事我认为不能解决所有问题，但却是朝着正确方向迈出的一步，那就是真正地描述人工智能如何、为何以及是否正在加速软件和人工智能研发。所以 METR 发布了一个提升 RCT，我认为这是同类中的第一个，或者至少是最大、质量最高的。他们将软件开发人员分成两组：一组允许使用人工智能，另一组不允许使用人工智能。他们研究了这些开发人员解决待办事项列表上的任务的速度。事实上，在这种情况下，人工智能反而减慢了他们的表现，我认为这很有趣。我不认为这种情况会持续下去，但我很高兴我们现在开始收集这些数据，并且很高兴我们开始在基准式评估——人工智能被赋予一系列任务并以自动化方式评分——和我们能获得的关于实际情境中、真实世界加速的证据之间进行交叉检查。我真的很想获得更多这方面的各种证据：比如大型提升 RCT，如果公司愿意在其内部产品推广中进行内部 RCT，以了解获得最新人工智能产品的团队是否比未获得产品的团队更具生产力，那就太好了。即使是自我报告，我认为它有很多局限性，但仍然是我们应该收集的东西。所以我的总体公式是：看看采用率最高的领域，并开始衡量实际产出变量的加速情况。我认为如果有一个太阳能电池板制造厂真正采用了人工智能，并且我们开始看到它们制造太阳能电池板的速度有多快，或者它们能制造出多好的太阳能电池板，那将是非常酷的。
Rob Wiblin：是的。在芯片制造层面可以做到这一点吗？也许这是最困难的制造了。所以我们可能会认为，通过做一些更直接的事情，比如太阳能电池板，你会得到更早的预警，但我们确实想监测各种制造过程中，这一切能带来多大的不同。
Ajeya Cotra：完全正确，是的。我认为最重要的事情，或者我最终关心的，是人工智能堆栈：芯片设计、芯片制造、制造芯片的设备，当然还有软件部分。软件部分是最早的部分，但我认为我们应该监测人工智能的采用程度、自我报告的人工智能加速情况、RCT，以及我们能获得的关于整个堆栈的任何信息——因为我认为人工智能未来主义者认为事情可能发展得更快的那一刻，恰好是人工智能完全自动化了制造更多人工智能的过程。所以这是真正需要关注的。然后，在另一条轨道上，你还应该关注最早的重度用户，无论他们在哪里，因为你可以获得可以转移到这些领域的见解。
Rob Wiblin：还有什么我们可以做的吗？
Ajeya Cotra：我不知道。我对此感到非常好奇。
Rob Wiblin：我是否理解正确，去年您在 Open Phil 发布了一份提案请求，寻找那些有想法如何解决这个问题的人？
Ajeya Cotra：是的，我在 2023 年底发布了两个提案请求。其中一个关于为人工智能代理构建困难的现实基准。当时，很少有人在研究人工智能代理，只有几个代理基准已经发布，包括我上次在节目中讨论过的 METR 的基准。所以我对此非常兴奋。我觉得这是一个从给大型语言模型做多项选择题转向给它们做真实任务的时刻——比如“为我预订一张机票”或“让这个软件正常工作：编写测试，运行测试，迭代直到它真正起作用”。当时这是一个非常新的想法，但时机也恰到好处，有很多学术研究人员热衷于进入这个领域。所以我们收到了这个提案请求的很多申请，并且资助了一系列很棒的基准，包括 Cybench，这是一个网络攻击基准，现在在很多标准评估中都有使用。但我们还有另一个方面，基本上是除了基准之外的其他证据类型——比如调查、RCT，我们谈到的所有东西。我们对此的兴趣要小得多，我认为这只是反映了很难想到除了基准之外的好的测量方法——尽管每个人都同意基准有很大的弱点，并且持续高估实际表现，因为基准是干净且受控的，而现实世界是混乱且开放的。但有一件事让我感到兴奋，那就是预测研究所正在运行一个名为 LEAP 的小组，即人工智能专家纵向小组。他们让大约 100 到 200 名人工智能专家、经济学家和超级预测者回答一系列关于人工智能未来六个月、一年、五年发展方向的细致问题——既包括基准分数，也包括“公司是否会报告因人工智能而放慢招聘速度？”或者“人工智能是否能够计划现实世界的活动？”之类的。我对这一点非常兴奋，而且我认为，说实话，让人们做出主观预测，解释这些预测如何与他们更长期的世界观联系起来，然后随着时间的推移检查谁是正确的，可能是我们拥有的最灵活的工具。所以我非常期待 LEAP 的发展。但要获得明确的早期预警指标，以便在那些更担心的人是正确的情况下采取行动，但同时又要明确有效且不易被对方轻易驳斥为不够现实而不重要，这是具有挑战性的。
Rob Wiblin：因此，作为其中的一部分，您一直在思考一种可能出错的方式是，开发尖端人工智能的公司可能会在内部看到人工智能对他们的帮助有多大，以及它可能极大地加速了他们的发展，但他们可能决定不与世界分享这些信息。
Ajeya Cotra：是的，而且他们可能决定不发布这些产品，如果有一家公司远远领先于其他公司。就像在《AI 2027》中，描绘了在人工智能竞赛中领先的公司远远领先于其竞争对手，以至于它可以负担得起将最好的东西保留在内部，而只向世界发布不太好的产品。
Rob Wiblin：它负担得起，是指它不需要通过销售产品来赚钱吗？
Ajeya Cotra：它的竞争对手远远落后，以至于它们无法通过发布更好的产品来削弱它或与其竞争。就像故事中，领先的公司 [OpenBrain] 基本上只发布比其竞争对手的最新技术稍微好一点的产品。
Rob Wiblin：我明白了。它们领先得如此之多，以至于它们可以一直选择让它们的产品基本上更好。它们可以向外部世界发布任何级别的内部机器，只要是最好的。但我认为，如果有人知道这一点，但世界其他地方却不知道，那将是不幸的——这样我们就能提前六个月或一年知道事情的走向，但这一切都被保密了。也许对于领先的人工智能公司来说，它们更愿意保密，但对我们其他人来说，我们可能更希望政府能了解情况。所以您一直在思考可以制定什么样的透明度要求，以迫使公司发布信息，从而为我们其他人提供线索，了解事情的走向。什么样的透明度要求可以这样做？
Ajeya Cotra：我认为关于人工智能能力存在着一系列证据。一方面，最容易测试但信息量最少的是基准结果。公司现在发布模型时确实会发布基准结果。所以他们说 Claude Opus 4 发布了，并且有一个模型卡，上面写着它在这个黑客攻击基准上的得分，在这个软件工程基准上的得分等等，作为关于它是否危险的报告的一部分。GPT-5 也有同样的情况。我认为他们这样做很好。但在我理想的世界里，他们应该以固定的日历时间间隔发布他们最高的内部基准分数。所以每三个月他们会说：“我们在某个黑客攻击基准上达到了这个分数，在软件工程基准上达到了这个分数，在自主性基准上达到了这个分数。”这是因为，正如您所说，危险可能源于纯粹的内部部署，因为如果他们有一个足够好的人工智能代理来从事人工智能研发，他们就可以利用它在内部发展得更快，然后其他能力以及因此产生的其他风险可能会比人们之前预期的更快出现。所以，在发布模型时才发布你的成绩单并不是理想的做法，除非有某种保证，你没有坐在一个比公开产品强大得多的产品上。所以也许在发布产品时发布你的模型卡和系统卡是可以的，如果你也另外保证内部和外部之间不会有太大的差距。所以，在目前讨论的方面，这就是我将如何调整目前报告的信息，使其对这种担忧更有帮助。但还有很多其他事情目前没有报告，但理想情况下，了解它们将非常棒。比如它们在内部使用了多少以及如何使用人工智能系统。我非常感兴趣的一件事是，公司有时会报告，可以说是为了炫耀，它们的人工智能系统编写了多少百分比的代码。各种首席执行官都说过，“在内部，我们 90% 的代码都是由人工智能编写的”等等。我认为系统地报告这些指标会很好。但这些指标不是我感兴趣的理想指标。我感兴趣的是，你内部代码库中有多少比例的拉取请求主要是由人工智能编写的，并且主要是由人工智能审查的——也就是说，人类在很大程度上不参与这个方程的双方。我非常想看到这个数字不断攀升，因为我认为这是人工智能能力的一个指标，也是它们给予人工智能多少让步的指标。最终，如果事情要疯狂地发展，人工智能必须做大部分事情，包括大部分管理、批准和审查，因为如果人类必须做这些事情，那么事情的进展速度就只能如此。所以我真的很想追踪人工智能在公司内部实际上被赋予了多少更高层次的决策权。我认为可能还有很多其他事情我们可以通过调查来完成：你在这类事情上使用了多少人工智能，在那类事情上使用了多少？你主观认为获得了多少加速？如果你正在运行任何内部 RCT，我当然想知道结果。
Rob Wiblin：那么，关于训练下一代人工智能模型的要求呢？它们是否必须至少向一些政府人员透露它们在正常能力评估中的表现？这样他们就可以看到曲线在上升，即使他们因为任何原因没有发布产品。如果基准开始远高于之前的预期，那么这是否会促使他们敲响警钟？
Ajeya Cotra：是的，我认为这是一件好事，但我认为仅仅基准本身并不会让任何人敲响警钟。因为基准的问题在于它们会饱和。
Rob Wiblin：它们总是呈现 S 形曲线。
Ajeya Cotra：它们总是呈现 S 形曲线。而我们现在拥有的基准比上一代基准更难。但仍然远未让我有信心认为，如果你的人工智能在所有这些基准上都获得 100% 的分数，那么它就会对世界构成威胁，并且可以接管世界。我仍然认为我们现在的基准远低于那个水平。所以很可能会发生的是，这些基准会饱和，然后人们会制作下一代基准，然后这些基准会上升然后饱和。所以我认为我们需要某种现实世界的衡量标准，才能开始敲响警钟。而最终的现实世界衡量标准实际上就是观察到的生产力。比如，如果他们在内部看到他们发现见解的速度比以前快，那么这是一个非常晚但非常清晰的信号。而那时他们肯定应该敲响警钟，我们也应该知道发生了什么。
Rob Wiblin：公司如何看待这个想法？一方面，似乎透明度要求是公司最不反对的监管工具。这是他们最愿意容忍的。另一方面，整个信息是，“我们不信任你与世界分享信息，我们认为你可能会通过仓促行事并故意隐瞒信息来损害我们，”我可以想象这可能会让他们感到冒犯。或者至少，如果这是他们的计划，那么他们可能想找个借口不接受这种监督。
Ajeya Cotra：我认为回应方式往往因所要求的信息而异。所以基准分数，就像我说的，它们在发布产品时发布——我认为现在是可以的，但我希望将其改为一种制度，即它们在某个固定时间间隔发布基准分数，即使它们没有发布产品。基准分数不被认为是敏感信息。但其他我认为在边际上信息量大得多的东西则更加棘手。它们不一定想与世界分享它们获得算法见解的速度，因为出于竞争原因，你希望对此保持一定的神秘感。如果速度太快，对你来说是有风险的，因为竞争对手会开始更加关注你，试图模仿你，试图找出发生了什么。如果速度太慢，那也很尴尬。
Rob Wiblin：投资者会失去信心。
Ajeya Cotra：是的，投资者会失去信心。还有另一件事我之前没有提到，我真的很希望他们报告他们最令人担忧的、与不匹配相关的安全事件。比如，在公司内部的实际使用中，模型是否曾经谎报了重要的事情并掩盖了日志？我真的很想知道。但当然，很明显，报告这些信息对公司来说非常尴尬。也许有助于此的一件事是，现在有许多公司，所以也许它们可以将各自的数据报告给某种第三方聚合器，然后由该聚合器发布匿名的整体行业汇总分数。但我认为这并不能解决所有问题，因为它们的数量不多，人们可以猜出来。所以我认为在一些更具穿透性的内部信息方面，存在很多竞争挑战、知识产权敏感性挑战和公关挑战需要克服。但我认为这对于公众利益来说足够重要，我们应该努力找到一种方法来应对它。
Rob Wiblin：是的。所以政府机构能够为监管或治理目的向公司要求商业敏感信息，这并不罕见。我实际上曾在那里工作过，当时我在澳大利亚政府工作。我在生产力委员会工作，该委员会拥有非凡的传票权力，可以向全国任何公司要求几乎任何文件。这是一个很少使用的权力，但它并不是唯一拥有这种能力的机构。
Ajeya Cotra：您会向他们索要什么？
Rob Wiblin：嗯，我从未真正见过这项权力被使用过。我想人们为我们拥有这种权威而感到自豪。但我认为通常你会出于竞争原因这样做，试图判断公司是否在串通，或者市场竞争程度是否不足，以及是否有理由进行干预。我想美国几乎肯定有政府机构拥有类似的职责。所以，如果他们实际上能够保守这类信息秘密，那么也许公司会更乐意与那些基本上专门阅读、理解这些数据并找出如何处理它们的人分享。
Ajeya Cotra：是的，我认为那可能是一个解决方案，但我有点怀疑。我认为公开这些信息可能比仅仅向政府机构公开要好得多——基本上因为我们正在一边飞行一边建造人工智能安全研究的飞机，而且这不像任何政府机构，通常人手不足，尤其是技术人员，可以做到的那种检查清单式的练习。更像是我们希望这些信息公开，然后我们希望人们对其进行一些深入的分析。我们甚至想要什么信息的感觉可能会随着时间的推移而变化，而且如果有一个强大的外部科学对话，关于我们想要看到什么指标，以及这意味着什么，以及何时应该拉响警报，情况可能会更好。如果这一切都通过政府来处理，而政府只有 10 个人甚至 50 个人来处理，我认为他们很难足够快、足够好地解读证据，并有足够的信心拉响警报，然后让人们真正听取他们的意见。就像，如果我设想就智能爆炸之类的事情拉响警报，我有点觉得这必须是一场全社会的对话。就像对 COVID 拉响警报一样。或者我脑海中有一个想法，当乔·拜登那场灾难性的辩论表现导致了数周的讨论，最终导致他被撤下竞选搭档时：我认为，让一小群狭隘的人被赋予做出同样事情的权威，将会非常困难。
Rob Wiblin：因为您想要常识，并且您希望大量关注集中在这个问题上，而不仅仅是一些技术官僚知道。
Ajeya Cotra：以及让许多现在可能不太关注的技术专家有机会介入，因为他们认为这些东西都是科幻小说，然后在那个时刻介入并提供他们的看法。我认为，如果像 Arvind Narayanan 这样以对这些故事持怀疑态度而闻名的人，实际上查看了数据，改变了他的想法，并说：“是的，这正在发生，而且很危险。”那么这将非常有影响力。如果所有信息都只是发送给政府，就很难获得那种常识动态。话虽如此，当然我认为将信息发送给政府总比哪里都不发送要好。所以我也认为这很好。
Rob Wiblin：所以，如果计划 A 是我们希望他们分享这些信息，以便公众中的任何人都能发现，那么他们可能会在一定程度上抵制任何强加这些信息的立法，部分原因可能是合法的，因为这可能会让他们感到沮丧。如果人们试图确定优先事项，选择什么样的要求和什么样的斗争，这对您来说会非常重要吗？
Ajeya Cotra：我列出了理想的信息共享实践的整个范围，而且我认为不必在整个方案上采取全有或全无的态度来选择顶级的斗争。但我认为，认真思考我们需要了解哪些信息才能自己知道智能爆炸是否正在发生，并获得该列表上价值最高或性价比最高的内容，对我来说非常重要。我认为这就是那些从事人工智能安全相关立法的人所采取的策略。纽约的 RAISE Act 和加州的 SB 53 都非常注重透明度，并且都侧重于例如举报人保护，这是透明度背后重要的政策支柱。
Rob Wiblin：您认为关于新兴智能爆炸的信息是否会以某种方式泄露给公众，因为公司内部员工会因为秘密进行而感到不适？
Ajeya Cotra：我认为这是非常可能的。我仍然认为，以旧金山谣言的形式泄露的信息，比如科技界的派对，无法像清晰、无可辩驳且非常显著的官方信息那样，对华盛顿特区或伦敦或布鲁塞尔的政策和决策产生影响。所以，我认为湾区的人工智能安全领域受益于与人工智能公司工作的人员保持紧密的社会联系，从而能够感知到即将发生的事情。但这并不是你可以用来真正拉响警报或倡导非常昂贵的行动的东西，所以它真的足够吗？我们需要更多。
Rob Wiblin：所以，让我们想象一下，通过任何机制，社会都能得到一个预警，即我们开始看到智能爆炸的早期阶段。我们该如何利用这个预警呢？
Ajeya Cotra：我认为一个极其重要的因素是：在那时，人工智能系统在人工智能研发之外的所有方面的能力如何？警报已经拉响，我们得知人工智能已经完全或几乎完全自动化了领先的人工智能实验室的研发，也许是所有人工智能实验室的研发。这导致这些实验室比以前主要由人类驱动的进步发展得更快。所以在那时，无论你认为默认情况下未来 10 年——或者未来 20 年、30 年——会取得多少人工智能进步，都可能在一年或两年，甚至六个月内实现，这取决于人工智能加速了多少。在这个阶段，人工智能可能还没有那么危险——但我们可能很快就会从不那么危险的阶段过渡到拥有神一般能力的阶段。我认为，如果我们有信心我们正处于智能爆炸的起点，我们作为社会想要做的是，将尽可能多的人工智能劳动从进一步的人工智能研发转移到有助于保护我们免受未来人工智能世代侵害的事情上——无论是从人工智能接管风险方面，还是从日益强大的人工智能可能为社会带来的广泛其他问题方面。在那时，对于处于领先地位的任何公司来说，单方面这样做仍然不符合其狭隘的、自私的利益——因为如果它们单方面放慢速度，那么后面的公司就可以赶上来。但希望，如果警报已经拉响，并且我们
我们对我们还有六个月、十二个月或十八个月才出现激进的超级智能有一个清晰的认识，那么这可能是一个机会窗口，可以协调起来，利用人工智能进行保护性活动，而不是进一步加速人工智能的能力。Rob Wiblin：我们面临的挑战是，人工智能正在迅速变得更加智能，我们对此感到非常紧张。而由此带来的机会是，我们拥有比以往更多的劳动力，以及比以往更聪明、更有潜力的研究人员。那么，为什么我们不将这个新资源转向解决这个问题呢？我猜想，目前我们真的不知道如何解决这个问题。我认为，一些不太担心人工智能的人，他们会审视整个社会，或者审视历史，然后说，技术使我们能够做各种更具破坏性的事情，但我们现在并不觉得比 1900 年或 1800 年更危险，或者我们现在面临的个人风险比那时更大，因为破坏性技术的进步被提高安全性的技术的进步所抵消了——总的来说，事情可能变得更安全了。所以，这个想法是，这可能是一个令人眩晕的时期，但也许我们可以在这个关键时刻也成功地做到这一点？Ajeya Cotra：是的，我认为许多更担心人工智能风险的人都非常不屑于这个计划。这听起来有点像一个疯狂的计划。这真的有点像临机应变，就像期望制造问题的东西来解决问题。但在某种意义上，我认为人类确实反复利用了制造问题的通用技术来解决这些问题。就像汽车一样，像汽车这样普通的东西：汽车带来了被抢劫和街头枪击的机会，并在各种方式上赋权了坏人。但当然，如果警察和执法部门也有汽车，那就能达到平衡。当你想象一个拥有某种疯狂的新先进技术的未来，并想象它带来的所有问题时，你可能很难以相同的细节和保真度来想象由该技术带来的所有应对这些问题的方案。所以，你可以想象有人担心快速车辆的出现，而忽略了它们造成坏事的所有方式都可以被执法人员和其他类似人员使用车辆来控制。电脑也是如此。你可以用电脑进行黑客攻击，但电脑也使你能够进行大量的自动化监控，以防范此类黑客攻击和自动化漏洞发现。以及不同类型的执法：你无法想象一个不使用电脑的警察部队。所以我确实认为基本原则是合理的，如果你担心技术带来的问题，你应该首先考虑如何利用任何新技术来解决这些问题。但我认为这是一个特别狭窄的窗口来做好这件事。而且你不是在想象汽车会带来所有新技术的广泛快速加速，并且可能只有十二个月、两年或六年的窗口期，然后一切都会彻底失控。所以我确实认为，重要的是不要错过这个窗口，在我们接近它时进行监控，并监控我们还有多少时间。但我认为，我从根本上对尝试使用早期转型人工智能系统持乐观态度，比如那些自动化许多事情的早期系统，来自动化控制、对齐和管理下一代系统的风险的过程，然后由它们来自动化管理下一代系统的风险，以此类推。Rob Wiblin：是的。有趣的是，你说这种方法经常被驳斥，因为我觉得它现在非常流行。每隔几天就有人提出它，或者我以某种形式读到关于它的东西。我想，过去它可能不受欢迎的一个原因是，人们主要关注的是人工智能不对齐的问题：他们担心的是一个对你不利的人工智能，如果它有机会，它会想要接管。这也许是其中最糟糕的应用，因为你要求人工智能自己对齐，但你不知道它是在帮助你还是在试图削弱你。我的意思是，你可以尝试让它奏效。人们已经提出了这样的建议，你可以尝试从一个不愿提供帮助的人工智能那里获得有用、诚实的工作。但是，比对齐更容易看到如何解决其他问题。如果我们在对齐方面感觉良好，但人工智能在智能爆炸期间产生了大量其他问题——比如，如果人们能够获得人工智能，它可能会发明我们还没有有效对策的其他类型的破坏性技术：在这种情况下，人工智能如何帮助你弄清楚应该采取哪些对策就显而易见了。Ajeya Cotra：所以，我不认为我同意这一点。我认为，这些早期转型人工智能不对齐的前景是这个计划的一个巨大障碍，需要得到加强、处理和具体解决。我不认为，让人工智能进行对齐研究比让它们做任何其他有益的事情更困难——因为如果它们对你不利，它们不一定会想帮助你巩固你文明的防御。所以，如果你想象让一个顽固的不对齐人工智能帮助你进行生物防御，如果它不对齐，并且它，例如，希望未来在其武器库中拥有用生物武器威胁你的选项，那么它同样会有一个做这项工作的动力不足的动机，就像它在对齐研究方面做得不好一样。所以，总的来说，我认为有一个大问题，那就是：我们试图在那个时间点使用的人工智能是否会有动机激励它们削弱我们试图让它们做的工作？我认为，如果它们不对齐，它们肯定会有削弱对齐研究的动机，但我认为它们也会有削弱我们使自己更理性、更深思熟虑的努力的动机，比如用于认识论的人工智能——因为如果我们更理性、更深思熟虑，那么我们可能会意识到它们很可能不对齐，这对它们来说将是坏事。它们也会有削弱我们防御性加速式防御努力的动机，因为那会使它们更难接管。Rob Wiblin：这有道理。我认为我提出的区别是，对于那些认为对齐问题非常难以解决并且我们离解决它还很远的人来说，让人工智能解决问题的想法有点自相矛盾，因为我根本不会信任人工智能。它提出的任何东西我都会认为它在破坏我们。如果你认为对齐问题实际上是比较容易的部分，认为这是一个相对直接的技术问题，我们正在朝着解决它的方向前进，但还有其他十个问题，那么很明显我们将拥有杰出的人工智能，所以为什么我们不直接用它来解决所有其他问题呢？而且我也倾向于信任它并相信它。Ajeya Cotra：是的。我认为，如果你在这个早期阶段不担心对齐问题，一切都会变得更容易。它会成为一个更具吸引力的策略和路径。但我认为，典型的“利用人工智能进行人工智能安全”或“利用人工智能进行防御”计划确实设想，我们一开始并不确定它们是否对齐。我们可能不会非常有信心它们非常不对齐，并且完全追求权力并随时寻求接管，但我们并没有想象我们有信心可以信任它们。因此，弄清楚如何创建一个我们使用控制技术、对齐技术、可解释性以及我们拥有的任何其他工具来达到我们对依赖其输出感到满意的程度，这是一个至关重要的步骤——因为它要么会成为我们进步的瓶颈，因为我们一直在检查一切，放慢速度，要么它不会成为我们进步的瓶颈，但我们会将权力交给人工智能来接管。Rob Wiblin：你设想人工智能爆炸会带来哪些具体问题，希望人工智能能帮助我们解决？Ajeya Cotra：一个明显的问题是人工智能对齐：我们如何确保我们现在用来帮助我们的人工智能，或者未来的人工智能，以及未来人工智能帮助我们创造的那些人工智能，我们如何确保整个链条都有帮助人类的动机，并且诚实，并且基本上按照我们说的去做并且是可控的？这可以说是所有其他事情的基础。但也有其他事情与人工智能完全无关，而是与广泛的社会防御有关。所以，如果我们认为极其强大的人工智能的出现将导致大量的网络漏洞，这些漏洞将在许多关键系统中迅速被发现，比如武器系统和电网等等，我们能否利用那些擅长发现这些漏洞的相同人工智能来在坏人利用人工智能发现它们之前就发现并修补它们？另一个是生物防御。所以你最近在你的播客上采访了我的同事安德鲁，他谈到了他雄心勃勃的计划，即快速扩大新型病原体的检测，在检测到时快速扩大医疗对策，并快速扩大个人防护装备和洁净室等物品的生产。如果我们拥有擅长这类研究问题的人工智能系统，而且我们可能在那时还拥有机器人，那么许多制造本身就可以自动化，并且比人类必须做的事情快得多，这将对生物防御大有裨益。然后是一些更具推测性的事情。你可以把它看作是一种心理防御，也许，但也有一些事情是围绕着，我们能否利用人工智能来使我们的集体决策更加明智、更加睿智、更加出色？我们能否做得更好，一起寻找真相？我们能否做得更好，达成妥协的政策解决方案，让许多人满意？Rob Wiblin：你如何确保人工智能的进步不会导致中美之间的战争，之类的？Ajeya Cotra：那个也是。但更普通地说，比如在过去十年或十五年里，社交媒体如何导致政治话语的退化。人工智能工具能否帮助你从海量的可能政策中找到大多数人真正喜欢并且可以信赖的政策，等等？Rob Wiblin：所以，我今年早些时候采访了 Forethought 的 Will MacAskill 和 Tom Davidson。他们的组织有一长串他们称之为“宏大挑战”的问题，他们怀疑所有这些问题都可能适合在关键时刻进行这种人工智能劳动。我认为其他一些挑战是：确保社会不会陷入特定的价值观，从而过早地限制我们进一步反思和改变主意的能力。人工智能或人工智能的潜在使用，只要它是非常可控的并且遵循指示，就会被操作它的人用于权力斗争。有空间治理，这个问题是，如果我们真的开始能够利用太空资源，我们将如何分享它们？我们将如何分配它们，以至于特别是不会发生冲突——因为人们预计一旦你开始争夺太空资源，你就走上了变得压倒性主导的道路。正如你提到的，有认识论的颠覆。新的竞争压力令人担忧，如果你有许多不同人工智能之间的竞争，你可能会陷入一种马尔萨斯式的情况。可能还有一些这里没有提到的。我们不知道其中哪些会变得很重要。其中一些可能感觉已经被解决了，或者我们可能是在幻觉中看到了不那么严重的问题。但有很多不同的方式，我们可能可以应用它。Ajeya Cotra：是的，我同意。汤姆和威尔强调的所有这些问题对我来说都是真实存在的问题。也许我的方法是，从我们目前的视角来看，将其中很多归为“人工智能帮助我们更好地思考，并帮助我们找到我们都满意的解决方案”。所以，这就像人工智能用于协调、妥协、谈判、寻求真相，那一类的事情。因为像空间治理这样的问题，如果我们有一些现有的派别拥有现有的权力分配，我们如何划分太空资源？没有人真正想要那种由于每个人都拼命争先恐后而带来的毁灭。但除此之外，还有一种复杂的谈判选项空间，我认为人工智能可以极大地帮助这类事情。Rob Wiblin：你在笔记中说，你认为这种方法基本上是所有前沿人工智能公司所说的。这就是他们的安全计划，或多或少。是这样吗？Ajeya Cotra：是的，我认为是这样。如果你看看 OpenAI、Anthropic 和 Google DeepMind 的公开沟通，在这些不同的案例中，或多或少都会出现这种情况。但在他们所有声明的安全计划中，你都会看到这一点：随着人工智能越来越好，它们将越来越多地将人工智能本身纳入其安全计划。我认为有些公司比其他公司更明确地预期在人工智能快速加速人工智能研发时会发生某种特定的关键时刻，但每个人都认为人工智能将在未来人工智能的安全中发挥重要作用。Rob Wiblin：这种方法需要哪些假设才能使其有意义？或者什么样的设置实际上会让它成为一个糟糕的计划？Ajeya Cotra：我认为，从根本上说，你需要存在一个机会窗口，在人工智能变得无法控制地强大或造成不可接受的风险水平之前，它们确实能够真正改变人工智能安全研究的格局。而且存在一个有意义的时间窗口，你可以在接近它时注意到。即使默认情况下，没有疯狂的减速，它至少会持续六个月或一年。如果你认为一旦你的人工智能达到某个通用阈值，它就会在几天或几周内变得疯狂的超级智能，那么这个计划就无法奏效。Rob Wiblin：没有时间做出反应。Ajeya Cotra：你可能在为时已晚之前都不会注意到。然后，我认为也可能存在不幸的能力排序，导致这个计划无法奏效。你可能会有人工智能在人工智能研发方面非常出色，而在其他任何方面都不那么出色，甚至在与人工智能研发非常相似的人工智能安全研究方面也不那么出色。它们只是在人工智能研发方面非常出色。也许它们唯一擅长的是让未来的人工智能拥有更好的样本效率，并能更有效地学习新事物。然后，你可能会有一段六个月或一年的时间，你知道这种情况正在发生，并且你拥有这些人工智能，但你仍然在朝着高度通用的超级智能前进，而不能利用这些人工智能做其他任何事情，因为它们在其他任何方面都不擅长。Rob Wiblin：这在某种程度上有点自相矛盾，因为一个非常聪明但只能提高下一模型样本效率的人工智能本身在某种意义上并不那么令人担忧。因为它没有通用能力，那种模型将无法接管或发明其他技术。只有当它拥有更广泛的能力、更广泛的代理权时，它才能真正制造问题。但我想你说的是，你可能会有一个长期的铺垫，而这只是它所能做的。然后在最后阶段……Ajeya Cotra：是的。然后在最后阶段，它可能会回到我之前谈到的第一种情况，就像那些只是人工智能研发方面的专家一样狭窄的人工智能，几乎是通过盲目搜索发现了某种算法——几乎就像你想象的 AlphaFold：它在弄清楚蛋白质如何折叠方面非常出色，但它并没有广泛的意识——你可以想象这样的人工智能或算法搜索过程发现了某种架构或训练策略，然后可以非常快速地“foom”。所以在这个铺垫过程中，你会想，是的，人工智能正在加速人工智能的研发，这是关键时刻。我们还有六个月，还有三个月。但这些人工智能并不是你可以用于任何有用的东西的人工智能。Rob Wiblin：我想，我们希望它帮助解决的许多问题——社会问题、政治问题，有时是哲学问题——你认为人工智能公司……我认为他们正在努力让它们在编码方面做得更好，在人工智能研究方面做得更好，而不是在其他任何方面。而这些是比解决哲学问题更具体、可衡量的。所以，似乎确实存在一个现实的风险，不幸的是，能力平衡最终会对这个计划非常不利。Ajeya Cotra：是的，我认为你离那些看起来像进行机器学习研究和软件工程的工作越远，可能就会面临越大的惩罚。目前的人工智能比我那些整天从事机器学习研究的朋友们要好得多。我做一些奇怪的思考，参加这样的播客，给人们写邮件，做拨款决定等等。在这方面它要差得多。你已经可以看到它拥有非常专业的技能组合。幸运的是，我认为人工智能安全研究中有很大一部分确实与机器学习研究非常相似。我的朋友们从人工智能那里获得了巨大的加速，他们是安全研究人员，他们正在做我认为你希望这些人工智能一开始就帮助解决的最重要的事情——控制、对齐等。但是，是的，像人工智能用于认识论、人工智能用于道德哲学、人工智能用于谈判、人工智能用于政策设计这样的事情：所有这些事情可能都做得不好。它不一定默认就做得好，这是这个计划的一个大问题。Rob Wiblin：另一个担忧是，人工智能模型最终能够制造麻烦，而它们还没有足够的能力来弄清楚解决方案。一个经典的例子是：想象一下，我们投入了大量的精力——我想这样做有点愚蠢——训练一个在开发新病毒或新细菌方面非常出色的人工智能模型，基本上是改变疾病使其恶化。我的意思是，有人正在使用人工智能来开发新病毒。我想他们正在用它来开发医疗疗法，但这类东西随后可以被重新用于其他目的。但是，如果那个高度专业化的模型首先出现，在你拥有一个对整个社会、生物学和医学有足够理解来弄清楚良好对策的模型之前，那么我们就需要一种不同于这个的方法。Ajeya Cotra：是的。总的来说，我认为将人工智能用于防御性劳动视为你制定计划时应该考虑的对世界的预测。它不是一个保证，在许多情况下，答案将是现在专注于做那些人工智能可能最难做的事情。我认为，像建立大量的物理基础设施来储备大量的个人防护装备和疫苗等东西，是那些本身就需要很长的准备时间的项目，而人工智能在它们擅长做它们旨在保护的那些可怕事情时，可能并没有那么大的优势。Rob Wiblin：是的。这本来会是我的另一个担忧：就人工智能非常有帮助而言，你可能会想象它们在想法产生或战略制定阶段非常有帮助，但它们可能在实际经营一家公司或实际弄清楚如何进行所有制造方面仍然很糟糕。所以它们可能会想出一种对抗新生物武器的绝佳策略，它们会说：“这是你应该使用的那个小工具。去制造十亿个。”然后我们会说：“你能帮我们吗？”它们会说：“不，我在这方面不太擅长。祝你好运。”Ajeya Cotra：是的。总的来说，我认为你应该期望人工智能在反馈循环更紧密的事情上做得更好，在这些事情上，你可以在短时间内认识到成功。这就是它们在编码方面非常出色的原因之一，因为你可以只用这个很难伪造的信号来训练它们：在你用它做了任何事情之后，代码是否运行了？总的来说，我认为想法产生与实际执行一年的计划有这方面的元素，你可以读一篇白皮书，然后说，是的，这很好。你可以按赞按钮，生成一个非常擅长生成你认为很棒的白皮书的人工智能，而且它们可能有效。但是训练人工智能来管理成千上万正在执行计划的人类和机器人要困难得多。Rob Wiblin：为什么关键时刻，或者智能爆炸的爆发实际上与我们何时想开始做这件事有关？因为你可能只是认为，如果人工智能能够帮助我们进行研究或解决任何这些问题，那么一旦它能够做到这一点，我们就想去做——无论智能爆炸是否正在爆发。Ajeya Cotra：在某种程度上，这是正确的。我认为我如此关注智能爆炸的原因是双重的。一是，我认为届时我们可能有一个很短的时间来弄清楚很多事情，而默认的轨迹可能看起来是十二个月就达到极其强大、无法控制的超级智能，它很容易接管世界。这改变了我们的计算方式，你想要关注非常短期的事物，而不是那些需要长期准备的事物，至少在关键时刻是这样，如果不是之前的话。二是，我认为关键时刻可以帮助缓解我们一直在谈论的一些挑战，即人工智能不擅长我们希望它们擅长的所有方面——因为根据定义，在那个时候，人工智能在进一步的人工智能研发方面非常出色。而我们可以用人工智能做的一件事，至少在大多数情况下，就是试图将它们的人工智能研发方向引导到填补人工智能的技能组合，并让它们擅长我们希望它们擅长但现在不太擅长的一些事情。所以，在那个时候，你可能拥有更多的能力，并且投入精力去尝试微调、脚手架和其他所有事情来让你的擅长道德哲学的人工智能或你的擅长生物防御的人工智能变得更好，这可能会更有价值。Rob Wiblin：所以你认为这个策略不仅仅是对其他组织可能应该做什么的描述，或者对人工智能公司已经在做什么的描述，而且还因为你认为这应该影响 Open Philanthropy 在未来几年要做什么。而且，Open Philanthropy 的最佳策略可能是让数十亿美元在相关的关键时刻准备就绪，然后以极快的速度分散它们，购买大量的计算能力，让人工智能来解决这些问题。Ajeya Cotra：是的。我的意思是，就像现在我们 80% 以上的拨款用于支付人类的工资，让他们思考、进行研究、进行政策分析和倡导以及所有其他事情一样，几年后，人工智能可能比我们的大多数人类受助者更好，我们的钱应该主要用于购买 API 积分或租用 GPU 时间，让人工智能做类似的活动分配。Rob Wiblin：另一种方法是，当我们得到一个信号，认为智能爆炸即将开始时，我们尽一切努力在这个阶段暂停，减速，基本上阻止这个过程——这样，而不是在三到六个月内匆忙地让人工智能解决所有这些问题，我们为自己争取了更多的时间。为什么不把这作为主要方法呢？Ajeya Cotra：我认为我描述的计划与在智能爆炸的边缘暂停是兼容的。事实上，我希望我们这样做，因为我认为默认情况下，有十二个月的时间来安排好一切是远远不够的。但我认为这是在做两件事。一是让暂停不那么二元化。所以，如果你认为默认路径是几乎 100% 的人工智能劳动用于进一步改进人工智能、制造更多人工智能和制造更多芯片等等，而你认为暂停或停止意味着世界上 0% 的人工智能劳动用于这些活动，那么在 0% 和 100% 之间有一个完整的范围。然后，我认为这是在做另一件事，那就是回答在暂停期间做什么的问题。你做所有这些保护性工作，并且有这些人工智能来做。一旦你有了这个框架，让暂停不那么二元化，并认真思考你在暂停期间做什么，我认为你可能会经常认为值得在人工智能能力方面再进一步——因为，特别是如果我们朝着某个特定方向倾斜能力，我们最终可能会得到比现在更好的人工智能，用于生物防御，同时仍然是可控的，仍然不那么可怕。你可以想象在整个过程中有很多小的暂停和小的重定向等等。我希望在某个时候，我们会进行政策协调等活动，使我们在人工智能足够强大以帮助解决许多问题，但又不过于强大以至于我们已经输掉了比赛的这个最佳状态下停留更长时间。Rob Wiblin：我们应该澄清一下，尽管你认为这是我们最好的选择之一，但在理想情况下，你认为我们应该走得慢得多——因为无论这个计划有多好，我们都将真正地艰难应对，并且不确定它是否一定会奏效。Ajeya Cotra：是的。我认为，如果一个非常明确的早期预警信号触发了我们即将进入智能爆炸、快速起飞的空间——即我们在十二个月内从人工智能研发自动化到远远超出人类的超级智能——那么我将投票赞成，届时，将该轨迹延长十倍甚至更长，并尝试以十年而不是一年的时间，或者二十年而不是一年的时间作为社会过渡。这可能有点吹毛求疵，但我仍然不会提倡暂停然后闲逛十年，然后恢复，因为我实际上认为缓慢地前进比暂停、然后恢复，然后跳跃要好。但回到我们关于你的默认轨迹预期如何影响你的想法的说法，我认为默认是在一年内完成的。我当然宁愿是十年、十五年或二十年。但我认为，利用人工智能解决我们问题的框架适用于你是在一年内艰难应对，还是可能挤出额外的两个月，或者你设法获得了共识和共同知识，使世界能够以十年时间度过它。Rob Wiblin：是的。就我们为了做某事而减速而言，这是我们减速去做的事情的重要组成部分。Ajeya Cotra：是的。Rob Wiblin：所以，这是公司技术对齐计划的重要组成部分。如果这不起作用，你认为最可能的原因是什么？Ajeya Cotra：我认为，如果它失败了，很可能是因为它们实际上并没有从使用人工智能来进一步提升人工智能能力转向将大量精力投入到人工智能安全上。因为它们说这是它们的计划，但它们并没有任何量化的说法，在那个阶段，它们的人工智能劳动——或者说它们的人类劳动——有多少会用于安全，而不是进一步加速。而且它们将面临来自竞争对手的巨大压力，以保持领先地位。所以我的猜测是，除非它们有比现在更强有力的承诺，否则它们可能不会投入那么多的人工智能劳动。所以，如果它们有十万个非常聪明的人类等效物，可能只有一百个在从事人工智能安全工作——这可能仍然比它们以前的人类劳动多，但与事情的发展速度相比，并不算太多。Rob Wiblin：除非它们有非常强烈的承诺。我想其他机制是法律要求：在这一点上，政府基本上坚持大部分计算能力用于此，或者至少大部分不用于递归自我改进。或者我想，如果公司能够达成某种协议，它们会说，“我们都希望将更多的计算能力用于这类事情，所以我们将签订一份合同，我们将花费 50% 的计算能力，然后我们不会在特定方面失去相对地位。”Ajeya Cotra：我认为那份合同可能会遇到严重的垄断问题。Rob Wiblin：可能有点非法，但也许我们可以为此开个反垄断例外。我想，另一种机制是，鉴于政府的巨大兴趣，它们可以以某种方式协调此事。Ajeya Cotra：是的，我认为这是可能的。我认为这有点棘手。这并不是那种很容易制定法律的事情，因为它根本不是一种打勾练习。当你起草立法，规定一半的计算能力必须用于安全而不是能力时，你如何定义安全研究？你如何执行？你会在里面有审计员说，“你们在做什么？你们在做什么？”对公司里的所有团队领导说？你知道，检查一下他们是否达到了 50% 的安全目标。我可以想象这样的事情。我认为这需要非常技术精深的监管者，而我们现在并没有。Rob Wiblin：我以为你会说，最可能导致这种情况失败的原因是，事实证明对齐极其困难。即使在相对较低的智能水平下，也会出现严重的错位，而我们又没有足够早地弄清楚如何解决这个问题，以至于无法从中获得有用的工作。Ajeya Cotra：我认为这是可能的。我不认为这是最可能失败的方式。在我看来，最可能失败的方式是它们没有全力以赴。但也有可能它们只是试图让人工智能帮助对齐，而人工智能却不对齐，控制程序和其他东西都无效。所以它们故意只帮助进一步的人工智能研发，而不帮助对齐、安全和生物防御以及你希望它们帮助的所有其他事情。我希望届时透明度制度足够强大，能够将这一事实广泛传播，然后这可以激发政策的改变，导致我们放慢速度。但在那种世界里，即使我们放慢了很多，那也是一个糟糕的世界，因为我们只能靠自己。我们必须在没有人工智能的帮助下做这些事情，因为我们无法让它们帮助我们。但我实际上对控制技术能够让早期的人工智能，而不是超级智能，在它们擅长的各种事情上有所帮助，持相当乐观的态度。Rob Wiblin：另一种可能导致它们实际上没有付出太多努力的方式是，窗口期相对较短，而项目启动需要很长时间，而且它们还没有真正提前计划。所以它们最终会来回争论，然后当它们弄清楚它们确实想做这件事时……我想这名义上是在这些各种论文中，但我不知道它们是否真的在提前考虑这会是什么感觉，以及它们是否会有决策能力来决定将巨大的资源重新分配给这个其他努力。Ajeya Cotra：是的，我认为任何需要一家大公司在它正在做的事情上发生巨大转变的事情都会面临巨大的阻力。所以，我希望它们能够平稳地增加用于安全的人工智能内部推理计算量，随着人工智能越来越好，这样在最后阶段就不需要进行巨大的跳跃。如果我们能够获得诚实的报告而不产生不良激励，那是我想要知道的：有多少人力劳动用于安全与能力，有多少内部人工智能推理用于安全与能力，有多少微调工作用于安全与能力。我认为，如果它们按照某种时间表逐步改进，它们成功的几率会大得多。Rob Wiblin：好的，那么这就是人工智能公司——我想我们假设它们主要会专注于人工智能技术对齐的策略。但你更多地是在 Open Philanthropy 的背景下思考这个问题，以及它可以填补什么空白。如果将数十亿美元投入到这个计划中成为其主要战略，Open Philanthropy 需要做什么？Ajeya Cotra：我认为，就目前而言，我们最需要做的事情与我认为社会为应对智能爆炸需要做的事情非常相似：真正尝试跟踪我们现在在人工智能对我们所做的工作以及我们的受助者所做的工作有多大用处。并推动我们自己自动化，并推动我们的受助者自动化，并跟踪人工智能在 Forethought 所做的工作、Redwood Research 或 Apollo 所做的工作、我们的政策受助者所做的工作方面有多好？这是一件事：在我们内部普及这样一个观念，即当人工智能在任何我们资助的特定领域做得越来越好时，这可能是一件大事。一旦我们开始看到那里的生命迹象，我们就应该准备好全力以赴。就像你之前说的，我认为关键时刻并非 100% 是一个特殊的事情。我们绝对不应该等到关键时刻才做任何事情；这只是一个预测，即关键时刻是许多以前难以自动化的事情变得更容易自动化的时刻。所以，例如，如果人工智能在数学研究方面非常出色，我认为这是可能的，那么也许我们应该有意识地将我们的技术资助转向更多数学类的技术资助，因为这是一个可以大量周转的领域，它非常容易处理。所以，我认为只是有一个负责关注这些事情的部门，并且可能只是敦促 Open Phil 和 Open Phil 的受助者考虑将他们的工作转向更容易自动化的事情，比如反复测试他们的工作是否可以自动化，这是一件大事。然后，我甚至可以想象，在不久的将来，甚至可能为我们其他的资助活动与为我们的受助者支付人工智能费用的资助活动进行单独的会计核算。我们已经为大量的受助者支付了 ChatGPT Pro 订阅和 ChatGPT API 积分。我认为让它在我们脑海中更清晰一些，我们有多少钱花在这上面，我们是否赞同它的规模？是否有任何地方我们应该做得更大，我们是否在正轨上？百分比是否像我们认为的那样在增长？这是否与人工智能能力的增长相符？如果我们认为关键时刻将在六年内开始，我们是否在那个时候有望使推理计算成为我们支出的很大一部分？Rob Wiblin：如果我从心理上考虑这个问题，我可以想象，如果我领导 Open Philanthropy 或者我是被建议的捐助者之一——而且我们确实有这些透明度要求，并且我们开始感觉到智能爆炸可能正在发生——我可以想象会犹豫很长时间，而不是决定投入数十亿美元来做这件事。因为金钱是有限的，基金规模也是有限的，而且我认为我会非常害怕我们过早地投入，或者这是一个坏主意，或者事后我们会很尴尬，因为事实证明智能爆炸有一些早期迹象，但它并没有真正奏效。然后我们花了 100 亿美元，却一无所获。如果你犯了这样的错误，你会感觉很糟糕。这听起来像是一个可能发生的情况吗？Ajeya Cotra：哦，完全是。我认为，即使不仅仅是害怕在这方面犯错误，这也是因为组织有特定的做事方式，也有流程。而现在，Open Phil 的资助流程通常是，一个相当初级的员工在他们的桌子上看到一个机会，无论是通过我们的公开呼吁还是通过他们的一些联系，然后那个初级员工会收集一些材料来说服他们的经理这是一个好选择。然后那个经理会说服更高层的人，这是一个好选择。我们现有的组织决策过程可能需要两层、三层甚至四层的信息传递，然后才能获得批准。如果正确的事情是花十亿美元在某种非常容易自动化的工作上，你不会信任一个随机的初级员工来做这个决定。你可能需要一个不同的流程来处理。我不知道那个流程会是什么样子，但我认为这是需要弄清楚的一件事。Rob Wiblin：我想，为了实现如此巨大的资金和努力的扩展，你将受到人员的极大限制，或者参与的人不会多多少，所以人工智能不仅要完成对象级工作，还要决定做什么问题。就像管理项目和监督其他人工智能一样，基本上占据了整个组织层级。这就是你设想的画面吗？Ajeya Cotra：我认为这里有两种可能性。一种可能性是，当向关键时刻的人工智能劳动投入大量资金成为正确的选择时，Open Phil 本身已经很大程度上实现了自动化。这是一个轻松的世界，因为在这种情况下，我们会有切身的体会，人工智能非常有帮助，因为也许我们已经放慢了初级招聘，我们所有的项目助理现在都是人工智能，我们作为一个组织已经完全转型——所以采取行动的决心可能更容易实现。然后我们实际上有很多劳动力：也许我们有 1000 人在人工智能团队，而不是我们现在的 45 人，他们可以更快地弄清楚所有这些事情。但我认为令人担忧的可能性实际上是存在不平滑的，也许人工智能在数学方面非常出色，也许人工智能在技术人工智能安全和某些特定类型的制造方面非常出色，这些制造对于个人防护装备的发挥可能非常有用。但我们还没有实现自身自动化。它在做我们的工作方面并不那么好，因为训练数据中没有多少这类东西。我们没有为人工智能劳动做好充分的准备。Rob Wiblin：它仍然会犯可怕的错误，所以你不能完全信任它。Ajeya Cotra：是的。它会犯可怕的错误，以至于你可以将其置于软件或制造的设置中，在那里你可以捕捉到这些错误，但你需要人类在 Open Phil 方面来做这件事。所以，我们没有实现很好的自动化，我们没有切身的体会，“现在是时候了。就是现在。人工智能非常好；我们必须全力以赴。”但仍然是正确的事情，就是将大量资金投入到这些高度自动化的少数垂直领域的人工智能劳动中。Rob Wiblin：我们可能在这里有点埋没了最重要的信息，即像 Open Phil 这样的外部团体实施这个计划的最大挑战是：你甚至能否获得正在训练的最优秀模型？而在那个关键时刻，当计算需求紧张时，你是否真的有足够的芯片？是否有人愿意卖给你来做这项工作？你能详细说说吗？Ajeya Cotra：是的。我认为，作为一个外部团体，要获得足够劳动力的两个挑战是。一是它们是否会卖给你。就像我之前说的，在人工智能 2027 年和许多智能爆炸的故事中，你会遇到一个点，即一家公司远远领先于其竞争对手，它会将其内部最好的系统留给自己，只发布比其内部前沿系统差很多的系统，这些系统足以领先于其竞争对手发布的产品。最优秀的内部系统和最优秀的外部可访问系统之间可能存在越来越大的差距，而人工智能公司可能故意选择不向愿意的客户出售，因为它们想保守秘密。另一种可能性是它们可能愿意卖给你，但价格可能太高了，因为使用这些计算能力来为你做任何你想做的事情的机会成本是训练更强大的人工智能，而它们可能愿意为此支付很多钱。我认为这两种都是挑战。第二种在某种意义上更容易解决，那就是你试图通过让你的投资组合的一部分真正暴露于计算价格来对冲这种可能性，并希望这可能看起来是，在极端情况下，你只是拥有自己的 GPU，在和平时期你只是将它们租给其他从事商业活动的人，但在关键时刻，你将其重新用于人工智能劳动。尽管在这种情况下，你还需要弄清楚如何将最新的人工智能模型放到你拥有的那些芯片上。所以你可能需要达成交易才能实现这一点。但同样，在不太极端的情况下，你可能只是购买大量的英伟达股票或购买大量暴露于人工智能的公开股票，以增加你在那个时候能够负担得起人工智能能力的几率。Rob Wiblin：所以在这个时候，GPU 或计算的价格可能会大幅上涨，但你可以通过将大部分投资放在英伟达或其他销售 GPU 的公司来部分对冲这种可能性——这样，如果它们的价格上涨，你就会在投资方面受益，这有助于抵消不断上涨的价格？Ajeya Cotra：是的。Rob Wiblin：好的。然后在软件方面，有一个问题是你是否能够获得正在训练的最优秀模型。一方面，你可以想象一个故事，即公司之间的差距非常小，模型大致相同，利润率非常低。它们非常渴望尽快发布模型，以保持竞争力。另一方面，你可能有一个领导者开始稍微保密。你对哪种情况更有可能发生有什么特别的看法吗？Ajeya Cotra：我认为，至少在关键时刻的早期，当人工智能刚刚开始自动化大量人工智能研发时，我的猜测是，届时情况将相对商业化，相对开放。领先的几家公司在能力前沿方面相差一个月。或者也许很难说谁是领导者，因为一家公司专注于一个方面：它的模型在预训练方面有点尖锐，而另一家公司的模型在软件工程方面有点尖锐，或者类似的东西。我认为这是因为基本上这是经济学 101 模型会预测会发生的事情。似乎这些公司没有巨大的护城河，而且似乎也是我们过去几年所看到的。Rob Wiblin：有点像描述了当今的状况。
或多或少。阿杰亚·科特拉：它描述了当今。这与几年前的情况有所不同，那时我认为 OpenAI 拥有更大的优势，并且垄断或双寡头垄断似乎更可能出现。但也有理由朝另一个方向努力，那就是：如果你有一个超指数级的反馈循环，你就会有一群以越来越快的速度增长的参与者——比如先是 2%，然后是 4%，然后是 8%——而且他们彼此之间不互动，你确实会得到一个赢家通吃的局面，如果他们在同一条增长曲线上增长，但其中一个首先达到了某个特定的里程碑，那么领导者相对于落后者就会变得越来越强大和富有。这与指数增长形成对比，在指数增长中，如果每个人都永远以 2% 的速度增长，那么贫富国家或公司之间的比例将保持不变。因此，有理由认为，尤其是在智能爆炸时期，差距将再次开始扩大。但我认为，在开始阶段，最有可能的情况是，如果你负担得起，你就可以购买人工智能劳动力，你可以购买 API 积分，你可以访问 chatgpt.com。然后，我对此如何发展感到非常不确定。罗布·威布林：你认为领先的公司有多大可能试图保守他们所达到的水平的秘密？阿杰亚·科特拉：我认为这在很大程度上取决于他们面临的竞争格局。基本上，如果其他公司远远落后，那么我认为他们有很强的动力和理由保守你的能力秘密。你放弃了季度利润，但你可能不在乎，因为你反正依靠投资资金运作。如果你能让你的 AI 帮助你制造更好的 AI，帮助你制造更好的 AI，等等，你可能会出现一种超级智能，它可能给你带来与国家匹敌的力量，或者能够决定性地控制未来的走向——这对于寻求权力的公司来说可能非常有吸引力。但我确实认为这涉及到放弃短期利润，这意味着如果竞争对手紧随其后，而你的投资者又在你耳边喋喋不休地要求你实现季度收益——罗布·威布林：我猜你不能去告诉你所有的投资者，“别担心，我们有超级智能”——因为我认为那样的话消息就会传出去。阿杰亚·科特拉：嗯，而且你的计划是坑投资者。在这种情况下，你的计划是创造一个超级智能，而不是偿还他们：创造一个超级智能，然后也许接管世界。他们不会喜欢那样。投资者和 CEO 之间存在激励机制的不匹配，而 CEO 基本上是对其委托人的不良代理人。所以，基本上，事情越像一个效率低下、几乎没有松懈空间的竞争市场，领先的公司就越会被迫向我们其他人提供访问权限。罗布·威布林：你认为公司在多大程度上会积极参与协助这个计划？这项战略是他们主要的 AI 技术安全方法。我认为即使是乐观主义者也同意，社会还将面临其他问题；事实上，他们一直都在说，公司领导者们说，我们需要一个新的社会契约，这将颠覆一切。这将是一件大事。我想，就他们对技术将产生的影响感到担忧而言，如果有人带着一个预先准备好的计划来找他们，说明我们将如何部署所有这些计算能力来解决所有这些其他问题，他们会非常高兴。阿杰亚·科特拉：我认为这还不清楚。当然，他们有一些动力去参与其中。但 AI 劳动力对他们来说可能更有吸引力的两种替代用途是，一，为自己寻求权力。仅仅是建立一个远远领先于其他人的巨大 AI 优势，然后以惊人的力量突然出现，并有能力挑战美国政府或国家，这可能会吸引一些人。我认为这将是一种非常邪恶的策略，但它绝对是存在的。另一件事则更为普通。就是利用这些 AI 来制造普通商品和服务，制造人们最想在短期内花钱购买的产品、媒体内容和其他服务。这与我们现在社会 GDP 中很大一部分用于生物防御、网络防御和其他所有这些事情非常相似。罗布·威布林：以及道德哲学。阿杰亚·科特拉：以及道德哲学。那不是人们愿意付费的东西。而 AI 只是加速了人们愿意付费的产品和服务的创造，而这在列表中并不靠前。罗布·威布林：我猜大多数人并不想成为世界独裁者或掌握巨大的权力。但是那些最终领导高风险技术项目的人不是普通人。他们比普通人更雄心勃勃。所以我想我们不能排除这种可能性。阿杰亚·科特拉：是的。罗布·威布林：一个可能的挑战是，即使你有巨大的计算能力，你也可能只能以一定的速度前进，因为你需要某种顺序步骤，或者某个步骤在时间上受到瓶颈限制，你必须完成。人们谈论一些事情，比如你做一个实验，它实际上需要一定的时间才能完成。但更普遍地说，至少以 LLM 为例，它们是一个接一个地生成 token。拥有两倍的计算能力并不一定能让你无限地将答案完成速度提高一倍。在我们试图在非常短的日历时间内解决问题的程度上，这有多大问题？阿杰亚·科特拉：我认为这很可能会出现，特别是对于物理防御，如制造 PPE 或扩大快速创建医疗对策的能力，以及社会和政策方面。我可以想象 AI 在弄清楚美国和中国之间达成什么样的协议对双方都有利以及我们如何执行它方面会非常有帮助，但人类决策方式仍然可能需要美国和中国的人们聚在一起讨论，召开会议或集会，并达成一项他们批准并感到满意的决定。这可能是一个瓶颈，是的。罗布·威布林：还有其他类似的瓶颈例子吗？在解决理论问题方面，我想你可以通过让许多相同的模型实例尝试集思广益不同的解决方案并让它们相互评估来极大地加快速度。这允许你并行进行许多不同的努力。阿杰亚·科特拉：是的，完全正确。但我确实认为，对于深层理论问题，你可以通过并行努力来加快速度，但正确的解决方案存在于某个地方，它涉及多个飞跃，很难在没有早期见解的基础上想到下一个见解。所以真的，即使你有 100 个 AI 并行工作，发生的情况是，其中一个 AI 提出了见解的第一步，然后每个人都在并行寻找下一个见解，但你仍然需要进行三到四步。罗布·威布林：那么我们应该提前做些什么呢？例如，提前为美国和中国的外交官安排会议：我们应该在早期阶段就这样做，以预期我们最终可能会达成一项他们可能想要批准的协议。这听起来有点疯狂，但你还需要做其他事情才能开始吗？阿杰亚·科特拉：是的，我认为总的来说，你应该考虑当时的 AI 在哪些方面处于相对劣势？它们将拥有我们现在所不具备的所有优势。它们将比我们现在更好地理解当时的情况。它们将能够更快地思考，更快地行动等等。但我认为我们现在可以贡献的是那些本身就需要很长的准备时间才能建立起来的东西。这可能包括物理基础设施，比如我的同事安德鲁正在努力建设的生物基础设施。它还可能包括社会共识。一个想法需要一定的时间才能在社会上普及，才能成为一个可行的概念，也许我们应该尝试在美国和中国之间建立某种条约，以使 AI 的进展比自然进展稍慢一些，并利用大量的 AI 计算能力来解决所有这些问题。我认为这种事情需要数年时间才能成为人们工具箱中的一部分，才能成为现实，以至于他们实际上会想到让 AI 走这条路并找出其中的细节。罗布·威布林：那么，如果人们认为这很有道理或者他们想为此做出贡献，他们应该怎么做呢？是否有其他组织应该同样提前计划并考虑这对他们来说会是什么样子？或者个人是否可以考虑如何为自己的特定项目采用这种方法？阿杰亚·科特拉：就其他组织而言，我认为政府实体尤其应该考虑采用 AI。我知道有一些随机的小型官僚主义障碍，使得政府采用 AI 比行业中的任何人采用 AI 都更困难。我认为我们最终可能会陷入这样一种情况：被监管者——行业人士——拥有快车，而监管者拥有马车，因为这种采用差距。更广泛地说，如果你的公司还没有为你的个人用例最大限度地采用 AI——你从事防御、AI 安全、道德哲学等有益的事情——那么可能值得组建一个团队，一旦 AI 对你变得真正有用，就随时关注如何采用 AI。罗布·威布林：让我们谈谈你自上次采访以来两年半的职业生涯。那时你在 Open Philanthropy 做一般的 AI 研究和战略。这是在 2023 年。然后，在 2024 年，你开始领导 AI 技术拨款。然后，在 2024 年底，你决定休假四个月，进行一次休假。谈谈这一切。阿杰亚·科特拉：我在 Open Phil 工作了六年多才进行了第一次拨款。我之前参与过一些拨款讨论，但我领导的第一次拨款是在 2023 年中期或后期，我于 2016 年加入 Open Phil。所以这很有趣。从某种意义上说，如果你只是从外部视角来看，这是一个在花钱做慈善的机构，我的工作非常奇怪。我一直在思考这些深奥的话题，然后写了长篇报告，并在 LessWrong 上发表。我一直觉得也许我应该涉足拨款，因为这在某种意义上是我们的核心产品，这就是我们所做的。但我一直被更深入的智力项目所吸引。所以，尽管我一直模糊地认为我应该做拨款，但它从来没有真正发生在我身上。实际上，我认为推动我一头扎进拨款的是 FTX 的崩溃。所以，实际上，抱歉，我的第一次拨款一定是在 2022 年而不是 2023 年——因为那时 FTX 基金会承诺了数百人拨款，但他们的拨款没有实现，或者他们担心会被追回，或者部分没有实现。Open Phil 发布了一份紧急提案征集，面向受 FTX 崩盘影响的人。我对技术研究有一些想法和看法，而且该组织也需要帮助——比如为这次紧急拨款涌入提供激增能力。所以，在大约六周的时间里，我进行了 50 笔不同的拨款，而之前我一笔都没有做过。那是一次非常有趣的经历。我发现其中有一些我非常喜欢的元素，但你做拨款的方式也让你无法深入研究任何具体的事情。尤其是在 FTX 紧急情况这样的背景下，你只能非常迅速地做出决定。但我认为，至少在技术 AI 安全领域，我对如何进行拨款有一些想法，可以对我们资助的研究方向进行更多的内部视角论证，而不是像以前那样。所以，在 2023 年初或中期，我试图走那条路。罗布·威布林：所以，你在 2022 年进行了这次大规模的拨款，基本上是试图帮助 FTX 基金会的许多难民。但我想你一定注意到，你所做的所有拨款可能都没有一个总体的战略。你当时想，我们需要有一个更宏观的图景，了解我们到底在推动什么，以及为什么。阿杰亚·科特拉：是的。所以我专注于资助技术研究人员。他们通常是学者，有时是 AI 安全领域的非营利组织，他们通常从事可解释性或某种对抗性鲁棒性方面的研究。这些看起来是合理的研究赌注，但我感到有些不满意——我想这将是我职业生涯中的一个主题——关于变革理论是如何没有真正被扎实地推导出来并阐述清楚的，即这种可解释性研究将如何导致我们拥有这种技术或能力，然后它如何融入一个防止 AI 接管的计划，或者类似地，对于我们资助的任何其他研究领域。这实际上是我长期以来一直回避参与 Open Phil 技术 AI 安全拨款的一个重要原因，尽管我是少数几个在团队之外考虑技术 AI 安全的员工之一。这是因为最终，在 2015-2022 年期间，大多数拨款决策都基于这样的启发式方法：“这个人是一位很棒的研究员，他关心 AI 安全。”这完全合理，但我想要一个更具说服力的理由，比如，“这条研究线正在解决这个关键问题，这就是为什么我们认为它可能成功，如果成功了意味着什么。”我们从来没有真正拥有过那种非常完善的战略——因为这非常困难，建立这样的战略需要投入大量精力。但由于 FTX 危机让我一头扎进了拨款，我想，也许我想尝试承担 AI 安全拨款组合的工作，当时这个组合没有领导者，因为所有从事这个组合的人都离开了——有些人甚至去了 FTX 基金会——所以这个组合在组织内有些被遗弃了，而且它显然是一件非常重要的事情。我想，也许我们可以用一种新颖的方式来处理这个问题：真正尝试形成我们自己对不同技术研究方向优先级的内部看法，并真正联系它如何解决我们最关心的问题。罗布·威布林：听起来你觉得做出你没有深入了解的拨款，不是不了解钱花在哪里，而是你个人不认为它会开花结果，这让你感到不愉快或焦虑。是这样吗？阿杰亚·科特拉：是的。或者我认为我对自己设定的标准有点模糊。但对于我的研究项目——当我考虑时间线，或者我考虑 AI 如何导致接管，或者如果我们拥有 AGI 世界会如何快速变化——我认为我通常可以通过几个月的工作，达到能够预测并有一个合理的反应，并且能够与各种各样的智能批评进行合理的来回辩论，为什么我的结论可能是完全错误的和完全离谱的。我觉得我知道比我更悲观的怀疑论者会说什么，我也知道比我更不悲观的怀疑论者会说什么，我可以与任何一方进行一场长时间的智能对话。我希望在支持某些拨款方面达到这样的标准。我可以通过我们的一些拨款做到这一点。但我希望这个项目能够达到这样的程度，如果有人来找我，说：“在过去四年里，可解释性并没有取得多少成功；你怎么看？”我希望能够对这类问题做出反思性的均衡回答，并能够说一些超越“是的，但从外部视角来看，我们应该支持各种事物”的话。如果这是我工作的一个重要组成部分，那在情感上会让我感到不满意。罗布·威布林：也许值得解释一下，为什么 Open Phil 不会对其大多数拨款抱有如此高的信心。为什么呢？阿杰亚·科特拉：这需要很长时间。我认为有两件事：它需要大量的努力，然后另一件事是，即使你付出了努力，你也不想完全相信你自己的内部观点。我认为我也不赞成这样做。所以这是一个双重打击，即发展你关于可解释性、对抗性鲁棒性、控制或可纠正性如何融入一切的观点需要大量工作：你必须与大量人交谈，你必须写很多东西。与此同时，你没有把钱花出去。然后，做完所有这些事情后，你会得到什么？你会发现双方都有合理的观点。这是一个复杂的问题；我们可能希望对冲我们的赌注，并将一部分资金分配给不同的人等等。所以我认为人们的反应是合理的：我们将得到一个我们已经仔细考虑过的地方，付出了很多努力，而且仍然非常不确定。我们仍然希望分散我们的赌注，所以为什么不直接跳过所有这些，分散我们的赌注，并依靠顾问呢？我对此表示同情。希望我能合理地代表了那个观点。但我只是觉得，在我的人生经历中，经过艰苦的努力，对你做出的决定细节产生了质的改变，我认为这些改变可能具有很高的影响力。我能够做的一件事是，在形成观点的整个过程中，与研究人员合作，找到他们想法中最棒的版本，并向他们推销，并共同创造拨款机会。我认为有些东西我可能不擅长辩护，但我只是觉得还有其他模糊的好处，我真的很喜欢这样运作。罗布·威布林：所以，在 2024 年，你实际上承担了整个投资组合的责任。阿杰亚·科特拉：在 2023 年底，是的。罗布·威布林：2023 年底。但我想你个人的运作理念与 Open Phil 整体的运作方式有些冲突——阿杰亚·科特拉：只是在短期内，大量拨款方面存在冲突。我认为就是这样。罗布·威布林：是的，是的。那么你在那个职位上做了什么？阿杰亚·科特拉：我最终达成了一个折衷方案。这个职位带来的一个方面是，过去我们资助过的一些受助者即将续约。作为这个项目领域负责人的一部分责任是，你要调查这些续约情况，并决定我们是否应该继续资助他们。对于那些拨款，我试图遵循 Open Phil 的典型决策过程。所以我试图在一段时间内采取一种哑铃策略。一方面是续约，或者那些认识我们的人联系我们要求考虑拨款的人，我不会要求自己达到那种标准，比如，真正从技术上理解和辩护提案，而是更多地依赖启发式方法，比如，“这个人似乎与减少 AI 接管风险的目标一致；这个人有广泛的良好研究记录”等等，并试图相对快速地做出这些拨款。但同时，我也会试图开发一个不同的资助项目或一些我真正想下注的拨款，在那里我会努力达到那个标准，并努力写下我为什么认为这是值得追求的事情。结果是，后者基本上变成了在 2023 年底到 2024 年中期对 AI 代理能力基准测试和其他获取 AI 对世界影响证据的方式进行的一次押注。罗布·威布林：就是我们之前谈到的，你试图提前了解 AI 是否会成为有效的代理。我想在 2023 年，我们对它的发展方向非常不确定。似乎代理总体上有点令人失望，或者进展不如我预期的，或者可能也不如你预期的。但当时似乎到这个时候，它们就能像人类一样完全操作计算机了。你真的想知道我们是否正朝着那个未来发展。阿杰亚·科特拉：是的，是的。所以我启动了这项提案征集。Open Phil 以前也做过技术安全提案征集，但这是我们当时发布的最狭窄、最深入论证的技术 RFP，我说，我们正在寻找测试代理的基准测试，而不仅仅是聊天机器人模型；这些是我们认为一个优秀的基准测试应该具备的属性；以及我们认为好的和不好的基准测试的例子。我们有一个完整的申请表，在某种意义上是在指导人们，或者试图获取我们认为对于确定它是否真正具有信息量最重要的关于其基准测试的信息。主要是，“要现实得多。任务要比现有的基准测试难得多。即使你认为你的任务足够难，它们可能也还不够难。”这方面有很多推动力。所以这是一个非常有主见、非常详细、非常狭窄的 RFP，我们通过它进行了 2500 万美元的拨款，然后从配套的 RFP 中又获得了 200-300 万美元——那更广泛，包括从 RCT 到关于 AI 对世界影响的调查的各种信息。我对结果很满意。正如你所料，大量的精力投入到了一个方向。如果你对这种高投入的拨款方法持怀疑态度，你可以说我本可以投入更少的精力，在 10 个不同的领域资助两倍的拨款量，并在所有这些领域摘取低垂的果实。罗布·威布林：所以我想，到 2024 年年中，你开始感到非常疲惫，或者想休息一下。为什么会这样？阿杰亚·科特拉：就在我从主要从事研究转向拨款的时候——尤其是当我试图扩大这个项目领域，这个领域对 AI 安全研究采取了更具内部视角、更注重理解的方法——当时领导 AI 团队的霍尔顿（Holden）决定离开组织。他是我当时的经理。我认为我与霍尔顿的关系涉及很多关于我正在研究的实质内容的争论和讨论。当他离开时，领导层变得更加紧张，因为领导层少了一位成员，而留下的领导团队成员对 AI 的了解和熟悉程度不如霍尔顿。所以我写了一份大备忘录，说：“我们应该以一种更注重理解的方式进行 AI 安全拨款，我们应该发展内部观点，这就是为什么我认为这会很好。”我认为我想要的是我的经理或领导层就客观层面的问题与我争论，并且组织内部对这是一个多么好的主意，或者它的优点和缺点是什么，以及我们愿意在多大程度上押注于它，形成某种共同的看法。但我认为，考虑到他们手头的其他优先事项以及他们在这个领域的背景水平，这可能是不现实的。所以，我最终不得不以一种更交易的方式与组织打交道。而不是“让我们谈谈这是否是个好主意”，而是“我想以这种方式做”。他们说，“是的，我们不知道这是最好的做事方式，我们有一些怀疑，但是——”罗布·威布林：“如果你愿意，你可以这样做。”阿杰亚·科特拉：“——如果你愿意，你可以这样做。”所以我感到有些孤单，因为——这是我在试图运营这个项目并休假反思的过程中学到的关于我自己的事情——我真的很喜欢与我所在的组织的中央大脑保持联系。我没有觉得我有一个途径可以做到这一点，而我有的途径是建立这个东西——我尝试过，但感觉有点艰难。罗布·威布林：听起来你有点孤单。阿杰亚·科特拉：是的，我感觉有点孤单，而且我认为我不是一个很有创业精神的人。我有些方面很有野心，但我就是非常需要不断地与他人交谈。我试图通过雇佣我下面的人来帮助我实现这个愿景，以达到这种团队的感觉。但我认为我在招聘和管理方面做得不好。部分原因是这个愿景相当模糊，我可能需要自己花更多时间来解决其中的问题，并真正巩固它是什么，以及一个注重理解的技术 AI 安全项目现实的版本是什么。所以招聘非常困难，因为你必须招聘一个从一开始就真正认同这个愿景的人，尽管它不是一个定义得很清楚的事情。所以这耗费了很多精力。然后，我认为在我管理的那些人中，我一直很挣扎，而且在这种情况下仍然挣扎，在管理中追求完美主义。所以我有一个长期的历史，试图让人们担任撰稿人来写我的想法。这对我来说从来都不奏效，因为他们不会按照我想要的方式去做。我自己写得很快，所以作为他们的编辑与作家合作，并让他们写出的东西让我满意，通常比我自己做要花费更多时间。我发现，在某种程度上，对拨款者也是如此。一度我们有几个人花了一部分时间研究基准测试 RFP。我认为，如果只有我一个人在做，我可能会更快地完成拨款，这有点艰难。我认为这是许多新经理都会经历的弱点或挑战。我当时正经历着这种情况，同时感到来自上级的反馈和参与度比以前少了很多，而且我不得不证明这种新的做事方式。我认为，而且我仍然认为，我的论点有很多道理，但当我独自尝试时，它也不是一个巨大的成功。罗布·威布林：所以去年九月，你决定离开，休息一段时间，在八年辛勤全职工作之后。你用那段时间做了什么？阿杰亚·科特拉：事情混杂在一起。我做了很多生活中的事情。比如我找到了一个新的合租屋搬进去，或者开始了一个新的合租屋。这很酷。更多地照顾自己。我养成了运动的习惯。我现在又放弃了这个运动习惯了，所以我们拭目以待。然后我花了很多时间反思为什么工作情况对我来说如此艰难，以及我整个职业生涯的旅程以及在我遇到困难时出现的模式。我还跳进去帮助了一些正在进行的随机项目。Curve 会议，一个汇集了 AI 怀疑论者、AI 安全人士以及对 AI 对社会影响问题持各种观点的人的会议，在我休假期间举行了首次会议。所以，我能够更多地参与其中，并尝试提供帮助，比我全职工作时能提供的更多，这真的很酷。我写了一些东西。大多数文章还没有发表，但对我来说仍然很有意义。老实说，它过得很快。有很多事情需要思考，有很多事情要做。罗布·威布林：你对你的职业生涯，你的动机以及 2023 年和 2024 年的困难有什么样的反思？阿杰亚·科特拉：就 2023 年和 2024 年而言，我确实觉得我想成为中央组织的顾问和助手。在过去的六年里，我在很多方面都做到了这一点，所以转型为更具创业精神，更像是，我在我的领域有一个小型的拨款初创公司，组织正在向我投资，但不一定有很多关注，而且我也不一定有途径提出能够影响其他方面的论点，这很困难。所以我认为了解这一点很有趣，那就是如果我没有这个，我仍然会倾向于干预其他正在发生的事情，如果我没有一个有成效的干预途径，我会感到难过。这是其中一件大事。我认为另一件大事是我想要多大的深度？我确实认为我有一个真正深入了解某事的动力，或者我总是在思考反驳意见以及对反驳意见的反驳意见。即使我很年轻，我也很喜欢数学辅导，而且我真的很喜欢数学，因为你可以深入挖掘并得出答案——而这与拨款或投资本身就存在不协调。罗布·威布林：这有点像 Open Phil 参与的风险投资。阿杰亚·科特拉：是的。所以反思这一点也很有趣。而且，正如我所说，在 Open Phil 的前六七年里，我实际上只是做了相当深入的研究，这有点奇怪。尽管我们是一个拨款组织，但我并没有做拨款。罗布·威布林：这部分是因为霍尔顿真的想要这种深入的研究吗？他想亲自更深入地理解这个想法，并且认为这对组织有益吗？阿杰亚·科特拉：是的，我认为是这样。我认为他有很大的动力和需求来真正弄清楚时间线，真正弄清楚起飞速度，以及我们对 AI 是否可能接管世界的威胁模型，并建立这一切。我认为他和我一样有这种想法，即做好功课真的很好，并且对十大反驳意见都有回应，以及对这些回应的回应，并且真正了解你的东西。所以他是我所做很多工作的驱动力，我认为如果你重新掷骰子，Open Phil 由不同的领导层管理，我们可能不太可能像我们那样深入地进行自己的 AI 战略思考，因为想法是，我们应该资助像 [人类未来研究所] 这样的地方，或者现在是 Forethought，来做这些事情，而不是我们自己。罗布·威布林：在你的笔记中，你说你在这段时间里花了很多时间反思你喜欢有效利他主义的生态系统和心态的哪些方面，以及你不喜欢它的哪些方面。告诉我们。阿杰亚·科特拉：你已经很久没有在节目中谈论有效利他主义了，所以我先解释一下它是什么，它是一个运动或想法，你应该明确、认真、定量地思考如何用你的职业生涯或你捐赠的钱来做最大的善事——而不同的职业道路和不同的慈善机构，你捐赠的钱，在做好事方面可能相差几个数量级。所以，如果你致力于减少气候变化，研究绿色技术可能比让人们关掉灯或在个人使用中节约更多电力要有用得多。有一种精神是，如果你真的认真对待这件事，并且你真的关心帮助世界，你会停下来思考，你会计算——就像如果你得了癌症，或者你的配偶得了癌症，你会做研究，找出哪些治疗方法有什么副作用，哪些治疗方法有什么成功率，你会问医生很多问题。有一种精神是，这就是当你认真对待某件事时的样子。而许多人在做好事时，会做那些让他们本能感觉良好的事情。还有另一种方法是尊重这个问题的智力深度。我真的被吸引到了这一点。我在 13 岁时就一头扎进了 EA 的兔子洞——所以，我一生中的一半以上的时间我都非常积极地参与这个社区，这种思维方式。我认为有三件大事是我非常喜欢这种方法。一是 EAs 挑战自己去关心与他们非常不同的人和生物，无论是在时间还是空间上都离他们很远的人和生物。所以，即使是最“普通”的 EA 事业领域，全球贫困，富裕国家个人捐赠的绝大多数资金都用于帮助富裕国家的其他个人，尽管在那些生活水平低得多的国家，资金可以走得更远。人们之所以在本地捐赠，是因为他们对离自己更近、与自己更相似的人有更多的亲近感。EA 也有很多分支，挑战人们将关怀延伸到动物，延伸到可能在数千年或数百万年后生活的子孙后代，以及人工智能，如果它能够拥有意识并能感受到痛苦等等。这对我来说非常有吸引力。但他们做事的方式也很有吸引力。他们非常书呆子气，非常聪明。他们真的在思考问题，几乎是在方法论上进行创新，比如，我们如何才能找出哪些慈善机构比其他慈善机构更好？这里有很多有趣的论点。而且他们非常透明。有一种公开辩论和承认错误的文化。GiveWell，早期 EA 运动的一个重要支柱，在其网站上有一个错误页面，讨论了它犯过的错误。他们非常诚实，而且以一种有趣的、不显而易见地源于关心其他生物的方式而具有高度的诚信。例如，GiveWell 拒绝进行捐赠匹配，因为捐赠匹配通常是一种骗局，即使你没有捐赠，大捐赠者也会捐赠那么多。所以，这一切对我来说都非常有吸引力。我认为它一次性触动了我很多心理按钮，让我觉得这就是我的同类，也是我想要生活的方式。罗布·威布林：所以，要对更广泛的生物更具同情心，我想这仍然是事实，而且可能仍然是你喜欢有效利他主义方法的一点。还有就是深入的智力探索，并真正地辩论。然后还有对诚实的极高诚信，就像不允许任何欺骗行为，甚至一丝欺骗的迹象。阿杰亚·科特拉：一种极其一丝不苟和严格的诚信水平，其他运动，甚至其他相当高诚信的运动，都没有追求。罗布·威布林：甚至可能超出了人们的要求。阿杰亚·科特拉：是的，你会主动说，“顺便说一句，你知道捐赠匹配是骗局吗？这就是我们不做的原因。即使我们会为穷人捐更多的钱。”有趣的是，这是早期 EA 运动的一个自然组成部分。即使你是在放弃影响力，你知道吗？罗布·威布林：是的，这不一定意味着。我想这是一个实际问题，它是否是。随着事情的发展，你发现第二个，智力深度，在你的工作中已经不存在了。还有其他事情在改变，让你不那么热情了吗？阿杰亚·科特拉：我认为 EA 生态系统的其他部分在智力深度方面非常出色，尤其是在 AI 安全方面，以及思考如何精确控制早期变革性 AI 系统等等。就像我说的，我的心总是被这些问题所吸引，尽管我在一个拨款组织工作。罗布·威布林：感觉在某种程度上，你更像是一个天生的拨款接受者，而不是一个拨款者。你应该得到一些东西来深入研究一些问题。阿杰亚·科特拉：是的，我认为如果我 2022 年而不是 2016 年大学毕业……我 2016 年大学毕业，去了 GiveWell。当时我去 GiveWell 的一个重要原因是，他们在“什么是最好的慈善机构”这个问题上拥有最深的智力。如果我 2022 年大学毕业，我可能已经参加了 MATS，这是一个提高 ML AI 安全研究技能的项目，然后尝试加入一个 AI 安全小组。我认为我天生就倾向于实际从事研究。所以从这个意义上说，我的工作，尤其是霍尔顿离开后，领导层对这种研究的需求有所减弱……如果我重新开始，我可能不会申请加入 Open Phil。我可能会申请加入一个 AI 安全小组。但然后我认为，我非常喜欢的那种极其、近乎可笑的高水平诚信，也随着时间的推移而逐渐消失。我认为，当 EA 运动的重点是说服非常聪明的人以不同的方式捐赠时，并且极其、异常地具有高度诚信实际上是一种非常有价值和强大的资产。显然，像我和早期 GiveWell 捐赠者这样的非常富有的人非常喜欢 GiveWell 有一个错误页面，并且非常喜欢那种精神和整个套餐：它帮助他们相信推荐是真实的推荐，他们没有被推销什么，他们没有被卖什么，就像其他慈善机构推荐生态系统一样。但当你从将它作为改变的主要方法时——当你实际上吸引了相当多的资助者，现在你试图利用这些钱和你吸引的人才来实现世界上的事情，也许是涉及很多政治的事情——那么极其透明可能非常具有挑战性。特别是因为捐赠者希望隐私，或者如果你正在竞选，你不想让你的对手确切地知道你的策略以及你可能犯错的方式。你知道，现实世界的大多数情况都不是这样的。罗布·威布林：是的。世界上最有影响力的组织并不总是极其透明，甚至极其诚信。阿杰亚·科特拉：是的，是的。所以目标之间存在这种紧张关系。我觉得我应该只关心 EA 的目标。EA 告诉我的，而且对我来说是有道理的，就是这里的重点是尽可能多地帮助他人。重点不是符合某种美学或以最干净或最漂亮的方式做事。但同时，我认为在某种程度上，我是在欺骗自己，我的动机和对这个概念的吸引力有多少来自于目标本身。就像第一支柱，利他主义， versus 第二和第三支柱——智力深度和智力创造力；以及这种疯狂的高水平开放性、透明度、毫无隐瞒、让所有人都来——对我来说，作为我心理的事实，后两者实际上对我的动机非常重要。而且随着时间的推移，它们在我从事 EA、在我职业生涯中追求 EA 目标时所占的比例越来越小。罗布·威布林：我们应该告诉那些不知道的人，在这段时间里，Open Phil 运营的环境变得更加困难和敌对。多年来，它一直在资助各种与 AI 相关的东西，但随着 AI 成为一个更大的行业，不同人所担心的各种问题变得显而易见。它的工作在某些方面可能开始与非常大的商业利益发生冲突，也与持有不同监管或发展想法的另类意识形态发生冲突。所以我们现在生活在一个有人会坐下来想，“我怎么才能搞垮 Open Phil？”我能做什么让他们过得很糟糕的一天？他们发表了什么我们可以传播的、让他们尴尬的东西？在这种环境中，当人们真的想给你找麻烦时，最大限度地公开你所有的内部讨论和你做出所有决定的原因就没那么有吸引力了。在这种环境中，我们所有人可能会更加保守。阿杰亚·科特拉：是的。即使在 2023 年 AI 政策升温的最新一轮之前，Open Phil 也在其最初大胆的透明度抱负上做出了很多妥协。起初，我们有一个想法，我们会公布我们决定不做的拨款，并在人们来找我们申请拨款时解释我们为什么不这样做。罗布·威布林：大多数组织不这样做是有原因的。阿杰亚·科特拉：大多数组织不这样做是有原因的。对于我们最早的两位项目官员招聘，我们写了一篇完整的博客文章，讨论了他们作为候选人的优点和缺点，以及我们考虑过的替代方案，以及我们对此有多大信心。我们停止这样做了。所以，有一种透明度，我内心仍然想要，但这是绝对疯狂的。然后，我认为你提到的敌对压力使得 Open Phil 作为一个资助这个生态系统很多项目的组织，有很多东西要失去。如果我们垮台了，大量的有益项目将更难获得资助。我们必须比许多受助者更加规避风险，即使那些受助者也面临着敌对环境。我认为他们中的许多人应对它的方式是进行反击，解释他们的观点，并在公共领域定义自己。我的本能是做更多的事情，说更多的话，做出回应，但由于多种原因，从 Open Phil 的立场来看，这更难做到。罗布·威布林：所以多年来，很多人，通常是批评者，都说有效利他主义与宗教运动有一些共同之处。在多大程度上你发现这是真的，在多大程度上你发现不是真的？阿杰亚·科特拉：我的意思是，我认为 EA 渴望成为，并且非常成功地成为，比世界宗教更具真理追求精神，也比许多其他社区和运动更具真理追求精神。所以从这个意义上说，我认为有一个非常重要的类比。我认为在某些方面，这并不是一个坏类比，因为我认为对于那些真正深度参与的人来说
EA 社群，它提供了一种关于美好生活的蓝图。它就像一种关于什么是美好以及如何拥有美好生活的愿景。它不像政治运动那样，它不只是为世界提供一套政策处方，但像许多宗教运动一样，它与政治交织在一起。有些人会通过他们对 EA 的承诺来看待政治问题，例如是否应该禁止母猪的妊娠围栏。它不仅仅是一个社群；它也不仅仅是一个社交俱乐部。我认为人们可以从当地的 EA 社群中获得慰藉和友谊，就像人们从当地的教会社群中获得一样。但它不止于此。它试图说明世界的大局以及你在其中的位置，以及过上美好而有意义的生活意味着什么，并且它与政治、社群以及许多其他事物交织在一起，但又不完全相同。
Rob Wiblin：是的。我认为它不像宗教的一个关键方式是，在许多方面，它对我来说更像是一家企业，或者像一家初创公司或一个拥有相当实际目标的组织。这是它不同的一个方面。有些人喜欢这些想法，他们喜欢博客文章，但他们根本不参与社群，我想对他们来说，这将是一种不同的体验。事实上，有很多人参与到那些会说他们参与了有效利他主义的社群中，但实际上对项目或甚至帮助他人的努力并不那么感兴趣。人们会尝试他们喜欢的方面。但对于许多在那些拥有会说他们真正热衷于有效利他主义的人的组织工作的人来说，我会说这更加务实。
Ajeya Cotra：是的，我认为这最终会以这种方式体现给很多人。但我不认为这真的是 EA。或者我认为将 EA 归结为世界上三四项目标是一个错误——比如减少工厂化养殖动物的痛苦，加上提高发展中国家穷人的生活质量，加上人工智能安全。在某些方面，人们将 EA 视为这三件事的一个奇怪的集合，然后这三件事基本上是追求一种明确目标的专业社群。但我认为 EA 更像是一种看待世界的方式，以及一种思考“好”的方式。而且我认为你可以将 EA 的方法应用于比三大 EA 事业领域更狭隘的领域。比如，我认为你可以绝对从思考美国公民福利的角度，对美国政策采取 EA 方法，对哪些政策真正有帮助和无益进行严格的成本效益分析。很多人也这样做。然后我认为 EA 是新事业领域的一个生成器，可以添加到教规中。现在有很多肥沃的土壤，EA 是否可以成为帮助社会为先进人工智能带来的激进变革做准备的力量，其中人工智能安全是一个重要的事情，但可能还有一系列其他问题，你可能想根据你的价值观和对事物发展方式的看法来优先考虑其中一些。
Rob Wiblin：你在笔记中写道，至少从你个人的观点来看，EA 不像宗教那样，或者它不像你个人希望的那样像宗教。能解释一下吗？
Ajeya Cotra：我是一个非常受益于结构和情感激励强化的人。我也非常倾向于稍微社会化地适应，或者我认为我倾向于努力实现我所在的社群的理想。我认为我所处的 EA 社群角落的理想就像你说的：拥有一份非常有影响力的工作，然后把它做好，并为此投入大量时间。所以这就是你从社群中得到的信息，而这正是我试图做的。但我认为我个人希望社群能有更多的精神层面。比如，如果你读我同事 Joe Carlsmith 的博客，我能从中获得一些关于我们的道德和价值观的生存反思，以及许多 EA 人相信的那个疯狂的事情：在十年或二十年内，我们可能会身处一个完全转变的世界，这个世界可能，相对于现在的视角，是乌托邦或反乌托邦的，并且正在与之搏斗。你知道，我认为如果有一个 EA 教会，就像每周日，有人对这些问题有深刻的见解和思考，并就此进行讨论，我认为这将极大地丰富我的生活，并最终可能让我产生更大的影响。但这并不是 EA 社群的运作方式。它故意不以这种方式运作，因为 EA 的专业社群方面。你真的不希望人们相信最深刻的教义和哲学取向。你真的只想说，“如果你正在做出色的人工智能安全研究，太好了，就做出色的人工智能安全研究吧。”所以专业社群的激励机制与我个人可能想要的相悖。
Rob Wiblin：听起来你认为，虽然这可能对你更有吸引力，但事情朝着那个方向发展并不一定更好。对我个人而言，我有点喜欢更专业化的社群，有限的方面——因为你只想回家，不用一直想着这些事情。
Ajeya Cotra：而我却想回家，以不同的方式思考它。我的意思是，我已经整天回家思考我的工作了。我经常失眠，想着我的工作，而不是想着我需要写的下一篇谷歌文档或我需要发送的下一封电子邮件，我想做的是，就像，精神上的浸泡。
Rob Wiblin：以更精神的维度思考你的工作。
Ajeya Cotra：是的，没错。
Rob Wiblin：我想人们有各种各样的看法，但很明显，为什么许多人没有完全接受这一点，或者一直热衷于“让我们对这种事情进行严格区分”，这可能会非常令人紧张。
Ajeya Cotra：是的。这可能非常危险和像邪教，有很多理由令人担忧。但我确实认为，有很大一部分 EA 人和我一样，渴望某种精神上的支撑。Joe Carlsmith 的博客在核心 EA 人群中非常受欢迎。它不是一个普遍受欢迎的博客，或者它相当受欢迎，但有很多人说，“哇，这真的滋养了我内心的一些东西，我以前没有意识到我需要它。”
Rob Wiblin：是的。这里可能也有点年龄因素。我觉得我年轻的时候，注意到年长的人对这方面不太感兴趣。我想我现在属于年长群体，我有了家庭来提供滋养，这占用了我大量的时间和精力，我没有精力去参加教会或其他任何活动。
Ajeya Cotra：这有点意思。你觉得你有什么精神上的空虚是靠生孩子来填补的吗？还是你一直都不感兴趣？
Rob Wiblin：我自认为是一个非常不精神的人，所以我不认为这是我需要解决的问题。我想早些时候我可能更对社交场合感兴趣，以便结交好朋友并认识人。我想我已经交了很多我认同为志同道合且有很多共同兴趣的朋友，这也不再那么有趣了。我已经有了我的朋友，现在我只是顺其自然。
Ajeya Cotra：我实际上认为自己是一个极其不精神的人。我 20 岁时对精神主义有很多鄙视。所以对我来说，年龄因素是反过来的。我认为随着年龄的增长，我越来越需要一种宗教形态的东西。我想我为什么会这样，是因为我 20 岁时对我的世俗项目有不切实际的期望。到那时，我已经做了大约六七年的 EA 了，但我才刚刚开始尝试在世界上做事情，我有一种感觉，就像，“这显然是正确的，这显然是伟大的。所有善良和理性的人都会支持它，我们将解决贫困和工厂化养殖问题。”我不会确切地说出这些话，但我就是有那种内心的感觉，我会到处说，“你听说过 EA 的好消息吗？”我想，随着我在现实世界中做事情，一切都非常困难和缓慢，而做我的工作的感觉，包括写这些谷歌文档和发送这些电子邮件，并不能自动与我的更高愿望联系起来。有一个漫长的磨练过程，也有很多失败。所以我想我越来越需要一些独立的东西，它专门试图在精神上重新定位我，让我关注更大的图景。
Rob Wiblin：是的。对我来说，底线是，做这些事情可能会非常紧张和疲惫，我想完全退出，停止思考它，只是和人们在一起，谈论其他问题。这是不同的策略。
Ajeya Cotra：是的。我想我可能两者都需要。我现在和一个有几个小孩的家庭住在一起，这真的很好，也很好。但遗憾的是，我发现很难让我的思绪转移开。或者比如我看电视的时候，我会在背景里想着别的事情。
Rob Wiblin：我想在你休假期间，你曾考虑过独立发展，比如成为一名作家或研究员，做自己的事情。但最终你还是决定至少暂时回到 Open Phil。为什么呢？
Ajeya Cotra：所以，在休假快结束的时候，我计划花一些时间开始一个 Substack，写很多东西，包括我们正在讨论的很多关于 EA 的事情，很多关于 AI 的事情，然后看看会发生什么。当时我老实说没有一个非常强烈的关于影响力的论证。我不认为这样做是最高影响力的事，但我的动机只是因为我想要这个，而不是因为我真的能证明这是最高影响力的事。但那一刻，在经历了这一切之后，我心想，是的，也许我的生活中可以有更多的空间，让我根据不仅仅是影响力的因素来做职业决定。我决定留下的原因是，基本上，在我休假期间，Open Phil 正在寻找一位新总监来领导我们的[全球灾难性风险]工作，所以我们所有的人工智能工作和生物风险工作。这是 Holden 在 2023 年离开时的职位。在我看来，排名前两位的候选人似乎都非常好，我觉得一个新来的人可能非常需要一个不特别负责任何特定项目领域、没有大团队需要担心的人的帮助，并且可以帮助那个人建立背景，制定他们的战略。然后这可能是一个机会，让我看看我是否能重新找回我一直以来缺失的那种融入感。
Rob Wiblin：进展如何？
Ajeya Cotra：我认为进展非常顺利。我们的 GCR 主管是 Emily Oehlsen，她也是 Open Philanthropy 的总裁。我今年大部分时间，也就是 2025 年，都在以各种方式帮助她，试图了解我们资助了什么？结果如何？人工智能的观点是什么？我们认为人工智能会发生什么？这如何影响我们的战略？各个子团队的战略是什么？我和她合作得很好。就像我实际上在 Open Phil 的整个时间里都感到孤独，即使在 2023 年情况变得更糟。因为虽然 Holden 在给我很多我非常感激的时间，并与我讨论具体问题方面做得很好，但 Holden 从未经营过一个项目，让我说：“我正在做这个更大的项目，你能帮我做其中的一部分吗？这是它如何融入的。” Holden 总是更像一个研究 PI，我正在做我自己的研究项目，他会和我谈很多，他对结果很感兴趣，但它没有融入到一个整体中。而 Emily 确实以一种更整合的方式运作，我正在做事情，我知道她需要知道答案，并且会对此做些什么，这对我来说是一种非常酷且非常新颖的工作方式。我一直认为我想要这个，而且确实很棒。而且我认为她是一位非常关心和周到的经理，她非常擅长激发我的工作。我注意到我工作的时间比休假前还要多，而且感觉没那么辛苦。所以这只是一个迹象，表明事情正在顺利进行。
Rob Wiblin：所以你正在决定下一步做什么，是留在 Open Phil 还是进入一些不那么元的东西，也许能让你更深入地研究。你如何利用你这几年学到的关于自己的东西来指导这个决定？
Ajeya Cotra：所以除了 Open Phil，它仍然是一个主要的选择，我正在与两个技术研究组织洽谈，看是否能找到合适的地方。一个是 Redwood Research，另一个是 METR。Redwood Research 主要从事受未来主义启发的 AI 安全技术研究，他们以开创人工智能控制议程而闻名。而 METR 我认为它试图成为世界上智能爆炸的早期预警系统。他们正在衡量我们想要跟踪的所有不同指标，以查看我们是否正处于人工智能迅速加速人工智能研发或获得其他能力以控制局面的边缘。这两个使命都与我的内心息息相关。它们都比 Open Phil 更狭窄，如果我愿意，我可以涉足一切可能有助于人工智能顺利发展的事情。但作为交换，它们将让我深入研究，我认为这对我来说会更令人满意，在其他条件相同的情况下。就我如何运用我学到的东西而言——这太陈词滥调了，如果 20 岁的我看到这一点，她会翻白眼——但你极其本地化的环境，你直接汇报的人，非常重要；以及你工作中将与之交谈的两个人或三个人，或者你工作中与人交谈的比例与独自工作的比例等特征，都可以带来变革性的改变。我发现反思这一点很有意思。我之前说过关于 EA 变得不那么透明，不那么优先考虑最大化诚信不惜一切代价的事情。这仍然困扰着我，实际上 EA 的道德基础，比如功利主义思想，你可以深入一个很长的兔子洞，它在很多方面都非常可疑，我们在之前的几集节目中也讨论过。但当我也处于一个对我来说在本地很困难的工作环境中时，这两件事都让我更加困扰，你知道吗？不是说那些问题不是问题，而是那些宏大、宏观的事情与你与经理一对一的感觉等极其微观的事情的突出程度……我认为我一直在低估我在职业生涯规划中对平凡和微观事物的重视程度。我正在尝试进行试用。当我们拍摄这一集时，我实际上正在 METR 进行一项工作试用。我正在关注的是：工作的节奏感觉如何？人们感觉如何？
Rob Wiblin：我想其他可推广的观察是，Open Phil 的环境随着时间的推移而改变。你在那里待了八年。
Ajeya Cotra：我想现在是九年了。
Rob Wiblin：九年，对。但 Open Phil 在 2023 年面临的限制与 2016 年截然不同。不出所料，一开始它可能适合你，但这并不一定意味着它会永远适合你。而且 Open Phil 还有一次领导层变动，你汇报的人也变了。这种情况发生时，你经常会看到其他人也离开，因为他们之所以担任那个职位，主要是因为他们与那个人有非常好的工作关系，或者因为他们与那个人有战略上的契合。
Ajeya Cotra：绝对。
Rob Wiblin：我想 CEO 的变动可能是一个触发点，让你想，“也许这不再那么好了，我应该主动寻找别的东西。”
Ajeya Cotra：是的，我认为这是可能的。对我来说，这在两个方向上都是如此。我认为 Holden 非常是我想要在 GiveWell 工作而不是在其他潜在地方工作或像我最初想的那样通过工作赚钱的一个重要原因。然后当他离开时，这恰逢我的一段困难时期。现在，随着 Emily 接替了他之前的职位，这再次极大地改变了我的工作内容和感受。所以这似乎是一个巨大的变革。如果你在一个组织中发生领导层变动，我认为你应该考虑一下，即使你不离开，你的角色、你的位置以及你所做的事情可能会因为新领导层的不同风格或不同的限制、优势和劣势而有所不同。
Rob Wiblin：听起来休假四个月也是一个明智的决定。你相当不开心。我想如果你不这样做，情况可能会变得更糟，而且它给了你喘息的空间来做出好的决定。
Ajeya Cotra：是的，我认为你说得对。我很高兴我休了假。我也很高兴我没有离开。当时我决定休假四个月的一个显著的替代方案是直接离开，弄清楚我接下来想做什么。我认为我回来对我的影响和我的个人成长与满意度都有好处。我帮助了 Emily，现在我正在进行一次正式的工作搜索。在我休假离开的时候，更多的是疗愈和反思，而不是有针对性地寻找职位。
Rob Wiblin：回到有效利他主义。你说我们基本上几乎不再在节目中谈论有效利他主义了。我想在早期，它是一个更重要的组成部分。我想最大的原因是，现在我们更专注于人工智能——但人工智能是一个许多人都关心的问题，无论他们更广泛的道德价值观或更广泛的道德承诺如何——它似乎不再那么相关了。你不必关心虾，也不必关心遥远时间里的存在，就可以认为做人工智能技术安全研究会非常好，或者思考它将带来的治理挑战会很好。当然，EA 是一个有争议的想法，我认为它本质上是一个相当有争议的想法。许多人即使完全理解它，也根本不会同意它关于资源如何分配的处方。为什么要带上所有这些包袱，当它对大多数人来说实际上与决策无关时？你认为我们应该多谈谈它，还是这只是一个合理的演变？
Ajeya Cotra：我认为这取决于节目的目标。我的看法是，你不需要认同整个 EA 包袱，就可以担心人工智能失控并进行技术人工智能安全研究来阻止它，担心人工智能驱动的滥用，并进行研究和政策来阻止它，以及普遍担心人工智能的颠覆并思考它，这是正确的，也是好的。所以我认为应该有一个，而且确实有一个，健康、蓬勃发展的“人工智能将是一件大事”的生态系统，它不以 EA 为前提。但同时，我认为 EA 的思维和 EA 的价值观可能仍然有很多可以贡献的地方。在人工智能颠覆的时代，我认为 EA 将在很大程度上是那些认真思考人工智能本身是否是道德患者，它们是否应该受到保护和权利，以及如何有意识地在安全和其他目标之间进行权衡的人。EA 将是那些绝大多数仍然最认真对待人工智能颠覆可能极具颠覆性，以至于我们最终被锁定在某种社会价值观中的可能性的人，我们获得了塑造未来数百万年或数十亿年的技术能力，并且正在思考这应该如何进行。人工智能的世界观存在很多极端程度。即使你接受人工智能将在未来 10 到 20 年内颠覆一切，那些最认真思考最极端颠覆的人将不成比例地是 EA 人，因为 EA 的思维挑战你尝试进行那种非常长远的、严谨的推测。尽管存在很多挑战，而且未来很难预测，但我认为 EA 人是那些最努力向前看的人。
Rob Wiblin：是的，我想数字感知能力，担心人工智能本身遭受痛苦，就是一个很好的例子。我绝对会预测，有效利他主义将在从事这项工作的人群中占据重要地位。对于那些不 altruistic 或不受社会影响驱动的人来说，不清楚为什么你会进入这个领域。它不特别有利可图；它至少目前还不特别受尊重。我想它并不容易取得进展，而且它足够不寻常。我认为大多数人，大多数时候在他们的职业生涯中，都想做一些可以接受的事情，并且他们的父母会为此感到自豪。而数字感知能力是否能为你提供许多人想要的职业声望、尊重、安全或舒适，这一点就不那么清楚了。所以，也许那些有 altruistic 动机，并且在智力上有点不拘一格，愿意走在时代前沿的人，会更……
Ajeya Cotra：是的，智力上走在时代前沿，就像容忍相当多的哲学推理和推测一样。从某种意义上说，我认为这可能是一个健康的 EA 社群：它就像一个引擎，在事业领域不被尊重、极其推测性、方法论尚未确立的阶段孵化它们；你只需要极其 altruistic，并且极其愿意做非传统的事情——然后将这些事业领域成熟到可以独立发展的程度，同时也是许多 EA 人从事的事情。我认为数字感知能力以及 Will 和 Tom 名单上的其他事物，比如太空治理和思考价值锁定等，都是 EA 可以孵化的其他候选者，就像它孵化了对人工智能接管的担忧一样。
Rob Wiblin：我不太认同价值锁定问题，因为许多机制只是人工智能最终……我想你会被人或人工智能夺取权力，或者它以某种方式破坏民主或审议，从而使社会难以随着时间的推移而适应。我认为人们对此感到担忧，包括那些参与有效利他主义的人和那些对此持怀疑态度的人。
Ajeya Cotra：我认为价值锁定的一些担忧是通过其他明显可怕和糟糕的事情发生的——比如一个人获得所有权力，而那个人的价值观被锁定，这就是我们获得价值锁定。但我认为有一系列的事情几乎就像社交媒体++。在这种分布式的方式下，这项技术让我们彼此更加刻薄，思考能力更差，并且让个人生活在自己创造的信息泡沫中。你可以想象人工智能在为每个人创造一个精心策划的信息泡沫方面做得越来越好，这样他们就可以继续相信他们最初相信的任何东西，并且有超智能的帮助阻止他们改变主意。而这可能被认为是一个对长远未来重要的社会问题。即使它没有通过一个人获得所有权力来实现，权力仍然相对分散，但社会的大部分人似乎都无法改变主意。
Rob Wiblin：有趣的是，在思考 EA 可以填补哪些别人无法填补的空白时，你指出的不是主要的利他主义——尽管我想在进入数字感知能力方面，这可能是一个因素——而是实际的研究方法，或者像一种研究本能，那就是愿意处于仅仅编造东西和拥有坚实结论之间的非常不舒服的空间，你可以因为你进行了特定的测量而坚持这些结论。感觉 EA 人们最独特的方面之一是：愿意努力做出关于事物如何发展的知情推测，既不只是讲一个好故事，也不过于保守而不愿做出硬性预测。
Ajeya Cotra：是的，绝对。我认为即使是 EA 最温和的事业领域，全球健康与发展，也包含着巨大的这方面内容。如果你看看 GiveWell 的成本效益分析，他们必须处理如何将一个人收入翻倍的价值与某种死亡风险或某种痛苦疾病的价值进行比较？他们必须根据调查和人们做过的奇怪研究来得出答案。最终它并不那么严谨。他们必须形成自己的判断并阐述自己的判断。我认为处理这类问题并说，“这是我们的答案；有很多可以争论的地方”的意愿，是 EA 组织的一个典型特征，包括所有最好的人工智能安全 EA 组织，如 Redwood Research。
Rob Wiblin：我想处理这些问题更标准的方法是任意选择一个，然后坚定地坚持它，或者对被问到这个问题感到恼火，并说根本无法知道，或者这里根本没有事实。我想尝试处于中间位置……我不知道是否处于中间位置，但是的。
Ajeya Cotra：而在 EA 内部，在你想处于中间位置的哪个位置上有一个范围，每个人都在看着比他们更具推测性的人，认为他们只是在空中楼阁，这不是做事的方式。他们看着比他们不那么具推测性的人，认为他们只是路灯效应，他们只是忽略了最重要的考虑因素，并且没有在最重要的领域工作。
Rob Wiblin：是的。对于那些有这种心态的人来说，我想一个重要的信息是，人们应该利用他们拥有这种独特的、或者相当罕见的思维方式这一事实，去担任其他人可能不会填补的角色，因为他们觉得太不舒服了。或者他们可以合理地认为这是错误的，但其他人不一定会做这些事情。
Ajeya Cotra：是的，我认为你说得对，而且思考这一点很有意思。如果你将 EA 视为世界应对人工智能等疯狂变化的一部分，那么实际上有一个论点认为 EA 应该高度侧重于研究。我认为社群在这方面来回摇摆。起初人们自然会被研究的东西吸引，所以有大量的人想成为研究员。然后有一场大的推动，包括来自 80K 等机构，考虑运营角色和政策角色以及其他不仅仅是研究的领域。我认为当时这是一个很好的举动。但我想，如果我们考虑 EA 相对于世界的比较优势是什么，也许这表明一些从事运营和政策工作的人，但也许他们内心只是想成为一个奇怪的真相讲述者，思考推测性的想法，应该考虑重新去做。
Rob Wiblin：我今天的嘉宾是 Ajeya Cotra。非常感谢你再次来到 80,000 小时播客，Ajeya。
Ajeya Cotra：非常感谢你的邀请。