Transcription
以下是与 Greg Brockman 的对话。他是 OpenAI 的联合创始人兼首席技术官，OpenAI 是一个世界一流的研究组织，致力于开发人工智能理念和技术，目标是最终创造出安全且友好的通用人工智能，造福并赋能人类。OpenAI 不仅是出版物、算法、工具和数据集的来源，其使命更是推动关于我们未来与狭义和通用人工智能系统共存的重要公众讨论的催化剂。本次对话是麻省理工学院及其他机构人工智能播客的一部分。如果您喜欢，请在 YouTube 或 iTunes 上订阅，或者在 Twitter 上与我联系，我的用户名是 Lex Friedman，拼写为 Fri D。现在，请听我与 Greg Brockman 的对话。
所以，高中时期和刚毕业后，你写了一本化学教科书草稿。我看到它涵盖了从原子基本结构到量子力学的一切。所以很明显，你对物理世界（化学和现在的机器人技术）和数字世界（人工智能、深度学习、强化学习等）都有直觉和热情。你认为物理世界和数字世界有什么不同？你认为它们之间的差距是什么？
很多时候，这实际上归结为迭代速度。我认为，真正激励我的很多东西是构建事物。你知道，以数学为例，你深入思考一个问题，理解它，然后用一种我们称之为证明的非常晦涩的形式写下来。但它就在人文图书馆里，永远都在那里。这是我们发现的一些真理，也许你领域里只有五个人会读到。但不知何故，你已经推动了人类前进。我曾经真的认为自己会成为一名数学家。然后我开始写这本化学教科书，我的一位朋友告诉我，你永远无法出版，因为你没有博士学位。所以，我决定创建一个网站，试图以此来推广我的想法。然后我发现了编程。你知道，在编程中，你深入思考一个问题，理解它，然后用一种我们称之为程序的非常晦涩的形式写下来。但同样，它就在人文图书馆里，任何人都可以从中受益，而且可扩展性是巨大的。所以，我认为数字世界真正吸引我的是，你可以拥有这种疯狂的杠杆作用。一个人，带着一个想法，就能影响整个地球。我认为，如果你在移动物理原子，这一点很难做到。
但你提到了数学。如果你看看我们这里的大脑，你最终是否认为它只是数学，只是信息处理，还是有其他什么魔法，就像你通过生物学和化学等看到的？
我认为将人类视为信息处理系统非常有趣。而且，这似乎是描述世界运作方式或我们能力的一种相当好的方式。再次，如果你只看技术创新，那么在某种程度上，我们最具变革性的创新就是计算机，或者说互联网。互联网不是关于这些物理电缆，而是关于我突然能够立即与地球上的任何其他人交流。我能够检索人类有史以来拥有的任何知识。这些都是疯狂的变革。
你是否认为我们整个社会，集体，是人类智能的另一种延伸？所以，如果你将人类视为一个信息处理系统，你提到了互联网，然后是网络。你是否认为我们作为一个文明，是一个智能系统？
是的，我认为这是一个非常有趣的视角。你可以拥有社会整体的集体智能。经济本身就是一个超人类的机器，它在优化某些东西。而且，在某种程度上，一家公司有自己的意志。你有所有这些个体，我们都在追求自己的个人目标，并深入思考，思考正确的事情。但不知何故，公司做了一些事情，这是一件新兴的事物。所以，这是一个非常有用的抽象。因此，我认为在某种程度上，我们认为自己是地球上最聪明的生物，也是地球上最有力量的生物。但有比我们更大的事物，这些系统是我们都贡献其中的。所以，我认为，如果你读过阿西莫夫的《基地》系列，里面有一个心理史学的概念。基本上是说，如果你有数万亿甚至千万亿的生命，那么也许你真的可以预测那个巨大的宏观生命会做什么，几乎独立于个体想要什么。
我也有第二个角度，我认为很有趣，那就是技术决定论。我实际上经常和 OpenAI 一起思考的一件事是，我们正在迎来一种极其变革性的技术——通用人工智能。它总有一天会出现。问题是如何采取行动来引导它走向更好的方向，而不是更坏的方向。我认为你需要问的一个问题是，作为一名科学家、一名发明家、一名创造者，你通常能产生什么影响？你看看电话，是两个人同一天发明的。这有什么意义？这对创新的形态意味着什么？我认为正在发生的是，每个人都在站在巨人的肩膀上。所以，你无法真正希望创造出别人从未有过的东西。你知道，如果爱因斯坦没有出生，别人也会想出相对论。他稍微改变了时间线，也许需要再过 20 年，但从根本上说，人类永远不会发现这些基本真理。所以，有一些看不见的动力，有些人，比如爱因斯坦，或者 OpenAI，正在接入，其他人也可以接入。最终，那股浪潮会把我们带向某个方向。
没错，没错。而且，你知道，这似乎在很多不同的方式中都得到了体现。有一些指数级的增长正在被利用，而这个指数本身，它是什么，它在变化。想想摩尔定律，整个行业都把它当作时钟，持续了 50 年。这怎么可能？然而，它确实发生了。所以，我认为你无法希望发明出别人不会发明的东西。也许你可以稍微改变一下时间线。但如果你真的想有所作为，我认为你真正需要做的事情，你唯一真正的自由度是设定技术诞生时的初始条件。所以，你考虑互联网。有很多其他竞争对手试图构建类似的东西，而互联网成功了。它的初始条件是，它是由一个非常重视人们能够成为任何人，能够接入，这种非常学术的心态，开放和互联的心态的群体创造的。我认为互联网在接下来的 40 年里确实是这样发展的。你知道，也许今天事情开始朝着不同的方向发展。但我想，如果这些初始条件对于决定未来 40 年的进步非常重要，那就太好了。
说得太好了。这是另一个例子，我想到了。你知道，我最近看了维基百科，维基百科的形成。我想知道，如果维基百科有广告，互联网会是什么样子？我认为有一个有趣的论点是，为什么他们选择不让维基百科投放广告。我认为维基百科是我们互联网上最伟大的资源之一。它运作得如此之好，它能够如此好地聚合所有这些好的信息，这真是令人惊讶。他们基本上是维基百科的创造者。我不知道，可能有一些争论，但他们设定了初始条件，现在它自己向前发展了。这真的很令人兴奋。所以，你对 AGI 或人工智能的思考方式是，你专注于设定进步的初始条件。
没错。这很有力量。好的，那么展望未来，如果你创造了一个 AGI 系统，比如一个能够通过图灵测试的自然语言系统，你认为你会与它进行什么样的互动？你认为你会问它什么问题？你会问它的第一个问题是什么？
没错。我认为，在那时，如果你真的构建了一个能够塑造人类未来的强大系统，你真正应该问的第一个问题是，我们如何确保它能够顺利进行？所以，这实际上是我会问一个强大的 AGI 系统的第一个问题。
所以，你不会问你的同事，你不会问像 Ilya 这样的人，你会问 AGI 系统？
哦，我们已经和 Ilya 以及这里的所有人谈过了。所以，你想获得尽可能多的视角和智慧来回答这个问题。所以，我不认为你一定会屈服于你强大的系统告诉你的任何东西，但你把它作为一个输入。我喜欢尝试弄清楚该怎么做。而且，我猜根本上，如果你的确构建了一些非常强大的东西，并且你思考，思考例如核武器诞生后不久。世界上最重要的问题是，世界秩序将是什么样的？我们如何为自己定位，以便能够在这个物种中生存下来？有了 AGI，我认为问题略有不同。有一个问题是我们如何确保我们不会产生负面影响，但也有积极的一面。你可以想象，AGI 会是什么样的？它能做什么？我认为 AGI 能够强大和具有变革性的核心原因之一实际上是由于技术发展。是的，如果你有一个像人类一样强大，而且可扩展性要大得多的东西，你绝对希望它去阅读整个科学文献，思考如何为所有疾病创造治愈方法。你希望它思考如何去构建技术来帮助我们创造物质丰富，并解决我们难以解决的社会问题，比如我们应该如何清理环境。而且，也许你希望它去发明一大堆小型机器人，它们是可生物降解的，并将海洋碎片转化为无害的分子。我认为，我认为人们在思考 AGI 会是什么样子时，有时会忽略了这一积极的一面。所以，我认为，如果你有一个能够做到这一切的系统，你绝对希望它就如何确保我们以积极的方式利用你的能力来造福人类提供建议。
那么，你如何看待那种心理学，它审视了 AGI 系统的所有不同可能的轨迹，其中许多，也许大部分是积极的，但仍然专注于消极的轨迹？我的意思是，你可以与人们互动，你可以在自己内心思考这个问题，你看看 Sam Harris 等人。这似乎……抱歉这样说，但思考消极的可能性似乎更有趣，无论那深藏在我们心理的什么。你如何看待这一点？我们如何处理它？因为我们希望 AI 帮助我们。
我认为你提出的问题包含两个问题。第一个问题是如何设想一个新技术的世界？想象一下，现在是 1950 年，我正在向某人描述 Uber、应用程序和互联网。我的意思是，是的，那将极其复杂。但它是可以想象的。它是可以想象的。现在，想象一下，在 1950 年，预测 Uber。你需要描述互联网，你需要描述 GPS，你需要描述每个人都会在口袋里拥有这个手机的事实。所以，我认为第一个真相是，很难想象一个变革性的技术将如何在世界上发挥作用。我们以前已经看到过，对于远不如 AGI 具有变革性的技术来说也是如此。所以，我认为其中一部分是，它甚至很难想象，并且真正将自己置于一个可以预测积极愿景的世界中。而且，你知道，我认为第二件事是，我认为支持消极面总是比支持积极面更容易。破坏总是比创造更容易。而且，你知道，在物理意义上，更多的是在智力意义上。因为，你知道，我认为在创造某样东西时，你需要把很多事情做好。而要破坏，你只需要做错一件事。所以，我认为这意味着，我认为很多人的思考在他们看到消极故事后就停止了。但即便如此，我实际上确实有一些希望。我认为积极的愿景是可以成为我们可以谈论的东西。我认为，仅仅说出这个事实，是的，有积极的，有消极的。每个人都喜欢描绘它们。那些消极的人必须对这个信息做出回应，并说，嗯，你说得对，有一部分我们没有谈论，没有思考。而这实际上是我认为在 OpenAI 思考 AGI 的关键部分。你可以把它看作是，好的，OpenAI 谈论风险，但他们却在试图构建这个系统。你如何调和这两件事？
你是否分享一些人的直觉，包括 Sam Harris 甚至 Elon Musk 本人，即在你开发 AGI 时，很难防止它滑向生存威胁，滑向消极方面？你对保持 AGI 开发在积极轨道上的难度有什么直觉？你有什么直觉？
要回答这个问题，你可以真正看看我们如何构建 OpenAI。我们确实有三个主要分支。我们有能力，它实际上是在进行技术工作，并推动这些系统能够做什么。有安全，它致力于技术机制，以确保我们构建的系统与人类价值观一致。然后是政策，它确保我们有治理机制来回答“谁的价值观”这个问题。所以，我认为技术安全是人们谈论最多的。你谈论，想想所有反乌托邦的 AI 电影。很多都与缺乏良好的技术安全有关。我们发现的是，我认为实际上很多人认为技术安全问题是无法解决的。人类想要什么？我该如何写下来？我甚至能写下我想要的吗？绝对不行。然后他们就停在那里。但问题是，我们已经构建了能够学习人类无法明确说明的东西的系统。即使是识别图像中猫或狗的规则，结果发现很难写下来，但我们却能够学会它。而且，我们看到我们构建的系统，在 OpenAI，仍然处于早期概念验证阶段，你能够学习人类的偏好，你能够从数据中学习人类想要什么。所以，这基本上是我们技术安全团队的核心重点。而且，我认为在他们能够工作的方面，我们已经有一些非常令人鼓舞的更新。
所以，你有一种直觉和希望，从数据中，你知道，从数据中看待价值对齐问题，我们可以构建与我们人类本性中最好的部分相一致的系统，与人类的道德和伦理相一致？换句话说，你想想，我们人类是如何对齐的？想想一个婴儿长大后可能成为一个邪恶的人，也可能成为一个伟大的人。这很大程度上是来自于从数据中学习。你知道，当孩子长大时，他们会得到一些反馈，他们会看到积极的例子。所以，我认为，就像他们一样，我们拥有的唯一一个能够从数据中学习的通用智能的例子，能够与人类价值观保持一致，并学习价值观。我认为我们不应该惊讶，我们可以使用相同的技术，或者相同的技术最终成为我们如何解决 AGI 的价值对齐问题。
让我们再往上一步。我不知道你是否读过《人类简史》。嗯，有一个想法，你知道，作为集体，我们人类一起发展，我们持有的想法，没有客观真理。我们只是在某种程度上同意某些想法，并集体持有它们。如果你觉得世界上有善恶，你是否觉得，粗略地说，有些事情是好的，你可以教会系统表现得好？
我认为这实际上融入了我们的第三个团队，也就是政策团队。而这方面，我认为人们谈论得太少了。他们应该谈论得更多。因为，想象一下，我们构建了超级强大的系统，我们设法弄清楚了这些系统做任何操作员想要的一切的机制。最重要的问题就变成了，操作员是谁？他们想要什么？这对其他人有什么影响？而且，我认为这个问题，什么是好的？那些价值观是什么？我的意思是，我认为你甚至不必去那些非常宏大的生存层面来开始意识到这个问题有多难。你只需要看看世界各地不同的国家和文化。它们对世界如何运作，以及社会想要如何运作，有着截然不同的概念。所以，我认为真正核心的问题实际上非常具体。而且，我认为我们没有现成的答案。如何拥有一个世界，所有不同的国家，美国、中国、俄罗斯，以及其他数百个国家，不仅能够按照他们认为合适的方式运作，而且在这些非常强大的系统与人类并存的世界中，它最终能够赋能人类更多，让人类的存在更有意义，人们更快乐、更富裕，能够过上更充实的生活。一旦拥有了那个非常强大的系统，如何设计那个世界就不是显而易见的事情了。
所以，如果我们稍微退一步，我们正在进行一场精彩的对话。OpenAI 在很多方面是世界的科技领导者。然而，我们却在思考这些宏大的生存问题，这很精彩，非常重要。我认为你在那个领域是领导者，这是一个非常重要的领域，就是思考 AI 如何从大局观影响社会。所以，奥斯卡·王尔德说：“我们都在阴沟里，但有些人仰望星空。”我认为 OpenAI 的章程是仰望星空。我会说，创造智能，创造通用智能，使其有益、安全且协作。那么，你能告诉我这是如何发生的吗？像这样的使命以及实现这样的使命的道路。OpenAI 是如何成立的？
所以，我认为在某种程度上，这真的归结为审视一下现状。如果你想想人工智能的历史，基本上在过去的 60 到 70 年里，人们一直在思考，如果能够自动化人类的智力劳动，会发生什么？想象一下，你能构建一个计算机系统来做到这一点，那么什么才可能实现呢？科幻小说讲述了各种反乌托邦的故事。而且，你知道，越来越多地，你看到像《她》这样的电影，它们可能讲述了一个更乌托邦的愿景。你认为我们从拥有“思想的自行车”和计算机中看到的这些影响。而且，我认为计算机和互联网的影响远远超出了任何人的预测。所以，我认为很清楚的是，如果你能构建一个人工智能，它将是人类有史以来创造的最具变革性的技术。所以，那么它归结为一个问题，是否存在一条道路？是否存在希望？是否存在一种方法来构建这样一个系统？而且，我认为在 60 到 70 年里，人们感到兴奋，他们，你知道，最终无法实现人们寄予他们的希望。而且，我认为，你知道，在经历了两次人工智能发展的“寒冬”之后，人们，你知道，我认为几乎停止了梦想。在社区里，真正谈论 AGI 或思考 AGI 几乎成了一种禁忌。但我实际上认为，人们从人工智能的历史中吸取了错误的教训。如果你回顾一下，从 1959 年感知器发布开始，这基本上是，你知道，最早的神经网络之一。它发布时被认为是巨大的炒作。所以，在 1959 年的《纽约时报》上，有一篇文章说，感知器有一天会即时识别人们的名字，即时翻译语言之间的语音。当时人们看着它说，这是胡扯，你的系统做不到任何这些。基本上花了十年时间来诋毁整个感知器方向，并且成功了。所有的资金都枯竭了，你知道，人们转向了其他方向。你知道，80 年代有一个复兴。我一直听说 80 年代的复兴是由于反向传播的发明和这些算法让人们兴奋。但实际上，因果关系是由于人们构建了更大的计算机。你可以找到 80 年代的文章说，计算能力的民主化突然意味着你可以运行这些更大的神经网络。然后人们开始做所有这些惊人的事情。反向传播算法被发明了。你知道，人们运行的神经网络是那些微小的，只有 20 个神经元的神经网络。你知道，用 20 个神经元能学到什么？所以，当然，他们无法获得很好的结果。直到 2012 年，这种方法，这种在 50 年代被认为是如此简单自然的学习方法，在某种程度上甚至在 40 年代，在有计算机之前，皮茨和麦卡洛克就提出了神经元，突然间，这成为了解决问题的最佳方式。我认为深度学习有三个核心特性，我认为非常值得关注。第一个是通用性。我们有一个非常小的深度学习工具集，SGD，深度神经网络，也许还有一些强化学习。它解决了各种各样的问题：语音识别、机器翻译、游戏玩法，所有这些问题。一套小工具。所以，这是通用性。第二个是能力。你想解决这些问题中的任何一个，用 40 年的计算机视觉研究来替换深度神经网络，它就能更好地工作。第三个是可扩展性。一次又一次被证明的是，如果你有一个更大的神经网络，更多的计算能力，更多的数据，它就会工作得更好。这三个特性结合在一起，感觉是构建通用智能的基本组成部分。现在，这并不意味着如果我们扩大规模，我们就会拥有 AGI。显然还有缺失的部分，缺失的想法。我们需要对推理有答案。但我认为这里的核心是，这是我们第一次感觉我们有一个范式，它给了我们希望，通用智能是可以实现的。所以，一旦你相信这一点，其他一切都变得清晰起来。如果你想象你可能能够，而且你知道时间线仍然不确定，但我认为，你知道，肯定在我们有生之年，甚至可能在比人们预期的短得多的时间内，如果你真的能构建有史以来最具变革性的技术，你就会停止过多地考虑自己。然后你开始思考，如何才能有一个世界，让它顺利进行？你需要思考如何构建一个组织，聚集一群人，聚集资源，确保人们感到有动力并准备好去做这件事的实际问题。但我认为，然后你开始思考，如果我们成功了怎么办？我们如何确保当我们成功时，世界实际上是我们希望自己存在的那个地方？几乎是以罗尔斯意义上的“无知之幕”。所以，这就是更广阔的图景。OpenAI 实际上成立于 2015 年，带着 AGI 可能比人们想象的更早出现的宏大图景，我们需要尽力确保它能够顺利进行。然后我们花了几年时间来弄清楚这意味着什么，我们如何做到。而且，你知道，我认为通常一家公司，你开始时非常小。你有一个联合创始人，你构建了一个产品，你获得了一些用户，你获得了产品市场契合度。你知道，然后，在某个时候，你筹集了一些资金，你雇佣了人，你扩大了规模。然后，你知道，在未来，大公司会意识到你的存在并试图干掉你。而对于 OpenAI 来说，基本上是一切都按顺序进行的。
让我暂停一下。你说了很多。让我欣赏一下 OpenAI 所代表的令人震惊的方面，那就是敢于梦想。我的意思是，你说这很有力量。你让我措手不及，因为我认为这非常真实。敢于梦想，关于以积极、安全的方式创造智能的可能性，但即使是创造智能，也是 AI 社区非常需要的、令人耳目一新的催化剂。所以，这是起点。好的，那么 OpenAI 的形成，我只想说，你知道，当我们开始 OpenAI 时，我们首先提出的问题是，是否太晚了，无法开始一个拥有最优秀人才的实验室？那是一个实际的问题。所以，这是核心问题，你知道，嘿，2015 年 7 月有晚宴。而那才是我们整个时间都在谈论的。而且，你知道，因为你考虑一下 AI 的现状，它从学术追求转变为工业追求。所以，很多优秀的人都在大型研究实验室里。而我们想创办自己的实验室。你知道，无论我们能积累多少资源，与大型科技公司相比，它都显得微不足道。我们知道这一点。而且，问题是我们能否真正启动这件事。你需要临界质量。你不能只是你和联合创始人一起构建一个产品。你真的需要有一群，你知道，五到十个人。我们得出的结论是，这并非不可能。所以，似乎值得尝试。
你也是梦想家。谁知道呢？没错。好的。那么，说到与大公司竞争，让我们谈谈一些棘手的事情，当你思考这个过程时，关于成长，关于如何大规模地开发这些系统。你最近成立了 OpenAI LP，一家新的营利性公司，现在承载着 OpenAI 的名字。所以，OpenAI 现在有了正式的公司。最初的非营利公司仍然存在，并保留了 OpenAI 的非营利名称。你能解释一下这家公司是什么吗？它成立的目的是什么？你是如何做出创建它的决定的？
OpenAI 整个实体和 OpenAI LP 作为一种工具，都在努力实现确保通用人工智能造福所有人的使命。我们试图实现这一目标的主要方式是，通过我们自己来构建通用人工智能，并确保其惠益能够分配给全世界。这是主要方式。如果别人也这样做，我们也很高兴。不一定非得是我们。如果有人要构建 AGI，并确保其惠益不会被锁定在一家公司或一群人手中，我们对此也很高兴。所以，这些想法都融入了我们的章程，这是我们描述我们的价值观和运作方式的基础文件。但它也真正融入了 OpenAI LP 的结构。所以，我们设立 OpenAI LP 的方式是，如果我们成功了，如果我们真的构建了我们正在努力构建的东西，那么投资者就能获得回报。但这种回报是有限制的。所以，如果你从数据角度来看 AGI，你真正可以创造的价值，你谈论的是有史以来最具变革性的技术。它将创造比任何现有公司多几个数量级的价值。而所有这些价值都将归世界所有。法律上，所有权归非营利组织，以实现这一使命。所以，这就是结构。
这个使命很强大，而且我认为大多数人都会同意。这就是我们希望 AI 发展的方式。那么，你如何将自己与这个使命联系起来？你如何确保你不偏离这个使命？你知道，其他以利润为驱动的激励措施不会干扰这个使命？
这实际上是我们过去几年一直关注的一个核心问题。因为，你知道，我说，我们的历史是，第一年我们刚刚起步。我们有一个宏大的图景，但我们不知道确切的如何实现它。而实际上两年前，我们才开始意识到，为了构建 AGI，我们只需要筹集比我们作为非营利组织能筹集到的多得多的钱。我的意思是，你谈论的是数十亿美元。所以，第一个问题是，你如何做到这一点，并忠于这个使命？我们研究了所有现有的法律结构，并得出结论，没有一个完全符合我们的要求。而且，我认为，如果你要做一些疯狂的、前所未有的技术，你可能需要想出一些疯狂的、前所未有的结构来做到这一点。我们与 OpenAI 的人们进行了大量的对话，那些真正加入是因为他们如此相信这个使命的人，并思考我们如何筹集资源，同时忠于我们所代表的。而你必须从那里开始，就是真正就我们代表什么达成一致。我们的价值观是什么？对我们来说真正重要的是什么？所以，我认为我们花了一年时间来编写 OpenAI 的章程。它决定了，如果你甚至看里面的第一项，它说，看，我们预计我们将不得不调动大量的资源，但我们将确保我们最大限度地减少与使命的利益冲突。而那种统一所有这些方面，是弄清楚如何构建一个能够真正筹集所需资源的公司，并做到我们所需要做的最重要的一步。
我设想，创建 OpenAI LP 的决定对 OpenAI 来说是一个非常困难的决定。正如你所提到的，你们讨论了一年，而且 OpenAI 内部可能存在不同的想法，甚至有反对者，有不同的道路可以走。那些担忧是什么？考虑过哪些不同的道路？做出那个决定的过程是怎样的？
嗯，所以，如果你看看 OpenAI 的章程，它几乎包含了两条道路。我们主要试图自己构建 AGI，但如果别人也这样做，我们也无所谓。这对一家公司来说很奇怪，实际上很有趣。是的，确实存在竞争的元素，你确实希望成为那个做到的人。但同时，你也无所谓别人去做。你知道，我们会谈论一下那个权衡。那是一个非常有趣的权衡。我认为这是我们在设计 OpenAI LP 和 OpenAI 战略时面临的核心矛盾：你如何确保你既有机会成为主要参与者，这真的需要建立一个组织，筹集大量资源，并拥有执行一个非常非常艰难的愿景的意志？你需要真正地长期坚持，承担很多痛苦和很多风险。而要做到这一点，通常你会采用创业公司的思维模式。你考虑，好的，我们如何执行？每个人都采取非常竞争的视角。但同时，你也有第二个视角，那就是，真正的使命不是让 OpenAI 构建 AGI，真正的使命是让 AGI 对人类来说顺利进行。所以，你如何采取所有这些初步行动，并确保你不会关闭那些实际上会带来积极成果并实现使命的大门？所以我认为这是一个非常微妙的平衡。我认为，完全走向一个方向或另一个方向显然不是正确的答案。所以，我认为，即使在谈论 OpenAI 和思考它时，我的脑海里总有一件事，那就是确保我们不仅仅是说 OpenAI 的目标是构建 AGI。它实际上比这要广泛得多。首先，你知道，它不仅仅是 AGI，它是安全的 AGI，这非常重要。其次，我们的目标不是成为构建它的人。我们的目标是确保它对世界顺利进行。所以，我认为弄清楚如何平衡所有这些，并让人们真正参与进来，共同起草一份包含所有这些内容的单一文件，这并非易事。
这里的挑战之一是，你的使命可以说是美丽的、赋能的，并且是研究界以及仅仅是思考 AI 的人们的希望灯塔。因此，你的决定比普通营利性公司受到更多的审视。你是否在创建章程以及你的运营方式中感受到了这种负担？
是的。
为什么你要承担这种负担，通过创建这样一个章程？为什么不保持低调？
这完全归结为使命。我在这里，其他所有人也在这里，因为我们认为这是最重要的使命。敢于梦想。
那么，你认为一个营利性公司能为世界带来什么好处，或者创造一个对世界有益的 AGI 系统呢？从我的角度来看，我不明白为什么利润会干扰对社会的积极影响。我不明白为什么谷歌，它的大部分收入来自广告，就不能为世界做贡献，或者其他公司，比如 Facebook。我不明白为什么这些必须相互干扰。你知道，在我看来，利润不是影响公司影响力的东西。影响公司影响力的是章程，是文化，是里面的人。而利润只是为那些人提供燃料。那么，你对此有什么看法？
我认为这是一个非常好的问题，而且其中包含了一些真正长期存在的关于人类社会的争论。我的看法是，想想世界上最有影响力的非营利组织是什么？世界上最有影响力的营利组织是什么？列出营利性组织更容易。没错。而且，我认为这里有一些真实的真相，我们建立的系统，我们今天世界的组织方式，是一种真正允许巨大影响力的系统。而且，你知道，其中一部分是你需要，你知道，营利性组织是自给自足的，并且能够，你知道，建立自己的动力。而且，我认为这是一件非常强大的事情。当它发生时，当我们的监管不正确时，就会导致问题。想想那些砍伐森林的伐木公司，你知道，你知道，雨林，那真的很糟糕，我们不希望那样。而且，从营利性公司中获得积极收益的问题对我来说实际上非常有趣，这实际上与如何从 AGI 中获得积极收益非常相似。你有一个非常强大的系统，它比任何人类都强大，而且在某种程度上是自主的。你知道，在许多方面都是超人类的。而且，不知何故，你必须设定监管来做好事。但当你做到了，收益是巨大的。所以，我认为，当我想起非营利与营利时，我认为非营利组织做得不够。它们非常纯粹，但它们就是，你知道，在那里做事很难。而营利性组织在某种程度上，你知道，发生的事情太多了。但如果，你知道，以正确的方式塑造，它实际上可以非常有益。所以，在 OpenAI LP，我们正在选择一条中间道路。现在，我认为真正重要的是要认识到，我们如何看待 OpenAI LP 是，在 AGI 真正发生的那个世界里，在一个我们成功的世界里，我们构建了有史以来最具变革性的技术，我们将创造的价值将是天文数字。所以，在这种情况下，我们设定的上限将是我们创造的价值的一小部分。而回馈投资者和员工的价值量，看起来与一个非常成功的初创公司所发生的情况相似。而这正是我们正在优化的。我们正在考虑，在成功的情况下，确保我们创造的价值不会被锁定。而且，我认为在其他营利性公司中，也有可能做到这一点。我认为，做到这一点并不容易。而且，我认为作为一家营利性公司，你对股东负有很大的信托责任。有些决定你就是不能做。在我们的结构中，我们已经将其设置为，我们对章程负有信托责任。我们总是可以做出对章程有利的决定，即使这会损害我们自己的利益相关者。所以，我认为，当我想起什么真正重要时，它并不真正是关于非营利与营利。它实际上是一个问题，如果你构建 AGI，并且你，你知道，人类现在处于这个新时代，谁受益？谁的生活更好？我认为真正重要的是有一个答案，那就是每个人。这是章程的核心方面之一。
人们有一个担忧，不仅仅是对 OpenAI，而是对谷歌、Facebook、亚马逊，任何真正以如此规模产生影响的公司。那就是，正如你的章程所说，我们如何避免“不当集中权力”？为什么像 OpenAI 这样的公司不将 AGI 系统的所有权力都保留给自己？
章程。章程。
那么，章程是如何在日常生活中实现的呢？
所以，我认为首先，让我们放大一下。我们构建公司的方式是，首先，你知道，决定 OpenAI 采取行动的权力最终在于董事会。非营利组织的董事会。而且，董事会的设立方式有一些特定的方式，一些限制，你可以在 OpenAI LP 的博客文章中阅读。但基本上，董事会是 OpenAI LP 的管理机构。而且，董事会有义务履行非营利组织的使命。所以，这就是我们如何将所有这些联系在一起。现在，有一个问题是，那么，日常生活中，人们，那些在某种程度上最有权力的人呢？你知道，董事会在高层做出决定，但那些真正执行的人是员工。这里的人们，那些拥有技术王国钥匙的人，他们如何做呢？我认为答案看起来很像，任何公司的价值观是如何实现的？我认为很多都归结于，你需要有那些真正相信这个使命，相信章程的人。并且他们愿意采取一些对他们来说可能不太好的行动，但对章程来说更好。而这正是融入文化的东西。而且，说实话，我认为这是我们需要随着时间的推移努力保护的东西。而这是我们如何看待招聘，如何将人们带入 OpenAI 的一个非常重要的部分。
所以，这里有能够发声的人，他们可以站出来说，等等，这完全违背了我们所代表的。文化上？
是的，是的，当然。我认为，我认为这实际上是我们运作方式的一个非常重要的部分。而且，我们甚至在设计章程和设计 OpenAI LP 的过程中，都与这里的员工进行了大量的对话。而且，有很多时候，员工说，等等，这似乎朝着错误的方向发展，让我们谈谈吧。所以，我认为有一件事，我认为非常独特的是，作为一个小公司，如果你在一个庞大的科技巨头那里，一个与你目标一致的员工很难去和 CEO 说，我认为我们这样做是错的。而且，你知道，看看像谷歌这样的公司，他们有一些员工的集体行动，你知道，在像 Maven 这样的事情上做出伦理改变。所以，也许其他公司也有有效的机制。但在这里，超级容易。
为了任何人能够把我拉到一边，把萨姆拉到一边，把巴利拉拉到一边，人们一直在这样做。在《宪章》中，一个有趣的想法是，如果你能尝试描述或理清从竞争转向合作以及后期 AGI（通用人工智能）发展，那将是多么棒的事情。这种竞争与合作之间的舞蹈真的很有趣。你对此有什么看法？是的，假设你真的能够完成 AGI 开发的技术方面，我认为在弄清楚如何实际部署它、如何让它顺利进行方面，将存在两个关键问题。其中第一个是构建第一个 AGI 的前期准备。看看自动驾驶汽车是如何开发的，这是一场竞争激烈的比赛。在竞争激烈的比赛中，总是会发生的事情是，你承受着巨大的压力，需要放弃安全。所以这是我们非常担心的一件事，对吧？就是人们，多个团队，在想我们真的能做到，但是，你知道，如果我们走一条更慢但更有安全保障的道路，我们会输。所以我们将走快车道。因此，我们越能让自己处于不产生那种竞争性比赛的境地，我们就越能说，如果比赛正在进行，而你知道别人比我们领先，我们不会试图去迎头赶上，我们会和他们合作，对吧？只要他们试图做的事情是为了实现我们的使命，我们就没问题，我们不必自己构建 AGI。我认为这是我们非常重要的承诺，但这不能只是单方面的，对吧？我认为其他认真构建 AGI 的参与者做出类似的承诺非常重要，对吧？我认为，你知道，再次强调，如果每个人都相信 AGI 应该造福所有人，那么由哪家公司来构建它实际上并不重要，我们都应该担心我们为了到达那里而拼命竞争，以至于出了什么问题的情况。那么你认为政府，我们最喜欢的实体，在为从研究到开发，再到早期阶段，再到后期 AGI 开发的这个领域制定政策和规则方面扮演什么角色？所以，我认为首先，这非常重要。政府在某种程度上是正确的。说到底，我们正在谈论构建将塑造世界运作方式的技术，而政府需要成为答案的一部分。这就是为什么我们进行了多次国会证词，我们与许多不同的立法者进行了互动。你知道，现在我们给他们的信息是，现在不是监管的时候，而是测量的时候，对吧？我们的主要政策建议是，人们，你知道，政府一直这样做，有像 NIST 这样的机构，花时间去弄清楚技术到底在哪里，它移动的速度有多快，并且能够真正了解并跟上预期的内容。所以，我认为今天答案真的在于测量，而且我认为将来会有改变的时间和地点，而且我认为预测确切的轨迹会是什么样子有点困难。所以会有一个时候，在美国，政府会介入，帮助成为，我不想说“房间里的成年人”，以确保有严格的规则，也许是保守的规则，没有人可以跨越。嗯，我认为这可能有点像两个角度。所以今天，对于狭义的 AI 应用，我认为已经有负责任的机构，并且应该负责监管。你想到，例如，自动驾驶汽车，你希望你知道国家公路交通安全管理局（NHTSA）做得很好，这说得通，对吧？基本上，我们说的是，我们将拥有这些技术系统，它们将执行人类已经做得很好的应用程序。我们已经有了考虑这些标准和安全的想法。所以，我认为今天赋权这些监管机构也很重要。然后，我认为对于 AGI，你知道，会有我们有更好答案的时候。而且我认为，也许有一个类似的办法，首先是测量，你知道，开始思考规则应该是什么。我认为我们不应该过早地扼杀，你知道，进步，这一点非常重要。我认为很容易扼杀一个新兴的领域，我认为这是我们应该真正避免的。但我认为这样做的方式不对，就是说，让我们继续前进，而不让所有这些其他利益相关者参与进来。所以你最近发布了一篇关于 GPT-2 语言模型的论文，但没有发布完整的模型，因为你担心该模型可用性可能带来的负面影响。除了那个决定之外，它本身就非常有趣，因为它引发了社会层面的讨论，它产生的论调。所以从这个角度来看，它很有趣。但如果你认为这是具体的，首先，你设想了哪些负面影响？当然，还有一些积极影响。是的，再次强调，我认为要放大来看，我们思考 GPT-2 的方式是，在语言建模方面，我们显然正走在一条轨迹上，我们扩大我们的模型，我们的性能会得到定性提升，对吧？GPT-2 本身实际上只是我们去年六月发布的模型的规模化，对吧？我们只是以，你知道，更大的规模运行它，我们得到了这些结果。我们突然开始写连贯的散文，这是我们以前从未见过的。我们现在在做什么？我们将把 GPT-2 扩大 10 倍、100 倍、1000 倍，我们不知道会得到什么。所以很明显，我们去年六月发布的模型，你知道，我认为它就像一个很好的学术玩具，它不是我们认为可以真正产生负面应用的东西，或者，你知道，从积极的方面来说，人们能够玩它，你知道，远远超过了可能的危害。快进到不是 GPT-2 而是 GPT-20，你认为那会是什么样子？我认为能力将是实质性的。所以，如果需要有一个介于两者之间的点，你说这是一个我们划定界限的地方，我们需要开始考虑安全方面。而且我认为对于 GPT-2，我们可以选择任何一条路。事实上，当我们内部进行对话时，我们有很多利弊，不清楚哪一个更重要。而且我认为，当我们宣布我们决定不发布这个模型时，有很多讨论，各种人说，你们应该发布它，这太明显了。其他人说，你们不应该发布它，这太明显了。我认为这几乎定义了，推迟它是正确的决定，对吧？如果它不是显而易见的，某件事是有益的还是无益的，你可能应该默认采取谨慎态度。所以，我认为我们看待它的整体格局是，这个决定可以走向任何一个方向。两个方向都有很好的论据。但对于未来的模型，而且可能比你预期的要早，因为你知道，扩大这些东西所需的时间并不长，那些模型，你绝对不想在野外发布。所以，我认为我们几乎将此视为一个测试案例，看看我们是否甚至可以设计，你知道，社会如何运作，或者系统如何从根本上没有负责任披露的概念，不发布东西出于安全原因的想法是陌生的，到一个世界，你说，好的，我们有一个强大的模型，让我们至少考虑一下，让我们经历一些过程。你想到安全社区，他们花了很多时间来设计负责任的披露，对吧？你知道，你想到这个问题，好吧，我有一个安全漏洞，我把它发给公司，公司试图起诉我，或者只是坐视不管，我该怎么办？对吧？所以，你知道，选择是，哦，我总是发布我的漏洞，这似乎也不好，对吧？所以，这真的花了很多时间，这比任何个人都大，对吧？这实际上是关于建立整个社区，他们相信，好吧，我们将有一个过程，你把它发给公司，你知道，如果他们在一定时间内不采取行动，那么你就可以公开，你不是坏人，你做了正确的事情。而且我认为，在 AI 方面，GPT-2 的回应证明了我们没有任何这样的概念。这就是高层图景。所以，我认为，我认为这是非常重要的一步，我们也许可以推迟到 GPT-3，但我真的很高兴我们在 GPT-2 上这样做了。所以现在你看看 GPT-2 本身，你想到它的实质，好吧，有哪些潜在的负面应用？所以你有一个在互联网上训练的模型，你知道，它也将是一堆非常偏颇的数据，一堆，你知道，非常冒犯性的内容。而且你可以在几乎任何主题上要求它为你生成内容，对吧？你只需要给它一个提示，它就会开始写作。它写的内容就像你在互联网上看到的那样，你知道，甚至包括在它的一些生成内容中间说广告。而且你想到生成假新闻或滥用内容的可能性。而且，你知道，看到人们做了什么很有趣。我们发布了一个小版本的 GPT-2，人们做了像尝试生成，你知道，拿我自己的 Facebook 消息历史记录，生成更多像我的 Facebook 消息。人们生成虚假政治家内容，或者，你知道，有很多事情在那里，你至少必须考虑这是否对世界有好处。有另一面，我认为有很多很棒的应用是我们真正希望看到的，比如创意应用。就好像科幻小说作家可以与这个工具合作，想出很酷的想法，这似乎很棒。如果我们能通过使用这些工具写出更好的科幻小说，而且我们确实有很多人写信给我们，问，嘿，我们可以用它来，你知道，用于各种不同的创意应用吗？所以积极的一面其实很容易想象。你知道，通常的 NLP 应用确实很有趣，但让我们在那里。想到一个世界很有趣，看看 Twitter，那里只有假新闻，但越来越聪明的机器人能够以有趣、复杂、有效的方式传播信息，这些信息淹没了我们这些普通人类，以及我们最初的想法。那么你对这个拥有 GPT-20 的世界有什么看法？你认为我们如何看待？再次，就像 50 年代试图描述互联网或智能手机一样。你如何看待那个世界？信息的本质？我们，一种可能性是我们将始终尝试设计识别机器人与人类的系统，并且我们将成功做到这一点。因此，我们将验证我们仍然是人类。另一个世界是我们只是接受我们正在一个充满假新闻的海洋中游泳的事实，并学会在那里游泳。你有没有看过那个流行的表情包，一个机器人的眼睛和一个物理的、物理的手臂和笔，点击“我不是机器人”按钮？是的，我认为真相是，试图区分机器人和人类最终是一场败仗。你认为这是一场败仗吗？我认为最终是一场败仗，对吧？我认为，就内容而言，就你可以采取的行动而言，我的意思是，想想验证码是如何发展的，对吧？验证码曾经是一个非常简单的好东西。你有一个图像，我们所有的 OCR 都很糟糕，你放了一些伪影，你知道，人类能够分辨出它是什么，而 AI 系统今天就做不到。我几乎做不好验证码。而且我认为，这只是我们前进的方向。我认为验证码是我们某个时刻的事情，随着 AI 系统的能力越来越强，它们能够执行人类的能力，这些能力可以用一种非常简单的自动化方式来衡量，而 AI 将无法做到。我认为这只是一个越来越困难的技术战斗。但这并不意味着所有的希望都破灭了，对吧？而且你想到我们如何已经验证了自己？你知道，我们有系统，我们有社会保障号码，如果你在美国的话，或者你知道，你有，你知道，识别个人身份的方式，并将现实世界的身份与数字身份联系起来，似乎是朝着验证内容来源而不是内容本身迈出的一步。现在，这存在问题。在一个你只能真正信任内容，或者你唯一信任内容的方式是查看其来源的世界里，你如何拥有隐私和匿名性？所以，我认为建立良好的声誉网络，也许是一个可能的解决方案。但是的，我认为这个问题并不明显，而且我认为，我们，你知道，可能比我们想象的要早，我们将生活在一个世界里，你知道，今天我经常会读一条推文，然后说，我觉得这是真人写的，或者，你知道，不觉得这是，你知道，真实的。我觉得我有点评判内容。而且我认为将来不会是这样了。例如，你会收到关于网络中立的 FCC 评论，后来发现其中数百万条是自动生成的，研究人员能够做到各种统计技术来做到这一点。在一个这些统计技术不存在的世界里，你该怎么办？人类和 AI 之间根本无法区分。事实上，最令人信服的论点是由 AI 撰写的。所有这些东西都不再是科幻小说了。你，GPT-2 正在为为什么回收对世界有害提出一个很好的论点。你必须读到它，然后说，嗯，你说得对。是的，这很有趣。我的意思是，最终它归结为物理世界是证明的最后前沿。所以你说，基本上是人与人之间的网络，人类为人类担保，在物理世界中，并且以某种方式认证就结束了。我的意思是，如果我必须问你，我的意思是，你太能言善辩了，不像一个人类。所以，如果我必须问你来证明，我怎么知道你不是机器人？你怎么知道我不是机器人？我认为到目前为止，在这个空间里，我们刚才进行的对话，我们所做的物理运动，是我们和 AI 系统之间最大的差距是物理关系。所以也许那是最后的边疆。那么这里还有一个问题，你知道，为什么，为什么解决这个问题很重要？就像，哪些方面对我们来说真的很重要？我认为我们最终可能会专注于我们真正想要从知道我们是否在与人类交谈中得到什么。而且我认为，再次，这归结为身份。所以，我认为未来的互联网，我预计将是一个有很多代理在那里与你互动。但我认为，这个问题是，你知道，这是一个真正的活生生的人，还是一个自动化系统，变得不那么重要了。让我们来看看。GPT-2 令人印象深刻。让我们看看 GPT-20。为什么我的所有朋友都是 GPT-20 这么糟糕？为什么在互联网上与人类互动如此重要？你认为？为什么我们不能生活在一个想法可以来自训练过人类数据的模型的世界里？是的，我认为这是一个非常有趣的问题。这回到了你如何想象一个拥有某种新技术的世界。而且我认为很重要的一点是，你知道，诚实。而且我认为，如果你有，你知道，几乎是图灵测试意义上的技术，你有 AI 假装是人类并欺骗你。我认为，你知道，这感觉是一件坏事，对吧？我认为我们感觉自己控制着我们的环境非常重要，对吧？我们了解我们正在与谁互动，以及它是一个 AI 还是一个人类，你知道，这不是我们被欺骗的事情。但我认为，另一方面，我能否与 AI 进行有意义的互动，就像与人类一样？我实际上认为，在这里你可以转向科幻小说，而《她》是一个很好的例子，可以问这个问题，对吧？而且我真的很喜欢《她》的一点是，它几乎是以问人类虚拟关系有多么有意义开始的，对吧？然后你有一个与 AI 有关系的人，然后你真的开始被吸引进去，对吧？你所有的情感按钮都会被触发，就像电话的另一边是一个真正的人一样。所以，我认为这是思考这个问题的一种方式，我认为我们可以进行有意义的互动，而且如果有一个有趣的笑话，你知道，它是由人类还是 AI 写的，这真的不重要。但你不想，我认为我们应该划定严格的界限，那就是欺骗。而且我认为，只要我们生活在一个世界里，你知道，我们为什么要构建 AI 系统？我们想要构建它们的原因是为了增强人类生活，让人们能够做更多的事情，让人们感到更充实。如果我们能构建这样的 AI 系统，你知道，请给我报名。那么语言建模的过程，你认为它能走多远？让我们看看电影《她》。你认为对话，自然语言对话，是通过图灵测试形成的，例如？你认为这个过程可以通过这种无监督语言建模来实现吗？所以，我认为图灵测试，在其真正形式上，不仅仅是关于语言，对吧？它实际上是关于推理。所以，要真正通过图灵测试，我应该能够教另一边的人微积分，让他们真正理解微积分，并且能够，你知道，去解决新的微积分问题。所以，我认为要真正解决图灵测试，我们需要比我们现在看到的语言模型更多的东西。我们需要一种连接和推理的方式。现在，这与我们已经做的事情会有多大不同？这是一个悬而未决的问题，对吧？可能我们需要一些完全激进的新想法的序列，或者可能我们只需要以一种稍微不同的方式来塑造我们现有的系统。但我认为，就语言建模能走多远而言，它已经走得比许多人预期的要远得多，对吧？我认为，像，而且有很多非常有趣的方面可以深入研究，比如 GPT-2 对物理世界的理解程度。你知道，你读到一点关于火和水在 GPT-2 中的作用。所以，就像，好吧，也许它并不完全理解这些东西是什么。但同时，我认为你也看到各种东西，比如火焰冒烟，你知道，很多这些东西，GPT-2 没有身体，它没有物理经验，它只是静态地阅读数据。而且我认为，我认为，如果答案是，我们还不知道，那么这些问题，虽然我们已经开始能够实际询问物理系统，实际存在的系统，这是非常令人兴奋的。你认为你的直觉是什么？你认为如果我们只是扩大语言建模，保持，显著扩大，推理能否从相同的机制中出现？我认为，如果我们只是扩大 GPT-2，我们将拥有全面的推理能力，这是不太可能的。而且我认为，你知道，类型签名有点不对，对吧？就是说，我们做了一些我们称之为思考的事情，对吧？我们花费大量的计算，一个可变的计算量，来获得更好的答案，对吧？我稍微努力一下，就能得到更好的答案。而且这种类型的签名并没有完全编码在 GPT 中，对吧？GPT 将，你知道，就像，这已经很长时间了，这是进化历史的烘烤，以及所有这些信息，变得非常非常擅长这个预测过程。然后在运行时，我只是做一次前向传播，然后能够生成东西。所以，你知道，我们可能会对我们所做的事情进行一些小的调整，以获得正确的类型签名。例如，好吧，你知道，它真的不是一次前向传播，对吧？你知道，你一个符号一个符号地生成。所以也许你生成一整串想法，而你只保留最后一部分，或者类似的东西，对吧？但至少，我认为你需要进行这样的更改。是的，是的，正是我们如何，你说，思考的过程是逐个生成想法，以同样的方式，你喜欢，你说，保留最后一部分，我们趋向于那个，你知道，我认为还有另一个部分，这很有趣，那就是分布外泛化，对吧？就是说，思考某种程度上让我们做到这一点，对吧？我们有一个经验，一个东西，但不知何故，我们只是，你知道，不断地完善我们对它的心理模型。这再次感觉与推理有关，也许是我们所做的一点点调整，也许是许多想法，我们将花费数十年。是的，所以那里的假设，分布外泛化是创造新想法是可能的。你知道，可能没有人创造新想法，然后将 GPT-2 扩展到 GPT-20，你将本质上泛化到奥兹将拥有的所有可能的想法。我只是为了玩辩论的缘故，自莎士比亚以来我们想出了多少新的故事想法？是的，正是如此。这只是不同形式的爱和戏剧等等。好的，不确定你是否读过 Ray Sutton 最近的博客文章“苦涩的教训”。我没有。他基本上说了一些与你一直在谈论的想法相呼应的事情，那就是他表示，多年 AI 研究中最大的教训是，利用计算的通用方法最终将获胜。你同意吗？所以，基本上，在一般意义上，关于你正在探索的想法，关于想出方法，无论是 GPT-2 建模，还是 OpenAI 玩 Dota，还是通用方法比更精细的专家调整方法更好？是的，我认为，嗯，我认为人们对那篇博客文章的反应中一个非常有趣的事情是，很多人将其解读为计算就是一切，这是一个非常令人威胁的想法，而且我认为这也不是一个真实的想法，对吧？很明显，我们有算法思想，它们对取得进展非常重要。而且要真正构建 AGI，你想在计算规模上尽可能地推进，并且你想在人类的创造力上尽可能地推进。所以，我认为两者都需要。但我认为你提出问题的方式实际上非常好，对吧？它实际上是关于我们应该追求什么样的想法。而且绝对，如果你能找到一个可扩展的想法，你就会投入更多的计算，投入更多的数据，它就会变得更好。那就是真正的圣杯。所以，我认为问题的答案是肯定的，这就是我们思考它的方式。我们对深度学习的力量感到兴奋，对构建 AGI 的潜力感到兴奋，是因为我们看看现有的系统，以及最成功的 AI 系统，我们意识到，如果扩大它们，它们会工作得更好。而且我认为，这种可扩展性确实给了我们构建变革性系统的希望。所以，我告诉你，这是一个部分情感上的，你知道，人们经常有的反应是，计算机对于最先进的性能非常重要。你知道，个人开发者，也许是一个 13 岁的孩子，坐在堪萨斯州的某个地方，你知道，他们坐在那里，他们可能甚至没有 GPU，或者可能只有一个 GPU，一个 1080 或者类似的东西。而且有一种感觉是，好吧，如果规模如此重要，我怎么能在这个 AI 世界中竞争或做出贡献呢？所以，如果你能评论一下，以及总的来说，你认为我们将来是否需要同样关注计算资源的民主化，就像我们民主化算法一样？嗯，我的思考方式是，存在一个可能的进步空间，对吧？存在一个想法和系统空间，它们将推动我们前进。而其中一部分，而且在某种程度上，越来越多的部分，确实需要大量的计算资源。对于那一部分，我认为答案很清楚。我们之所以拥有我们现在的结构，是因为我们认为推动规模并，你知道，构建这些大型集群和系统非常重要。但还有另一部分空间，它与大规模计算无关，那就是这些想法，而且再次，我认为 AI 要真正产生影响并真正闪耀，它们应该是这样的想法：如果你扩大它们，它们会比在小规模下工作得更好。但是你可以发现它们，而不需要大量的计算资源。而且如果你看看最近发展的历史，你想到像 GAN 或 VAE 这样的东西，我认为你可以想出它们，而不需要，而且，实际上，人们确实想出了它们，而不需要大量的计算资源。好吧，我刚和 Goodfellow 谈过，但问题是，最初的 GAN 产生了相当糟糕的结果，对吧？所以，只有因为这是一个非常具体的，是因为只有因为他们足够聪明，知道这令人惊讶，可以生成他们知道的任何东西，并且他们知道如何做。你是否看到一个世界，这太乐观和梦想家了，想象计算资源是由政府拥有并作为公用事业提供的？实际上，在某种程度上，这个问题让我想起了我以前的一位哈佛教授的博客文章，那个家伙叫 Matt Welsh，他是一位系统教授。我记得坐在他的终身教职演讲中，你知道，他刚刚获得了终身教职，他去谷歌度过了一个夏天，然后决定他不再回学术界了。而且在他的博客文章中，他提出了这个观点，看，作为一个系统研究员，我提出了这些很酷的系统想法，对吧？我有一个概念验证。我能希望的最好的事情是，谷歌或雅虎（当时还在）的人会实现它，并让它真正大规模地工作，对吧？这就是我的梦想，对吧？我构建了那个小东西，他们，那个真正起作用的大东西。而对他来说，他说，我受够了。我想成为那个真正进行构建和部署的人。而且我认为这里存在类似的二分法。我认为有些人确实发现了价值，而且我认为这是一个有价值的事情，那就是成为那个提出这些想法的人，对吧？构建概念验证。而且，是的，你不能生成最酷的 GAN 图像，但你又发明了它，对吧？所以，存在一个真正的权衡，我认为这是一个非常个人的选择。但我认为双方都有价值。你认为创造 AGI，或者一些新模型，我们会在原型级别看到才华的闪光吗？所以，你可以在没有规模的情况下开发这些想法，最初的种子？我总是喜欢看看现有的例子，看看真实的先例。所以，看看我们发布的 2018 年 6 月的模型，我们将其扩展以变成 GPT-2。你可以看到，在小规模下，它创下了一些记录，对吧？这是，你知道，最初的 GPT，我们确实有一些很酷的生成，虽然不像 GPT-2 那么惊人，但它很有希望，很有趣。所以，我认为，在很多这些想法中，确实在小规模下看到了突出之处。但这里有一个星号，一个非常大的星号，那就是有时我们会看到行为出现，这些行为在质量上与我们在小规模下看到的任何东西都不同。而且，无论算法的原始发明者看着它说，我没想到它能做到这一点。这就是我们在 Dota 中看到的。所以，PPO 是由 John Schulman 创建的，他是我们这里的一位研究员。而且，通过 Dota，我们基本上只是以巨大的规模运行 PPO。而且，有一些调整是为了让它起作用，但从根本上说，它是 PPO 的核心。而且我们能够实现这种长期规划，这些行为在我们认为不可能的时间尺度上真正发挥出来。John 看了看，然后说，我没想到它能做到这一点。这就是你在规模上增加了三个数量级时会发生的事情。但它仍然具有相同的风味，你知道，至少是预期中的回声。虽然我怀疑随着 GPT 的规模越来越大，你可能会得到令人惊讶的事情。所以，是的，是的，你说得对。有趣的是，很难看到一个想法在规模化后能走多远。这是一个悬而未决的问题。我们还处于 Dota 和 PPO 的那个阶段，就像，我的意思是，这是一个非常具体的例子，对吧？Dota 中一个非常令人惊讶的事情是，我认为人们并没有真正注意到它，那就是分布外泛化的程度，对吧？就是说，你有一个 AI，它在它的整个存在过程中，对吧？抱歉，退一步，然后讲讲 Dota 的故事，讲讲通往 OpenAI Five 的故事，以及那个阶段。以及自我对抗的过程是什么？大量的训练。是的，是的，是的。所以，关于 Dota，是的，这是一个复杂的多人游戏。我们开始训练，我们开始尝试解决 Dota，因为我们觉得这是通往现实世界的一步，相对于其他游戏，比如国际象棋或围棋，对吧？那些各种免费的棋盘游戏，你只是有一个棋盘，非常离散的移动。Dota 开始变得更加连续时间，所以你有各种各样的不同动作，你有 45 分钟的游戏，所有这些不同的单位，它有很多混乱之处，以前的游戏都没有捕捉到。而且，众所周知，Dota 中所有硬编码的机器人都很糟糕，写出任何好的东西都几乎不可能，因为它太复杂了。所以，这似乎是一个很好的地方来推动强化学习的最新进展。所以，我们开始专注于游戏的单挑版本，并且能够解决它。我们能够击败世界冠军。而且学习，你知道，技能曲线是这个疯狂的指数级增长，对吧？就像我们一直在扩大规模，我们一直在修复错误。而且，你知道，你看看技能曲线，它确实非常非常平滑。实际上，看到人类迭代循环如何产生稳定指数级进展非常有趣。而且，顺便说一句，首先，它是一款非常受欢迎的电子游戏。这个效应是，这款电子游戏中有很多令人难以置信的人类专家。所以，要达到的基准非常高。而且，你能谈谈最初以及在整个训练这些代理玩这个游戏所使用的方法吗？是的。所以，我们使用的方法是自我对抗。所以，你有两个代理，它们一无所知。它们互相战斗，它们发现了一些有点好的东西，现在它们都知道了，它们只会变得越来越好，没有上限。这是一个非常强大的想法，对吧？然后我们从游戏的单挑版本升级到四对五，对吧？所以，你想想，就像篮球一样，你有一个团队运动，你知道，我需要做所有这些协调工作。而且我们能够将相同的想法，相同的自我对抗，推向真正达到全五对五版本的职业水平。而且，我认为这里真正有趣的事情是，这些代理在某些方面，它们几乎就像昆虫一样的智能，对吧？你知道，它们与昆虫如何训练有很多共同之处，对吧？昆虫在环境中生活了很长时间，或者你知道，这种昆虫的祖先已经存在了很长时间，并积累了大量经验，这些经验被烘烤到这个代理中。而且，你知道，它不像人类那样聪明，对吧？它不能去学习微积分，但它能够极好地驾驭它的环境，并且能够很好地处理它从未见过的意外情况。而且我们也在我们的 Dota 机器人身上看到了同样的事情，对吧？它们能够在游戏中与人类对抗，这是它进化环境中从未存在过的东西。人类与机器人有着完全不同的玩法，但它仍然能够很好地处理它。而且我认为这是非常令人惊讶的事情，它并没有真正从我们从 PPO 在小规模下看到的出现，对吧？我们运行这种东西的规模是，你知道，我可以拥有十万个 CPU 核心，运行着数百个 GPU。这可能大约是，你知道，你知道，大约是数百年的经验进入这个机器人，每天。所以，这个规模是巨大的。而且我们开始看到我们都知道并喜爱的算法出现非常不同的行为。Dora 提到击败了 1v1 的世界专家，然后你今年在 5v5 中未能获胜。是的，在世界上最好的。那么，这是什么？首先，谈谈那个异常激动人心的事件，以及接下来的几个月和今年看起来怎么样？是的，是的。嗯，有趣的一件事是，你知道，我们经常输，因为我们，所以 Dota 团队在 OpenAI，我们玩机器人对抗比我们的系统更好的玩家，一直都是，或者至少我们曾经是。你知道，我们第一次公开输是在国际比赛的舞台上，我们对阵世界上最好的几支队伍，结果我们输了两场比赛，但我们给了他们一场艰苦的比赛。你知道，两场比赛都大约是 30 分钟，25 分钟，它们来回拉锯。所以，我认为这确实表明我们处于职业水平。而且，你知道，看看那些比赛，我们认为硬币可能会走向另一个方向，它可能，它可能有一些胜利。所以，这对我们来说实际上非常鼓舞人心。而且，你知道，有趣的是，国际比赛是在固定的时间进行的，对吧？所以，我们确切地知道我们将在哪一天比赛，我们尽我们所能，尽可能快地前进。两周后，我们有一个机器人的胜率是 80%，对抗在 TI 比赛中的那个。所以，进步的步伐，你知道，你应该将其视为一个快照，而不是最终状态。所以，事实上，我们很快就会宣布我们的决赛。我实际上认为，在本次播客发布之前，我们将宣布我们的决赛。卡塞尔在那里，我们将与世界冠军比赛。而且，你知道，对我们来说，这真的不是关于，你知道，我们如何看待即将到来的事情是最后的里程碑，最后的竞争性里程碑。对这个项目来说，对吧？我们的目标不是真的要打败 Dota 中的人类。我们的目标是推动强化学习的最新进展，而我们已经做到了，对吧？而且我们实际上从我们的系统中学习了很多。而且，你知道，我认为我们有很多令人兴奋的下一步想要采取。所以，你知道，就像我们构建的东西的最终展示一样，我们将进行这场比赛。但对我们来说，这真的不是关于，你知道，硬币翻转是否对我们有利或不利。在未来几年，你认为深度学习领域将走向何方？你认为强化学习的工作，以及更具体地说，OpenAI 的工作，你正在进行的令人兴奋的项目，2019 年对你来说意味着什么？大规模，大规模。我会在上面加上一个自然主义者，然后说，你知道，我认为这是关于想法加上规模。你需要两者。所以，这是一个很好的观点。所以，关于想法的问题，你有很多项目正在探索不同领域的智能。问题是，当你想到规模时，你是在考虑扩大这些个人项目，还是在考虑增加新项目？所以，今天，如果你正在考虑增加新项目，或者如果你回顾过去，想出新项目和新想法的过程是什么？所以，我们确实有一个项目生命周期。所以，我们开始时只有几个人在研究一个小规模的想法。语言实际上是一个很好的例子，对吧？这真的，你知道，一个人在这里，他一直在推动语言。我的意思是，然后你就会看到生命迹象，对吧？所以，这就像，让我们说，你知道，最初的 GPT，我们有一些有趣的东西，我们说，好吧，是时候扩大规模了，对吧？是时候投入更多的人，投入更多的计算资源，然后我们就继续推动，继续推动。最终状态看起来像 Dota 或机器人技术，你有一个大型团队，你知道，10 到 15 个人在非常大规模地运行事物。而且你能够真正拥有物质工程和，你知道，机器学习科学的结合，来制造能够起作用的系统，并获得以前不可能获得的实质性结果。所以，我们完成了整个生命周期。我们已经做了很多次了。你知道，通常端到端需要大约两年时间。你知道，这个组织已经存在三年了。所以，也许我们会找到。我们也有更长生命周期的项目。但你知道，我们会努力完成它们。所以，所以，我们有一个团队，我们实际上刚刚开始，Illya 和我正在启动一个名为“推理团队”的新团队。这是为了真正解决如何让神经网络进行推理的问题。而且我们认为这将是一个长期的项目，我们对此感到非常兴奋。就推理而言，这是一个非常令人兴奋的话题。你设想了什么样的基准，什么样的推理测试？你认为如果坐下来，喝一杯，你会对这个系统能够做某事感到印象深刻吗？那会是什么样子？不是改进，而是改进。所以，某种逻辑，尤其是数学逻辑，我认为是这样。我认为，你知道，有一些问题与你的进步是双重的，你知道，你想到编程，我想到了代码的安全分析，这些都捕捉到了相同的核心推理，并且能够进行一定程度的分布外泛化。如果 OpenAI 的推理团队能够证明 P=NP，那将是非常令人兴奋的。那将是非常非常令人兴奋的，尤其是如果 P=NP 的话，那也会很有趣。这只是，这会很讽刺和幽默。那么，对我们社区来说，以及对 OpenAI 来说，今年最令人兴奋、最具挑战性、最具影响力的工作是什么问题？你提到了推理，我认为这是一个非常大的问题。所以，我认为推理是一个重要的问题。我认为在 2019 年很难取得好成绩。你知道，再次，就像我们想到生命周期需要时间一样。我认为对于 2019 年来说，语言建模似乎正处于这个阶段，对吧？它处于我们有一个有效的技术，我们想扩大 100 倍、1000 倍，看看会发生什么。太棒了。你认为我们生活在模拟中吗？我认为，很难对此有真正的看法。你知道，实际上很有趣的是，我将我认为可以产生，你知道，物质上不同的预测，与那些只是，你知道，有趣的猜测区分开来。而且我有点认为模拟是，就像火星和木星之间有一个飞行的茶壶吗？也许吧，但很难知道这对我的生活意味着什么。所以，有一些可操作的事情。所以，OpenAI 的一些最好的工作是在强化学习领域，而强化学习的一些成功来自于能够模拟你试图解决的问题。所以，你对强化学习的未来，以及对模拟的未来有什么希望？就像我们谈论的自动驾驶汽车或任何系统一样？你认为它会扩展吗？所以，我们将能够模拟系统，并能够创建一个模拟器，它能够反映我们的真实世界，并最终证明，尽管你否认了它，我们生活在模拟中。问题，对吧？所以，你知道，就像，你能用模拟来做自动驾驶汽车吗？看看我们的机器人系统 Dactyl，它是在模拟中训练的，实际上是使用 Dota 系统训练的，并且它转移到了物理机器人上。而且我认为每个人都看着我们的 Dota 系统，然后说，好吧，它只是一个游戏，你如何逃到现实世界？答案是，我们用物理机器人做到了，而且可以编程。所以，我认为答案是，如果你应用正确的技术，模拟会比你想象的走得更远。现在，有一个问题是，你知道，模拟中的生物会醒来并拥有意识吗？我认为那似乎要困难得多，再次，要进行推理。我认为，你知道，你真的应该想想，你知道，人类意识到底从哪里来，以及我们自己的自我意识。而且，你知道，它只是，一旦你有一个足够复杂的神经网络，你是否需要担心代理感到痛苦？而且我认为那里有一些有趣的猜测，但是，但是，你知道，再次，我认为很难确定。好吧，让我继续猜测。你认为创造通用智能需要意识和身体吗？你认为这些元素中的任何一个都是必需的，还是智能是与它们正交的东西？我先说非宏大的答案，对吧？所以，非宏大的答案就是看看，你知道，我们已经在做什么。GPT-2，很多人会说，即使要获得这些结果，也需要现实世界的经验，需要身体，需要基础。你怎么能推理这些事情？你怎么能，你知道，甚至知道烟和火，如果你从未经历过它们？而 GPT-2 表明，你实际上可以走得比这种推理所预测的要远得多。所以，我认为，就做任何意识而言，我们需要一个身体，答案可能是否定的，对吧？我们可能可以继续推动我们现有的系统。它们已经感觉很通用了，它们不像 AGI 那样有能力，或者像 AGI 一样通用，或者像 AGI 一样快速学习。但是，你知道，它们至少是，你知道，某种意义上的 proto-AGI，而且它们不需要这些东西。现在，现在让我们转向宏大的答案，那就是，你知道，如果我们的神经网络已经有意识了，我们会知道吗？我们怎么能知道？是的，这就是猜测开始变得，你知道，至少有趣或好玩，也许有点令人不安，取决于你把它带到哪里。但确实，当我们想到动物时，似乎存在一个意识的连续体。你知道，我的猫我认为在某种程度上是有意识的，对吧？我，你知道，不像人类那样有意识。而且你可以想象，你可以制造一个小的意识计，你指向猫，它给你一个小的读数。我们运行一个人，给你一个更大的读数。如果你指向一个 Dota 神经网络，会发生什么？而且，如果你在进行这个大规模的模拟训练，神经网络会感到痛苦吗？你知道，很难知道答案是否定的。而且很难真正思考如果答案是肯定的，那意味着什么。而且这很有可能，你知道，例如，你可以想象，也许人类有意识的原因是因为它是一个，它是一个方便的计算捷径，对吧？如果你想到一个想要避免痛苦的生物，这在环境中生存似乎很重要，而且你想要，你知道，吃食物，那么最好的方法可能就是有一个有意识的生物，对吧？你知道，为了在环境中取得成功，你需要拥有这些属性。而且你如何实现它们？也许这种意识就是一种实现它们的方式。如果真是这样，那么也许我们应该期望真正有能力的强化学习代理也会有意识。但是，你知道，这是一个很大的“如果”，而且我认为还有很多其他的论点可以提出。我认为这是一个非常有趣的想法，即使 GPT-2 也有某种程度的意识。这实际上并不是一个疯狂的想法，值得思考，就像我们思考创造狗的智能、猫的智能和人类的智能一样。所以，最后一个问题，你认为我们会像电影《她》那样爱上一个人工智能系统，或者一个人工智能系统爱上一个人吗？我希望如此，如果这是结束爱情的更好方式。那么，格雷格，非常感谢今天的谈话。谢谢你邀请我。