Transcription
今天我很高兴采访Ilya Sutskever，他是OpenAI的联合创始人兼首席科学家。Ilya，欢迎来到月球学会。谢谢，很高兴来到这里。
第一个问题，请不要谦虚。在各自领域取得重大突破的科学家并不多，而那些在其职业生涯中取得多个独立突破并定义其领域的科学家则更少，这有什么区别？你与其他研究人员有何不同？为什么你能在你的领域取得多次突破？
谢谢你的美言。这个问题很难回答。我非常努力，我倾尽所有，到目前为止都奏效了。我想这就是全部了。
明白了。为什么GPT没有更多非法用途的解释是什么？为什么没有更多外国政府用它来散布宣传或诈骗老年人？也许他们还没有真正大量地去做。但如果现在正在发生一些这样的事情，我也不会感到惊讶。我当然可以想象他们会拿一些开源模型并试图将其用于该目的。我肯定会认为这会是他们未来感兴趣的事情。技术上讲，他们只是没有足够地考虑过吗？或者没有利用他们的技术大规模地去做。又或者它正在发生，这很烦人。
如果它正在发生，你能够追踪吗？我认为大规模追踪是可能的，是的。这需要特殊操作，但它是可能的。
现在有一个窗口期，人工智能具有很高的经济价值，比如说像飞机一样，但我们还没有达到通用人工智能（AGI）。这个窗口期有多大？很难给出精确的答案，而且它肯定会是一个很好的多年窗口期。这也是一个定义问题。因为人工智能在成为通用人工智能之前，其价值将每年呈指数级增长。事后看来，可能感觉只有一两年，因为这两年的价值超过了前几年。但我想说，去年人工智能已经产生了相当大的经济价值。明年之后会越来越大。所以我认为从现在到通用人工智能，这将是一个很好的多年时间段，这种情况会一直存在。
好的。因为我很好奇，如果有一家初创公司正在使用你的模型，那么在某个时候，如果你拥有通用人工智能，世界上就只剩下一个企业，那就是OpenAI。任何企业还有多少窗口期可以生产通用人工智能无法生产的东西？这和问通用人工智能还需要多久才能实现是同一个问题。这是一个很难回答的问题。我犹豫着不想给你一个数字。也因为存在这样一种效应：从事这项技术工作的乐观主义者往往会低估实现目标所需的时间。但我让自己脚踏实地的方式是思考自动驾驶汽车。特别是，有一个类比，如果你看一辆特斯拉的大小，再看它的自动驾驶行为，它看起来好像什么都能做。但也很清楚，在可靠性方面还有很长的路要走。我们的模型可能也处于类似的位置，它看起来好像什么都能做，但同时，我们还需要做更多的工作，直到我们真正解决所有问题，使其变得真正优秀、真正可靠、稳健且表现良好。
到2030年，人工智能将占GDP的百分之几？哦天哪，这个问题太难回答了。给我一个上限或下限。问题是我的误差范围是按对数尺度计算的。我既可以想象一个巨大的百分比，也可以同时想象一个令人非常失望的小百分比。
好的，那么让我们假设一个反事实情况，即它只占很小的百分比。假设现在是2030年，这些大型语言模型（LLMs）没有创造出多少经济价值。尽管你认为这不太可能，但你现在对这种情况可能发生的原因的最佳解释是什么？我真的不认为这是一种可能的情况，这是评论的开场白。但如果我接受你问题的前提，为什么在现实世界影响方面事情令人失望？我的答案会是可靠性。如果最终结果是，你真的希望它们可靠，但它们最终却不可靠，或者如果可靠性比我们预期的更难实现。我真的不认为会是这种情况。但如果我必须选择一个，而你问我——嘿，为什么事情没有成功？那会是可靠性。你仍然必须检查答案并仔细核对所有内容。这真的会抑制这些系统所能产生的经济价值。
明白了。它们在技术上会成熟，只是它们是否足够可靠的问题。嗯，从某种意义上说，不可靠就意味着技术不成熟。是的，说得有道理。
生成模型之后是什么？之前你一直在研究强化学习。这基本上就是它吗？这是让我们达到通用人工智能的范式吗？或者在这之后还有什么？
我认为这种范式会走得很远很远，我不会低估它。很有可能这种确切的范式不会完全是通用人工智能的形式。我犹豫着不想精确地说下一个范式会是什么，但它可能会涉及整合过去出现的所有不同想法。
你指的是某个特定的吗？很难具体说明。
那么你可以争辩说，下一个词元预测只能帮助我们达到人类表现，也许无法超越？要超越人类表现需要什么？
我质疑下一个词元预测无法超越人类表现的说法。表面上看，它似乎不能。看起来如果你只是学习模仿，预测人们的行为，这意味着你只能复制人类。但这里有一个反驳，说明为什么情况可能并非如此。如果你的基础神经网络足够智能，你只需问它——一个具有卓越洞察力、智慧和能力的人会怎么做？也许这样的人不存在，但很有可能神经网络能够推断出这样的人会如何行为。你明白我的意思吗？
是的，但它从哪里获得关于那个人会做什么的洞察力呢？如果不是来自……来自普通人的数据。因为如果你仔细想想，足够好地预测下一个词元意味着什么？这实际上是一个比看起来更深奥的问题。很好地预测下一个词元意味着你理解了导致该词元产生的底层现实。这不是统计学。它确实是统计学，但统计学是什么？为了理解这些统计数据并对其进行压缩，你需要理解世界中是什么创造了这组统计数据？然后你就会说——嗯，我有所有这些人。是什么造就了他们的行为？他们有思想和感受，他们有想法，他们以某种方式做事。所有这些都可以从下一个词元预测中推断出来。我会争辩说，这应该使之成为可能，不是无限期地，而是相当程度上地说——嗯，如果你有一个具有这种特征和那种特征的人，你能猜到你会怎么做吗？比如这样的人不存在，但因为你非常擅长预测下一个词元，你仍然应该能够猜到那个人会做什么。这个假设的、虚构的、心智能力远超我们其他人的个体。
当我们对这些模型进行强化学习时，强化学习的大部分数据多久会来自人工智能而不是人类？目前，大多数默认的强化学习数据都来自人工智能。人类被用来训练奖励函数。但之后奖励函数及其与模型的交互是自动的，强化学习过程中生成的所有数据都是由人工智能创建的。
如果你看看当前的技术/范式，即因ChatGPT而获得显著关注的人类反馈强化学习（RLHF）。人类反馈已被用于训练奖励函数，然后奖励函数被用于创建训练模型的数据。
明白了。有没有希望完全将人类从循环中移除，让它以某种AlphaGo的方式自我改进？是的，当然有。你真正想要的是人类教师与人工智能协作来教授人工智能。你可能会把它想象成这样一个世界：人类教师完成1%的工作，人工智能完成99%的工作。你不想让它完全是人工智能。但你确实希望它是一种人机协作，来教授下一代机器。
我有机会玩过这些模型，它们在多步推理方面似乎表现不佳。尽管它们一直在改进，但要真正超越这个障碍需要什么？我认为专门的训练会让我们达到目标。对基础模型进行越来越多的改进也会让我们达到目标。但从根本上说，我也不觉得它们在多步推理方面那么糟糕。我实际上认为，当它们不被允许大声思考时，它们在心理多步推理方面表现不佳。但当它们被允许大声思考时，它们就相当不错了。我预计这会显著改善，无论是通过更好的模型还是通过特殊训练。
你们在互联网上的推理词元是不是快用完了？它们足够多吗？关于这个问题，背景是有人声称，总有一天我们会用完词元来训练这些模型。是的，我认为这总有一天会发生，到那时，我们需要有其他方法来训练模型，其他方法来有效地提高它们的能力和磨练它们的行为，确保它们在没有更多数据的情况下，准确无误地做你想要的事情。
你们还没有用完数据吗？还有更多吗？是的，我想说数据情况仍然相当不错。还有很多。但总有一天数据会用完。
最有价值的数据来源是什么？是Reddit、Twitter、书籍吗？你会从哪里训练许多其他种类的词元呢？
一般来说，你想要谈论更智能事物的词元，更有趣的词元。你提到的所有来源都很有价值。所以也许不是Twitter。但我们需要转向多模态才能获得更多词元吗？或者我们还有足够的文本词元吗？
我认为仅凭文本仍然可以走得很远，但转向多模态似乎是一个非常有成效的方向。
如果你方便谈论这个，我们还没有抓取词元的地方在哪里？显然我不能替我们回答这个问题，但我相信对每个人来说，这个问题都有不同的答案。
我们能从算法改进中获得多少数量级的提升，而不是从规模或数据中？很难回答，但我确信有一些。
是很多还是一点点？只有一种方法可以知道。
好的。让我听听你对这些不同研究方向的快速看法。检索Transformer。所以它只是以某种方式将数据存储在模型本身之外，并以某种方式检索它。看起来很有前景。但你认为那是一条前进的道路吗？它看起来很有前景。
机器人学。OpenAI放弃它是否是正确的选择？是的，是正确的。当时真的不可能继续从事机器人学，因为数据太少了。那时如果你想从事机器人学，你需要成为一家机器人公司。你需要有一个非常庞大的团队来建造和维护机器人。即使那样，如果你有100个机器人，那已经是一个巨大的操作了，但你不会获得那么多数据。所以在这样一个世界里，大部分进展都来自计算和数据的结合，机器人学没有数据路径。所以当年，当我们决定停止从事机器人学时，没有前进的道路。
现在有吗？我想说现在有可能开辟一条前进的道路。但需要真正致力于机器人任务。你真的需要说——我要建造数千、数万、数十万个机器人，并以某种方式从它们那里收集数据，找到一条渐进的道路，让机器人做一些稍微更有用的事情。然后将获得的数据用于训练模型，它们会做一些稍微更有用的事情。你可以想象这是一条渐进的改进之路，你建造更多的机器人，它们做更多的事情，你收集更多的数据，等等。但你真的需要致力于这条道路。如果你说，我想让机器人学实现，那就是你需要做的。我相信有些公司正在这样做。但你需要真正热爱机器人，并且真正愿意解决处理它们的所有物理和物流问题。这与软件完全不同。
我认为今天，只要有足够的动力，人们就可以在机器人学领域取得进展。
有哪些想法你很想尝试，但因为它们在当前硬件上表现不佳而无法实现？我不认为当前硬件是限制。情况并非如此。明白了。但你想尝试的任何东西都可以直接启动吗？当然。你可能希望当前硬件更便宜，或者如果它有更高的内存处理带宽会更好，比如说。但总的来说，硬件根本不是问题。
让我们谈谈对齐。你认为我们会有对齐的数学定义吗？数学定义不太可能。我认为我们不会实现一个数学定义，而是会实现多个从不同方面看待对齐的定义。这就是我们将获得我们想要的保证的方式。我的意思是，你可以查看各种测试中的行为、一致性，在各种对抗性压力情况下的表现，你可以从内部查看神经网络的运作方式。你必须同时考虑这些因素中的几个。
在你发布一个模型之前，你需要有多大的把握？100%？95%？这取决于模型的能力。模型能力越强，我们就需要越有信心。
好的，那么假设它是一个接近通用人工智能的东西。通用人工智能在哪里？这取决于你的通用人工智能能做什么。请记住，通用人工智能是一个模糊的术语。你认为一个普通的大学本科生是通用人工智能吗？通用人工智能的含义存在显著的模糊性。根据你设定的标准，你需要或多或少地自信。
你之前提到了一些实现对齐的途径，你认为目前哪一个最有前景？我认为这将是一个组合。我真的认为你不会只想要一种方法。人们希望有多种方法的组合。你投入大量的计算资源进行对抗性测试，以找出你希望它学习的行为与它实际表现的行为之间的任何不匹配。我们使用另一个神经网络来深入研究神经网络，以了解其内部运作方式。所有这些都将是必要的。每种这样的方法都会降低失准的可能性。你还希望生活在一个对齐程度持续增长快于模型能力的世界中。
你认为我们今天用来理解模型的方法会适用于实际的超强模型吗？或者它们的适用性如何？是同样的方法也能在它们身上奏效吗？不，这不保证。我想说，目前我们对模型的理解仍然相当粗浅。我们取得了一些进展，但还有更大的进展空间。因此，我预计最终真正成功的是，当我们拥有一个被充分理解的小型神经网络，并被赋予任务去研究一个不被理解的大型神经网络的行为，以进行验证。
到什么时候，大部分人工智能研究将由人工智能完成？今天当你使用Copilot时，你是如何划分工作的？所以我预计在某个时候你会问你的ChatGPT的后代，你会说——嘿，我正在考虑这个和那个。你能给我一些我应该尝试的富有成效的想法吗？然后你真的会得到富有成效的想法。我不认为那会让你能够解决你以前无法解决的问题。
明白了。但它只是以某种方式更快地告诉人类，给他们提供想法之类的。它本身不与研究互动吗？那只是一个例子。你可以用各种方式来划分。但那里的瓶颈是好的想法，好的洞察力，而这正是神经网络可以帮助我们的。
如果你正在为某种对齐研究成果或产品设计一个十亿美元的奖项，你会为这个十亿美元的奖项设定什么具体的标准？有没有什么对这样的奖项来说是合理的？你问得很有趣，我实际上正在思考这个问题。我还没有想出确切的标准。也许是一个奖项，我们可以说两年后，或者三年、五年后，我们回顾并说那是主要成果。所以与其说有一个奖项委员会立即决定，不如等待五年，然后追溯颁发。
但我们无法确定一个具体的标准，比如你解决了这个特定问题并取得了很大进展？是的，取得了很大进展。我不会说这就是全部。
你认为端到端训练是越来越大的模型的正确架构吗？或者我们需要更好的方法来连接事物？端到端训练非常有前景。连接事物也非常有前景。一切都很有前景。
所以OpenAI预计2024年营收将达到10亿美元。这很可能正确，但我只是好奇，当你谈论一项新的通用技术时，你如何估计它会带来多大的意外之财？为什么是那个特定的数字？我们推出产品已经有一段时间了，从GPT-3时代开始，两年前通过API，我们看到了它的增长。我们也看到了DALL-E的反应如何增长，你看到了ChatGPT的反应，所有这些都为我们提供了信息，使我们能够对任何事物进行相对合理的推断。也许那会是一个答案。你需要有数据，你不能凭空捏造这些东西，否则你的误差范围将是每个方向100倍。
但大多数指数增长不会一直保持指数增长，尤其是在数量越来越大的时候，对吗？那么在这种情况下你如何判断？你会押注人工智能失败吗？和你谈过之后就不会了。
让我们谈谈通用人工智能（AGI）之后的未来会是什么样子。我猜你每周工作80小时，致力于这个你真正痴迷的宏伟目标。在一个你基本上生活在人工智能养老院的世界里，你会感到满意吗？通用人工智能到来后，你个人会做什么？通用人工智能到来后我将做什么或人们将做什么的问题是一个非常棘手的问题。人们将在哪里找到意义？但我认为那是人工智能可以帮助我们的事情。我设想的一件事是，我们将能够变得更加开明，因为我们与通用人工智能互动，它将帮助我们更正确地看待世界，并因此在内心变得更好。想象一下与历史上最好的冥想老师交谈，那将是一件有益的事情。但我也认为，由于世界将发生巨大变化，人们将很难精确理解正在发生的事情以及如何真正做出贡献。我认为有些人会选择做的一件事是成为部分人工智能。为了真正扩展他们的思想和理解，并真正能够解决社会届时将面临的最困难的问题。
你会成为部分人工智能吗？这非常诱人。
你认为到3000年还会有实体化的人类存在吗？3000年？我怎么知道3000年会发生什么？比如它会是什么样子？地球上还会有行走的人类吗？或者你们有没有具体思考过你们到底希望这个世界变成什么样子？让我来描述一下我认为这个问题不太对劲的地方。它暗示我们可以决定我们希望世界变成什么样子。我不认为这种设想是正确的。变化是唯一不变的。所以当然，即使通用人工智能（AGI）建成之后，也不意味着世界会停滞不前。世界将继续变化，世界将继续演进。它将经历各种各样的转变。我不认为任何人知道3000年的世界会是什么样子。但我确实希望会有很多人类的后代，他们将过上幸福、充实的生活，他们可以自由地做他们认为合适的事情。或者他们是解决自己问题的人。我发现一个非常无趣的世界是，我们建造了这个强大的工具，然后政府说——好的，通用人工智能说社会应该以这种方式运行，现在我们应该以这种方式运行社会。我更希望有一个世界，人们仍然可以自由地犯自己的错误并承担后果，并在此基础上逐步在道德上进化和进步，而通用人工智能更多地提供一个基本的安全网。
你花多少时间思考这些事情，而不是仅仅做研究？我确实花了不少时间思考这些事情。它们是非常有趣的问题。
我们今天拥有的能力，在哪些方面超出了我们2015年的预期？又在哪些方面仍未达到你此时的预期？公平地说，这有点像我2015年的预期。2015年，我的想法更多是——我只是不想与深度学习作对。我想在深度学习上押下最大的赌注。我不知道具体如何，但它会解决的。
但有没有哪方面是超出你预期或低于你预期的具体情况？比如2015年某个具体的预测被推翻了？不幸的是，我不记得我2015年做出的具体预测了。但我肯定认为，总的来说，2015年我只是想尽可能地在深度学习上押下最大的赌注，但我并不确切知道。我没有具体设想七年后事情会发展到什么程度。嗯，不，2015年，我确实在2016年，也许是2017年，和人们有过这些最好的交流，认为事情会走得很远。但具体情况。所以，它就像是，两者兼有，它既让我感到惊讶，我也在做出这些激进的预测。但也许我内心只相信它们50%。
你现在相信什么，即使OpenAI的大多数人也会觉得牵强？因为我们在OpenAI内部沟通很多，人们对我的想法有很好的了解，而且我们真的在OpenAI达到了在所有这些问题上都意见一致的地步。
谷歌有自己的定制TPU硬件，它拥有来自所有用户、Gmail等所有数据。这是否让他们在训练更大、更好的模型方面比你们更有优势？起初，当TPU问世时，我印象深刻，我心想——哇，这太棒了。但这只是因为那时我不太了解硬件。事实证明，TPU和GPU几乎是同一回事。它们非常非常相似。GPU芯片稍微大一点，TPU芯片稍微小一点，可能也便宜一点。但后来他们制造了更多的GPU和TPU，所以GPU最终可能更便宜。但从根本上说，你有一个大型处理器，你有很多内存，这两者之间存在一个瓶颈。TPU和GPU都试图解决的问题是，将一个浮点数从内存移动到处理器所需的时间，你可以在处理器上执行数百次浮点运算，这意味着你必须进行某种批处理。从这个意义上说，这两种架构是相同的。所以我真的觉得，从某种意义上说，硬件唯一重要的是每浮点运算的成本和整体系统成本。没有那么大的区别吗？实际上，我不知道。我不知道TPU的成本是多少，但我怀疑，如果有什么不同的话，TPU可能更贵，因为它们的数量更少。
当你在工作时，有多少时间花在配置正确的初始化上？确保训练运行顺利并获得正确的超参数，又有多少时间只是提出全新的想法？我想说这是一个组合。提出全新的想法只是工作的一小部分。当然，提出新想法很重要，但更重要的是理解结果，理解现有想法，理解正在发生的事情。神经网络是一个非常复杂的系统，对吧？你运行它，然后得到一些难以理解的行为。发生了什么？理解结果，弄清楚下一步要运行什么实验，很多时间都花在这上。理解可能出了什么问题，什么可能导致神经网络产生了意想不到的结果。我想说，很多时间也花在提出新想法上。我不太喜欢这种说法。这并不是说它是错误的，但主要活动实际上是理解。
你认为两者之间有什么区别？至少在我看来，当你说提出新想法时，我就会想——哦，如果它做了这样那样的事情会怎样？而理解更像是——这整个事情是什么？真正潜在的现象是什么？潜在的影响是什么？我们为什么要这样做而不是那样做？当然，这与提出想法非常接近。但理解部分才是真正发生作用的地方。
这描述了你的整个职业生涯吗？如果你回想一下ImageNet这样的事情，那更多是新想法还是更多是理解？嗯，那绝对是理解。那是对非常古老事物的全新理解。
在Azure上训练的体验如何？棒极了。微软对我们来说是一个非常非常好的合作伙伴。他们确实帮助Azure达到了一个非常适合机器学习的水平，我们对此非常满意。
整个AI生态系统对台湾可能发生的事件有多脆弱？所以，假设台湾发生海啸或其他什么，人工智能总体会怎样？这肯定会是一个重大挫折。几年内没有人能获得更多的计算能力。但我预计计算能力会涌现。例如，我相信英特尔拥有几代前的晶圆厂。所以这意味着如果英特尔愿意，他们可以生产四年前的类似GPU的东西。但是的，这不是最好的，我实际上不确定我关于英特尔的说法是否正确，但我确实知道台湾以外也有晶圆厂，只是它们没那么好。但你仍然可以使用它们，并且用它们走得很远。这只是成本问题，只是一个挫折。
随着这些模型越来越大，推理成本会变得过高吗？我对这个问题有不同的看法。并不是说推理会变得成本过高。更好的模型的推理确实会变得更昂贵。但它是否令人望而却步？这取决于它的有用程度。如果它比它的成本更有用，那么它就不是令人望而却步的。给你打个比方，假设你想和律师谈谈。你有一些案子或者需要一些建议之类的，你完全乐意每小时花400美元。对吧？所以如果你的神经网络能给你真正可靠的法律建议，你会说——我乐意花400美元来获得那个建议。突然之间，推理就变得非常不令人望而却步了。问题是，神经网络能否以这个成本产生足够好的答案？是的。
那么你们会在不同的模型中进行价格歧视吗？今天已经如此了。在我们的产品中，API服务于不同大小的多个神经网络，不同的客户根据他们的用例使用不同大小的神经网络。如果有人能拿一个小模型进行微调并得到令他们满意的东西，他们就会使用那个。但如果有人想做更复杂、更有趣的事情，他们就会使用最大的模型。
你们如何防止这些模型仅仅变成商品，让这些不同的公司互相压价，直到基本上只剩下GPU运行的成本？是的，毫无疑问有一股力量正试图造成这种情况。答案是你必须不断取得进展。你必须不断改进模型，你必须不断提出新想法，让我们的模型更好、更可靠、更值得信赖，这样你才能相信它们的答案。所有这些。是的。
但是假设现在是2025年，有人以成本价提供2024年的模型。而且它仍然相当不错。如果仅仅一年前的模型甚至更好，人们为什么还要使用2025年的新模型呢？这里有几个答案。对于某些用例来说，这可能是真的。2025年将有一个新模型，它将推动更有趣的用例。还有一个推理成本的问题。如果你能进行研究以更低的成本提供相同的模型。同一个模型为不同的公司提供服务将花费不同的金额。我还可以想象某种程度的专业化，一些公司可能会尝试在某个领域进行专业化，并比其他公司更强大。对我来说，这可能在一定程度上是对商品化的一种回应。
随着时间的推移，这些不同公司的研究方向是趋同还是分歧？它们随着时间推移是在做越来越相似的事情吗？还是在分支到不同的领域？我想说在短期内，看起来是趋同的。我预计会有一种趋同-分歧-趋同的行为，即短期工作有很多趋同，长期工作会有一些分歧。但一旦长期工作开始结果，又会再次趋同。明白了。当其中一家公司找到最有前景的领域时，大家都会……没错。现在发表的论文显然更少，所以这个有前景的方向被重新发现需要更长时间。但这就是我所想象的情况。趋同、分歧、趋同。是的。
我们一开始就稍微谈过这个问题。但是随着外国政府了解这些模型的能力，你是否担心间谍或某种攻击来获取你们的权重，或者以某种方式滥用这些模型并了解它们？是的，你绝对不能忽视这一点。这是我们尽力防范的事情，但对于所有构建这些模型的人来说，这将是一个问题。
你们如何防止权重泄露？你们有非常好的安全人员。有多少人有能力通过SSH连接到存有权重的机器？安全人员做得非常好，所以我真的不担心权重泄露。
在这种规模下，你期望这些模型产生什么样的涌现特性？有没有什么东西是凭空出现的？我确信会涌现出真正令人惊讶的新特性，我不会感到惊讶。我真正感到兴奋，我希望看到的是——可靠性和可控性。我认为这将是一类非常非常重要的涌现特性。如果你拥有可靠性和可控性，那将帮助你解决很多问题。可靠性意味着你可以信任模型的输出，可控性意味着你可以控制它。我们拭目以待，但如果这些涌现特性确实存在，那将非常酷。
有没有办法可以提前预测？在这个参数量下会发生什么，在那个参数量下会发生什么？我认为可以对特定能力做出一些预测，尽管这绝不简单，而且至少在今天，你无法以超精细的方式进行。但在这方面做得更好非常重要。任何对此感兴趣并有研究想法的人，都可以做出有价值的贡献。
你对这些缩放定律有多认真？有一篇论文说——你需要多出这么多数量级才能完全实现推理？你认真对待这个说法吗，还是你认为它会在某个时候失效？问题是，缩放定律告诉你的是你的下一个词预测准确率的对数会发生什么，对吧？将下一个词预测准确率与推理能力联系起来是一个完全独立的挑战。我确实相信存在这种联系，但这种联系很复杂。我们可能会发现还有其他事情可以让我们以单位努力获得更多的推理能力。你提到了推理词元，我认为它们可能有用。可能有一些东西会有帮助。
你是否考虑直接雇佣人类为你生成词元？还是所有数据都将来自已有的东西？我认为依靠人类来教导我们的模型做事，特别是确保它们表现良好且不产生虚假信息，是非常明智的做法。
难道不奇怪吗，我们恰好在拥有Transformer的同时，也恰好在拥有这些GPU的同时，拥有了所需的数据？对你来说，所有这些事情同时发生是不是很奇怪，或者你不是这样看的？这确实是一个有趣的局面。我会说它既奇怪，又在某种程度上不那么奇怪。原因如下：数据存在、GPU存在、Transformer存在背后的驱动力是什么？数据存在是因为计算机变得更好、更便宜，我们有了越来越小的晶体管。突然之间，在某个时候，每个人拥有一台个人电脑变得经济实惠。一旦每个人都拥有一台个人电脑，你就会非常想把它们连接到网络，于是就有了互联网。一旦有了互联网，数据就会突然大量出现。GPU也同时在改进，因为你有了越来越小的晶体管，并且你在寻找用它们可以做的事情。游戏被证明是一件可以做的事情。然后在某个时候，英伟达说——游戏GPU，我可能会把它变成一个通用GPU计算机，也许有人会觉得它有用。结果证明它对神经网络很有用。可能GPU会晚五年、十年才出现。假设游戏不是一回事。这有点难以想象，如果游戏不是一回事意味着什么？但也许存在一个反事实世界，GPU在数据之后五年或数据之前五年才出现，在这种情况下，事情可能就不会像现在这样准备就绪。但这就是我所想象的图景。所有这些维度上的所有这些进展都紧密交织在一起。这不是巧合。你无法选择在哪些维度上事物会改进。
这种进步有多么不可避免？假设你、Geoffrey Hinton和其他几位先驱从未出生。深度学习革命会在大约同一时间发生吗？会延迟多少？也许会有一些延迟。也许延迟一年？真的吗？就这些？这真的很难说。我犹豫着不想给出更长的答案，因为——GPU会持续改进。我无法想象没有人会发现它。因为还有另一件事。假设没有人做过，计算机不断变得更快更好。训练这些神经网络变得越来越容易，因为你有更大的GPU，所以训练一个所需的工程工作量更少。你不需要过多地优化你的代码。当ImageNet数据集发布时，它非常庞大，而且非常非常难以使用。现在想象你再等几年，它变得非常容易下载，人们可以随意修修补补。我的猜测是最多延迟几年。不过我犹豫着不想给出更长的答案。你无法重新运行你不知道的世界。
让我们回到对齐问题。作为一个深入理解这些模型的人，你直觉上认为对齐会有多难？在当前的能力水平下，我们有一套相当不错的对齐方法。但我不会低估对齐那些实际上比我们更聪明、能够歪曲自己意图的模型所面临的困难。这是一个需要深入思考和研究的问题。学术研究人员经常问我他们可以在哪里做出最好的贡献。而对齐研究正是学术研究人员可以做出非常有意义贡献的一个领域。
除此之外，你认为学术界会提出关于实际能力的重要见解吗？还是说这一点目前只会由公司来做？公司会实现这些能力。学术研究很有可能提出这些见解。出于某种原因，这种情况似乎不常发生，但我不认为学术界有什么根本性的问题。并不是说学术界不能。也许他们只是没有思考正确的问题，或者是因为在这些公司内部更容易看到需要做什么。我明白了。但有没有可能有人会突然意识到……我完全这么认为。我为什么要排除这种可能性呢？
这些语言模型开始实际影响原子世界而不仅仅是比特世界的具体步骤是什么？我不认为比特世界和原子世界之间有明确的区分。假设神经网络告诉你——嘿，这是你应该做的事情，它会改善你的生活。但你需要以某种方式重新布置你的公寓。然后你因此去重新布置你的公寓。神经网络影响了原子世界。说得有道理。
你认为要达到超人人工智能，还需要像Transformer一样重要的几次额外突破吗？还是你认为我们基本上已经掌握了书本中的见解，我们只需要实现并连接它们？我真的不认为这两种情况之间有那么大的区别，让我解释一下原因。过去取得进展的方式之一是，我们一直都知道某事物具有理想的特性，但我们没有意识到。那算是一项突破吗？你可以说，是的，它是。那是书本中某种东西的实现吗？也是，是的。我的感觉是，其中一些很可能会发生。但事后看来，它不会感觉像是一项突破。每个人都会说——哦，当然。某某事物可以奏效是完全显而易见的。Transformer之所以被提出来作为一项具体的进步，是因为它几乎对任何人来说都不是显而易见的。所以人们可以说这不是他们知道的东西。
让我们考虑深度学习最根本的进步，即一个通过反向传播训练的大型神经网络可以做很多事情。新颖之处在哪里？不在神经网络本身。也不在反向传播。但它绝对是一个巨大的概念突破，因为在很长一段时间里，人们就是没有看到这一点。但现在每个人都看到了，每个人都会说——哦，当然，这完全是显而易见的。大型神经网络。每个人都知道它们能做到。
你对你前导师的新前向-前向算法有什么看法？我认为这是一种在没有反向传播的情况下训练神经网络的尝试。如果你有动力去理解大脑是如何学习其连接的，那么这尤其有趣。原因在于，据我所知，神经科学家们真的确信大脑无法实现反向传播，因为突触中的信号只沿一个方向移动。所以，如果你有神经科学的动机，并且你想说——好的，我如何能想出一种既能近似反向传播的良好特性又无需进行反向传播的方法？这就是前向-前向算法试图做的事情。但如果你只是想设计一个好的系统，就没有理由不使用反向传播。它是唯一的算法。
我想我曾在不同的场合听你谈论过将人类作为通用人工智能存在的现有案例。在什么时候你会不再那么认真地对待这个比喻，并且在研究方面不再觉得有必要去追求它？因为它对你来说是一种存在的案例。在什么时候我不再关心人类作为智能的存在案例？或者作为你在模型中追求智能时想要遵循的例子。我认为从人类身上获得灵感是好的，从大脑中获得灵感是好的。正确地从人类大脑中获得灵感是一门艺术，因为它很容易抓住人类或大脑的非本质特征。许多试图从人类和大脑中获得灵感进行研究的人，往往会变得有点过于具体。人们有点过于——好吧，应该遵循哪种认知科学模型？同时，考虑神经网络本身的概念，人工神经元的概念。这也受到了大脑的启发，但结果证明它极其富有成效。那么他们是如何做到的呢？人类的哪些行为是本质的，让你说这证明了它是可能的？什么是本质的？不，这实际上是更基本的东西的一些涌现现象，我们只需要专注于把我们自己的基本原理搞对。人们可以而且应该谨慎地从人类智能中获得灵感。
最后一个问题。在你的案例中，为什么深度学习革命的先行者与仍然是顶尖研究人员之一之间存在如此强的相关性？你可能会认为这两件事不会有那么强的相关性。但为什么会有这种相关性呢？我不认为这些事情有很强的相关性。老实说，这个问题很难回答。我只是不断地非常努力，到目前为止这已经足够了。所以这是毅力。它是必要条件，但不是充分条件。许多事情需要结合在一起才能真正弄清楚一些事情。你需要真正去追求它，也需要有正确看待事物的方式。这个问题很难给出真正有意义的答案。
Ilya，非常荣幸。非常感谢你来到月球学会。感谢你带我们参观办公室。谢谢。是的，我真的很享受。非常感谢。