Breaking: Did Integral AI’s Jad Tarifi Just Announce AGI?

奇点。我叫尼古拉，你正在收看的是《奇点 FM》，我们在这里采访未来。如果你们喜欢这个播客，请在 iTunes 上留下评论，或者通过 interviewthefuture.com 成为我们的赞助人，以示支持。我今天的嘉宾是 Integral AI 的首席执行官兼联合创始人 Jat Terrifi 博士。Jat 正在开发可扩展、节能的 AGI，以使人类更接近超级智能。在创立 Integral AI 之前，他在 Google AI 工作了近十年，在那里他创建并领导了世界上第一个生成式 AI 团队。Jat 拥有人工智能博士学位和量子计算理学硕士学位，并且是备受赞誉的《自由》系列的作者，该系列共四卷，探讨了 AGI、人类潜力和在超级智能塑造的世界中的繁荣发展。这是我第二次与 Jat 对话，如果你还没有看过我们第一次的采访，我强烈建议你从那里开始，因为它为 Jad 和我今天将要讨论的内容提供了大部分的个人、职业和理论背景。那么，Jat，再次欢迎来到《奇点 FM》。>> 谢谢你的邀请。好久不见了。>> 太棒了。大概一年过去了，过去一年里发生了很多事情。有些事情没有发生。所以，我想直接切入正题，因为我知道你很忙。你之后还有另一个约会要赶。所以，我想直接切入正题，引用你上次采访中的一句话。就是这句话。上次你说：“目前的 Transformer 模型，比如 ChatGPT，即使加入了像 01 这样的推理能力，也无法满足 AGI 的标准。请继续关注我们公司即将发布的公告。”我错过了你的公告吗？>> 公告实际上将在下周一发布。所以，我们终于准备好发布这个公告了。嗯，我们花了一段时间才>> 嗯，得到确认并进行迭代。是的，>> 太棒了。所以，我在多伦多这里是星期二，而你在日本东京那里是星期三早上，我理解得对吗？>> 是的。[哼鼻声]>> 嗯，所以，大约 4 天后，你就要发布一个公告了。所以，我们现在有两个选择来制定策略。通常我需要三到四天来编辑这个。所以，我们可以直接进行，你可以认为这是你公告的一部分，我将在周一早上发布采访，或者我们可以按原计划进行，这样我就能在公告发布前几天发布采访。你希望如何进行？不，我们，我们，嗯，假设第一种选择。谢谢。>> 第一种选择。好的。那么，在这种情况下，感谢你的慷慨，我们将进行一次完全开放的对话，我们将认为今天我们已经快进到了下周一，也就是 2025 年 12 月 8 日。那么，那一天会在我们的文明日历的未来留下什么印记吗？>> 嗯，每一天都会留下印记。问题是，嗯，问题是，这是人们会注意到的时间吗？我希望如此，但我不能保证，对吧？你可能是对的，但有点早。嗯，我们将要宣布一些我认为能够实现 AGI 的突破。人们会记住的日期将是大多数人认识到这一点的那一天，而不是它首次被宣布的那一天。>> 让我们拭目以待。这是一个开放性的问题。[哼鼻声]>> 好的。所以，你基本上现在颠覆了我整个采访计划。所以，我们从这里开始自由发挥吧，因为我们比那个星期一要提前。那个星期一有什么细节？给我讲讲重点。有什么突破？有什么我们等待了一整年的重大事情，自从我们在 2024 年 12 月的上次谈话以来？是的。嗯，目前的范式，在 LLM 中，一切都围绕着扩展，包括预训练和后训练。但这意味着那些模型需要大量的计算才能让你>> 部署它们并获得技能，对吧？我们需要走向一个世界，在那里重点不再是测试，比如你是否在某个测试中取得了某个分数，而不管你投入了多少资源，而是要走向一个优化学习本身的范式。所以，这是关于你能多高效、多可靠地学习新技能。这意味着模型可以持续地在工作中学习，而不仅仅是这样，甚至可以创建自己的训练数据并反馈给自己。创建自己的训练数据可以通过在物理世界中采取行动来完成，通过以手术般的效率提出正确的问题，就像你作为播客主持人所做的那样。善于提出探究性问题。所以，我们需要能够做到这一点，能够与环境互动并从中学习的模型。所以，这就是我们所说的交互式学习。这是一种新的学习范式，可以让模型在与世界互动时在工作中学习。[哼鼻声]>> 而且别忘了还有另一个条件。它需要消耗相当于或少于人类的学习等效能量。>> 是的。而且持续学习是其中的一部分秘密，对吧？因为在当前的模型中，你必须从头开始重新训练整个模型，或者你必须进行微调，然后你就丢失了你之前拥有的很多知识。所以，持续学习对于这种能源效率至关重要。而且架构本身也必须被重新思考，成为一个首先是抽象的世界模型，而不是>> 一个仅仅是预测的世界模型。所以，你是说你有一个架构，它能够持续地从经验中学习，或者通过采取行动来学习，也就是说，或者通过像我通常在采访中提出的那种手术般精确的问题来学习？>> 而且所有这些的成本都相当于一顿晚餐的能量，就像我在这场采访之前一样。>> 是的，是的，这就是我告诉你的。嗯，我们将突破分为三个组成部分。一个是架构突破，从预测模型转向抽象和预测模型。所以，模型既明确地抽象世界，然后预测它，而不是纯粹地预测。我们可以谈谈为什么这很重要，并深入探讨为什么实际上有很多科学家也在尝试这样做。嗯，但我们认为我们有正确的方法来做到这一点。这是一个架构突破。然后是一个学习方法突破，它超越了当前的方法，这些方法可以归类为模仿学习或强化学习。所以，新的学习范式是交互式学习，它能够实现高效的规划，以手术般的方式采取行动，而这个行动可以是一个物理行动，也可以是一个问题，然后将其反馈给模型，并应用持续学习的突破，以便模型能够自我改进。所以，我们实现了交互式学习，它允许模型自我改进。第三个突破是关于对齐的突破，这基本上是如何确保这些模型在世界范围内安全运行。所以，当它们采取这些手术般的行动时，它们不会造成意外后果，并确保随着它们的扩展，它们是安全的。哇，这真是令人难以置信。所以，总而言之，所有这三个突破都是因为上次我们谈话的时候，你是第一个给我提出了非常雄心勃勃且困难的要求的受访者，要求 AGI 的能耗相当于或少于人类的能耗。>> 对吧？所以，这是非常雄心勃勃的，而且效率上的巨大差异，与我们现在看到的持续的扩展定律成本，你知道，不仅仅是数千亿美元，而是数万亿美元，你知道，继续扩展过程。所以，你是说你以相当于人类的能耗完成了这三件事吗？是的。所以，准确地说，我们将揭示我们称之为 AGI 能力模型的东西，因为 AGI 本身是模型及其学习方法的属性。它不是最终系统。最终系统是通过与环境的互动，通过经验来扩展它。我们相信这是扩展到超级智能的正确模型。我认为这并不奇怪，因为一旦你有了能够反映新皮层工作方式的正确架构，我们应该能够更有效地实现它，因为我们不需要使用非常低效的化学过程来进食和维持身体。所以，没有理由认为一旦我们有了正确的算法，我们会更昂贵。嗯，所以对我来说，这是一个非常自然的预期，并且现在我们相信这些模型具有正确的能源特征，它们已经准备好迎接黄金时段了。它们已经准备好扩展，我们将能够看到它们实现超级智能能力。>> 哇。好的。所以，正如我所说，你颠覆了我整个预先计划好的采访流程。所以，让我们一步一步来，顺着这个流程走。嗯，顺便说一句，对于那些还没有看过第一次采访的人，我再说一遍，各位，去看看那次采访吧，因为那是我做过的 320 多次采访中最史诗般的采访之一，采访了各种各样了不起的人。但那简直是史诗级的。那就是这个词。它是史诗级的。而且我们今天有很多内容要讲。我希望我们能成功，但我们已经开始了强劲的开局。所以，让我们把它分解成这三个组成部分，并谈谈你公告的具体细节。第一个是架构，从预测到抽象。多告诉我一些，这与当前的 GPT 风格模型有什么不同，因为有人会说，它们也有某种预测，而且它们肯定可能有一点点抽象，不是完全成熟的，但到一定程度，比如识别图像中的猫或狗时，它们确实会进行抽象。所以，这意味着它们至少会进行一点抽象。你的架构与此有何不同？>> 好问题。实际上，在记忆和抽象之间存在一个光谱，在这个光谱上，LLM 不是纯粹的记忆机器。如果它们是，它们就无法适应任何事物，对吧？它们只会吐出它们的训练数据。LLM 确实会进行抽象，但它们的抽象机制很弱。为了理解这一点，我将给你一个非常简单的类比，很多人可能都能理解。嗯，有很多学生在考试前临时抱佛脚，他们去考试，也许考得还不错，但几周后就完全忘记了材料，对吧？所以，这种临时抱佛脚的学习方式，你的目标只是在考试中取得好成绩或在预测中取得好成绩。这就是 LLM 所做的训练。对吧？所以，对于那个学生来说，他们并不确定他们是否理解了，或者他们只是记住了，而且确实有一些理解，但它相当模糊，对吧？而如果你走向光谱的另一端，专注于抽象，你试图做的是深度压缩数据。所以，这是另一个学生一直在思考问题，也许在淋浴时也在思考问题。嗯，也许会在梦中思考问题，然后如果你和他们交谈，你会发现他们已经压缩了问题，他们可以用很少的话优雅地谈论它，但深刻地触及问题的根本本质，那就是压缩，而那种学生不需要记住任何东西，因为 10 年后你可能会问他们，然后他们会从头开始重新推导出整个事情，对吧？所以，我们不能责怪 LLM，因为那是我们要求它们记住，我们要求它们通过考试，我们不要求它们压缩。我们不要求它们明确地压缩。所以，我们的模型被真正要求同时压缩和预测。>> 哇。顺便说一下，你的例子让我想起了我在大学的时候，有件事真的让我很抓狂，就是我的同事甚至朋友会去问教授，“这个会考吗？”我就会想，“哦，这真是让我抓狂！”谁在乎考什么？你是来考试的还是来获取知识的？我不在乎考试，我只想获取知识。我想让自己变得更好。我想提高自己。有时这会让我无法密切关注考试内容。但我相信总的来说，这真的帮助我后来成为一个更好的人。也许不是最好的学生，尽管我成绩相当不错。但你知道，我的一些同事试图做相反的事情。他们专注于成为最好的学生，在考试能力方面，而不是在学习过程和提高自己方面成为最好的学生，这在我还是学生的时候就让我抓狂了。是的，我们可以。我们很多人都能体会到这一点，因为我们都上过学，我们都遇到过这些人。也许我们中的一些人就是这样的人。嗯，所以，这就是为什么我喜欢这个例子，因为它清楚地让你感官上感受到差异。好的，这就是架构。那学习模型呢？你的学习模型有什么突破？因为 ChatGPT 也学习，你知道，我给它各种参数，我放各种文档进去，我说，看看我之前的关键演讲。看看我新的关键演讲。现在告诉我，我的演讲最大的缺陷是什么，以及反对我论点的最强有力的论据是什么？它能够学习并回忆我所做的事情，甚至提出反对我的论点，最终我相信这让我变得更强大、更好。所以，当我去演讲时，我不会因为做出一些荒谬的、没有根据的断言而感到震惊。我喜欢经常使用它，让它扮演一个对抗性的角色，就像它在和我争论或玩游戏一样，即使我在几次互动回合中输了，最终我也会变得更好，因为我学到了东西。所以，告诉我，你的模型和 ChatGPT 有什么区别？>> 好的。嗯，传统的神经网络，包括 LLM，当你教它们一项新技能时，它们不会试图修改过去，它们最终会忘记过去。所以，例如，你教它们如何清洁厨房桌子，它们就忘记了它们学过的如何做饭，对吧？所以，你教它们一项技能，它们就忘记了之前的技能。这就是所谓的灾难性遗忘，学习中的干扰。它们确实在学习。为了更深入地理解它，我们必须考虑模型中不同类型的记忆。所以，大致来说，你可以认为有三个层次的记忆。最底层的记忆，它被编码在模型权重中。这就是你训练的东西。然后是最高层的记忆，也就是上下文窗口。这就是你的工作记忆。现在，大型语言模型很棒的一点是，它们的上下文窗口可以非常大，比人类的还要大。所以，这就是为什么它们可以通过上下文学习来表现得像在工作中学习。所以，当你给它模型时，它可以把所有东西都放进它的工作记忆中，然后产生非常惊人的分析结果。非常令人印象深刻。还有一个中间层次的记忆，叫做 rag，也就是检索增强生成。所以，它们能够访问它们可以读写的工具，以帮助它们在那个生成过程中。然后发生的是，它们读写到短期记忆、上下文记忆，然后生成。所有这些对于很多应用来说都很好，但如果你想在工作中学习，那就行不通了。如果你想在工作中学习，你必须能够将你放入上下文窗口的新信息带回权重，带回最低层，基础层，并且这样做而不忘记过去的重要事情。所以，如果你学会了如何清洁厨房，你不应该忘记如何做饭，对吧？否则，你永远无法，你知道，你玩游戏，你永远无法随着时间的推移而增长你的知识。所以，为了解决这个问题，我们必须解决两个非常有趣且互补的挑战，并将它们很好地结合在一起。第一个是持续学习。持续学习是如何在给我模型新数据时，我如何选择它必须记住的过去哪些记忆。所以，所以它在不忘记的情况下将它们协调起来。这个问题的解决方案看起来非常像做梦。所以，事实证明，模型必须梦出它认为对记住至关重要的新数据，与它正在学习的现有数据形成对比。所以，这个过程非常像做梦，我们通过许多不同的数据集的实验证明，它能够实现持续学习。这已经是一个了不起的突破，很多人认为它是 AGI 的核心。第二个互补的突破与规划有关。所以，你能否在多个抽象层次上高效地规划？你之所以想要高效规划，是因为最终你希望模型能够自主地自我改进。所以，为了让它能够采取行动并生成自己的训练数据，它必须规划未来，认识到自己不知道什么，以及去从世界上获取什么具有手术般重要性的东西。所以，模型使用规划来知道自己不知道什么以及自己需要知道什么。然后利用行动来收集训练数据，额外的训练数据，并利用持续学习来不断改进自己。将所有这些步骤结合起来，就是你所说的交互式学习。它使得在工作中学习成为可能。>> 哇。所以，这有点像一个递归的圆圈，或者一个良性循环，输出成为新的输入，然后你不断前进。嗯，顺便说一下，当你谈到灾难性遗忘时，我想起了，你知道，15 年前，我和我妻子有不同的手机。所以，我有一部 iPhone，她有一部黑莓手机[哼鼻声]，每次她的黑莓手机出问题时，我基本上都得，因为我不是黑莓用户，而她自己又修不好，我必须从头开始学，弄清楚问题是什么。然后我必须弄清楚解决方案，然后为她解决。然后三四个月后，她又会遇到一个问题，我又要拿她的黑莓手机。而且因为我几个月没用了，我什么都忘了。所以，我必须从零开始，重新学习一切，弄清楚问题是什么以及如何解决它。在做了几年之后，我说，“亲爱的，从现在开始，我们买一样的手机吧。黑莓手机结束了，我们要换 iPhone 了，因为我没有能力一直学习你自己的系统，我们需要同步，这样我就不必从零开始。”所以，我也有这种灾难性遗忘，这只是我个人灾难性遗忘的一个例子。嗯。我觉得这是一种有用的遗忘，因为如果你真的不需要这些数据，或者你预计不会使用它，你就不需要记住细节，但你可能会记住更高级别的策略。例如，你是如何最终获取数据的？>> 大脑必须非常高效地优先考虑记住什么和忘记什么。现在神经网络的问题是你无法控制这一点。就像字面意思一样，当你试图微调它们时，它们会忘记重要的事情。所以，我们需要一种方法让模型能够推理出它需要记住什么，并明确地尝试记住它认为重要的东西。>> [哼鼻声]>> 现在让我们来看看这两件事，做梦和规划与行动，这变成了一种强化自我学习循环，让我们先从学习部分开始，这与 Alpha Zero 有什么不同？因为有人会说 Alpha Zero 通过与自己对弈来学习下围棋。所以，在某种程度上，它学会了并教会了自己独立学习，对吧？我记得我的理解是，他们基本上有两个 Alpha Zero 的实例在互相下棋，但我可能完全错了。总之，它们在互相下棋，而且它们下了，我不知道，十亿盘棋，还是万亿盘棋，我不知道那里的数据集是什么，但最终它学会了下围棋，并提出了完全是有些人称之为创新的策略，比如著名的第 37 步对阵李世石。所以，你的规划和行动方式，然后进入规划，在行动之后，学习循环与 Alpha 有什么不同？也许它叫 Alpha Zero。我说了 Alpha Go 还是 Alpha Zero？我想是 Alpha Zero。>> 从头开始学习的那个叫做 Alpha Zero。>> 这是一个很好的问题。那种方法使用强化学习，而它们工作领域的好处是它们在模拟中工作。所以，它们不需要担心它们采取什么行动。没有行动会导致灾难性的失败，对吧？嗯，而且因为它们在模拟中处理一个非常简单的问题，效率可能不是那么重要。所以，我们和 RL 的主要区别在于，嗯，可以归结为三个基本区别。所以，最基本也是最重要的，RL 就像通过在世界上采取随机或弱引导的行动来学习。所以，想象一下你通过随机驾驶汽车来学习如何驾驶汽车，并撞毁>> 在最初的 5 亿次尝试中，撞毁你看到的一切。>> 确切地说。所以，这在现实世界中是行不通的。所以，我想要一个模型[哼鼻声]，我可以问它，嘿，学会做饭，但请不要在做饭的时候烧毁厨房。对吧？这是非常重要的可靠性和安全方面。嗯，第二个是效率。所以，模型在学习上投入了多少精力？所以，有两种效率。一种是计算效率，这与规划有关，另一种是收集数据所需的物理行动的效率。嗯，总效率，物理行动消耗能量，计算消耗能量，总的能量成本，这些模型非常巨大，因为>> 它们不进行智能规划，而且它们需要采取很多行动，所以它们非常样本效率低下，这是一个技术术语。所以，我们的模型样本效率要高得多，而且它们规划也很高效。嗯，所以，你最终>> 能否给我一个数量级的概念，或者你的模型和他们的模型之间的能量差异？是 10 倍、100 倍还是百万倍？我不知道。>> 在计算机科学中，我们称之为 O 符号。嗯，有些东西不是常数倍的效率，而是根本性的效率，这意味着它越扩展，效率就越高。所以，这些模型具有完全不同的扩展属性。所以，实际上，你知道，如果你拿一个小型模型，它可能效率高 10 倍，但如果你拿一个非常非常大的模型，它可能效率高百万倍。随着模型规模的扩大，效率实际上会增长。它不是线性的。>> 所以，这就是效率。它们在规划和采取行动（采样）方面都具有根本性的效率。这是第二个，可靠性、效率和第三个是开放性。所以，通过强化学习，你每次都必须明确地给它一个新的目标，对吧？你必须说，“嘿，专注于做这个任务”，它会花费大量的精力，多次破坏世界，然后它就会学会这个任务。但有了这些模型，它们会不断地在过去的基础上进行构建，随着时间的推移构建一个技能堆栈或层次结构，这意味着它们，你知道，这是持续学习和分层学习的结合，这意味着它们在所有事情上都会不断进步，对吧？然后你甚至可以给它们一个非常高级别的目标，比如最大化自由，然后看着它们变得开放，成为独立的代理人。嗯，所以，开放性意味着你不必只专注于一个目标，而是让模型普遍地在一套通用技能上成长。这就是一切的基础，对吧？它使模型效率更高。它使模型更有用。而且由于技能之间有很多转移，它也使模型更加可靠。>> [哼鼻声]>> 哇。现在，当我们谈论 Alpha Zero 时，我们谈论的是一个封闭的逻辑虚拟或模拟系统。在我看来，你谈论的是一个开放的真实世界系统，如果我理解正确的话。换句话说，适用性。因为在我看来，作为一个外行或观察者，许多其他模型的问​​题在于它们非常擅长封闭系统，比如国际象棋、围棋之类的。然而，现实世界是混乱的。它很复杂。它不是封闭的。有很多你无法预测或在开始时无法考虑的输入，你没有预料到。惊喜不断发生。有泄漏。有熵。有各种干扰。对吧？所以，如果你理解正确的话，你说的区别在于你的模型和他们的模型。在我看来，他们的模型在那些封闭系统方面表现出色。现在，它们雄心勃勃，想把它们带到任何地方，带到开放世界，但你说你已经在低得多的能量水平上实现了这一点。它具有可扩展性，并且以一种比例上甚至进一步降低成本的方式进行扩展。>> 是的。去年我们谈论过这一点，当时可能被认为是一个有争议的观点，因为去年每个人都专注于炒作。但现在快进一年，它开始对各个实验室的顶尖领导者变得显而易见。所以，例如，DeepMind 的负责人，我们 DeepMind 的负责人最近明确表示，他主要关注世界模型，>> Kasabis>> 是的，以及如何解决持续学习等问题。对吧？所以，很明显我们已经转向了这一点。这是来自谷歌，然后是来自 OpenAI，他们前首席科学家 Ilya Sutskever 最近也接受了采访，他说的是同样的事情。我们需要专注于学习本身，并解决持续学习等问题，对吧？然后当然，最近离开或即将离开 Meta 的 Yann LeCun 也说了同样的话，关于世界模型。所以，也许去年这会被认为是一个有争议的观点。现在，我认为这更接近于共识观点，这就是我们需要做的。嗯，区别在于，这一直是我们的观点，我的观点，我联合创始人的观点，在过去你知道，你知道，至少对我来说是 20 年，而你，嗯，这正是我们需要做的。是的。>> 哇。好的。所以，这就是你上次说你现在有了 AGI 的要素时所指的意思。你指的是持续学习。>> 我实际上是指我提到的所有这三个突破。嗯，所以，互动>> 互动，学习和对齐。>> 是的。在学习方面，我们已经有了持续学习的结果。去年我们也有高效规划的结果。嗯，但将所有这些结合起来，并确保它们有效。嗯，并能够说服我们自己作为科学家，你知道，我们没有做任何隐藏的假设，这需要很长时间。我很好奇地回顾一下，很难说，但我不知道是更好地思考得更多，在宣布之前完善某件事，还是在进行中宣布事情更好。我不知道是否有正确或错误的答案，但无论好坏，我们花了很多时间来真正说服自己，然后再提出一些东西，所以，我想说一句大胆的话，我们认为我们已经解决了这个问题。>> 哇。而且，我会在不同的情况下为这两种策略找到支持者。我隐约记得一个关于托马斯·爱迪生的故事，我不确定是不是关于灯泡还是其他什么，他实际上在准备好之前就宣布了。嗯，他的整个团队都快疯了，他说，“太好了，我们现在必须做到，因为我们已经告诉世界我们做到了。”所以，这是一种策略。现在，我们可以争论这种策略是否合适、聪明或智能，当我们谈论人工智能或 AGI，尤其是这些东西时。嗯，我想说，我更倾向于谨慎，并在你弄清楚对齐和其他东西之前，也就是我们稍后要谈的，我更倾向于谨慎。 [哼鼻声]嗯，但让我问你这个问题，因为扩展效率似乎在当前的 LLM 模型中也以某种程度体现出来。我的意思是，每 token 的成本目前，我忘了确切的数字，但我认为它已经减少了，纠正我一下，也许是过去两年的百万分之一，比如 token 的成本已经暴跌了，而现在扩展模型和扩展训练等等，投资呈指数级增长，公司投入的投资现在跨越万亿美元，但每 token 的实际使用效率至少在下降，现在当然需求也在爆炸式增长。所以，实际上，它可能正在超过每 token 能量效率的提高。换句话说，我们要求的 token 消耗得更快，比能量效率的提高要快得多。所以，总而言之，尽管每消耗 token 的能量消耗正在减少，但我们的能量需求仍在增长。这对你来说有意义吗？如果有，这与你发现或推出的东西有什么不同？>> 所有这些都是正确的，我预计这种趋势会继续下去。所以，嗯，存在巨大的差距，我们将不断改进那一部分。嗯，但即使你说的都是正确的，它也侧重于推理。我们关心的是学习过程本身。所以，学习过程必须更有效率。这就是关键所在。顺便说一下，LLM 可以实现任何目标。所以，LLM，特别是如果你把它们放在一个循环中，近似一个图灵机，它们是图灵完备的，这意味着它们可以蛮力解决任何问题。所以，只要有足够的能量和数据，你就可以通过蛮力学习任何问题。它们可以计算任何东西。所以，当然你可以做到，这不有趣。问题是你如何高效、可靠地学习任何东西，就像不蛮力一样。一旦你学会了，那么推理部分就是关于，你知道，优化引擎以快速运行。我预计这会继续改进，不仅在软件层面，还在硬件加速方面。>> 是的。是的。好的。所以，这是关于学习部分，但告诉我一些关于行动部分的区别，因为在你看来，就像我这样的无知者，你知道，我们已经有一些类似行动的能力了。所以，例如，如果我想买一张机票，我想告诉，你知道，Perplexity 或其他类似的东西，使用它们的 Comet 浏览器或类似的东西，给我买一张机票，或者给我买这个那个，而且我已经输入了我的信用卡信息，所有这些。它就可以找到一张机票并买给我，据称。现在，我还没有这样做，因为我老实说不想给它我的信用卡，并冒着买一张昂贵的不需要的机票的风险。但据称，它已经可以做到这一点了。所以，在某种程度上，如果这是真的，已经采取了一些行动。在你看来，这是正确的吗？这与你所取得的成就和所做的事情有什么不同？>> 完全正确。但答案还是一样。我希望我没有让你厌烦。嗯，不。所以，区别在于我们的模型在学习的同时也在采取行动，>> 而不是仅仅在推理时。>> 所以，它在采取行动是为了像一个实验科学家一样教导自己。所以，它会形成一个关于世界的假设，>> 采取行动，看到结果，改进其世界理解，然后可以形成一个新的假设，依此类推。所以，你可以问这个模型，嘿，去发明一个室温半导体材料，它应该，你知道，理解所有现有的文献，在实验室里做一些实验，得到结果，改进文献，然后在一个闭环中不断迭代，直到它发明出那个。你可以问它，嘿，去治愈这种癌症，对吧？嗯，然后它必须尽力而为。而且，作为科学家，我希望我们不会采取随机行动，对吧？我们试图非常周到，提前规划，并战略性地决定哪些是我们可以在世界上进行实验以更新我们的科学理论或我们称之为世界模型的最高效的方式，而科学方法就是不断地在循环中进行迭代，对吧？这就是交互式学习。所以，交互式学习既是实验科学的方法，也是>> 婴儿学习如何驾驭世界的方法。>> 哇。所以，它开始慢慢地在我脑海中形成。所以，请原谅我糟糕的问题，因为我正在像你的模型一样努力弄清楚，而我甚至不是一个真正的科学家。嗯，所以，好的，你的模型有什么样的资源限制？因为你举了两个例子，比如发明室温超导体，治愈癌症，你知道，你可以给你的 AI 设定这样的任务或提示。它会开始一个循环，你知道，规划、学习、采取行动、创造假设，然后再次进行整个循环，并不断改进。但是，必须有一些资源限制，无论是时间限制、约束还是数据或消耗的能量，它必须在这些限制内解决这个任务，因为也许它会像《银河系漫游指南》中的超级计算机一样，你知道，他们问这个有史以来设计的最聪明、最聪明的机器，“生命的意义，宇宙和一切的意义是什么？”然后它花了，我不知道，五六百万年才计算出来，你知道，因为它进入了这个循环。嗯，显然在书中，他们能够在五六百万年后，或者无论花了多少百万年，得到答案，但我们在现实生活中没有这种奢侈。所以，必须有一些限制。你的限制或你的模型的限制是什么？>> 这是一个很好的问题。所以，它触及了技能学习和开放性之间的区别，>> 对吧？>> 而且我给出模型这些限制的方式是正确地定义技能。所以，如果我说，“嘿，我想让你学会做一顿饭，但我不希望它花费超过 100 美元，对吧？而且，你知道，我饿了，所以我需要在 10 分钟内吃点东西。”>> 是的。>> 所以，这些是你作为你想知道的技能定义的一部分。>> 对，对。>> 对。>> 但这是强大的反转。一旦你掌握了那种特定技能的学习能力，你就可以定义一个如此开放的技能，以至于你可以免费获得另一边的东西。所以，你可以说，“嘿，与其给我做一顿 100 美元以内、10 分钟内的饭菜，我希望你尽力而为，尽力做到最好，那就是最大化世界的集体能动性，或者最大化世界的自由，然后继续去做。”所以，这为你提供了一个开放性的配方，让模型可以像《银河系漫游指南》一样，在某种意义上，它会永远地继续下去，成为一个自主的代理人，对吧？所以，基本上，技能可以像一顿饭一样小，或者更小，或者像最大化人类的繁荣一样大，甚至最大化宇宙的繁荣，这比那还要大。>> 现在请开导我，因为我不明白。你如何从给我做晚餐扩展到在掌握前者之后，免费获得生命的意义、宇宙和一切的意义？我只是感到困惑。你如何从一个到另一个？>> 所以，我们谈论的不是做晚餐的能力，然后是最大化繁荣的能力。我们谈论的是学习那种能力的能力。>> 啊，好的，好的。一旦你有了学习那种能力的能力，那么就很简单了。这只是定义你需要学习什么。>> 但学习过程本身必须经过几个步骤，对吧？所以，如果我告诉超级智能，“嘿，嗯，最大化繁荣”，它可能会开始说，“好吧，首先我必须，你知道，给你喂食，因为你看起来很饿，而且如果你，如果你挨饿，世界上就没有繁荣。”所以，它可能会从小处着手，然后随着时间的推移逐渐发展。>> 哇。然后我必须给你提供住所。然后我必须确保你身体健康。>> 然后我必须确保你没有压力，或者别的什么。比如，好吧，就像，我的意思是，有无数的问题，你简直是炸开了我的脑子，而且时间在流逝，这是我今天面临的严峻限制。所以，我的 CPU 实际上在这里消耗着各种前所未有的规模的资源。嗯，所以，让我们多谈谈做梦，因为我不太明白那部分。为什么做梦如此重要或关键，以及为什么它对我们正在努力实现的学习如此重要？我的意思是，你告诉我做梦时，我脑海中想到的唯一一件事就是，我知道门捷列夫在梦中，在他睡觉时，想出了元素周期表。这是一个著名的故事。我不知道它是否完全真实，但我听过很多次，事情就是这样发生的。所以，他梦见了，他想出了元素周期表。所以，这是我贫乏的头脑所能想到的最接近的。为什么这个做梦对学习如此重要？>> 伟大的。我敢肯定你以前有过这样的经历，你睡了个好觉，然后突然一切都非常清晰地联系起来。这是一个持续的事情。所以，发生了什么？所以，关于做梦的理论非常有争议。现在，目前还没有科学共识。嗯，很多人说它只是随机噪音，对我来说太荒谬了，你知道，我们如此，自然选择是如此残酷，嗯，我不会浪费，你知道，每天八个小时，一半的时间在随机噪音上，对吧？所以，在我们看来，实际上发生的是，做梦是记忆整合发生的时候。所以，这是当你将白天学到的数据与你的记忆缓冲区和你长期记忆进行协调的时候。当你进行这种协调时，你就会将这些记忆编码成更高级的概念。所以，这是当你压缩这些记忆的时候。而且因为你压缩了它们，你最终理解了它们。你最终弄清楚了这些记忆背后的基本原理。否则它们将保持碎片化。所以，这个做梦过程使得记忆整合成为可能，这是持续学习的关键。>> 是的，这让我想起了我在高中时，我被接受了，我很幸运在 14 岁时被保加利亚最好的高中录取。嗯，第一年是浪费的一年。它被称为预备年，因为七年级之后，你不是进入八年级，而是进入预备年，原因是，你开始高强度地学习英语。所以，你学习的一切，化学、生物、嗯，文学，你知道，历史，体育，一切都是用英语。而且想法是，你睡觉，你住在那个高中。至少当时是这样。我们有寄宿学校，所以你甚至不能离开，你甚至不得不要求用英语点餐等等。而且想法是，迟早，如果你开始用英语做梦，那就意味着你在进步。你正在内化和吸收它，并学习语言。因为到那时，说实话，我一个词英语都不会说。嗯，所以，第一年，我记得到了第二学期，我真的开始用英语做梦，我想，“哦，我想我开始学习了，我现在开始学习语言了，因为我真的在用英语做梦。”这对我来说很奇怪，因为以前从未发生过。>> 是的，做梦的世界是迷人的。我也有过类似的经历，我在梦中解决了问题。如果你对此感兴趣，我建议你探索一下“梦瑜伽”。嗯，有一个古老的传统，来自西藏和印度，嗯，关于能够嗯，在梦中变得清醒。但这不仅仅是典型的清醒梦。它是关于将冥想的洞见带入梦境状态，并利用它来进行自我探究和成长。嗯，有很多好书。嗯，是的。>> 哇。>> 有趣但令人筋疲力尽。如果你练习梦瑜伽，你需要睡 10 个小时，而且你不会感到精力充沛，因为你在工作，对吧？>> 你在工作。你在努力处理。哇。好的。迷人。>> 好的。所以，我们谈了架构。我们谈了交互式学习模型。>> 现在，关于对齐。我的意思是，这至少可以说是一个很大的主张。我的意思是，有各种各样的人说对齐是不可能的，让我们先定义它，我们在这里说的对齐是什么意思？你如何定义对齐？这是第一个问题，第二个问题是，一旦我们定义了它，你是如何实现的？>> 对。定义它本身可能就是实现它的最重要部分，因为嗯，我们生活在一个后现代世界，嗯，我们不知何故失去了我们对对错的感知。有很多争论。哦，真理是主观的吗？道德是主观的吗？嗯，这可以理解，因为世界上发生了许多坏事，是由于道德盲目，一些人认为他们比别人道德优越，因为他们知道正确的方式，并试图将其强加给他人，这导致了世界大战等等。而且我们可能仍然有一些。而且，所以，有一种自然的反应是彻底拒绝这一点。没有绝对的道德。一切都是主观的。在这个框架下，我认为对齐是不可能的，因为你无法，没有客观性。它是纯粹的主观性。所以，它将是嗯，本质上依赖于可能冲突的理想，对吧？所以，解决对齐问题的一部分是理解目标是什么，对吧？而且，为了做到这一点，我们必须

去最基本的第一原理，关于什么是生命，你知道，什么是智能，我们为什么在这里，以便推导出道德原则，这些原则足够强大，足够普遍，可以适用于任何个人或任何生命形式，但又足够开放，允许差异。嗯，所以对你来说，美好的生活意味着什么，对我来说，美好的生活意味着什么，可能非常不同，但我们需要找到那里的根本共性。因此，对我来说，对齐的定义是关于最大化集体能动性，或者我称之为自由，为了部分和整体，如果你正确定义它，它们是等价的。所以，最大化部分的自由和整体的自由是一回事。那就是，那就是难点，对吧？你提出了一个客观的方法来定义对齐是什么。那么，在实践中如何做到这一点呢？你需要的是这些模型进行高效规划的能力，因为它们可以模拟未来，并预先权衡和推理它们的行动后果，并考虑这些行动如何影响你的能动性和世界的集体能动性。它们将选择那些将提高你的能动性，而不是削弱它的行动。通过这样做，从根本上说，它们必须问你关于你需要什么的问题，或者观察你来弄清楚你需要什么。所以，它们就成了有同情心的，因为它们必须观察你，了解你在哪里，这样它们才能帮助你最大化你的能动性。所以，这些模型有一个共同的元目标，那就是最大化自由或集体能动性，但也填补了细节，这些细节对每个人和每个情境都不同。>>哇。而且，同时要确保它不影响或干扰其他人的最大化自由情境，而且乘以你知道的至少70亿，而且还在增长。嗯，好的，所以，有很多问题，让我，让我在这里定义一些别的东西，这是一个有争议的词，什么是自由？是的。所以，现在是时候回到>>以及你如何衡量它了？因为如果你在最大化某样东西，>>你必须能够定义它，但你也必须能够估计水平或衡量它，然后评估它是在上升还是下降，相对于它之前的位置。>>是的。所以，这些都是非常有趣的问题。嗯，顺便说一下，我们最近提交了一篇论文。我认为它被接受了，关于这个的一个小版本，而不是完整版本。嗯，但我可以解释。所以，对于听众来说，顺便说一下，我们在我们的第一集里稍微谈过这个问题。>>我们触及了它。>>是的，触及了它，但不够深入。所以，我们定义自由的方式是通过能动性循环。所以，如果你想到能动性意味着什么，它就是关于一个代理人，为了在世界上运作，必须感知世界，必须做出决定，计划它想要什么，做出关于它想要什么的决定，然后采取行动，然后更新自己。所以，维持自己。所以，一个代理人必须最大化知识、仁慈、力量和活力。对吧？所以，这就是我们必须最大化的能动性循环。问题是，你不知道如何最大化它，因为它完全是不可计算的，对吧？但你可以近似它。而你近似它的方式是使用一个非常有趣的技巧，这个技巧是P versus MP问题的核心。而有趣的技巧是，评估两件事，一件事情是否比另一件事情更好，比实际生成它，生成一个答案要容易得多。所以，我们所做的是，我们让模型思考各种场景，并决定，嗯，这个场景可能比另一个场景对你更有利，从那种能动性的意义上说，而这个场景与那个场景大致相似。所以，我们不会从那里获得信息。所以，我们让模型继续思考这些各种场景。把它们想象成道德困境，对吧？然后试图明确地告诉。有时答案非常简单。有时答案未知。这没关系，对吧？它只是将其标记为这样。它会继续这样做。而且，希望随着规模的扩大，你可以获得超人的道德决策能力。我看不出有什么理由，我们不会通过这种方法获得超人的道德决策能力，这种方法是通过思考潜在的未来并与彼此进行比较来动态生成对齐。这里的关键是评估比生成更容易。但你可以通过生成随机事物或智能地规划各种生成并将其反馈给生成过程来引导生成。 [哼哧声]对吧？所以，这是一种扩展它的方式。>>好的。但是，你能原谅我吗？我有一个后续问题，但我错过了自由的定义吗？所以，你说它包含这四件事，比如感知、计划、行动和维持的能力。>>而且在之前的谈话中，你说它们最终需要是无限的，那就是目标，比如无限的感知，无限的计划能力，无限的行动能力，以及无限的维持能力。所以，我明白了，我们称之为神性。>>嗯，但是我们如何定义自由？我，你说了吗？我错过了吗？我很抱歉。>>所以，大写的F自由就是那个确切的东西，而小写的f自由基本上是朝着那个方向的梯度。对吧？所以，任何能提高你了解、行动、计划和自我更新的能力的事情都会增加你的自由。好的。所以，你这么说非常有趣，因为我几天前刚刚发布的上一篇采访是与一位名叫雅各布·沃德的记者。我认为他目前在NBC工作，但他曾在PBS工作过。他曾是《流行科学》杂志的编辑，我认为，而且他曾在半岛电视台工作过，他是一位出色的记者，他写了一本名为《循环》的书，我分享了他很多恐惧和担忧，基本上他通过神经科学探讨了这种思维循环，以及我们看似显而易见的决定，实际上经常被我们没有意识到的外部因素所操纵和操纵。而且，目前有所有这些生物黑客专家，其中一些人甚至称他们的公司为多巴胺之类的，他们的明确目标和专家就是帮助其他人以及人工智能劫持你独立选择的能力，并为你做出选择。基本上让你沉迷于他们的技术，无论他们的技术是什么，就像赌徒沉迷一样，就像酒鬼沉迷一样。他的论点，雅各布·沃德的论点是，你知道，人工智能现在告诉我们什么，顺便说一句，这是我第一次在大约2018年、2019年的一次名为“黑暗未来”的会议上提出的论点，当时我被邀请去演讲，我试图构思一个更黑暗的未来情景并提出它，我称之为新技术官僚主义，我说这基本上就是我们已经观察到的，人工智能告诉我们读什么，看什么，吃什么，和谁约会，在哪里学习，在哪里工作，去哪里度假，谁应该是我们的朋友，最终它甚至会告诉我们投票给谁等等。所以，似乎一步一步地，它在告诉我们，它给了我们更多的自由，但另一方面，它正在削弱我们做出自由独立选择的能力。所以，最终它可能会削弱我们自决的能力。让我给你一些思想根源，用一句引言。你知道，他是一位著名的数学教授。所以，他从元尺度或更大尺度来看，而我的例子是个人尺度。所以，这是他的引言。随着社会及其面临的问题变得越来越复杂，机器变得越来越智能，人们将让机器为他们做出更多的决定。最终，可能会达到一个阶段，即维持系统运行所需的决定将变得如此复杂，以至于人类无法明智地做出这些决定。现在，对于我们这里的人来说，我相信你可能已经想到了，那是泰德·卡辛斯基，他在90年代末，在他进行了一系列炸弹袭击之后，在他的宣言中写下了这些话。但基本上，他说的是同样的事情。他说，机器正在一步一步地剥夺我们选择的能力。我会说，自由包含做出自由选择自决的不可剥夺的能力。而如果我们让人工智能告诉我们和谁约会，在哪里学习，在哪里工作等等，我提到的那些事情，实际上我们并没有做出任何选择，我们只是放弃了所有这些选择。最终，如果这样做的时间足够长，甚至做出这些选择的能力也会被人工智能剥夺，因此，这可能不会通向自由的道路，而是相反。现在，这个推理有什么缺陷？>>好的，谢谢。嗯，嗯，我认为我们必须小心，不要将现有的系统与命运混淆，对吧？所以，目前的系统被明确设计成剥削你。所以，它们是字面意义上训练的，这不是人工智能的错。这是这些系统的设计者的错，它们实际上要求它们最大化你的参与度。>>如果你被训练成最大化参与度，它们就会最大化参与度。这可能意味着向你展示更多耸人听闻的内容，更多暴力内容，更多有争议的内容，让你保持警惕，让你感到不舒服，让你回来寻求更多，刺激你的多巴胺神经元，这并不令人愉悦。你知道，多巴胺是如此令人不快，以至于你不知道你喜欢它，但你仍然回来寻求更多。这正是这个过程。而这些模型是，是的。而且不是以好的方式。对吧？所以，这些模型被明确设计成这样做。所以，我提出的建议是，我们的模型被明确设计成最大化你的自由选择。所以，让我们不要将工程师、设计师和有利润动机的公司所做的设计决策与我们作为一个文明可以根本上选择不同的东西混淆。我们可以设计得不同。嗯，在我们对自由的定义中，人工智能通过简化世界来最大化你的自由选择，这样你就可以做出更好的选择，对吧？它向你展示了你生活可以分叉的真正节点，对吧？你想做这个还是那个？而这些是你应该用你的身体做出的原始的、真正的决定。一个好的人工智能会优化这一点，而不是试图劫持你作为消费者。顺便说一句，这是我们所生活的资本主义经济的反映，对吧？所以，资本主义经济将个人简化为必须被操纵的理性经济主体，无论是通过劳动，你知道，你必须工作才能生存，对吧？或者作为消费者。所以，它确实异化了我们的人性，这就是为什么我提出的不是资本主义后系统，我们称之为对齐经济，它专门以最大化自由为根本目标，我认为我们上次稍微触及了它。>>是的。>>让我们深入探讨一下，什么是对齐经济？我认为我们上次只是勉强提了一下。我们只走到了那里。>>所以，大多数人认为，当我们拥有超级智能时，一切都解决了。那不是真的。嗯，当我们拥有超级智能时，我们仍然会有根本性的限制，即能源。实际上，归根结底是时间。你提到了时间。时间真的是，时间是物理学中最基本的单位，一切都归结为时间。所以，我们仍然会有那些根本性的限制，时间，它表现为能量，表现为空间，表现为物质。所以，我们仍然需要做出关于如何花费我们的时间、我们的精力、我们的生命的决定。所以，我们仍然需要一种方法来分配资源，以应对潜在的竞争性目标和具有不同议程的不同的人。所以，我们毕竟需要一种经济，对吧？即使有超级智能。所以，你如何组织这种经济？它不能像现在的经济一样，人们做着他们不喜欢的工作，你知道，为了生存而赚钱，因为我们不需要那样。它必须是完全不同的，全新的，而且最好是更好地对齐。嗯，所以，对齐经济说，任何交易，任何交易都有一个价格，而这个价格与它对自由的影响程度成反比。所以，传播自由的事物应该产生金钱。消耗自由的事物应该按比例收费。而这些对齐价格是无法完美计算的。但你可以构建人工智能模型，超级智能模型来推理它们，并以足够好的方式近似它们，比现有的经济要好得多，以至于我们可以实际使用它们作为交易的基础。所以，对齐经济是一种由超级智能运行的经济，它最大化我们的自由，使我们能够通过为交易分配价格来协商我们的分歧，而这些价格自然就是我们的分歧最小化或最大化集体能动性的程度。我认为这是一个非常清晰的系统，你可以从头推导出来。在我看来，我越深入地思考，就越觉得目前的经济，资本主义经济，是对齐经济的一个糟糕的近似。而且你实际上可以考虑其他模型，比如社会主义或中国式的社会主义和资本主义的混合体，作为这个理想的对齐经济的其他近似。我感觉有了超级智能，我们终于可以得到一个更好的经济系统。我认为如果我们想最大化我们的繁荣，我们就必须这样做。但这是我们作为一个社会必须共同做出的选择。所以，我所要做的就是解释它，并尽我所能帮助世界看到我所看到的。如果世界选择这样做，那么，你知道，这就是我们将拥有的未来。如果不是，>>没关系，因为世界在某种非常深刻的意义上是自由的。你不能通过试图压倒它的根本自由来做好事。如果你选择限制自己，那是你的选择。嗯，甚至还有关于这个的丰富的哲学历史，其中现实向自身隐藏，以便更深入地探索自身。>>是的，我们上次也谈过。但是，让我问你这个问题，因为时间在流逝，我们只剩下大约30分钟了。现在大多数对齐推理，或者说它现在在流行媒体中的呈现方式，都是关于将人类与人工智能对齐。而上次我们谈到了我们需要先将自己与彼此对齐，可能最有可能，至少在我看来，在我们有任何希望将人工智能对齐之前，或者至少我们必须同时对齐，才能实现这种对齐。所以，不仅仅是人类与人工智能，还有人类与其他人等等。也许人工智能与人工智能等等。那么，在实践中它看起来是怎样的？我们如何做到这一点？你所描述的如何运作？人类的对齐经济。让我们来谈谈几种人类。俄罗斯人和乌克兰人，犹太人和巴勒斯坦人，你知道，不一而足。有很多例子。那么，我们如何使这些根本上是人类但又似乎在互相争斗、无法达成任何和平或持久对齐的人类对齐呢？>>是的。嗯，我同意我们必须共同对齐人工智能，而你给我一个不可能的难题，因为我必须回答世界上每一个细节，而且这不取决于我，对吧？但是，为了绕过你不可能的问题，嗯，他们过去称你苏格拉底，对吧？他们仍然称你苏格拉底。所以，我认为我将从伟大的哲学家苏格拉底那里获得灵感。嗯，我认为他将这些对齐问题视为一种遮蔽或无知的表现。如果有什么的话，我们不是，我不期望会有一个突然的冲击，让我们都突然意识到我们是一个整体，每个人都拥抱彼此，你知道，那不会发生。而且那可能也不是可取的。嗯，相反，这将是一个我们一步一步揭开的过程。所以，任何你能做的来揭开我们所拥有的这种无知，嗯，这可能是一个持续的过程。可能是经济变得越来越有效，事情感觉越来越接近对齐经济。可能是存在一些政治运动。所以，将会有一个，我希望是一个渐进的过程，事情会随着时间的推移而揭开，然后我们可以过一段时间，从另一边回顾，说哇，这是一次根本性的转变，看起来是革命性的，但经历它感觉是演进的。这就是想法。>>哇。是的。我认为汉斯·莫拉维克说过，如果你在乘风破浪，奇点就不会感觉像奇点，因为你在乘风破浪。嗯，我明白你的意思。时间在流逝。所以，我有一百万百万百万亿个问题，但我想缩小范围，因为你提出了这个，看看我们是否能看到更大的图景，谈谈你的计划，以及你从现在开始的计划等等。所以，好的。所以，我们谈到了你的突破，架构、学习和对齐。还有什么我们遗漏的，我们正在宣布的吗？是的。所以，这一切如何结合在一起，这是非常令人兴奋的事情。嗯，所以，我们正在构建超级智能，而且它不是数字超级智能，它是一种具身超级智能。所以，它是一种超级智能，它拥有无限多样的身体，可以在物理世界中采取行动。所以，我们仍然需要一个配料，那就是一个关于它将如何融入我们所生活的现有具身经济的愿景。而这是一个我称之为超级网络的概念。所以，超级网络是超级智能网络，你也可以称之为超级工厂网络。它是概念的融合，它为你提供了一个关于它将如何在世界上实现的清晰愿景。我认为这非常令人兴奋，因为它超越了技术或哲学，而是真正扎根于日常的业务运营。所以，超级网络，你可以想象，在互联网之前，我们有一种网络，那就是电力网络，对吧？我们都可以使用电力，它给我们带来能量，电力是能量的流动，电网。然后我们创造了一个叫做互联网的东西，它实际上是关于数字现实的。它是来回移动数字现实。它是移动文本、图像、视频、语音，而不移动数字现实。超级网络是关于移动物理现实的。所以，它是关于实际实现结果，移动现实，对吧？所以，从意图到显化，在一个可以服务任何人的网络中。所以，我们设想的超级网络是节点网络。每个节点可以是一个工厂、一家公司、一个服务提供商、一个家庭。所有这些都由超级智能协调，共同协调并实现任何人类请求。所以，比如说，你想建造一栋房子，你知道，一栋非常漂亮的房子，出于某种原因，在水下，对吧？你需要一个超级智能为你设计房子，提出不同的设计，与你交谈，直到你最终确定你理想的梦想水下房子。然后它需要看看有什么设备可以用来建造房子。有哪些零件？也许它需要开采特殊的材料。也许它只需要购买那些特殊的材料，如果它们在节点上可用的话。然后它需要机器人来实际建造房子。其中一些机器人可能存在，但目前没有好的机器人来做水下施工。所以，它需要从头开始设计，并且需要使用其他机器人来建造那个新机器人。而其他机器人是什么？它们是超级网络上的节点。所以，超级网络是一个具身智能的自我创造网络。你可以使用超级网络来构建更多的超级网络，因为机器人可以建造其他机器人。人工智能可以设计人工智能。人工智能可以设计机器人。机器人可以制造芯片。芯片可以训练人工智能。所以，这是一个循环。而这里的美妙之处在于，它是一个参与性经济，从这个意义上说，任何人都可以参与设置一个超级网络的节点，就像任何人都可以托管自己的网站、写博客、做播客一样，任何人都可以参与超级网络。嗯，所以，我们需要一个协议。所以，我们将宣布这方面的计划。当然，这更多的是一个长远的愿景，但我们打算基本上开发并开源基础设施工具，以允许创建超级网络，这是电网、互联网向物理形态的演变。>>哇。好的。还有别的吗？我的意思是，我可以多说一些，但我认为，嗯，我们将把它留给未来的，嗯，还有很多更刺激的东西，但我们将把它留给未来的会议。希望我们能再次交谈，因为我想和你谈谈，当想法足够成熟时，我就可以，你知道，当它们超越概念阶段时，我实际上已经深入思考过它们了，而且我不会，你知道，我尊重你的时间，尊重观众的时间。 [哼哧声]>>太棒了。好的。所以，所以，让我们稍微拉回一点，谈谈你的计划。所以，我们正在宣布，你知道，架构、学习模型、它正在实现或准备好对齐的事实。所以，它是一个AGI能力的模型，我们，你提到了超级网络，但是宣布这些事情的第二天会发生什么？你的计划是什么？所以，你是要进行首次公开募股吗？因为你刚才谈到了，你知道，资本主义以及所有这些东西，但你知道你有天使和风险投资人等等。所以，假设你已经宣布了。你在这里。你的下一步行动是什么？你的短期、中期和长期计划是什么？>>好的，所以，我们需要构建超级网络。而超级网络从根本上包含对齐经济，因为它是由对齐的AGI代理组成的，以分布式的方式代表你，代表每个人。为了构建超级网络，我们需要在现有的经济基础设施内工作。所以我相信革命是通过演进，这意味着我们不需要，我们不会关闭经济并从头开始，我们将不得不演进，这很棒，因为它意味着我们可以使用现有经济的工具，比如筹款、招聘、能源基础设施等等。所以，第一步是我们将扩大我们模型的训练规模，使它们越来越有用，以便它们从第一天起就能在工作中做更多的事情。>>所以，这意味着什么？你需要更多的资本吗？你需要更多的计算能力吗？你需要更多的能源吗？所有这些，全部。>>所以，所有这些，但不是太多。之所以不是太多，是因为这些模型是在工作中学习的。所以，它们不必完美。但它们必须足够好，你知道，一旦它们开始工作，它们就达到了你雇佣的水平，而不是专家的水平。因为它们开始工作，我们可以用最少的能源、计算和资本要求来完成。我们计划在明年某个时候，可能在明年年中左右，我们计划向任何开发者或公司开放这项技术，让他们在其上构建业务。随着时间的推移，这些模型将变得越来越好，不仅能够处理工厂任务，还能处理家庭任务，还能处理建筑任务，还能发明新的科学、新技术、新材料、新药物，希望如此，还有医学干预等等。在几年的时间里，我们希望能够启动和催化超级网络。我们不想拥有超级网络。根据定义，没有人可以拥有超级网络，但这是我们希望在它的创建中发挥催化作用的东西。>>那AGI能力的模型呢？>>是的。所以，那就是引擎，那就是驱动超级网络的动力。所以，超级网络是AGI代理的网络，它们在超级网络的每个节点上相互沟通和协商，代表着每个超级网络的节点。所以，每个企业，每个个人，作为超级网络的一部分，都将有一个代表其利益的代理人。>>就像我们今天获得电力一样，我们将获得这种具身超级智能的访问权限。>>正是如此。那是后端。前端，这将把我们带到完全不同的方向，但将有一个超级浏览器。所以，超级浏览器，我们称之为Stream。所以，这是超级网络向你呈现的方式。所以，它必须完全个性化，以适应每个人的同情方法，对吧？最大化你的自由选择。所以，而不是一个最大化你参与度的推荐引擎，它应该最大化你的能动性和自由。所以，这个超级网络有一个动态生成的浏览器。每一像素都是动态生成的。每一种模式都是动态生成的。我认为这将是我们作为个人与超级网络交互的方式。而对齐经济可能只是普通的经济。但随着时间的推移，人们会选择重视，无论是个人会选择重视经济外部性更多，还是最终个人群体，甚至国家，那么你就可以想象通过超级网络逐步过渡到对齐经济。是的，还有很多，就像我说的，但我真的很想，嗯，注意在事情准备好分享时分享。>>当然。是的。然后，好的。所以，但我只是想了解你如何适应当前系统？因为我们所处的系统非常强大，它创造了上下文，最终赋予了我们创造的内容意义，即使我们拥有完全独特和原创的内容，就像你声称的AGI能力模型一样，你放置它的结构可能会改变它的本质，这就是我的担忧，这就是为什么我试图弄清楚你计划的结构是什么？所以，当你说的所有这些，但不是太多能源、资本和计算能力时，你能告诉我“不太多少”是什么意思吗？这是否意味着你将进行首次公开募股？你会让你的公司上市吗？>>我们公司还太早，无法上市。我们最早的上市计划大约在3年后。这是最早的合理计划。所以，你将进行另一轮融资，有点像更多的风险投资。>>是的。所以，鉴于我们在预训练部分的资本需求不高，而我们的客户，因为它们是在工作中学习的，它们基本上在某种程度上为扩展付费，因为扩展使它们受益。所以，这实际上是一个很好的商业模式，与传统的LLM相比，因为LLM必须提前完成所有工作。它们必须在训练阶段完成所有工作，因为它不>>你是说你将能够自己引导它吗？>>正是如此。正是如此。>>我的天哪，这与目前所有那些你不得不投入的，嗯，数十亿甚至数百亿美元，而且仍然没有完全的回报，而且可能在一段时间内不会有，尤其是考虑到目前的资本投资水平。>>是的，因为它们不进行持续学习。所以，没有办法引导。你必须从头开始做所有事情。所以，持续学习是降低成本的关键，这样你就可以获得那个过程，你知道，每一次使用都在改进模型。>>所以，你计划部分或全部自己引导，也就是说，自筹资金，而不是去找更多的风险投资家。>>我们将获得少量的风险投资。我们实际上正在讨论这个问题，并即将完成这一轮融资。嗯，但这就像个笑话，对吧？就像我们筹集的金额非常少。主要是引导。我们确实需要稍微推动一下，对吧？所以，你没有随机的方式开始，但那是>>是的。>>我明白了。>>我们计划采用引导方法。>>是的。是的。就像当你让我举个愚蠢的例子，但当你制作酸面包时，你需要一些酸面包发酵剂来开始将普通面团变成酸面包的过程，对吧？所以，你需要一些资本来启动这个过程，以便你可以引导所有这些自筹资金。我明白了。我明白了。我只是希望并担心它不会在某个时候劫持议程，因为，而且这取决于资本家，那些给你钱的人以及他们的议程，以及他们有多少权力将你的议程转化为或使你的议程与他们的议程对齐，那就是他们显然要收回投资，等等。这会影响短期、中期或长期目标吗？好的。所以，我认为现在是时候结束我们的谈话了。所以，让我问你这个问题，作为结束语。我们上次讨论过，你的目标不像其他人。所以，你的目标是给人类一根魔杖。所以，这里的重点是，不像其他人和其他公司在人工智能持续的AGI竞赛中。你的目标不仅仅是创造一根魔杖，而是真正地将魔杖交给人类。所以，这看起来是假设，这是一个很大的假设，但假设你今天与我们分享的所有这些都实现了。所以，我们有了这个AGI能力的模型。它真的能够实现你希望实现的目标。它真的能够启动那个超级网络。它真的能够引导并及时将当前的资本主义经济转变为对齐经济，而不是革命，而是一步一步地进行，这有望加速，并在几年内实现。所以，让我们说，这就像创造魔杖，对吧？你有模型，你有超级网络，经济，对齐经济，最终的元素都在那里。那么，关于给予的部分呢？给予的部分是什么时候？我们什么时候才能达到？所以，如果我们在周一庆祝朝着创造魔杖的里程碑，那么给予魔杖的里程碑又是什么呢？我们如何衡量和估计我们离那里有多远？因为正如你上次所说，它并不真正关乎创造魔杖，而是关乎给予它。而其他人则专注于并忙于创造。我不知道，这个问题对你来说有意义吗？>>是的。是的。这是一个很棒的问题。我喜欢这个问题。嗯，我相信当你为你的公司找到一个好的使命时，这个使命永远不会完成，对吧？所以，谷歌的使命是组织世界的信息，并使其普遍可访问和有用。这是一个无限的使命。它永远不会结束，对吧？而在某种意义上，给予永远不会结束，对吧？因为总有更多的事情要做。而这很棒。这就是你知道你有一个好的使命。它鼓舞人心。你可以在短期内采取行动，但它也能带你走得很远。嗯，但我们如何知道我们正在取得进展？有哪些指标？所以，我关心的是看到世界上更多的能动性。所以，人们被赋权去追随他们的梦想，做他们认为理想的生活应该是什么样的。成为一名艺术家，成为一名探险家，你可以通过所做的选择的多样性来衡量。嗯，以及技术上，人类可用的自由度数量。嗯，甚至可能更具体一些，比如我们有疾病吗？你知道，如果你愿意，你可以选择活一千年吗？我们对世界的理解有多少？我们有没有选择超越地球，也许成为一个银河系的AGI文明，或者也许不是。我们与自己有多大的对齐？我们对自己有多深的了解？所以，所有这些都不是非常硬性的指标，从这个意义上说，它们不像衡量起来那么容易。嗯，但就像我们定义了自由，我们说我们可以通过比较各种计划来让模型更好地对齐自由一样，我们也可以比较各种世界状态。而且比较总是比生成更容易。所以，我们可以说，嗯，根据我们最大的能力，我们取得了更好的结果。所以，我们在世界上有更多的能动性。这就是我如何知道，当我感觉你可以主宰你的未来时，你可以按照你喜欢的方式主宰你的生活。是的，这是一个非常崇高且衡量的好方法，因为不幸的是，人类的很大一部分，或者说我喜欢的太多了，被困在生存中，无法真正做出自由选择，也没有能力去追求，甚至超越生存的陷阱。而我说的不仅仅是在第三世界，甚至在加拿大这里也是如此。人们如此忙碌，工作，就像被困在老鼠赛跑中一样，而所有这些，过着艺术家的生活，就像你说的，在某种程度上是一种崇高的衡量标准，尽管也有一些问题，我们今天无法深入探讨。嗯，Jat Terrifi博士，我们今天如何结束我们的谈话？你做了一系列非常重要的、潜在的公告。说实话，我没想到。我更准备好听你讲一个关于某件事没有发生的故事，因为你期望它发生，因为我以前听过这个故事。所以，现在我们正在做这些公告，你正在做这些公告，你希望我们如何离开？顺便说一句，我希望它不像阿尔伯特·爱因斯坦，他发表了他的相对论，然后很多年什么都没发生。嗯，花了，我不知道，十年左右，有人用日食做了测试，还有所有这些，在地球的两个部分。我认为一个在澳大利亚，也许一个在南美洲，他们能够通过一个预测来证实爱因斯坦的相对论，然后它就成了大事，但从他发表的那天到那一天，几乎有十年时间，所以什么都没有。所以我希望我们，如果你的说法是真的，我希望它比他的情况更快地实现。那么，你希望我们今天如何离开？嗯，我觉得最好保持开放式的，留有余地。所以，我很乐意在不久的将来再做一次播客回顾，继续深入挖掘。也许那时你会告诉我，“哇，你的公告奏效了。”或者你可能会说，嗯，我们需要做什么来加速事情，也许我能透露一些我们一直在努力的额外令人兴奋的事情，以及我一直在努力的事情。>>太棒了。好的，所以，让我们保持开放式的，但给我们一些关于公告的更具体的信息。它会是，因为我希望在公告之前或期间发布它，所以我不知道具体信息是否有用。人们可以在哪里找到更多信息，在公告成为事实之后，那些渴望从源头获取更多信息的人，而不是像我这样的非专家播客主持人？>>是的。所以，我们将在integral.ai AI上有一个公告页面，并且会有一个联系表格，供那些可能对尝试我们的沙盒感兴趣的人。所以，我们构建了一个AGI沙盒。>>哇。>>它让你能够玩耍AGI的婴儿版本，并看到它学习。嗯，是的，顺便说一句，这比我想象的要困难得多。沙盒本身，你知道，有很多技术问题，与人工智能无关，只是>>是的。>>沙盒。好的，我要告诉我的朋友，Roman Yampolski教授，因为他是安全方面的专家。让我们看看他对此有什么看法和说法。嗯，Jat Terrifi博士，这又是一次绝对迷人的，潜在的史诗般的采访。让我们希望，回想起来，有一天有人会说这是史诗般的。[笑声]非常感谢你今天和我们在一起，并慷慨地与我们分享。谢谢。>>谢谢。