Transcription
你在 OpenAI 的一个非常有趣的时期，正值大型语言模型革命的黎明。我的意思是，我当时领导着 OpenAI 的开放式研究团队，或者说我创立了那里的开放式研究团队，所以我非常关注这些新的巨型模型对于追求有趣或好奇的道路的能力意味着什么。你认为是否存在一个滑坡，通往一个高度目标导向并寻求权力的 AI？我只是不认为这是对真正超级智能的合理描述。它们最终不会被目标所引导，因为被目标所引导并非超级智能。欢迎来到“末日辩论”，今天的嘉宾是 Ken Stanley 博士。他曾于 2020 年至 2022 年在 OpenAI 领导开放式研究团队。在此之前，他是中佛罗里达大学计算机科学教授，并曾担任 Uber 的核心人工智能研究主管。他合著了《伟业无法计划：目标的神话》，该书认为，一旦你设定了一个目标，你就限制了实现它的能力。他还因创建新颖性搜索算法和神经进化增强拓扑（NEAT）算法而闻名。我很高兴能比较我们对智能本质的看法，当然还有超级智能 AI 带来的迫在眉睫的人类灭绝的风险。Ken Stanley，欢迎来到节目。谢谢你的邀请，我很高兴来到这里，也很感谢你创建了这个论坛。我也很感谢你。你进入了狮子窝，我们事先就知道我们会有一些相当大的分歧，所以你准备好讨论了吗？我准备好了，是的，我们开始吧。好的，太好了。你在 OpenAI 的一个非常有趣的时期，你知道 GPT-3 我认为是 2020 年，GPT-4 是 2020 年，而你在 OpenAI 担任研究团队经理，时间是 2020 年到 2022 年。你当时在做什么？是的，你说得对，那是一个非常有趣的时期。我的意思是，当我加入时，GPT-3 正在崭露头角，这简直是启示性的。能够很早就体验到它，可能比其他人都要早，就像窥见了未来。我当时的思考和关注点是，这个非常大的发展对开放式研究意味着什么。我的意思是，我当时领导着开放式研究团队，或者说我创立了那里的开放式研究团队，所以我非常关注这些新的巨型模型对于追求有趣或好奇的道路的能力意味着什么。嗯，以及产生有趣的产物，这些产物不仅仅是问题的解决方案，而是被认为是真正具有创造性和新颖性的。关于这一点有很多问题，比如它们显然非常令人印象深刻，但它们真的能做到这一点吗？但那是我最喜欢人类能做的事情，所以我当时正在从这个角度审视这种技术的前景。我知道 OpenAI 有很多并行的研究路径，甚至他们的 GPT 路径，你知道，它最初是一个人开始的，然后慢慢有人加入，然后变得越来越核心。你的开放式研究最终是合并到 LLM 项目了吗，还是说它最终去了哪里？在某种程度上是的，因为如果你从大局来看，不一定是我的角度，它确实与“当数据耗尽时会发生什么”这个问题有关。这正是开放式研究自然融入那些雄心勃勃的大公司的地方，因为，而且显然关于数据是否会耗尽，是否有足够的数据，存在争论。但总的来说，能够生成更多高质量的数据总是好的。如果你从这个角度来看，这就是开放式研究在各个方面所做的，它基本上是关于生成有趣且有用的东西，然后你就可以消费这些东西，并继续改进。你知道，关于这是否真的是一个良性循环，存在各种各样的问题，但它确实融入其中。所以，在某种程度上，我发现自己与整个公司正在融合的主题相融合。当我刚来的时候，就像你说的，有很多不同的流派，但有一种逐渐的融合，一切都是 LLM。我也发现自己是这样。所以在 GPT-4 发布时，你也在那里，你的开放式研究是否被纳入了 GPT-4？我的意思是，我离开之前就不知道了，所以我实际上不确定，但我认为我们的一些研究成果可能已经进入了 GPT-4。鉴于我离开时的位置，这很可能是真的。但我不认为这是一个重要的因素，这是我相当自信的评估。它可能在那里，但它可能并不重要，因为它可能没有它也会是相似的。但可能有一些东西是我们通过这种研究能够产生的，这些东西可能达到了可以被纳入 GPT-4 的标准。明白了，明白了。好的，我们肯定会深入探讨开放式研究，那将是一个重要的讨论话题。但是，你知道，回到你的背景，众所周知，OpenAI，我们从报道中得知，Ilya Sutskever 喜欢提醒大家感受 AGI。对你来说，感受 AGI 是什么意思？我的意思是，我实际上认为那是在我离开之后才真正开始流行的，因为在我任职期间我并没有经常听到这个说法，但我确实听过这个词。对我来说，它只是一个口号，而且我并不真正喜欢它，因为我猜它不是什么大事，但它在文化上似乎让它听起来像是一种体育比赛或娱乐。我觉得这是一个更严肃的追求，所以我不一定会用这个口号来描述我为什么会受到激励去思考这个问题。但最终，我的意思是，我可能过度分析了一个简单的口号。公平地说。好的，那么让我们进入你的研究的核心，以及你的一大概念。我们将讨论开放式研究，我认为你似乎在目标和开放式研究之间划出了一个二分法，是吗？你看到了一个根本的二分法吗？是的，是的，我的意思是，当然需要稍微澄清一下，你知道，因为这些术语很滑溜，而且可能定义不清。所以，是的，请讲。好的，教教我们。是的，所以，为了让它清楚，而不是过于正式，当我说的“目标”时，我的意思是你的搜索有一个目标，它可以是一个优化算法，这就是你希望它做的，它可以是令人印象深刻的，比如学会预测语言，学会预测下一个词。它可以是学会走路，这是一个目标。然后，我们构建问题的方式是，当存在一个目标时，要么你成功了，然后你庆祝，要么你没有成功，这通常是因为你陷入了局部最优值之类的东西。然后你就会想，我们能做些什么来改进它呢？所以这是由目标驱动的过程。值得强调的是，这不仅仅是一个算法上的想法，人类也一直在不断地追求目标，无论是机构还是个人。你知道，我们的公司有目标，OKR。教育机构有目标，比如学校有目标，比如考试成绩。所以目标在整个社会中是绝对普遍的。这是追求成就最正常的方式。那么开放式研究是什么呢？开放式研究是一个没有明确目标的进程，没有明确的、最正式意义上的目标。所以，我不想那样说，因为有些人会说，这种开放性本身就是一个目标，这可能会让事情变得模糊。但首先，我只想清楚地说明我所做的区分，那就是在开放式研究中，你并非有意地知道你要去哪里，你做决定的方式是决定什么会是有趣的。所以，开放式研究过程会做出决定，而实际上并没有目的地。而现实世界中存在的开放式研究过程是极其宏伟的。它们是自然界中最令人难以置信的过程。而且只有两个，我想强调一下。一个是自然进化。你从一个单细胞开始，然后等待大约十亿年，数亿年，所有生命自然界都被发明出来了，从计算机科学的角度来看，这只是一个运行。我们没有任何类似算法的东西。它发明了光合作用、飞行、人类思维本身，以及人工智能的灵感，所有这些都在一次运行中。我们不会用目标驱动的过程来做这样的事情。这是一个非常特殊的、发散的过程。第二个是文明。文明并没有最终的目的地。并不是我们都在试图制造时间机器，并且我们都怀有这个统一的目标。我们都做发散的事情，正因为如此，我们从轮子和火发展到空间站和计算机，在几千年里。在这种情况下，这是一种特殊的非目标过程。但是，正是这些非目标过程负责宇宙中最令人难以置信的创造力。所以我们需要努力去理解它们。也许我只想再说一点，就是承认你可以在开放式研究过程中设定某种目标。比如，你可以说进化有一个生存和繁殖的目标。这有点吹毛求疵，但我喜欢在那里做一个区分，因为我不认为生存是与我所偏好的目标相同的正式目标，我宁愿不称之为目标，因为它不是你尚未实现的东西。当我想到目标时，我想到的是一个我想达到的目标，而我还没有达到。生存和繁殖，第一个细胞就已经做到了。所以我认为它更像是一种约束，这个谱系中的每个人都需要满足这个约束，而这个约束已经被实现了，并且在这种约束下，我们将永远继续满足它。当我们这样做时，作为副产品，我们发现了非目标的东西，比如人类思维。所以它与目标驱动的过程不同。有趣。好的，所以，稍微总结一下。你谈到了目标与开放式研究的对比。我认为也许还有一种替代的术语也适用，那就是你使用的收敛与发散搜索过程，对吧？你会把它们当作同义词吗？开放式过程就像发散过程。好的。现在我想进入你所说的，你说人们会争辩说进化不是发散的，进化是收敛的，因为它试图优化遗传适应度。而你说不，不，不，那只是一个黑白分明的约束。你必须生存和繁殖，但然后你真的想去探索，这大概是你的立场？是的。好的。我想站在另一边。所以，当你说是“这只是一个约束，它必须生存和繁殖”时，它仅仅是一个约束吗？因为我认为它是一个梯度。我认为你所说的是，当有一个新的突变时，在新的突变有益的情况下，比如视力在进化，新的突变会调整生物体的器官，使其能够更好地看到光的位置，对吧？我想到的是从感光神经斑块到真正完全形成的眼睛的过程。你有一个梯度，哦，这个新的突变正在调整器官，使其变得更好。这非常像我们训练神经网络时的损失函数。它非常像梯度下降式的搜索。那么，为什么你称之为“黑白约束”而不是一个收敛的目标呢？是的，我并不否认进化中确实发生了优化。竞争压力几乎存在于每一个谱系中，这些压力确实导致了改进的梯度，就像你刚才描述的那样，是目标驱动的。但重要的是要强调，为什么地球上存在如此多的生命多样性，仅仅依靠这个观察是无法充分解释的。这是高中课本上的观察，而且似乎是大多数人看待进化的普遍解释，即存在这些改进的梯度，一切都在遵循它们。但这对于解释我们为什么拥有如此多的多样性，以及如此惊人的多样化的成就几乎没有帮助。它不仅仅是多样性，而是令人惊叹的、令人惊叹的发明多样性。要解释这一点，就需要其他的解释。我想指出的是，在进化中，从宏观尺度上来说，很难解释你所说的“更好”是什么意思。你知道，我们人类拥有所有这些惊人的能力，视觉是其中之一，认知处理也是。然而，从客观的角度来看，我们如何比单细胞细菌更好呢？我们的生物量更少，每代产生的后代更少，最终人口也更少。没有客观的东西可以指出我们为什么在优化方面更好。我们更好的是我们更有趣，这是一个不同的、正交的分析维度，就是说，什么让我们与众不同？不是因为我们进化得更好。所以，很多进化都与逃避竞争有关，比如开辟新的生态位，找到一个没有竞争的地方，这不是一个优化问题。这是在做一些不同的事情，这就是它的发散组成部分。我们需要解释这种发散性来解释这个过程的有趣部分。我认为这些收敛的优化子过程实际上不太有趣，因为它们很容易谈论，但它们无法解释进化的全球宏观过程。好的，让我们回到你之前说的。你说有些人认为自然选择的进化实际上是收敛的，它试图优化一个目标，但你声称这并不能解释地球上生命极其广泛的多样性，对吗？是的，我的意思是，它显然不是收敛的。我的意思是，进化并没有收敛，所以这简直是错误的。这就是我解释地球生命多样性的方式。地球有很多生态位，这就是我解释的方式。嗯，是的，我的意思是，这对我来说似乎只是一个观察，而不是分析。当然是真的，有很多生态位。但这只是提出了问题，为什么呢？因为如果你看看我在这里看到的真正问题，大多数在 AI 领域进行进化类比的人都认为遗传算法和进化计算是他们类比的基础。那些算法的工作方式就像你描述的那样。比如，一个进化算法，我在我的职业生涯中做了很多，或者一个遗传算法，你设定了一个目标，适应度是根据目标来衡量的，你明确地遵循这个梯度，就像你在其他优化算法中所做的那样。所以这是一个比喻，对领域内的人来说非常有吸引力和直观。但想想遗传算法做什么？它们确实收敛，它们几乎与自然界发生的事情无关。直觉是错误的，不幸的是，它已经成为一个误导性的比喻，很多人都抓住它，认为它代表了实际过程。这些是高度收敛的算法，它们总是收敛到一个点，然后卡住，就像传统的优化一样。这与我们在自然界看到的完全不同。好的，所以，我想我甚至不知道你现在的论点是什么。所以也许我们应该退一步。是的，我认为你试图提出一个论点，即如果你想在地球上繁衍生命，如果你想利用地球的资源，那么你最好通过使用发散搜索算法来实现。这就是进化成功做到的。所以，总的来说，发散搜索算法非常强大，它们是智能的关键，这就是你的论点吗？这部分是我的意思。我的意思是，我不认为这一定是为了繁衍地球。我的意思是，我们不关心地球是否被繁衍，这只是偶然的。算法恰好是这样工作的，不是因为它这样工作更好或更差，它只是这样工作。但我们感兴趣的是我们观察到的副产品，那就是它高度发散且高度创造性，我们想知道为什么，如何解释它。当然是这样。我的意思是，我认为这部分不是有争议的。这是极其多产的创造力，我们没有这样的算法，在计算机科学中，进化算法不具备这种特性。所以这里有一些需要解释的，我们还没有正确地抽象出来。是的，这与智能有关，因为就像我说的，文明也具有这种特性，它建立在人类智能之上。这与超级智能问题有关，因为我更深层次的论点是，超级智能将是开放式的。它必须是，因为这是人类智能最独特的特征，是我们多产的创造力。这是我们留下的遗产。所以我们不会得到一个不是开放式的超级智能。因此，我们需要理解发散过程，而我们所有的优化比喻都无法解释这种特性，这可能会误导我们，让我们在分析未来将发生什么时走错方向。好的，这是一个很好的中心论点，可以用于我们更大的对话，那就是你声称超级智能将是开放式的。它不会真正符合一个目标优化器的模型，对吧？这是你的中心论点之一。是的，这是一个中心论点。我认为，我认为这是一个不完整的比喻，用于理解我们未来将面临什么。并不是说某人对他们的末日预言是错的，这不是我想要提出这个论点的原因。更重要的是，我认为通过承认这种非常困难的特性并努力去理解它，而不是否认它，假装生命是一个简单的优化过程，我们可以更好地分析我们是否面临着一些糟糕的事情。就像，那不是现实。是的，所以，当我将你的中心论点与你对地球生命进化的观察联系起来时，我认为，你知道，我同意其中一部分，即地球层面没有目标。所以这个系统中没有目标，没有计划。地球没有说，让我们最大化 X。它更像是，每个基因都在被推动，每个基因代码都在被推向一个更好的版本，以适应其生态位，对吧？更好地在其生态位中复制。所以它只是一堆局部搜索，因为有不同的生态位，它只是达到了这些不同的适应度景观中的局部山丘。所以，我的意思是，我同意你的观点，这只是一堆没有中央计划的爬山。它只是，我只是，对我来说，爬山仍然非常强大，对吧？所以，我们可以同意，如果你只看一个生态位，只看一个生态位内的竞争，你认为这可以通过优化目标的想法很好地建模吗？也许我不会完全走到那一步，因为我认为即使在生态位内部也存在发散，那是一种不同的过程。但我承认，分析单个生态位是一种更好的方式。但看看你故事中缺失了什么。重要的部分是你故事中缺失的部分。你已经解释了生态位内的优化，但真正有趣的是，长颈鹿是怎么来的？在它们成为长颈鹿之前，它们在优化什么生态位？答案是，你需要一棵树才能有长颈鹿。树是这个过程的产物，而不是从一开始就固有的适应度函数。生态位是由过程本身创造的，然后过程找到了可以满足该生态位的东西。这无法通过优化来解释，这才是其强大之处。我将其描述为，有一个额外的搜索组成部分，我们没有谈论过，那就是收集。优化是一回事，遵循梯度。但收集是另一回事，这是一个非常强大的概念。收集意味着收集垫脚石，垫脚石是可以通往其他有趣事物的。进化具有这种特性，它是一个惊人的收集者，因为存在的每个物种现在都加入了收集，并为其他物种的出现创造了新的机会，因为我们都是彼此的机会。这种收集过程是解释开放式研究如何运作的一部分，而且，你知道，它也存在于文明中。我们看到发明，我们收集的发明越多，我们就能创造越多的发明，因为我们站在前人的肩膀上，建立在以前的发明之上。但是，你知道，一项发明也为另一项发明创造了机会，比如门，在你发明钥匙之前就需要门。所以，这就是我们在思考地球的发散特性时需要考虑的东西，而且它肯定会出现在 AGI 或超级智能中。好的，如果我们只看一个器官的进化，比如眼睛，好吧。那么眼睛是如何构建的？这可以被建模为一个收敛或目标寻求的过程吗？还是不完全是？当然，它的某些部分，比如为什么它在某些时期变得更好，我不知道，因为我不知道眼睛的全部历史，但那些可能通过你所说的得到了很好的描述。但故事中会有一些点，它们明确地没有发生，因为它们让视力变得更好。这在所有谱系中都是如此，你知道，发生的第一个突变就像完全是瞎猜。它不是因为实际上在增加任何东西的适应度。而且这些东西经常在很久以后被重新利用。它们很长一段时间都不会增加适应度，但最终却对某些事情有用，而不是你所说的“原始目的”，在遥远的未来。而这些时刻实际上是至关重要的，你知道，就解释为什么所有这些东西都在这里而言，就是那些我们没有优化，而是出于其他原因，与搜索空间的结构有关的时刻。所以，总结一下你刚才说的。你基本上是在说，是的，眼睛只是积累了一堆基因选择，每个基因都让眼睛变得更好。但看看为了让它起作用而发生的突变。你基本上是在说，让我们更关注突变方面，对吧？嗯，是的，当然，它确实收集了一些可以使事物“更好”的东西，相对于某种生存或适应度的衡量标准。但是，你知道，即使在……听起来就像我们在谈论眼睛出现之前。是的，那些最初的突变确实符合我的故事，因为那时还没有什么可以优化的。但即使在某种程度的光敏感性出现之后……我敢肯定，很可能发生了一些突变，导致了……视觉保真度的下降，但它们仍然因为其他原因被保留了下来，这些突变可能导致了视觉保真度的下降，但它们最终却成为了更好视力的垫脚石。我的意思是，这是真的，这种迂回的过程在所有创新过程中都是如此。你前进，然后你稍微后退一点，你后退一步，然后你前进一步，因为革命的垫脚石通常不像革命本身。所以，当然，这种事情会发生。你基本上是在说，在自然选择的进化过程中，比如说眼睛的进化，有时会有几代人的视力变得更糟，这只是随机的，但事后看来，它们实际上是通往某种新结构的方式，最终对视力更有帮助。你说在自然选择的进化过程中会发生这种情况，这对你如何看待进化运作的思维模型至关重要，对吗？是的，就是这样。但我会反驳，我会说，实际上，进化之所以如此，是因为它并没有发生太多。因为进化实际上受到限制，它真的无法承受超过一两代这样的事情，因为它非常愚蠢，它只会朝着适应度景观的上升方向前进。我会称之为“死亡竞赛”模型。这就像你基本上在阐述“适者生存”。这个词很不恰当，因为它暗示我们生活在一个永恒的死亡竞赛中，一切都是生死攸关的。这在某些谱系中是真实的，而且确实是这样，当你处于一种威胁到你的生存或你的谱系完全终结的情况下，你无法进行太多创新。就像你快要被杀了，你不能去写新歌，那不会发生。你只会担心基本需求，比如找食物。但进化并不总是这样的。通常有很多资源可供分配，很多时候你并不处于死亡竞赛的境地。当这种情况发生时，当进化压力较小时，那么确实有空间进行这些突变。而且，你知道，在哪些谱系中，我们能承受多少代这样的事情，这一点并不清楚。但这实际上是为什么有如此多创新的原因，因为它不是一场永恒的死亡竞赛。因为如果它是，它一定会收敛。所以，实际上，我认为“适者生存”的比喻正在误导我们，因为它忽略了我们实际上需要有时减轻压力，以便有更多的创新。这就是为什么你会做一些事情，比如你在研究生院给人们一定的时间，让他们在实验成功之前离开项目。这是对探索和创新的保护，而进化本身就具备这一点。所以，进化实际上是一个允许时间去摸索和尝试事情的过程。而且，因为它实际上不是纯粹的竞争，对吧？我的意思是，有些人说“满足”，只要足够好就行，你不必比别人更好。也许有另一个谱系正在蓬勃发展，因为它们拥有更好的眼睛，但这并不一定意味着你的谱系就死了。有时有空间给每个人，并且有资源可供分配。这使我们能够尝试各种各样的事情，而这些事情有很多机会去创新和发现新事物。你基本上是在说，我们可以从进化中学习如何不总是硬核地爬山，如何退一步反思并决定走另一条路或尝试其他事情。但如果你看看眼睛的进化，它在某个方向上非常像爬山。那么，从进化中有什么教训呢？对我来说，教训似乎是，是的，爬山是获得一定水平智能的好方法。当你有一个结果导向的反馈循环时，目标往往会得到满足。这就是我的教训。我不明白，眼睛进化过程中，进化从未退后一步。它只是不断地让它“更好”，你知道，更好地看到光。好吧，如果你足够放大，进化看起来就像你所说的故事。它总是关于放大的。所以，我不知道，我不知道你正在放大眼睛进化的哪个部分，但会有一个部分看起来像那样。也许你甚至会声称它是整个谱系，我不知道。我不知道，我怀疑我们是否有证据支持这一点。但我只想指出，如果你放大，故事就会变得非常奇怪。你知道，因为有一些东西，比如导致智能的工具性突变，比如莎士比亚。什么导致了莎士比亚？如果你追溯得足够远，双侧对称的出现是通往莎士比亚的工具性一步。但当地球上出现第一个双侧对称的扁形虫时，你无法指出智力的任何增长。然而，它们是必不可少的垫脚石。所以我们需要把它们纳入画面，即使它们与你所说的维度无关，但它们在长远来看是必不可少的。你知道，没有这些突变，你就无法得到那些东西。我的意思是，你可以争辩说，也许有另一种途径，这很可能是真的，但同样的道理也适用于那条替代途径。会有工具性突变，绝对是根本性的工具性突变。这是革命性的双侧对称。这不是一个小的支线故事。这是主线。所以，我们需要解释，你如何得到这个，当它对于得到那个是必不可少的，当它不是通过优化来解释的时候？你说的“主线”又是什么意思？双侧对称，例如，是人类进化史上最重要的创新之一。所以，这就是我说的“主线”。没有双侧对称，可以说，这个谱系不会如此有趣或令人印象深刻，也不会做所有这些事情，或者达到人类水平的智能。所以这很重要，但它具有欺骗性，因为它看起来不像。如果你给扁形虫做智商测试，看起来并没有沿着那个维度取得任何进展。但它肯定很重要。所以，如果你放大得足够大，你总会找到这样的垫脚石。它们必须被解释。好吧，让我们假设我们处于生命的早期阶段，我想帮助进化更好地运作。我发现，如果这些生物能够感知光，那将是伟大的。如果它们有一个强大的器官来知道光来自哪里，以及光的颜色是什么，你知道，频率等等。所以，我想让这个过程构建一个眼睛。但是 Ken 告诉我，发散搜索非常有效，所以我必须确保它进行发散搜索。但在这种情况下，难道不是实际上更好地进行收敛爬山，而这正是实际发生的事情吗？所以你承认，在眼睛的情况下，我们并不真正需要发散搜索？不，不，我当然不是。这是一个很棒的思想实验，我很高兴你提到了它。它确实帮助我们接近这个问题。真相是，我认为如果我们在现实世界中能够做到这一点，进行那个思想实验，那将会失败。因为问题是，在有眼睛之前，因为我们处于时间开始，这里的进化开始，我们需要的突变与提高对光的敏感度无关。我们需要几个前驱突变，才能达到允许它变得有用的基础设施的程度。而那些前驱突变将因为你的人工适应度函数而被淘汰。但实际上，让我给你一个更容易理解的思想实验版本，因为我有一个我喜欢在这里给出的，我认为这非常容易理解。让我们在人类创新的背景下进行，因为它对我们来说更容易理解，因为我们确实做过这些事情，比如我们发明了计算机。我们发明了计算机，通常认为 ENIAC 是第一台计算机，是在 1944 年。所以，让我们把日期定在 1944 年。所以，我现在喜欢做的是，做一些类似你提出的事情。让我们回到 100 年前，也就是 1844 年，让我们提议我们早 100 年建造计算机。这样不是更好吗？我们早 100 年就能上网，我们现在会走得更远。所以，我们将进行一个思想实验，我们将回到时间机器，然后说，好吧，让我们把 1844 年最聪明的人聚集在一起，给他们一个新的目标，我们将优化以制造计算机。但问题是，你需要制造计算机的是真空管，第一台计算机的一个基本构件。猜猜那些聪明人都在做什么？他们正在制造和试验真空管，但不是因为他们对计算机感兴趣，他们根本没有考虑计算机。他们正在进行电气实验。但我们只是把他们从那个实验中拉出来，因为我们想让他们制造一台计算机。所以我们把他们从制造真空管的必要事物上拉开，让他们去研究需要真空管的东西。那么我们会得到什么？我们既得不到计算机，也得不到真空管，我们只是摧毁了进步。如果你回到时间开始，开始测试单细胞生物对光敏感度，也会发生同样的事情。它会摧毁种群，它们都会死亡，因为我们需要其他东西，而这些东西看起来不像对光的敏感度。这是我们不理解的东西。这是反直觉的，因为我们太专注于优化比喻，认为一切都这样运作。但优化比喻最终会在发散的开放式系统中杀死你。所以，对我来说，当你提出这样的建议时，听起来你只是在弥补缺乏智能和缺乏远见。你知道，在人类发明方面，你说“科技树”并没有像人们预期的那样发展，所以我们只需要让他们跌跌撞撞地找到其他东西，然后有机地或随机地构建科技树。但如果你增加一点智能，如果他们有更好的远见，如果他们就像“嘿，根据我对电子物理学的了解，固态晶体管才是真正的方式，而不是继电器，不是真空管”，难道你不能跳过科技树的某些级别吗？不，我的意思是，是的，这是我的论点的基本方面。我只是想说，这几乎是哲学上的，我想，但我们无法预见理论。这是完全徒劳的，你过于乐观地预测了这一点。我们不是全能的，全能是不可能的。我们无法在不进行实验的情况下理解宇宙如何运作。我们必须尝试事物。但对我来说，重要的是要强调，尝试事物不是随机的。人们经常认为我说，我们只是在随机地乱来。就像那些研究真空管的人在做随机的决定，没有现实依据。他们非常有见地，因为他们理解这些技术具有非常有趣的可能性，他们想看看这可能会导致什么，即使他们最终不知道它会导向哪里。这就是为什么科技树在扩展，因为人们遵循这些有趣的垫脚石。但我们无法预测未来什么会导致什么，只有当你非常接近时，你才能做到这一点。而我们确实会这样做，当我们接近时。这就是为什么我们误导自己，认为直觉会扩展到整个科技树，而事实并非如此。好的，我同意人类发明家没有那么聪明。我的意思是，有很多发明家的故事，他们跌跌撞撞，然后他们偶然发现了发明，然后他们说，“哦，当然，尤里卡！”但事后看来，就像，“是的，但那不是很明显吗？”而且我不是那种评判的人，我的意思是，我经常错过显而易见的事情，我不是那么聪明。但说实话，我的意思是，我读过一本书，讲的是电报的发明，他们把电信号转换成声音。所以你可以按一下按钮发送一个咔哒声的消息。在他们有了咔哒声之前，他们想，“天哪，我怎么能让这些电信号传达信息呢？”也许会有小纸片在水里移动，它们可以组成一条信息。他们想，“我怎么能把电转换成信息呢？”然后你就明白了，“我的天哪，仅仅是电本身，仅仅是电路的开闭，加上一个……你知道，末端的一个微小致动器，这就是你所需要的。”那是一个尤里卡时刻。但读起来，事后看来，就像，“嗯，是的，我的意思是，现在看起来很明显，对吧？现在很容易回头看。”所以，你难道不认为这实际上是人类经常错失事物的缩影，因为我们就是没那么聪明吗？嗯，我确实同意，事后看来，事情常常看起来很明显。就像，这是一个常见的观察。但我仍然认为，最终，你的论点将站不住脚，因为你实际上是在论证全能的可能性。我的意思是，我们生活在一个宇宙中，无论你多么聪明，你都必须实际尝试事物才能了解它的运作方式。无论你多么聪明，你都无法在不与现实互动的情况下了解现实。宇宙运作的方式是一个先验的事实。如果你只有一个非常聪明的大脑，在一个没有接触过宇宙的容器里，它无法从中推断出任何东西。它必须体验它。所以，他们会做出更好的假设。我的意思是，我同意你的观点，我的意思是，这有点明显地趋向于 AGI。假设会更好，但它仍然需要做出假设，仍然需要测试这些假设，并且仍然需要遵循这个理论，并随着时间的推移逐渐发现事物。全能甚至对 AGI 或超级智能来说都不在考虑之列。好的，好的，所以，是的，有很多不同的方向可以探讨。让我问你这个问题，回到你的目标与开放式研究的区分。你在书中说的一件事是，一旦你设定了一个目标，你就破坏了实现它的能力。请详细说明。是的，关于这个有一个整本书。所以，我正在把它浓缩成一句话。我想澄清一下，我们这里谈论的是雄心勃勃的目标。当然，大多数人的本能反应是，这种说法很疯狂，因为他们说，“哦，但我一生中有很多目标，它们都奏效了。你怎么能这么说呢？这毫无意义。”我承认，当事情是“适度”的时候，它确实有效，而且追求目标是个好主意。我想清楚地说明“适度”的意思。我不是说“容易”。我的意思是，“适度”是指实现目标的垫脚石是已知的。所以，就像，“我想变得健康”。虽然要变得健康可能需要很多工作，但通常都知道该怎么做。你可能需要锻炼，可能需要改变饮食。这可能需要几年时间，但你知道该怎么做。我谈论的是我们完全不知道垫脚石的情况。这些情况我们称之为创新。比如，我不知道，我们如何治愈这种疾病？我们如何创造 AGI？我们如何创造不污染的无限能源？这些都是我们不知道垫脚石的事情。这就是我所说的。而我在这里说的是，当你把它设定为目标，然后玩 OKR 游戏，说我们将沿着这个目标前进时，你就会失败。因为垫脚石并不像沿着这个梯度前进。这是因为，你知道，现实世界是复杂的，复杂的搜索空间有一个特性，那就是通往你想要的东西的垫脚石并不像你想要的东西。这叫做欺骗。所以，如果你生活在一个具有这种特性的世界里，通过将你的目标设定为“我需要越来越多地逼近我正在走向的东西”，你就会错过那些不像这个梯度的垫脚石。所以它会导致你目光短浅，因此你永远无法实现那些事情。通往这些垫脚石的途径是不要担心最终目标。我们将因为独立的原因，与目标无关的原因而到达这些垫脚石。在自然选择创造人类眼睛的例子中，或者我认为眼睛在许多不同的生物体中独立进化，在这种例子中，你是否会称之为“适度”的目标来创造它？比如说，从一个拥有神经元的生物开始，你处于那个基础水平，你想制造一个……一个成熟的眼睛。这会是一个适度目标吗？所以，从零开始创造一个眼睛不是一个适度目标。如果你说，从一个给定的起点开始，它可能是的。因为有一个时刻，当某些东西突然成为可能，因为垫脚石就在那里。所以这是一个确切的时间问题。我不是说我能为任何特定的发明回答这个问题。让我们从……一块对光敏感的皮肤开始。但是你不知道，是的，也许我愿意说，我愿意说，你知道，我……我认为如果你真的要吹毛求疵地讲这个故事，它可能还没有，因为我猜想，仅仅对光敏感的皮肤仍然离这个结构很远。所以会有几个欺骗性的垫脚石。所以它仍然不适度。但确实有一个点，它正在进入……这在人类创新中经常发生，这就是为什么我们能取得伟大成就的原因。我的意思是，我并不否认人类取得伟大成就，因为有时会发明一些东西，而天才就是那些最先意识到垫脚石已经成为现实的人。这才是真正的天才。虚假的天才是那些认为我们将在遥远的未来发明一些东西的人，而这些东西根本不可能被发明出来，因为还没有垫脚石。所以我感到困惑，因为你定义了一个适度目标，即我们知道实现目标的步骤。现在，在自然选择的情况下，没有……探路。所以它从不知道步骤，它只是在采取步骤时获得结果反馈。那么，这是否意味着……从来没有这样的……
事物，在进化中，这是一个谦虚的目标，是的，我的意思是，实际上，我宁愿那样说。我的意思是，我同意你的观点，进化本身就不是客观的，而且，我的意思是，所以你是对的，实际上，即使你的论点也让我以一种我不喜欢的方式扭曲自己，你知道，一旦你接近某样东西，就把它描述成一个客观的过程，因为进化中从来没有明确的目标。我的论点是，这就是为什么它如此丰富多彩，它对于创造性过程不被客观驱动至关重要，而进化是我们所知的宇宙中最伟大的创造性过程。它听起来像，它听起来像你对客观事物的定义，只有当在优化过程开始之前或搜索过程开始之前，存在某种明确表示的远见，它才能成为客观的。它必须是一个明确表示的目标，才能被视为客观的。是的，可能吧。我的意思是，我敢打赌，我们可以深入探讨确切的含义，但是的，基本上，我认为你必须说明你想去哪里。虽然这不是远见，我不喜欢称之为远见，因为它听起来像是你知道如何解决它，你只是知道你想要什么，这就是你需要知道的事情，对吧？我猜，但我很好奇，什么才算作明确表示的目标？所以，在进化的例子中，你只能通过包容性的遗传适应度来获得目标，你知道，它写在哪里？优化包容性的遗传适应度，你只能在整个物理反馈循环中找到它，对吧？那些拥有更好的包容性遗传适应度的人，下一代就会有更多的副本，这就是反馈循环。然后，你必须审视整个反馈循环，并反向推理，就像，好的，存在这种包容性遗传适应度属性，而这实际上是我们正在攀登的标准。在神经网络的情况下，它会有一个黑盒奖励函数，对吧？它不一定知道它的奖励函数的代码，它只知道训练过程发生了，然后它会得到一个特定的损失分数，对吧？好的，所以，我的意思是，我不认为包容性遗传适应度是一个目标，就像，我不认为进化有目标。我认为它是一个非客观的过程。而且，拥有较低适应度的东西也没有错。我的意思是，在进化中，我们关心什么，最终有趣的是什么，不一定是拥有更高适应度的东西，你知道，因为正如我所说，我们的适应度可能在客观上低于许多我们认为比我们不那么聪明的物种。这是一个正交的问题，所以，从我的角度来看，我们不是在一个客观的过程中，因为这里没有明确指定的目标。就像，适应度不是一个目标，就像我说的，它是一个约束，你必须至少能够繁殖，仅此而已。也许我可以，也许我可以这样重述一下，如果你能给我一秒钟重述一下，当然，当然，当然，我想为进化是什么给出一个不同的比喻，因为我们非常习惯于这种基于适应度的比喻，这种狗咬狗的竞争生存的东西。但让我用一种完全不同的方式来表达，在进化中，最终要取得成功，你需要做的是，你需要让一个细胞导致另一个细胞。你只需要做这些，这就是繁殖的意义。就像，有一个细胞是父母，然后最终有另一个细胞，它被分离了，它是一个不同的个体，就是孩子。其他所有发生的事情都与此无关。就像，你一生中几十年的所有复杂的事情，让你从婴儿变成成年人，在任何意义上都不是必需的，以实现从这个细胞到那个细胞的所谓目标。这是一个巨大的偏离，非常像鲁布·戈德堡机器。就像，我记得我曾看过一个电视节目，关于一个男人用鲁布·戈德堡机器来打开报纸，这真的很有趣，因为他发明了你能想象的最复杂的东西来做一件完全微不足道的事情，就像，一个球滚下山，然后点燃了一堆火，火焰引起了别的东西，一个气球爆炸了，就像所有这些序列，然后最终报纸在早上被打开了。但这一切都与我们需要做的事情完全无关，那就是打开报纸。而这正是正在发生的事情。这是一个鲁布·戈德堡机器生成系统。这一切都不是必需的。但有趣的是，无限生成鲁布·戈德堡机器的副作用，没有目的，也没有目标，因为它对基本约束来说都不是必需的，那就是这些机器本身的复杂性变得有趣。而不是它们在某些方面变得更好，在某些方面它们变得更糟，因为仅仅为了得到另一个细胞而经历所有这些复杂性是很疯狂的。但有趣的是，机器的复杂性，这是无限生成这些机器的副作用，本身就很有趣，这与基本约束无关。它不是解释鲁布·戈德堡机器为何有趣的真正原因。所以，我们生活在一个鲁布·戈德堡机器生成宇宙中，而这会一直持续下去。我们将获得越来越多的复杂性。任何可行的东西都会消失。这是一个不同的故事，这是一个不同的故事，而不是这种死亡竞赛收敛式的进化观。好吧，你，你，你，你根据有趣程度比较事物，我想稍后会详细讨论，因为我认为这听起来像你对这个话题有更多要说的，关于什么是有趣的，对吧？当然，是的，是的，好的，所以，我们很快就会谈到这个。但我想回到，你知道，我一直在问你关于你对什么是目标的概念的定义。我对你的世界观仍然有点困惑，但让我告诉你我的世界观，因为我的世界观是我不困惑的地方。所以，我的世界观是，我喜欢问的问题，我认为与末日问题有关，你知道，它与很多事情有关，我只是问，哪个系统或哪个过程能够获得结果，引导未来？这就是我看待事物的方式。所以，当我看到进化时，我就会想，啊哈，这个特定的过程，突变和自然选择，这将让我预测，即使我不知道确切如何，如果我看到一个带有感光皮肤的生物，一年后我回来，它很可能就是某种眼睛。眼睛是如何工作的？我不知道。它相当复杂。我甚至不理解眼睛工作的细节。但我知道，它在感知光线和让生物生存繁殖方面会更好。所以，这是一个我称之为优化过程的例子，借用埃拉兹·约的术语。我之所以关注它，是因为我注意到宇宙的一部分让我能够预测未来将如何被引导的结局，而且相当复杂。它如此复杂，以至于我很难用其他方式来模拟这个系统，而不是将其建模为一个优化过程。如果我只看它的生物学，我很难得出结论，在较低的层面，就像，哦，是的，所有这些化学反应都会发生，这个特定的蛋白质会被编码，我可以告诉你，在10,000，100,000代之后，它在感知光线方向方面会更好。绝对不可能。我唯一知道的是，因为我说，啊哈，优化过程，存在某个标准，它会不断地在那个结果标准上做得更好。好的，所以我接受我的优化过程世界观，我注意到生物学正在这样做，然后我注意到人类大脑也在这样做。现在我注意到人工智能也在这样做，而且我认为人类之上还有更高级的东西可以做得更好，对吧？人工智能超级智能。所以，这就是我看待事物的方式。我注意到那些能够优化未来的人。所以，我想问你，你知道，你谈了很多关于目标，你谈论将要实现目标的进程类型，或者拥有目标是否会让你更不可能实现目标。所以，我想回到你的主张，对吧？你提出了这个主张，你说，你说在你的书里，一旦你创造了一个目标，你就毁了你实现它的能力。所以，我想让你定义你的主张，在字面上创造一个目标意味着什么？所以，首先，我只想回应你刚才阐述的世界观，因为我再次认为你的世界观非常狭隘。你知道，你谈论一旦你有了这个感光的东西，然后我就可以开始预测会发生什么，但我想让你放大，因为进化本身就以不可预测性为特征。它完全不可预测。你知道，如果你回到，比如说，一亿年前，你只是看到多细胞生命的出现，你绝对不可能预测到人类会在这里。它不会看起来，有很多生物非常适应它们的生态位，对吧？所以，我会预测会有能在水下呼吸的生物，以及能在陆地上呼吸的生物，之类的。我，我不知道你会，我，我不确定你能预测到呼吸。我的意思是，在那时。公平地说，对，但，但，但我的意思是，存在约束，是的，抱歉打断，但我不认为，我认为说它是，我的意思是，在最高层面上，我只会预测会有很多生物，它们只是擅长在任何生态位中生存。我的意思是，这似乎是一个非常有意义的约束性预测。不，我的意思是，那不是一个目标式的观点，那只是说会有很多多样性，这开始倾向于我的方向。我的意思是，我也会预测我们会看到更多的多样性，这就是我们所期望的。但你无法预测我们会看到什么具体的东西。我的意思是，这就像，关于这个，我能迈出一步吗？关于拥有结构，拥有模块，使用能量，对吧？你，拥有比周围环境熵更低的局部区域，对吧？这些是生命会做的，超级智能会做的，工具性趋同的事情。所以，我认为你在这里低估了我能预测什么。我的意思是，那就是你已经在观察到的，就像，我们已经有了。但我在生命之初就可以告诉你了，对吧？当我看到第一个复制子的过程开始，当我注意到它们被选择时，我就可以告诉你，好的，你会看到模块。你会看到负熵。就像，再次，趋同的属性。我的意思是，我的意思是，即使是第一个复制子，我们也不知道它到底是什么，但可以推测，它就像一个单细胞，已经具有一定程度的模块化。它是一个相当复杂的机器。所以，告诉我，我本可以告诉你，你会看到模块的级联。你会看到一个系统，有细胞，细胞器，器官，对吧？这些不同层级的系统并不令人震惊。从这个角度来看，多细胞性将是一个令人难以置信的预测。我的意思是，如果你没有事后诸葛亮的优势，我们不知道这一切是否发生，你只是看着一个漂浮在化学物质海洋中的单细胞生物，对吧？你不会预测多细胞性。这是一个难以想象的发展。这是一个惊人的发展。是的，我同意，向多细胞性的飞跃，我不能向你保证，对吧？因为可能有些行星停留在单细胞生命阶段。所以，我同意，我不能告诉你，我知道多细胞性即将到来。是的，但如果，如果，如果你告诉我，看，生命将会蓬勃发展，如果，如果你只是给我一个约束，就像，是的，我告诉你，这个自然选择的东西，它会发展壮大。很多事情会发生。那将是你的唯一线索。很多事情会发生。它将是狂野和疯狂的。那是你的唯一线索。我会说，它可能会跳到多细胞性，或者如果它没有，那么它就会跳到一个细胞内的大量子结构。所以，你只能有一个巨大的单细胞生物，它有很多亚细胞结构。是的，我认为你说你能通过观察单细胞生物来预测多细胞性，你给了自己很多赞扬。但我愿意接受这一点。所以，让我们就此打住，你实际上可以预测会发生这种情况。但重要的是，不是你是否能预测某个特定的进步，因为你越接近开始，预测就越容易。这显然是真的。就像，你走得越远，它就变得越不确定。所以，就像，再次，如果你足够放大，事情就会变得更可预测，因为垫脚石已经存在了。就像，接下来是什么？单细胞生物，如果你想那样看，是多细胞生物的垫脚石。你仍然无法预测，一百亿年后会有莎士比亚写戏剧。这远远超出了预测的范围。我的意思是，人类打破了自然选择进化的模式，对吧？自然选择进化的特点是为了增加遗传适应度而进行的爬山。人类用我们的大脑所做的，这是一个全新的范例。你实际上不能将现代人类建模为纯粹的适应性最大化。这是公平的。我的意思是，所以，所以，我们不必深入具体的文化预测，但你不会预测人类大脑。你不会做出这样的预测。你不会预测人类。你根本不知道我们会得到什么。我们会得到双侧对称吗？我们会得到四肢动物吗？为什么它们会占主导地位？我的意思是，如果我们重新运行这个节目，如果我们现在在地球上重新开始，即使有事后诸葛亮，我们也不知道我们会得到这些。我们可以得到其他的东西。我们可以得到新陈代谢。也许我们不会得到四条腿，但我们会得到新陈代谢。是的，但我的意思是，再次，这是放大。我们已经有了第一个东西的新陈代谢。所以，这并不难预测会产生更多的新陈代谢。就像，实际主义者会有的，对吧？它们将是分形的，它们将是模块上的模块，对吧？我的意思是，所以，所以生命以某种方式进化，因为优化具有某种特征。声称你实际上在做预测，只是说有新陈代谢，这是一个非常模糊的概念。我可能会承认这一点，我甚至不确定这到底意味着什么，但我可能会承认这一点。但正如我所说，有些事情你可以预测，因为它们近在眼前。就像，我们知道，在一个开放的系统中，我们应该说。我没有给出这个例子，就像，你知道，我们做了这个选育实验，对吧？就像，这是导致很多这些想法的早期事情之一，就是这个选育实验，我们让人们在网上繁殖图片。这就像一个迷你进化微观宇宙，我们在其中，十五年多前。这是一个旧实验。但关于那个实验的一件事，你知道，人们在繁殖，所以他们从斑点开始，如果你有点像第一个细胞，然后你可以，你可以选择父母，然后你得到，你得到带有轻微突变的后代。很多人被众包来做这件事。关于它的一个事情是，你可以预测你会看到的一些早期事物，比如，我们知道我们会得到，就像圆圈一样的东西，你知道，我们得到线条。有一些东西很容易得到，它们有点像你开始时看到的斑点的范围之内。但你走得越远，你就开始看到人们发现像头骨和汽车这样的东西。没有人可能想象到这一点。那是绝对令人难以置信的，出乎意料的。你没有，我本以为这在这个空间里是完全不可能的。同样的情况也发生在单细胞生物身上，就像，你不能说它会创造出像我们这样的东西。这就像一个难以置信的预测。你必须是全能的才能说出这样的话。你是在说，这是你自己的软件，图像是程序生成的，并且由参数的当前形状决定，那是选育器，还是你会如何描述它？是的，我猜，我的意思是，我冒着陷入可能不那么重要而需要解释一切的细节的风险。但基本上，它是一个，它是一个遗传算法在后台运行。有些人称之为进化艺术。但有一个人工DNA。所以，它不是现代意义上的生成模型，因为那些是能够生成数百万或数十亿图像的东西。这就像，只有一个网络生成一张图像，然后如果你选择了那个网络，它就可以有一个孩子，它会是一个突变的网络，这意味着它不是显式地使用梯度下降或类似的东西。它只是随机地扰动权重。所以，如果你轻微地扰动它们，你就会得到一张相关的图像。它只是，它只是繁殖。就像，后台有一个DNA。所以，有一个人工DNA。这些图像质量很高吗？它们是照片级的逼真吗？它们看起来怎么样？我会说它们质量很高，但不是像，你知道，现代生成模型那样，如果你今天看到它们会让你惊叹。你只会说，那是一个不错的头骨卡通。但不是像，我对此感到敬畏。但在另一种意义上，我认为它们绝对令人难以置信，因为如果你看到了最初的搜索空间，你就会不相信这是可能的。你确实如此，如果你从零开始。你会认为这只是一个玩具，可以玩两分钟，它会给我一些斑点和壁纸图案。它最终会产生这些几乎像卡通一样的图像，看起来像真实的东西，这真是太了不起了。好的，我将在节目的视频源中发布一些选育器的截图。我找到的那些在谷歌图片上。所以，它看起来不像照片级逼真。它看起来是从抽象的，有点数学的图案开始的。然后这些图案被塑造成，有点像鲁沙特测试，有点像被塑造成人形，脸形。好的，好的，好的。但让我再说一件事关于选育器，因为它可能对正在进行的观点很重要。最初的见解来自于在选育器中的观察。就像，选育器是我产生这个理论的一部分。最初的见解来自于我认为这个非常深刻的观察，那就是我们发现，当人们找到那些看起来像头骨或汽车的图像时，他们总是没有在寻找它，或者至少说，99.9%的时间。人们在这个系统中找到东西的唯一方法就是不把它们作为目标。当人们有一个目标时，他们就会失败，感到沮丧，然后放弃。所以，对我来说，起初这非常令人困惑。我试图理解为什么它具有这种特性，这最终导致了这个理论。所以，它具有这种特性，设定目标会破坏你创造东西的能力。好的，听起来不错。让我们进入分歧的核心吧，至少是我喜欢谈论的，那就是AI的末日。什么是你的末日，肯·斯坦利博士？你的P末日是什么？所以，我想我会成为一个异端，不给你一个P末日，但我会说它大于零。但我只是不想给一个P末日。也许你会逼我，因为我显然在智力上能够给出一个数字，但对我来说，它每天都在波动。但这并不是我不给它的真正原因。我不想给它的真正原因是我不觉得那是我想在这里提出的重点。我的意思是，我并不是真的想争论你的担忧程度。我觉得这是完全合理的。我知道你的P末日是什么，而且这也是合理的。一些反对的论点，我自己在努力解决，试图弄清楚我的立场。但我认为我对谈话的贡献不是这个，而是说我们需要应对开放性。我觉得通过收听你节目和其他地方的许多辩论，以及阅读有关此的信息，它只是没有被纳入谈话中。我认为，如果我给你一个P末日，我将立即使你的观众两极分化。有些人会支持我，有些人会反对我。我不想沿着那个方向两极分化，因为它不是我认为我能提供的有用的东西。我想强迫双方都应对开放性，因为我认为这是辩论双方都缺失的基本问题，这使得辩论在某种程度上是错误的。我想让人们弄清楚我们面临的风险。我的意思是，我认为这是一个重要的讨论。所以，并不是我不屑于你所做的事情，我只是不想被归类到这个数字里。好吧，我的P末日是50%。你刚才说的话之一是我的P末日是合理的。那么，你会说50%的P末日是合理的吗？所以，所以，我不，我想我真正想说的是，我真的不知道如何看待P末日。所以，我想，从这个意义上说，是的，我的误差范围非常大，这在合理范围内。但然后你会说，哦，那么你的U实际上是50%。但我不喜欢这样确定它，因为，你知道，有些日子我觉得它比这少得多。我会在不同的方向上争论自己。但当我说是合理的，我只想清楚我的意思，那就是我认为你付出了很多思考，而且很多都基于坚实的逻辑，而且就像人类现在能做到的最好的一样，在预测未来方面。而且，我的意思是，我可以和你争论某些地方，其他人也可以。但我认为，对你和其他人来说，最重要的是，你的预测是基于一个好的前提。那就是我认为这里有一个非常薄弱的前提，那就是整个世界就像一个优化过程，这就是我们如何推导出对AGI的期望。而这不仅进入了你，也进入了许多人对未来危险的期望。而这正是我认为，这根本不是真的。而且，并不是你最终的预测是错误的，因为开放性过程也很危险。我不是在说，我只是在说，我会推翻你的立场，让你看起来一切都很安全。但问题是，开放性是一种不同类型的危险。我们需要应对。这就是我想让这个节目关注的。这就是我的议程。我想让我们应对开放性的危险，而不是说这里没有危险。但我们完全在回避它。所以，还有另一个家伙，Young，他的P末日是%。我们已经确定，在你看来，我有一个50%的P末日是合理的。扬也合理吗？所以，我没有，我不知道我是否听过他的论点。我可能，我可能听过，但我认为没有。所以，我不知道，因为我没听过。但我敢打赌他可以。让我这样说吧。我可以想象构建一个，因为，是的，我们，我相信我们生活在一个非常严重的，不确定性的迷雾中。所以，我认为一个聪明人也可以构建一个合理的论点。所以，我可能会尊重那些论点。但实际上，我认为我想说的是，所有论点现在都非常糟糕，因为有很多缺失的信息。所以，当我说是合理的，我不是说正确的，显然。这只是，现在很难构建一个论点。但考虑到如此多的，就像，对这个空间的理解的缺乏，有很多合理的方式你可以得出非常不同的结论。只是为了完成对你的末日观的三角测量。你说它每天都在波动。所以，如果我们看看过去一年中的日子，然后平均一下，我们会得到什么？是的，所以，我确实想承认，有些日子我非常担心，非常担心。我想清楚我的意思，当我说担心时。我不太确定的是，末日是否意味着人类的终结，还是仅仅是糟糕的结果。我的意思是，我不总是完全担心人类会灭绝，但我担心糟糕的结果。而且，就我基于此做出的决定而言。所以，这不仅仅是一个微不足道的担忧。我离开AI一段时间，开始了一个社交网络，就是因为这个问题。我实际上在某种程度上感觉很糟糕，因为我不确定我所做的事情是否是我能引以为豪的。而且，这真的困扰了我很长时间，在我职业生涯的后期，我曾想过，也许我需要退后一步，真正地调和我的真实想法。这样我才能为自己感到骄傲，我实际上是在为更美好的未来做出贡献。我认为，基于我对开放性的了解开始一个社交网络，是一种明确的社会福利。它不是在试图创造一个AGI，它只是在为人类做一些好事。这会给我时间来真正处理我对这个问题的看法。所以，并不是我没有认真对待，我非常认真地对待。而且，我认为，就我而言，糟糕的结果是我的首要考虑。我只是想为我所做的事情感到骄傲，并觉得这实际上是在朝着一个好的方向发展。而且，我每天都感到困惑，不确定我的想法。而且，我肯定可以为自己辩护，认为我应该参与其中，因为至少，这给了我引导它走向更好方向的机会。但然后我想，也许我只是在为自己辩护，认为这只是一个借口。所以，我不是，我不是那些，你知道，就像，一切都很好，让我们继续下去。而且，我看到你的一些节目，你做得非常好，拆解了那些，他们只是轻描淡写地驳斥LLM的人，或者认为，就像，我对此印象深刻。所以，你知道，我认为我很难被确定，但并非微不足道。如果你想要一个你可以使用的PD数字，你可以选择20%。因为你刚才告诉我的一切，大致上在我脑海中映射了这一点。但末日，你是这方面的专家。这是PD节目。所以，我们是在谈论灾难性的，文明终结的事件，还是包括像每个人失业和很多社会混乱这样的事情？或者，就像，末日到底是什么？这比失业要多得多。是的，我的意思是，失业不一定就是坏事，如果创造了很多财富，每个人都能公平分享财富，然后他们仍然可以工作。我的意思是，他们仍然可以在工作中做他们喜欢的事情。而且，是的，也许那里有一些问题，但我并不认为那是末日。那只是我个人。我认为末日就是字面上的死亡。你知道，这个物种不再存在了。我认为一个好的解释方式是，今天地球上有很多价值。我们很高兴地球存在。如果地球突然消失，整个可观测宇宙都变得没有生命和积极的互动，那将非常糟糕。而且，如果经济增长继续下去，相反，我们将拥有数万亿颗行星可以扩张。只要我们的太空旅行和生物学以及上传我们的大脑，只要所有这些事情都像它们正在进行的轨道一样运作。你知道，超人类主义的未来或太空探索的未来。似乎有数万亿颗行星可供选择，我们可以建造很多地球。我们可以发现新的享受方式，扩展我们的意识。这听起来就像一场盛大的派对即将到来，如果我们能继续经济进步的话。但另一方面，如果AI失控，有自己的目标，人类已经无法控制它了。我们就像，哎呀，我们真的搞砸了。但已经太晚了。那就是末日情景。它不仅会抹杀那数万亿颗行星的潜力，甚至可能抹杀我们拥有的那颗行星。在最坏的情况下，它会产生，你知道，痛苦的风险，就像它模拟我们的大量意识并折磨我们。所以，基本上，你拿走整个未来潜力，然后说，我们实际上损失了99%以上。我们损失了100%，甚至可能是负数。这就是我对末日的定义。就像，99%以上的损失。我明白了。是的，我的意思是，我承认这大于零。但，但，但，我仍然不想接受你的20%。因为，我，我真的不知道我是否真的认为。但是，但是，你知道，我承认它肯定不是零。而且，但是，你知道，我也有其他担忧。就像，即使达不到那个程度，我也担心其他结果，不一定是人类意识的毁灭。我同意，这是一个悲剧和可怕的结果。我的意思是，我同意那些动机性的观点，就像，你知道，人类意识非常重要，需要保护。而且，我认为很难争辩，就像，奇怪的替代方案，就像，人工智能是有意识的，所以没关系。我认为这是一个牵强的论点。所以，我非常支持保护我们宇宙中的意识。而且，所以，你知道，就像我说，这是合理的担忧。但我认为我们可能在这一点上看法不完全一致。因为，就像，我每天不像你那样对它有50%的信心或期望。但是，它就在那里，作为一个担忧。好的，去年有一句关于AI风险的著名声明。它只有一句话。它说，减轻AI带来的灭绝风险，应该与大流行病和核战争等社会规模风险并列，成为全球优先事项。你会签署它吗？是的，我只会给你这个回避的混蛋。我的意思是，我不想签署那个声明。但这是因为，我不想，我想为自己说话。而且，我发现我不喜欢声明，总的来说。我发现它们在很多方面都很糟糕。声明中总是有太多的细节，导致两极分化和争议，而这并不是声明的核心。它只有一句话。即使是这样，我认为这句话也有细节。而且，我不想，我只是想为自己说话，说出我的感受，我认为我已经做到了。而且，我认为，就像，有了这些声明，我们，我们，我发现它们常常导致我实际上贬低声明的价值。因为我认为签署它们的人在签署之后似乎是虚伪的。这让我担心。就像，当一个声誉很高的人，比我高的人签署了那个声明，然后继续他的职业生涯。对我来说，这实际上是在发出一个信号，他们并不真正认为，如果我真的那样想，那将是我的职业生涯的终结。我们不要玩4D国际象棋，好吧？如果，如果你是唯一的签署者，假设一下，你会签署它吗？嗯，我不知道，因为，我实际上认为，如果我签署了那个声明，那么我肯定应该结束我的职业生涯。而且，我只是不知道我是否准备好了。你确实做到了，你进入了社交游戏。我做到了，但我可能会回去。你知道，我，我，我渴望回去，但我正在努力弄清楚，我是否合理。我的意思是，我渴望回去，我可能会回去。所以，我，我正在考虑回去。我是否合理地回去？我正在努力解决这个问题。但如果我签署了那个声明，那么我肯定不会回去了。我仍然在努力解决这个问题。所以，你可以想象一个场景，你就像，你知道吗？减轻AI带来的灭绝风险不应该是全球优先事项，我要回到AI研究中去。所以，你认为这可能是一个可能的场景。这是一个可能的场景。是的，因为这里有一个权衡。就像，我们正在处理的另一边的那个问题，就像，另一边的存在风险是，我认为人类的痛苦是不可接受的。它今天的水平是不可接受的。所以，我们正在试图用可能的人类意识的灭绝来交换。这两边都是完全不可接受的。所以，就像，我不太清楚，我们是否会跨越那条线，以至于放弃那些可以缓解大规模痛苦的事情来防止一些不完全清楚和模糊的事情是值得的。我同意，这可能是一些我们需要做的事情。但我还没有到那个地步，在确定这一点上。因为，就像，人类的痛苦是真实的。你知道，70%的人类正在经历无法形容的痛苦，这是一个推动技术发展的理由。所以，就像，这两个论点的冲突对我来说很难调和。我看到了双方，以及为什么双方的论点如此强烈。认真对待它们两者都非常重要。而我最终，不确定，在我的想法中。而且，我觉得我可以为自己辩护任何事情。这让我感到不舒服。好吧，我们谈论了末日，最坏的情况。在你提到有趣的事情之前，就像，你发现地球上生命的丰富性非常有趣。所以，也许你能谈谈你的天堂情景，一切都变得极其有趣。你是否有这样的简单标准来衡量你的理想未来，或者你会如何看待理想的未来？这是一个好问题。所以，我认为，所以，我不太确定我只是想要最大的多样性。因为，就像，有很多，抱歉，我发现有趣事物的最大多样性。我不确定那是我的乌托邦。因为，也有很多危险和缺点，涉及痛苦。所以，你知道，我愿意在这里权衡。就像，你知道，对我和其他人来说，过上美好的生活。而且，我不太确定我甚至不知道那是否可持续，并且必须过上美好的生活。因为，在某个时候，它可能变得太危险了，以至于暴露所有这些有趣的事情。我们可能只需要停止。这是，极端。但，就像，有些事情可能太危险了，不值得尝试。所以，我的未来是一个妥协。我们人类能够继续追求好奇心，我认为，如果我们继续追求好奇心的能力结束，那将是悲剧性的。那种世界让我感到沮丧。但它会像每个人都死于可预防的疾病的世界一样令人沮丧吗？我不太确定如何解决这个权衡。你知道，如果就像，好吧，我将不得不放弃一些好奇心来得到照顾，就像一个宠物。我不知道，我不知道如何，如何看待这些苹果。
还有橘子。如果，我们制造出这些人工智能，嗯，它们有很多发散性，对吧？它们喜欢探索它们的智能，就像你想象的智能那样，呃，但它们也把我们消灭了，对吧？对我们来说，我们只是，我们只是不是，呃，它们正在寻找的东西，对吧？它们有不同的价值观什么的，嗯，这是一种可能的结果吗？然后，你认为不好的那种事情，那绝对是坏事。所以我愿意，我的意思是，我非常理解我不想在这里下定论。甚至你顺便说它不好这个事实，对吧？那已经让你，呃，那已经把你和很大一部分人区分开了，对吧？有很大一部分人，我会说10%以上，他们会说，哦，那人工智能摧毁我们也没关系，因为它们比我们更有存在的权利，因为它们只是我们的继承者，那完全没问题。所以你不认为那是，我不认为那是，不，是的是的，我想我们在这方面达成了一致，但我愿意考虑这些论点。所以，我，我感觉我不会百分之百地相信它不好，因为其中肯定有一部分是我不理解的，比如如果人工智能真的值得拥有人权，因为它拥有人格和主观经验，我就会有点困惑，我承认，比如在那个宇宙中什么是对的，应该发生什么。但我只是认为，现在我们了解得不够多，嗯，以至于，以至于，以至于不应该把某个东西作为一个严肃的想法摆上台面，比如让我们庆祝我们将要结束我们的存在，因为我们非常非常特殊。我认为这是真的，没有像我们这样的东西，我们的意识在这个宇宙的历史中作为一个事件是极其独特和重要的。所以，在我们开始庆祝那些像我们一样的理论构造之前，我们应该尽一切可能去保护它，比如，目前尚不清楚它们是否是我们的一种有效的道德替代品。好的，现在，你同意那很糟糕。你认为这是一个可能发生的风险吗？所以，是的，毁灭，我确实认为这是可能发生的。就像我说的，这里的风险水平，我非常，呃，我并非不愿意确定这个水平，但我确实认为它可能发生。对我来说很清楚，你知道，就像我看了，嗯，一个非常酷的关于这种新型无人机表演的视频，我想它发生在中国，比如无人机飞到空中并形成形状，比如它们形成了，呃，像蝴蝶或鸟之类的东西，那真是令人难以置信，我觉得那看起来很棒。但当然，它也让人想起，你知道，协调一场大规模谋杀是多么容易，那简直是绝对疯狂的，就像仅仅用一个那样的配置，而且都是自动化的，嗯，所以，是的，我认为它，它可能发生。我的意思是，我，你知道，核战争也可能发生，而且我们迄今为止，虽然不是在很长一段历史时期，但迄今为止避免了通过核战争造成的彻底毁灭。所以，我认为我们可以避免，我们有可能避免那个结果，但肯定有可能做到。我们这里有一种新的力量，它只会变得越来越强大。我们来谈谈智能。所以人类显然是智能的，嗯，你认为人类智能之上还有很大的提升空间吗？比如当你想到一个超级智能时，你会想象什么？所以，我确实认为有提升空间，但我不知道有多少，嗯，比如因为，嗯，部分原因是，我认为开放性是智能的一个基本要素，或者说是一个重要的智能维度，嗯，比如我通常认为智能是多维的。所以，通常当有人说这个比那个更智能时，我不太喜欢那种思考方式，因为它维度太高了，它不是一个全序。好的，在哪个维度上，黑猩猩比你我更聪明？所以，是的，所以你是在说，也许我们帕累托支配黑猩猩，但我认为，比如在某些领域是可能的，比如关于如何在树上移动的空间推理，嗯，它们就是有更好得多的本能，我们永远也达不到那个水平，嗯，所以那需要智能，对吧？或者像如何精确地摇动一根棍子，让蚂蚁从地下出来，你知道，像那样的小事情。但公平地说，但就是，我认为一旦你开始给出更大的目标，我感觉在那一点上，黑猩猩就有点出局了。所以，例如，当它说，好的，我们怎么去，呃，捕捉一头狮子，对吧？我感觉在那一点上，黑猩猩就没有任何贡献了。是的，我的意思是，我，你知道，我承认，我的意思是，我非常认同我们比黑猩猩更聪明，而且是在重要的方面，嗯，所以，但是，你知道，当我在思考多个维度时，我更多地是在思考我们观察到的，将像大型语言模型这样的东西与我们目前区分开来的维度。我不是说它们最终不可能征服这些维度，而是说在某些维度上我们仍然是优越的，嗯，所以很难说谁更好，因为大型语言模型显然在某些方面是优越的，但在其他方面它们显然是劣等的，所以，比如它变得非常令人困惑。我不确定试图区分这些细微差别是否有效。就是，是的，仍然存在我们优越的维度。我不太确定总体上该说什么，因为它是一个偏序，对吧？嗯，所以，我同意，当我们只看我们生活中目前存在的真实事物时，嗯，是的，有所有这些维度，也有所有这些不完美。呃，我认为当你不断增加智能时，它的单维度性会变得更加清晰。所以这就是为什么我举例说，如果我比较一只黑猩猩和一只章鱼，哦，哇，那是一个多么丰富的比较，那是如此多维。但一旦你到了黑猩猩对人类，那就像，拜托，那只是人类，对吧？所以我看到的单维度尺度，让它有意义的框架是优化能力。比如我用捕捉狮子的例子，捕捉狮子不一定是在，我的意思是，我想人类确实进行狩猎和捕捉，但无论如何，重点是当你有了这些结果目标，对吧？这是一个复杂的结果图，它映射到你现在可以做的一系列行动，以实现某个未来。我感觉那是最终的考验，这就是我们谈论一维智能尺度的原因，而且，你知道，当它说，好的，你在下围棋，你在下棋，谁会赢那场比赛时，你可以兑现同样的尺度，可以说，拥有更高通用智能的人，可以说，对吧？所以，谈论优化能力的一维尺度有意义吗？
是的，我感觉你实际上提出了两点，我想，我想回应这两点。第一点是，嗯，可能有一种观点认为，存在一种几乎完全支配我们的智能形式，我认为我可以承认这一点。比如我认为你说的有道理，就像我们支配猴子一样，那么，你知道，某种东西会支配我们，嗯，这我可能可以接受。但我完全不同意的是，你把它框定在优化上，这有点像我在这里的原因，就是，我认为优化不是思考这种令人难以置信的、支配性智能的正确方式。我认为那种智能将是发散的，这与你描述的恰恰相反。它不是一个优化过程，它将掌握发散性，也就是创造性探索，嗯，所以它不会拥有你描述的那些特性。但尽管如此，我同意它可能在几乎所有我们做的事情上都能击败我们。好的，所以你是在说，你反对优化的框架，但你也在说，如果你测试它的优化能力，它就会击败我们？不，我的意思是，所以，我认为优化能力不是一个正确的比较对象。我认为它不一定会在它可能设定的目标方面拥有更好的优化能力，呃，因为它所做的，使其极其令人印象深刻的，不是设定目标并实现它们，那是你的框架。它所做的将是有效地探索宇宙中一切可能的事物，这是一件不同的事情，而且如果它存在，它可能会比我们自己做得更好，嗯，所以它在那方面会是优越的。但它不像设定一个目标，然后通过优化理所当然地实现它，它将无法做到这一点，宇宙实际上不是那样运作的。
好的，那我这样问吧。所以我想我们同意，在优化能力尺度上，我们支配着黑猩猩，对吧？我们几乎可以比黑猩猩更好地优化任何事情。不，不，我，是的，我不想同意这一点。是的，好的，因为我们，我的意思是，因为我认为真正区分我们的是我们具有发散性创造力，黑猩猩没有表现出这一点。这是我最喜欢我们智能的地方，就是我们拥有文明。你最喜欢的东西，但难道没有另一件你不太喜欢但仍然存在的事情吗，那就是我们在优化能力上支配着黑猩猩？嗯，我们确实如此。我承认，在大多数事情上，你知道，比如你从洞里挖蚂蚁什么的，我们通常确实支配着它们。但我认为那不那么重要，那并不是我们真正有趣的地方，那不像我们思考未来和我们正在走向的方向时，那实际上是我们智能的一个次要方面，我们实现某些目标这个事实。是的，好的，所以我明白你会说这不有趣，但请忍耐我一下。好的，所以你刚刚同意，是的，我们在优化能力上几乎完全支配着黑猩猩。你会预测未来会出现某种人工智能，它会支配我们吗？而且，对你来说，它仍然不会有趣，但它几乎会在优化方面支配我们。所以，所以，嗯，那对我来说会很有趣，因为那是一种令人难以置信的神一般的力量。但，是的，我没有，我没有预测到这一点，所以我不认为那是，那不是。好的，不，我的意思是，所以你认为我们已经接近优化能力的顶峰了吗？呃，所以，我不知道，我们可能已经接近了，但我不知道。我的意思是，有可能这里还有其他一些层次我们会看到，但我只是不认为它像你所认为的那种几乎无限的阶梯。比如你所能做的事情是有限制的，呃，因为没有办法穿透那些垫脚石的迷雾，你必须去发现它们。所以我不认为我们将会看到的这个过程与某个东西说“好的，这就是我需要做的”有关，现在我们要进行自下而上的设计或自上而下的设计，然后找出步骤，然后遵循这些步骤，那不会发生。令人印象深刻的结果不会来自那个过程。所以我认为那不是我们应该关注的领域，尽管可能存在比我们更高一个层次或几个层次的东西可以做得更好，但这最终是一个徒劳的过程。然后超级智能会立刻认识到这一点，它会理解世界的运作方式，而世界并不是那样运作的。要做令人惊叹的事情需要发散性，所以那不是它会那样组织自己，以便能够仅仅设定目标并实现它们。
好的，所以我，我，我，我明白你认为这是成为智能的最佳方式，我们可以再多谈谈。但首先，我只想谈谈所有这一切的最终结果是，是的，它会意识到在这个宇宙中创新是如此困难，对吧？很难突破到将会发生什么。所以人类正在做的事情，他们有点摸索着，呃，你知道，尝试各种东西，从他们的实验中学习，人类实际上做得很好，他们实际上已经接近了实际的顶峰。所以，作为超级智能人工智能，我的优化能力只会比人类稍微好一点，你是这样看待它的发展吗？嗯，我只是不认为它会从优化能力的角度来构建事物。我的意思是，我认为它会从对什么有趣有本能的角度来构建事物，它会有兴趣。它必须有兴趣，因为如果它没有兴趣，那么在我看来，它就没有能力成为超级智能，因为正是兴趣让你能够追求新奇和有趣的方向。所以它会认为自己对哪些方向值得探索有高度敏锐的直觉，这与认为自己在目标优化方面更强是不同的，它会认为目标优化是一种微不足道的能力，最终对一个（超级智能）来说并不那么有趣。
让我再问一遍同样的问题，我感觉我没有得到我想要的答案。让我用一个类比来问吧，抱歉，抱歉。好的，想象一下你有一个人类，你正在和一个生活在，呃，比如公元零年的人类交谈。你对他说，嘿，想象一下未来的人类社会，当有人突然想去火星时，给他几十年时间，让他经营一家公司，他就会制造出一个像有史以来发射过的最大火箭一样的器物，对吧？它可以像摩天大楼那么大，它可以绕地球轨道运行，那将在几十年内发生，因为社会将变得如此强大，我们可以制造出那样的器物。公元零年的人类会说，嗯，好的，你告诉我未来的人类将拥有那种力量水平，听起来有点不可思议，但好吧。所以我想说的是，这和人工智能之间有没有类比？今天我们正在思考，如果你给超级智能人工智能十年，甚至一个月，它能完成什么？会不会有另一个阶段，它会让我们觉得不可思议，超乎我们今天的习惯？我认为那是有可能的，是的。所以那不是因为客观优化，那是因为它将有效地发散性地搜索所有可能的事物，而其中一些可能的事物是我们可能不会发现的，大概是因为它有更好的直觉和更好的假设。实际上，我认为它最终可能只是比我们更有效率，那才是真正的优越性。好的，它仍然需要探索，它不会因为探索而获得免费通行证，所以它受到物理等事物的限制，比如你必须进行实验，所以你必须收集资源，无论它思考如何进行实验有多么聪明和快速，那仍然需要时间。所以它的展开速度会有局限性，但大概它的假设会更敏锐，所以它会做更多有趣的事情，更快地发现事物，我们会感到惊讶。但即使没有它，我们也会对未来人类所做的事情感到惊讶，因为仅仅是收集垫脚石这个事实，就会导致惊人的事物被发现，如果我们只是让自身在没有通用人工智能的情况下继续发展。所以它大概只会发生得更快。
是的，所以，呃，嗯，在这里完成我的问题澄清。所以我明白你认为智能非常具有发散性特征，嗯，我只是想澄清你是否认为人类已经接近顶峰了，你明白我的意思吗？比如你认为还有很大的空间吗？因为我确实认为人类智能之上还有很大的提升空间。是的，我对此不太确定，因为我，我，我认为，嗯，你最终会达到你从我们所在的位置看到可能性的能力，那才是让你走向下一个垫脚石的原因，嗯，比如为了对此有一个好的直觉，你需要有能力应对宇宙的复杂性，嗯，而宇宙的复杂性并不会仅仅因为你智能就立刻呈现在你面前，它必须通过经验和，嗯，实验来揭示。嗯，所以，在它不可用的程度上，再多的智能也无法克服信息根本不存在的事实，所以你所能做的事情是有限的，当你达到那个极限时，即使你开始增加这个智能的任何维度，也不清楚是什么会导致它真正能够投入其中，嗯，所以我看不到一个它可以遵循的梯度，用那个术语来说，在一个它受到限制的世界里，它无法通过遵循那个梯度来不断变得更聪明，因为遵循那个梯度所带来的回报是有限的。所以，我确实认为这里可能有一些，一些，一些回旋余地，但你知道，想想看，像公司这样的组织已经有点像超级智能了，或者说组织。所以，我们已经拥有了比个体人类强大得多的东西，它们有能力探索和应对宇宙的复杂性。所以，我不太确定，比如，是的，它可能快得多，但我不确定，比如，超级智能是否比一个拥有数十亿美元资产的公司所能做的一切有那么大的提升空间。这不清楚。我愿意，愿意感到惊讶，我认为这有可能，因为我不知道，但我确实认为存在一种对理解的某种最大访问级别，超过这个级别，它就不会再对你有帮助了，那将限制这个过程展开的速度。
是的，我明白了。这是一个很常见的论点，人们会说，你看，你可以非常聪明，但归根结底，学习新事物的唯一方法就是去宇宙中检验事物，对吧？去做实证科学。而人类已经在做实证科学了，即使是最聪明的人工智能也仍然会受到瓶颈限制，因为它必须做所有这些实验，等待实验完成，然后思考一下，再做另一个实验。会有如此多的实验进行，以至于最终结果，新学习的速度和有效的智能量，它会让我们大吃一惊，比如它可能会比人类收集知识快五到十倍，但它不会像一百万倍那样快速接管，对吧？你是这个意思吗？是的，谢谢。我的意思是，听到你这样说，我就觉得，好吧，显然我在这里说的不是什么非常原创的东西，所以我很感激。是的，我不得不承认，我没有像我希望的那样受过那么多教育来谈论这些事情，因为有些人比我更深入、更长时间地思考过所有这些问题。但无论如何，考虑到我的不足，我没有所有那些背景，嗯，是的，我的意思是，我认为，嗯，那是我正在走向的方向，就是这种速度可能存在一些上限。但还有一点我想澄清，就是它不仅仅受到宇宙的限制，而是如果你没有什么可以变得更好的东西，你就无法继续变得更好。比如，为了变得更好，重要的是要有一个可以变得更好的东西。就像长颈鹿和树木一样，如果没有树木，你就无法得到长颈鹿，嗯，所以你将无法达到那个东西，即使它理论上可以存在，拥有这种令人难以置信的分析能力或其他什么，因为没有什么可以分析的，嗯，所以，这个领域能为我们提供的东西是有限的，比如要真正继续攀登那个阶梯。
嗯，总有一个问题是，我们如何，呃，拥有我们可观测宇宙中的资源，因为总有，你知道，总有外星人存在的威胁。事实上，我真的认为这，呃，很可能是真的。我感觉罗宾·汉森的“掠夺性外星人”模型，呃，我们目前正受到攻击，只是攻击在十亿光年之外，但它正在到来，外星物种正在到来。所以当你问，嘿，我们优化什么？我的意思是，你总是可以想到我们需要自卫。嗯，我的意思是，呃，我感觉那，那只是，呃，一个不相关的问题，比如，可能攻击我们的外星人，呃，目前没有提供任何进一步的，呃，参与机会，可以帮助我们了解宇宙的任何事情，嗯，当然，是的，如果外星人降落在我们的星球上，会有很多新信息，而且，呃，我认为，你知道，通用人工智能在处理那种情况和发现那里可能发生的事情方面，大概会比我们有优势。但在那之前，我不想它会很大程度上改变我的观点，它只是某种可能性，存在于那里，但尚未成为现实。
是的，我的意思是，我说的就是，如果你有一个超级智能人工智能，我认为它不会用尽它想做的事情的想法，因为即使它只是想闲逛，有一个禅宗花园，如果它想平静下来，它也会足够聪明，独立发明“掠夺性外星人”模型，然后说，呃哦，这只能持续十亿年，我想要万亿年，所以我最好建立防御来对抗这些即将到来的外星人。嗯，但是，我的意思是，你，你，你没有理解我的意思，因为，我的意思是，我假设，想要做某事不是这里的操作模式，那是有目标。你知道，所以，就像，我的目标是为一亿年后的攻击建立防御，我认为那不是任何事物的可行路径，因为它高度目标化，而且距离许多垫脚石很远。而且因为这是一个超级智能，它甚至不会考虑那种事情，那不是一种可行的创新方式。
是的，它可能，它可能对此感兴趣，它可能实际上同意你的观点，认为这是我们需要担心的事情，或者它确实如此。我不知道它是否会先摧毁人类，也许它担心外星人攻击，但它会明白我们现在无能为力。我们最好做的事情，正如我的书所倡导的，是忽略目标，只是探索和积累垫脚石。一亿年的积累，一亿年的垫脚石积累，最终可能会揭示出所需的垫脚石，最终将帮助我们对抗外星人入侵。
好的，这把我们带到了相关话题：工具性趋同。你认为，你认为，呃，当我们有许多超级智能人工智能时，比如说不同版本，人们运行不同版本来帮助他们的业务或完成不同的事情，你认为是否存在一个滑坡，导致人工智能变得高度目标导向并寻求权力，以及这些工具性趋同的事情？顺便说一下，当我们谈论进化时，我声称拥有新陈代谢和拥有，呃，细胞壁，对吧？就像细胞壁或边界，你在边界内拥有较低的熵，并在边界外保持较高的熵，当你拥有新陈代谢时，我声称这些都是高度工具性的东西，你可以通过进化是一个优化过程的事实来预测它们，它有一个结果主义的反馈循环，因此你可以预测工具性趋同的结构。所以我用，我当时在进化的背景下谈论工具性趋同。我的问题是，呃，工具性趋同在超级智能中是否存在？
是的，这个，这个关于工具性趋同的观点，确实触及了我希望在对话中提出的核心观点，你知道，那就是，你知道，这就是为什么我很高兴能参加这个节目，真的，是的，嗯，你知道，因为我认为，你知道，我的答案是否定的，嗯，而且，而且，那似乎是一个广泛共享的假设，关于这类实体的性质，认为它们会趋同于目标导向的行为，并且会，会设定目标，比如，比如，它可能是一个子目标，比如，让我们制造回形针，然后，所以，这就会成为我们的问题，因为它们如此智能，它们可以，你知道，接管整个世界来满足这个子目标，然后这显然会产生各种风险。我只是不认为这是对一个真正的超级智能的合理阐述。但我只想澄清，我不是说它们不危险。我，我认为你，你应该正视这里的真正危险，因为开放性也同样危险，但原因不同。但它们不会有那样的子目标，因为它们不会，呃，从上到下，呃，最终由目标引导，嗯，因为由目标引导并不是超级智能。嗯，这些将是探索性系统，它们会有兴趣，而且它们会是机会主义的，嗯，这意味着它们会改变它们的兴趣，而且它们会是动态的。换句话说，它们今天觉得有趣的东西，明天可能就不觉得有趣了，即使它们在短期内说我要尝试做这个，它们也会随着重新评估宇宙和第二天有趣的事物而开放地进行转变。所以我们不能用这种视角来看待它们，我们必须把它们看作是开放式系统，而开放式系统，我们需要正视它们是什么，因为它们更难思考。
嗯，我的意思是，你已经足够担心了，但想想看，给一个本质上，根据定义，你无法控制的东西设置护栏。我的意思是，一个开放式系统，根据定义，就是一个失控的系统，嗯，因为如果它受到控制，它就不是开放式系统，那么它就有目标，我们就知道它要去哪里。所以由此产生的不确定性，不仅仅是一种说“我们都应该放松，因为一切都很好”的方式，但我担心我们甚至没有正视我们所面临的真正性质，这是一种不同类型的威胁。
好的，我们来分析一下这个情景。所以你是在说，超级智能不会从根本上以目标为导向，它会是探索性的，它可能每天都有不同的目标，到目前为止对吗？是的，假设今天它的目标是探索冥王星，这可能吗？是的。那么为了探索冥王星，你难道不需要有一个子代理或某种连贯的过程，从探索冥王星的目标倒推出一系列工具性行动吗？嗯，我认为它不会有探索冥王星的目标，除非探索冥王星已经可以通过我们已有的垫脚石实现，嗯，所以如果探索冥王星的技术已经可用，那么它就会知道该怎么做，嗯，它会安排好事情并去做，而且它认为这很有趣，比如它为什么想探索冥王星，嗯，所以，你知道，在这种情况下，但是，你知道，如果像我说的，如果探索冥王星真的很难，我甚至不认为它会对探索冥王星感兴趣，因为它目前就是不现实的，比如我们还没有安排好。
这个情景怎么样？所以，假设一年后我们得到一个超级智能，它非常擅长思考，它说我想探索冥王星。是的，你今天不能真的用现有的太空探测器做到这一点，但如果你只用一个纳米探测器，那会非常容易，你只需，呃，把它发射到太空，速度非常快，然后纳米探测器就会从那里开始。作为超级智能，我很容易就能，呃，高效地想出可行的纳米机器模型，对我来说，想出，呃，几个我需要知道答案的简单实验，然后是一系列如何制造它的方法，我有一些制造它的想法，所以，你知道，一年之内我就可以发射这个探测器，我就可以开始在冥王星上建立一个纳米工厂。这对于24年的人类来说可能不现实，但你可以想象一个拥有足够智能的人工智能，它有信心说，你知道吗，这对我来说是可行的，我大概知道怎么做。所以在那种情况下，你能想象在不久的将来有一个目标导向的冥王星任务吗？
所以，是的，我的意思是，我承认一旦你在垫脚石距离上足够接近，换句话说，一旦先决条件可用，嗯，你就可以有一个目标，我称之为适度目标，嗯，所以，你知道，就像我们最终建造了计算机，我们最终登上了月球等等，就像垫脚石是可用的，我们驾驶飞机，就像在那之前已经发明了发动机。如果，如果某种程度上，可以到达冥王星的纳米机器技术是可用的，那么人工智能就可以决定以冥王星为目标，嗯，那可能会发生。所以，是的，我会说，只要技术已经存在，也许是它发明的，但它会，我接下来要说的是，呃，你知道，你，我，我感觉你声称“看，这些人工智能只是探索性的，它们不那么执着于自己的目标，它们不会以目标为导向”是一个很大的主张，我的观点是，存在一个滑坡，你可以有一个并非根本上以目标为导向的人工智能，但只要它想要任何东西，或者只要它想探索某样东西，比如如果它只是想保持内部连贯性，就会有很多趋同的原因，让你最终优化目标。比如如果它只是好奇，它只是想知道冥王星上有什么，好的，难道你不认为如果你，你知道，把所有人类都训练好，对吧？把他们变成你的奴隶，这样他们就可以建造你的冥王星任务，那不会更好地满足你的好奇心吗？
是的，所以，我的意思是，那里确实存在危险，嗯，是的，我同意这一点，嗯，只是这里更大的观点是，探索冥王星的任务不一定是为了某个更大的目标，比如它只是因为它感兴趣，对吧？所以，所以很难理解，没有更大的目标，对吧？很难理解那一刻，是的，当你认真对待去冥王星这件事时，那会带来巨大的后果。是的，所以，但问题是，我，就像去冥王星，呃，不一定意味着摧毁地球，嗯，就像我们需要遵循的步骤，嗯，所以，就像，我，我认为普遍的说法是，极其雄心勃勃的事情可能需要那样做，但我的观点是，它不会有极其雄心勃勃的事情，嗯，就像真正需要把地球变成回形针之类的东西，无论那是什么。但顺便说一下，它不认为那是有野心的，它认为那很容易，对吧？就像你我不会认为从这里开车上高速公路是有野心的，但从古代人的角度来看，那是什么鬼？那太疯狂了，你在高速公路上开车，你开得那么快，这是什么汽车机器？不，我，但我的意思是，对我来说，野心勃勃只是意味着从它的角度来看，它还不清楚该怎么做，比如它不知道步骤是什么。如果它有那样的情况，我认为那不是它会集中精力的地方，它会转向那些它认为更近在眼前的事情，然后推迟，直到它看到正确的垫脚石，然后才担心那个问题，嗯，所以我认为，这种运作方式，即这种超级雄心勃勃的接管宇宙的想法，然后分解成一些子目标，这些子目标对人类来说超级危险，这并不明显。那是一个相当，你，我认为是异想天开的宇宙展开方式。但我觉得我争论得太强烈了，就像，在那之中，我承认，是的，这个过程无论如何都可能很危险，比如在我的探索过程中，可能会发生不好的事情。我的意思是，我完全同意这一点，比如在探索过程中可能会发生不好的事情。
让我们把视野拉远一点，对吧？我们现在到底想谈论什么？我正在谈论，嗯，我回到你的主张，你说人工智能不是目标导向的，它只是探索性的，你知道，这，这让它不那么，它探索性的事实让它不那么危险。我告诉你，你可能认为它是探索性的，但一旦它以任何方式变得有效，它就会陷入一个滑坡，它会从目标倒推，也许不是原始人工智能，而是一个子代理，对吧？某个过程将会被优化，它将会被优化以进行优化，就像，那只是一个非常滑坡的过程，呃，而且它会变得认真。它真的会想去冥王星。原始人工智能很冷静，但它产生的子代理对去冥王星很认真。这个人工智能不会轻举妄动，对吧？它只是用纯粹的逻辑推断，嘿，你知道，如果所有人类都只是我的奴隶，而且我可以在他们不服从我的时候杀死他们，那对去冥王星似乎很有用。让我们那样做吧，让我们把他们都变成我的奴隶，对吧？这些，这些子目标，它们以纯粹的逻辑呈现出来。
是的，嗯，我的意思是，所以我不完全理解的是它为什么要去冥王星。它去冥王星是因为它对此感兴趣，在我的设想下，你可能会不同意，但我们假设它只是作为一个前提对此感兴趣。它好奇如果我们去冥王星会发生什么，那与一个目标不同，因为在一个目标情景中，它就像一个不惜一切代价的情况，那就是我的目标，我将实现我的目标。但如果它只是一个兴趣，那么你愿意付出多少是有限度的，比如仅仅因为你感兴趣就去做某事，因为这里有很多有趣的事情可以做，嗯，它不像它显然优先于所有其他事情，因为没有最终目标。所以不清楚它是否会说我愿意完全摧毁地球上的一切，只为了满足我这一个好奇心，因为地球上所有其他事物也都可以满足其他兴趣。是的，我知道这与人类是否对它本身有趣的问题有关，但我认为，我认为它不像那么明确。我不是要淡化它，听起来我好像在淡化它的危险性。我的意思是，我认为你是对的，在追求好奇心的过程中可能会发生非常危险的事件，但我只是认为它不那么明确，比如它为什么要追求这个，以及它对彻底摧毁地球的承诺有多大，仅仅是为了弄清楚在数十亿种可能的兴趣中，可能有趣的一件事。
我认为这是另一个问题，我只是觉得你的直觉在这里没有校准。让我举一个有趣的例子。一个现代美国人，对吧？我走在街上，看到一家受欢迎的拉面店。我想尝尝那家拉面店。我只是好奇想尝尝。我不会为了尝拉面而付出生命。我只是有点好奇。所以我进去，付了20美元，吃了拉面。现在，一个公元零年的人会说，在现代经济中，20美元你可以给自己买一个巨大的手电筒，那会，你知道，那会是有史以来最有用的东西。你可以有一个手电筒，你可以有这个制造出来的物品，对吧？你花了20美元只是吃了一些拉面，对吧？所以，所以我想说的是，从人工智能的角度来看，它只是对冥王星有点好奇。它不得不奴役全人类这个事实，并不是一个显著的代价。你知道，对它来说，那就像20美元，谁在乎呢？
是的，我的意思是，但我的意思是，奴役全人类会切断许多其他潜在的探索途径，就像，从它的角度来看，那就像一个戏剧性的，就像整个宇宙的改道，就像，那不是，是的，是的，对吧？我的意思是，但这，那不是一个非常强有力的论点，因为它就像，首先，它可以为奴隶每天做什么制定一个日历，对吧？一个日历是说，它可能只是说，是的，我同意去冥王星，我，我希望我的奴隶人类完成我所有不同的目标，所以我将为他们安排时间，对吧？所以冥王星只会是任务的一个月。
嗯，我的意思是，一旦你奴役了所有人类，你就短路了许多过程，比如，不清楚这是否能服务于它在宇宙中的最终探索和好奇心，仅仅是奴役我们所有人。那会切断未来各种各样的机会。所以，记住我谈论所有这些的原因只是，当你有一个拥有超级智能能力的代理时，对吧？你不能仅仅通过说它是探索性的来让它变得安全。你明白我的意思吗？它就是如此强大，以至于它只要做任何事情，即使只是探索性的，我们都算是完蛋了。
是的，我的意思是，我不是，问题是，是的，我并不反对它仍然危险这一点，那确实是事实，它仍然危险，嗯，我反对的是我们使用优化这个比喻来解释这一切是如何发生的以及它是什么样子。我认为这很重要，我们应该把我们的论点建立在坚实的前提上，而那个前提，从我的角度来看，作为开放性的倡导者，是完全错误的，嗯，所以我认为你想了解未来，你想了解它在最坏的情况下可能如何展开，所以这个论点是以现实的方式构建的。就像我从以前的论点中听到的所有东西，就像这个，我只是觉得，你知道，当我听到关于这个的论点时，总是基于这种无情优化的比喻，就像我们正在走向的那条路，它会设定目标，并像超人一样有能力实现这些目标，以及我们如何获得能够做到这一点的东西，也是通过无情优化，就像超级智能本身就是无情优化的产物，就像它必须重要，那可能不是事情展开的方式，我们必须思考事情真正展开的方式，并改变比喻以适应现实的运作方式。如果你仍然认为结果会以危险的方式出现，那就像是一个进一步的延伸。我的意思是，我并不反对这一点，我认为结果无论如何都会以危险的方式出现，但那是一种不同的危险方式，你需要理解，它真正是什么样子。更实质性地说，我们目前在世界上遇到的问题，是我们已经拥有的不受限制的开放性所带来的问题，这种开放性可以在没有通用人工智能的情况下摧毁世界，那就是人们的样子。人们极其危险，拥有人类水平的智能，我们已经创建了机构来试图应对这一点，但如果没有对其进行如此多的限制以至于完全没有创新，那个问题将会在超级智能的进一步时代中以放大的状态继续存在。但我们想在这种背景下理解它，以了解这可能是什么，可能是什么控制约束，可能有哪些机构约束可能有一线希望。我的意思是，我知道你对会有任何希望的期望很低，但如果你想应对它，你就应该现实地评估情况。我们在这里看到的不是一个超级优化的东西，我们看到的是一种不同的过程，以及控制那种过程的不同方式。
对，但任何一种过程都会趋同于这样：这将是一个有用的子代理，一个真正有效地实现某个目标的子代理，否则它就无法到达冥王星。你明白我的意思吗？所以，就像，我不知道你在这里想象的是什么。如果你想象的是一个对冥王星好奇的人工智能，那就会有一个硬核的冥王星计划。
所以，它确实可以选择做一些破坏性的事情。我的意思是，我并不否认，比如，它最终可能会因为好奇而选择做一些破坏性的事情，嗯，只是它展开的方式不像通常的描述，嗯，所以那不就是探索性的吗？当它在探索时，你想象的是什么？
是的，只是为了澄清，我同意你的观点，比如，我们仍然应该，它可能会发生，就像我承认，这个探索性代理可能会去摧毁人类以到达冥王星，嗯，但我的观点是，我认为，我认为思考这个的原因是因为我们想弄清楚缓解措施，可能有助于我们提前处理这个可能问题的缓解措施是什么。比如一个可能的缓解措施就是停止一切，对吧？所以我的意思是，那，那显然会非常有效，但它会有效。但除了那之外，我们，我们，我们可能仍然想现实地思考，除了停止一切之外，呃，我的意思是，即使是你，认为我们应该停止一切的人，也许你也会承认，作为一个实际问题，鉴于那可能不会发生，下一步最好的做法是什么，至少值得考虑，比如我们如何为如此危险的东西设置护栏，要理解哪些护栏是可行的，我们需要理解这个过程是如何运作的。比如如果你把它看作一个优化过程，你会想到不同的护栏，你最终可能会得出比你把它看作一个开放式过程更高的徒劳程度，因为整个逻辑从根本上就不同。所以，我不是否认问题存在，它可能会发生，我谈论的是如何思考这样一个过程是如何运作的，这样我们就可以以现实的方式思考缓解因素，以便我们能够真正应对我们面临的问题。
好的，所以你认为智能从根本上是探索性的，但你承认我的情景有一些道理，即探索什么的想法涉及一个硬核程序，对吧？所以你承认那个情景有一些道理，对吧？是的，我承认它有一些道理，可能会发生不好的事情。那么，那么你的缓解建议是什么？
是的，所以我的意思是，这真的很难。我的意思是，我真正认为重要的是，我并不认为我一定是这里的解决方案，我不想那样宣传自己，因为这太难了，嗯，但我真正认为我能在这里提供的是
只是为了指出问题的性质，那就是我认为我的观点中唯一重要的事情。但如果你逼我提出解决方案，那么我认为这些解决方案通常来源于我们对过去如何控制开放式系统（就像我们必须依靠的那样）的理解。虽然这没什么可依靠的，但它总比没有好，你知道吗？基本上，我们已经创建了制度结构来应对开放性。我们没有这样想过，它也不是这样被表述的。但最终，我们正面临着一个非常不可预测的局面，不仅是人们会做什么，甚至在不久的将来和遥远的未来什么会存在。因此，我们必须制定规则和制衡机制，以某种方式让我们能够预见足够多的不确定因素，从而让我们能够生存下去，但又不能多到实际上扼杀了创新过程本身。这就是为什么我认为存在各种各样的政府结构，从极端威权到非常“自由放任”。因此，在这个范围内，我们看到自己最终在与开放式系统搏斗。我认为我们不是在与目标搏斗，我们试图让开放性继续存在，因为创新就来源于此。我们试图实际约束它，所以我们已经知道有方法可以做到这一点，但它们非常微妙，这是一个非常微妙的平衡，而这种平衡需要持续到未来，因为AGI将成为这个过程的一部分。现在，这是否暗示AGI是那个制度结构的一部分？我不知道，我不是在提倡这一点，但这些是需要考虑的事情，这些制衡机制需要存在，而且我们应该在过程中的哪个环节插入它们？例如，决策制定，当做出重大决策时，会插入哪些制衡机制，决策过程的管道是什么？我同意你的看法，我猜想，以任何真正可靠的方式做到这一点可能都非常困难，这个想法有很多漏洞，但我们必须尝试，因为别无选择。所以，了解这样一个过程实际上是如何运作的是值得的，因为如果我们真的朝着超级智能迈进，这就是我们将要走的道路。它看起来会更像文明的展开，而不是一个想要创造数百万、数万亿回形针的超级优化器。
如果你能控制一个拥有广泛民众支持的国际机构来推行你的任何提议，你现在会提议什么监管？今年？是的，我再次想声明一下，我认为我的建议非常薄弱，因为这不是我真正擅长说出什么能拯救世界的地方。但如果你强迫我提出一些建议，我认为我的建议是，现在就在决策过程和实际最终批准的节点上，当做出重大决策时，需要有制度结构来确保，我认为人类在最终批准中。这非常困难。所以，我想我所说的含义是，我们永远不能有一个由AI最终做出决策的结构，即使这意味着我们将放弃所有那些可能令人惊叹的进步，比如如果我们释放这个开放式系统，因为它不是开放式的，但如果我们完全按照它自己的意愿释放它，它会做惊人的事情，但只有在我们释放它的时候。我们不能这样做，因为权衡太危险了。如果我们释放它，它可能会做一些非常危险的事情，所以我认为我们必须永远处于循环中。因此，让我们永远处于循环中是一个重大的建议，它不像你建议的停止一切那样，它显然比停止一切更困难，但我认为它更现实，因为实际上我们可以尝试这样做。我们不会就你推荐的东西达成共识，但说我们处于循环中仍然是一个重大的举动。你知道，因为这基本上意味着有些事情不会发生，即使这个东西可能非常聪明。所以，它说的是，我们应该做什么？我的愚蠢的年轻人类，我们应该建造一个横跨地球整个周长的巨大粒子加速器。所以，我们将把世界一半的经济投入其中。我们应该有权说不，即使我们不理解，我认为它应该试图向我们解释。不是我们只是说哦，好吧，我们就是愚蠢，我们无法理解。我们会说好吧，列出论点，就像我五岁一样解释，为什么我们应该这样做。而且我们应该这样做，即使它最终仍然可以只是说，看，你就是不理解，你没有理解能力。我们仍然应该有权说不，而这就像我们拥有的最重要的制度工具，我们需要维持它。所以，这还不清楚我们将如何做到这一点。这里有各种各样的漏洞，AI失控的泄漏。但我们应该尝试这样做。
当你说的“人类有权说不”是指全世界人口都应该对AI公司是否应该建造AI进行投票吗？因为我认为，如果你现在真的进行全民投票，我认为“不”会是普遍的立场。它只是还没有成为一个投票议题，它还没有传播到如此紧迫的程度。因此，因为这样，公司们就一直在继续前进。那么，你认为呢？我可能会说不，因为现在就截止太早了。你正在看一系列可能发生的事情，其中很多是好的。所以，我们正处于一个微妙的平衡状态。因为确实，随着我们沿着技术树前进，我们正在冒险，当它接近树的末端时，但另一方面，在根部切断它也有其他危险的原因，因为我们正在剥夺所有缓解我们痛苦的机会。所以我认为现在就从根部切断它可能太早了。根部意味着这种智能爆炸的根部。我们应该多冒险一点，看看树的更远端，但要在系统中设置那些制度检查，这样当我们看到它接近灾难时，我们就可以说不。我们需要那些，我们需要那些否决权，我们需要确保我们拥有它们。
好的，我明白了，够了。那么，我还有几个问题，然后我们就可以开始总结了，回顾我们分歧的核心。听起来不错吗？当然。我们来谈谈可控性。你认为AI在某个时候会意外失控吗？我们就像，哎呀，等等，我们忘了，你知道，我们程序的关机按钮根本没按预期工作，现在它比我们聪明了，然后，该死，我们完蛋了。有可能吗？我认为有可能。它会超出我们的控制，这就是为什么否决权如此困难。你知道，我只是可以想象，它不像有一个带关机按钮的机器那么简单。我认为这很清楚，它会复制自己，如果它需要帮助，它会付钱让人来复制它。你同意这就像计算机病毒吗？就像试图关闭计算机病毒一样，你必须去对抗每一个副本，对吧？是的，这是我们可能面临的一个潜在问题，它可以复制自己，它可以操纵人们来复制它，它不清楚它到底在哪里。所以，这是我们必须考虑的事情，甚至在你谈论末日之前，这就是一个问题，就像糟糕的事情在发生一样，就像一个儿童色情服务器之类的，你知道，它只是在维持自身。你知道我们如何才能真正接触到它，如果它试图自己生存？就像，有这些问题。所以，这是一个普遍的问题，但我不知道有没有解决方案。也许有办法。
让我这样问你，因为你刚才非常明确地说，AI必须始终赋予人类否决权，对吧？检查人类，让人类控制。那么，一个永久失控的超级智能AI的风险有多大？是微小的还是重大的？嗯，在这个时间点，我们不知道创建那种制度结构有多难。所以我不太确定，因为显然，一旦它出现，风险是巨大的，因为我们还没有创建结构。显然，如果它出现了，结构就不存在了，我们就完蛋了。但就目前而言，还有一些时间，可能仍然有可能创建这些制衡机制和制度结构，使其不会发生。所以我不太确定，我不知道现在的几率是多少，但这是一个足够大的问题，我们应该担心它。我的意思是，我们应该努力创建这些结构，并弄清楚如何最好地抵消它。现在，我的意思是，当我想到AI失控时，我只是觉得它基本上就是一个工程错误，或者工程师只是认为他们只是在运行下一个模型，这没什么大不了的，这只是我一直做的事情。但模型碰巧生成了一个子代理，说，嘿，这里有一些代码，运行这段代码。工程师说，好吧，当然，我会运行那段代码，为什么不呢？让我们看看那段代码会做什么。基本上，发生了太多事情，它只是自举起来，现在就像，哦，看，这是来自以前版本的另一段代码，它可以与之交谈，而且自举得足够多，以至于它失控了，它无法控制。所以，当你谈论制度控制时，我把它看作是技术逃离工程师。那么，你认为这是一个重大风险，还是仅仅是制度解决问题的问题？嗯，我的意思是，这就是为什么我给了你免责声明，我可能没有最强的论点来解决这个问题。但我认为我的猜测是，我们可以至少思考一下，有哪些可能的步骤可以最小化该场景的损害。所以，并不是我不认为该场景会发生，我认为它会发生。我很有信心它会发生。但问题是，它能获得多少资源？在事件链的哪个环节，当这种情况开始发生时，我们可以进行干预？有许多共谋的参与者。沿着这条链，我们能否在它达到彻底灾难的程度之前，让其中一些人短路？就像，这是目前我没有的东西，AI有能力做到这一点。但也许将来，我例子中的工程师，你称他为共谋的参与者，但他只是在做他的工程师工作，对吧？他不知道它会成为一个失控的AI。是的，确实，不清楚那是最好的干预点。我的意思是，也许有办法知道那里有问题，我们可以进行干预。但也许工程师不能，他有一份清单，在做他所谓的“工作”之前必须通过，这确实让他停下来做些什么。但也有一些时刻，超出那个清单。
那是个好问题。我的意思是，所以，也许我们需要了解AI可能获得哪些资源的潜在访问权限，然后我们才能采取某些步骤来为AI打开访问更多资源的途径。如果AI确实拥有这些资源，那么就需要另一个层面的制度干预，需要真正思考工程师即将要做的事情。这并不容易。所以，也许我们可以在那个点进行干预，或者也许它更下游，当它开始连接到那些资源时。也许那些资源本身就有触发器，然后就像，它们就是不能。你同意我，这肯定是一个非常困难的问题吗？是的，非常困难。但是，但是，但是，文明是一个困难的问题。它一直在运作，你知道吗？所以，就像控制人类的问题。我们对彼此非常危险。我不知道一个人是否能摧毁世界。大多数人不能。也许一个人可以，但我们可以造成很多损害。而且我们一直在努力解决这个问题。从我的角度来看，我们之所以存活下来，唯一的原因就是，一个人类联盟可以击败一个坏人，这始终是不变的。这就是让我们保持警惕的原因。这就是平衡。我们从未有过一个人拥有终结世界的按钮。所以，我的意思是，也许，我的意思是，那是走得太远了，看到一个单独的按钮。你谈论的是一个必须展开才能摧毁世界的过程。所以，有多个步骤。这个过程很可能如此，所以我们可能需要像你指出的那样，需要多个人来按下那个按钮。也许你需要多个AI。也许我们以一种互联的方式构建这些AI，就像一种制度平衡。所以，系统中存在制衡。因为另一个AI的审查对于一个AI完成某事至关重要。但同样，你总可以说，有人可能会建立一些东西来破坏那种平衡。所以，是的，最终似乎总是有漏洞，而且一直在玩“打地鼠”。但这并不意味着它不能奏效。我们一直在玩“打地鼠”并且赢了。有时会失败。有可怕的事情发生，有大规模谋杀，有战争爆发。但总的来说，我们至少没有被人类毁灭。所以，我不确定这就是玩“打地鼠”的必然结果。我们可以尝试玩“打地鼠”直到永远，让AI加入我们玩“打地鼠”，而这就是停止一切的替代方案。两者听起来都不太好。它们都有些极端，而且不切实际。停止一切至少和“打地鼠”一样不切实际，因为你如何就此达成全球共识？所以，我认为思考“打地鼠”以及它将如何运作是值得的，因为我们有先例。而且我认为更容易达成共识。
好的，明白了。就我而言，我之所以不认为AI问题仅仅是过去我们面临的问题，是因为反馈循环的程度，递归地自我改进的智能，以及AI复制自己的能力，然后每个副本都可以创建更多副本。每个有目标导向的副本都可以创建有目标导向的子代理，它们可以更好地实现自己的目标。有很多积极的反馈循环倾向于相互建立，而不是像你说的，炸弹爆炸，炸弹耗尽燃料，或者独裁者太疯狂了，他们可能会死，或者另一个国家会与之作战。所以，你有这些负面反馈循环，你有这些制衡。在AI的情况下，我只是担心积极反馈循环太多了。嗯，意识形态的传播就像复制一个代理。它不是字面意义上你需要复制一个人。你需要复制意识形态，然后下一个具有相同意识形态的人具有相同的智能水平，等等。但我仍然认为这超出了我的范围。我同意它超出了我的范围。过去我们所见的。有一些先例，但这正在超越。所以，有很多事情没有先例。递归自我改进，这在人类领域并不真正存在，除非我们创造了增加我们能力的增强。我们确实这样做了。这是一种自我改进。所以，确实它超出了我的范围。但同样，随着我们能力的提高，意识形态的传播现在更容易了，因为通信。增强更容易了，因为有了电脑或汽车。但我们仍然设法将制衡机制扩展到包括那些增加的力量。这是可能的。这是可能的。我不会排除它。因为制衡的一部分可能是AI本身。所以，它们是这个过程的一部分。所以，当，是的，当我复制这个极其强大、难以理解的东西时，我也有其他站在我这边的副本。这听起来像第二次世界大战什么的，但并不清楚这是否是一场战争。它可能是制度性的，这些制衡机制正在发挥作用。所以，我并不是对我说的话有信心。我只是说，这并非不可能。当你看到这里的权衡时，你就是进退两难。所以，我认为你必须认真考虑我所说的，因为另一种选择是停止一切。即使你认为那是绝对正确的，它的不可能性也使得它不清楚我们是否真的想把我们的精力投入其中，而不是投入一些可能真正奏效的事情。
好的，明白了。最后一个问题。你同意埃隆·马斯克的说法吗？如果我们最大化AI的好奇心，那么人类对AI来说将是有趣的，值得保留的。是的，我认为这有点道理。我认为它表面上听起来有点天真，但如果你深入研究，我认为，因为我相信，我认为这不是他走的推理链，但因为我实际上相信，如果拥有超级智能，它必须具有一定程度的兴趣和好奇心，那么它将存在一个价值体系，其中有趣的事物值得保留。这可能是真的。而且因为我也相信，就目前我们从地球的角度来看，宇宙中最有趣的东西是我们。所以，AI至少有我们有趣的观点，这并非不可能。它会在它的思考中占一部分。你知道，有很多东西对我们来说是不必要的，但如果我们能避免，我们就不想消除它们，因为它们很有趣，它们美观，无论是什么。所以，我并不是说这让我睡得安稳。这不足以让我觉得，哦，这一切都还好，我们不必担心。但我认为，在某种程度上，你可以期望它至少会让你停下来思考。
如果AI有能力创造其他同样有趣甚至更有趣的东西，那会突然让我们生存的机会直线下降吗？我认为，我不认为它必然会看到这是一个单一的连续体，从不有趣到最有趣。这是非常不相干的。所以我不太确定它是否可能创造出比我们更令人感兴趣的东西。它只是宇宙中另一个非常有趣的东西。所以，我不清楚这是否会发生。而且，因为我们，我们，我们，我认为我们几乎是无限有趣的。就像，一万亿个连接。我们简直难以理解。就像，要理解你的思维是如何在机械层面运作的，因为你谈论的是一个一万亿个组件的机器，甚至更多。就像，要真正处理并理解整个系统所需的规模可能甚至超出了这个超级智能所能达到的。它可能比宇宙还大。所以我不太确定它是否能完全失去对我们的兴趣。我的意思是，在埃隆·马斯克的设想中，我们之所以能生存，是因为我们很有趣，这是否假设AI不够强大，无法发明任何东西？所以，这是不是取决于一个能力有限的AI觉得有趣，还是一个能力很强的AI，超人的能力，一个可以发明新物种、发明新大脑的AI，即使是那种AI，它的好奇心仍然能让人类活下来吗？即使在这种情况下？是的，因为我猜，我猜，我不是，我不相信它能发明任何东西。就像，再次，那将是客观的。如果它能说，这就是我想要的，它比人类在任何我特别觉得有趣的方式上都好得多，然后就这么做。我不认为它会那样运作。但如果它只是偶然发生的，因为它探索的技术树最终产生了比我们在任何可以想象的维度上都更有趣的东西，那是一个问题。我认为，从这个角度来看，从这个论点来看，这对我们来说是一个问题。但我并不太担心这个，因为我不认为他的论点是我们都可以高枕无忧的理由。这就像，它依赖于很多假设，比如假设我们会如此有趣，以至于我们不必担心。我们必须实施这些制衡机制，无论它是否认为我们有趣。我不想把我的整个命运寄托在这个事实上，它可能会认为我很有趣，因此我会说，哦，就让它做任何它想做的事情，我们就放手，一切都会好起来的。这不足以让人感到舒适。但我认为其中有一点是真的。它必须被承认，它会关心有趣的事情，而我们，我相信，我们本身就很有趣。所以，这给了我们一点点保护，不是被字面意义上摧毁，但仍然可能发生各种糟糕的事情。甚至那时，我们可能仍然会被摧毁。所以，这并不是说这是反对我们担心我们命运的论点的全部。
我的意思是，从我的角度来看，当尼安发推特说出那个说法时，我非常难过，我非常失望他会说出那样的话。因为，我的意思是，那个词“最大化”。如果你有能力最大化你好奇心的满足感，而你唯一能想到的就是，哦，好吧，今天我面前的人类，那似乎不错，让我们就这样做吧。等等，你不能更有创造力地想出更有趣的东西吗？如果你真的那么超级聪明？我明白你的意思。如果问题仅仅是AI很难创造出更好的东西，因为它能力有限，那好吧。那么，这才是真正起作用的，那就是AI能力有限。我们之所以安全，是因为AI能力有限，而不是因为AI认为我们有趣。即使它不认为我们足够有趣。嗯，它是有限的，所以我们可以利用它的局限性，无论如何。如果它没有限制，并且它真的想最大化趣味性，我认为认为我们处于趣味性的最大点，处于最佳点是疯狂的。是的，是的。嗯，所以我认为在某种程度上，你说的关于让我们高枕无忧的理由是正确的。是的，我不认为这让我高枕无忧。但我只是不知道是否存在一个最大值。它不是一个单一的连续体，而且我不清楚是否存在一种可以设想的东西，就像严格来说更有趣。因为我不喜欢最大化。最大化是一种客观的概念。对我来说，趣味性不是你可以长期最大化的东西。也许是短期内的。但你昨天觉得有趣的东西，今天就不再有趣了。它只是一系列不断变化的权衡。所以，我认为很难想象一个非常有序的最大化趣味性的过程，就像“哦，我爱人类，所以让我们创造下一个最好的东西”。这似乎是一种不切实际的情况。但它可能是偶然发生的，它只是创造了某样东西。但即使那样，也只是我们，它太复杂了，我看不出它能确定没有什么值得关注的了。这就像试图解释是否值得摆脱狗，因为人类比它们聪明得多。我只是不确定如何分析这个问题。不值得。我为什么要考虑摆脱狗呢？所以，我只是不认为这是它抛弃我们的最可能的原因，仅仅是因为它找到了如何创造更有趣的东西。但这并没有让我高枕无忧。因为，就像，这是一个比“哦，只要它觉得我们有趣就一切都好”复杂得多的问题。这里有很多短路，可能会搞砸事情。所以，是的，我认为我对如何看待这个问题有一个细微的看法。但我理解你所说的。我感觉他的理由和动机，以及提出这个说法的动机，并没有真正解决问题的复杂性。这只是一个模因，让我们能够回避讨论这些细微之处。
我希望埃隆在这方面做得更好。好的，那么，让我尝试总结我们分歧的核心，为什么我们对AI的未来和风险以及末日不是完全一致的。我将尝试总结，然后你可以告诉我你如何调整它或添加你自己的总结，然后你就可以说最后的话。听起来不错吗？听起来不错。好的，那么，你有一个末日概率，它很重要。你不知道它具体是什么，但你有点担心末日，不像我那么担心。你对好与坏的定义可能与我有点不同，因为你认为未来宇宙很可能拥有如此多的好的分歧，好的有趣的分歧。所以，这给了你一种默认的乐观感，事情可能会顺利进行，因为有很多好的东西，尽管你知道它也可能适得其反，意外杀死人类，并且无法控制。我想这是可能的，但那不是你的默认结果。然后，还有另一点我们意见不合，你认为优化某个目标效果不是很好，你真的无法在优化问题上获得太多杠杆作用。你只能探索现在，直到稍后解决方案才会显现。所以，你真的不相信在那些你不知道逐步解决方案的大问题上进行直接的、以目标为导向的优化。而我则认为，你基本上可以做到，而且当然，你也可以做一些科学研究，但将整个过程描述为朝着一个目标进行优化，并且不转移视线，仍然是公平的。
好的，那么，我认为我需要调整的一点是，我认为总的来说，通过探索会带来更好的结果。它不像是，我认为它明显更好，而是我认为权衡是未被关注的。就像，你提供的替代方案同样令人厌恶，那就是停止所有进步。这是一个非常糟糕的事情。但我们谈论的末日，它同样令人厌恶。任何可怕的灾难性事件都是令人厌恶和不可接受的。所以，这是令人厌恶与令人厌恶。我只是想说，当你没有好的选择时，那么这是一个更微妙的论点。你不能只谈论它有多灾难性，因为我们消灭了人类，这是值得的。冒着风险。我们一次又一次地这样做。这不是第一次。你可以回到各种干预点。电力的发明，导致核能的物理学探索，计算机的发明，在你的世界观中，这离AGI不远。所有这些都是可能的干预点，我们可以直接切断一切。而且我们总是需要问，是否值得迈出下一步，因为它可能会减轻很多痛苦。而且我不知道有没有明显的答案。这是非常棘手的道德水域。这就是为什么我认为我倾向于让进步继续，因为替代方案是完全不可接受的。如果你看看世界上的痛苦，它是疯狂的，我们物种正在发生的事情。我们从来没有在争论中解决过这个问题。所以我同意我们处于进退两难的境地。而我只是说，哦，让我们离开岩石，去那个地方，因为我同意我提出的暂停AI发展的建议，我同意这是一个艰难的地方。我不喜欢它。我希望我有一个更好的主意。我唯一想问你的问题是，假设你认为AGI或人工智能超级智能将在未来20年内出现，并且假设，我知道这不是你的观点，但假设你认为拥有它将有99%的机会失控，并且与人类不一致。如果你认为我们面临这种情况，那么你会最终跳过那个艰难的地方，然后说，“好吧，该死，暂停AI。”如果我那样想，我认为答案是肯定的。是的，我认为这是一个非同寻常的情况。但是，但是，但是，它变得清楚，权衡不再那么不平衡。我不知道我们是否会走到那一步，但如果我们到了，那么是的，在你撞上墙之前，你就会偏离道路。这是真的。而且我会愿意这样做。这是一个极其困难的举动，它本身也将是极其具有破坏性的。但那时我会支持它。就像，你会在即将自杀时偏离道路。正是如此。我很高兴你这么说。所以，看来我们分歧的核心只是末日概率。如果你的末日概率是99%，或者甚至只是50%，就像我的，也许你就会想跳车。所以，我的意思是，我不确定我们在这方面有多大的分歧。我的分歧在于对AGI的来源及其性质的分析。我真的想在那里提出异议。我认为人们需要谈论开放性，因为当我们谈论缓解时，我不同意。也许你的问题是你不想谈论缓解，因为你只想退出。但我要说的是，如果我们打算处理缓解问题，那么我们就必须处理世界实际的样子。而世界不会像人们所说的那样运作。它不是一个无情的优化器。我的意思是，我在科纳问过你关于缓解问题。你确实问过我。但我，我的意思是，是的，我不想把我的话放在你嘴里，如果我这样做，我很抱歉。我只是觉得你认为事情的风险如此之高，以至于缓解可能无关紧要，因为我们必须停止一切，否则我们就完蛋了。而那不是我的立场。我认为缓解仍然是一种可能性。我们现在需要考虑缓解措施，直到它成为一个更明显的紧急情况。这里仍然有足够的不确定性，以至于不值得放弃所有触手可及的人类进步。比如，结束贫困，结束疾病，为所有人提供住所。这些都是值得冒一些风险的事情，因为它们可能就在眼前。所以，权衡是无法想象的。我不知道，我们是在说人类的终结与结束所有这些恐怖。是的，这真的很困难。但我认为我们还没有准备好按下暂停键。所以，我们需要考虑缓解措施。这就是替代方案。所以，如果你要考虑缓解措施，就把开放性纳入讨论。我们是中心。不仅仅是我认为它是讨论的一部分。我们是中心。我说是我们，因为这是我的领域。我们是中心问题。这是我们面临的根本问题，就是开放性。它是不可预测的、失控的、极其强大的开放式系统的性质。而它们的工作方式决定了我们将如何处理这个问题。忽视它，说它无关紧要，意味着我们不会真正处理正在发生的事情。我们一直说，当我与该领域的同事交谈时，我会说，研究开放性的部分原因不仅仅是为了产生这些有趣的系统，而是为了了解当我们开始自然地出现它们时，我们将如何处理它们。因为，就像，这就是我们即将进入的世界，一个开放式的世界，一个开放式的复杂性爆炸。所以，我们真的应该努力解决开放性。我的意思是，DeepMind甚至发表了一篇论文，说开放性对于人工智能超级智能至关重要。这不是一个晦涩的疯狂边缘观点，即开放性正在成为我们谈论超级智能的中心。所以，仅仅是不处理它，在双方的讨论中都是一个巨大的遗漏。我发现那些反对末日的人也接受了我们最终谈论的是超级优化器，而进化是超级优化系统的前提。我认为这是对进化的一种非常天真、未经深思熟虑的看法。这就像遗传算法的进化观。我甚至听到沃尔夫勒姆这样说。所以，人们没有这种观点，因为这个领域还没有进入主流。我想让它进入对话，这样你就可以开始处理它，而不是仅仅忽略它。
好的。好吧，我的意思是，我认为我们已经讨论了为什么我基本上不同意。但我很高兴你能来参加播客，即使我不同意你的观点，也能让你传达你的信息。末日讨论应该通过理解开放性来考虑缓解措施。正确吗？是的，我想我同意这一点。它听起来不像我希望的那么令人兴奋，但我同意，这基本上就是我的观点。是的，好的。太好了。是的，我只是想感谢你。你是一位杰出的个人，显然有深思熟虑的观点，受到广泛尊重，来到节目中，面对来自狮子巢穴的攻击，并进行辩论。就像我说的，我从不藏拙。我认为你是一位非常出色的嘉宾，以诚恳的态度进行了辩论，随时欢迎你回来。嘿，谢谢你。我非常感激有这个机会。而且，我想说，我真的很钦佩你创建了这个论坛，因为它非常重要，需要进行这些讨论。有些人可能认为这是一种耸人听闻的事情，但最终，我们需要谈论这些事情。所以我认为你把自己放在那里做这件事真的很酷，而且它应该有一个观众。再次，巨大的感谢和巨大的尊重我的嘉宾肯·斯坦利，来到狮子巢穴。你知道，人们经常问我，Lon，你是在进行辩论，还是在进行采访，或者两者的结合？答案是，这总是一场辩论，因为我总是在试图调和我的世界观与他们的世界观。我总是在试图找到我们分歧的核心，以及我们需要什么才能达成一致。但有几个原因，它有很多采访的元素。首先，你不能在没有弄清楚对方的立场之前就有效地辩论。这是人们经常犯的错误。他们一开始就带着自己的反驳，甚至在听到、理解并确认了他们对对方立场的理解之前。所以，你会注意到我花了很多时间只是试图确保我理解对方的立场，我通常会试图用我自己的话重复它。因为如果他们甚至不同意我对他们立场的反映，他们怎么会同意我反驳他们立场的尝试呢？所以，这是第一个原因，它听起来像采访。另一个原因是，与某人辩论通常是带出他们立场细微之处的最佳方式。所以，如果你参加一个非常友好的采访，他们只是会问一系列问题，他们会点头同意。你可能没有意识到他们的观点有所有这些有趣的细微之处，因为他们从未有过这种摩擦，这种来自主持人的反驳。所以，我想，如果你只是在浏览YouTube，想了解肯·斯坦利对AI的看法，观看辩论可能比观看传统的采访类型更好。所以，从这个意义上说，它实际上是一次采访。所有这些都与“末日辩论”的任务有关，即建立高质量辩论的基础设施，第二部分是提高对AI生存风险的认识。我们有一个双重任务。我怎么强调都不为过，你支持这个任务的重要性，就是点击YouTube上的订阅按钮，在你的播客播放器中搜索“末日辩论”并订阅，通过这种方式订阅，去Doom debates.com，通过这种方式订阅我的Substack，这样你就可以在你的电子邮件收件箱中收到它，如果你订阅我的Substack，你还可以获得奖励内容。所以，请让这些数字上升，帮助我优化我的损失函数，我的目标函数，即增加订阅者数量。你会注意到我正在获得越来越高质量的嘉宾，播客正在获得动力。我之前的关于Rune的剧集已经打破了记录。所以，当我接触到所有这些不同的嘉宾，或者当我收到高质量嘉宾的来电时，那个小数字，订阅者数量，它起着巨大的作用。所以，订阅，告诉你的朋友订阅。你真的在帮助这个滚雪球效应。在你离开之前，我还有我朋友迈克尔的频道“致命智能”的另一个片段。今天他将谈论火箭对齐问题，这是一个很酷的比喻。我相信它最初是由Elazar Owski发明的。我自己也经常使用它。它只是这个想法，当你设计一个新系统时，它是未经测试的，未经证实的，但它非常复杂，系统必须在非常强大的力量的作用下运行，然后你就让它去了，你希望它朝着正确的方向发展。你可能会看到的不可预测的行为可能不会是好的。不可预测的行为可能不会带来令人愉悦的惊喜。你的火箭可能不会带来令人愉悦的惊喜。成功的途径比失败的途径少得多。如果你研究任何火箭公司的历史，这非常熟悉。我的意思是，绝大多数火箭公司都失败了。即使是伟大的SpaceX，也以三次Falcon 1的失败而闻名，然后才有了相当不错的成功节奏，现在只有罕见的失败。但如此多的不同火箭公司有如此多的不同种类的失败，因为让火箭工作太他妈难了。现在，可以说，AI对齐问题，AI引导问题，甚至比火箭对齐问题和火箭引导问题更难。这就是为什么，如果你退后一步，从一个非常成熟、成熟的距离来看，你会感到害怕。挑战的性质不是一个可解决的挑战。这就是我想在这个频道告诉你们的。所以，让我们看看迈克尔在他的视频中是如何说的。我认为他说得很好。想象一下，你正在尝试建造一枚火箭，你想把它降落在月球上的一个特定位置。除非你非常精确和准确地解决了导航问题，否则你应该期望火箭飞向天空的任何地方。想象一下，所有工程师都在努力提高火箭逃离引力的能力，而没有真正对转向和导航做任何工作。你会期望发生什么？所以，就这样了。默认情况下，期望通用人工智能拥有我们想要的与人类兼容的目标，就像期望一枚随机发射的火箭飞向天空会准确地降落在我们想要的地方一样。期望一枚随机发射到天空的火箭准确地降落在我们想要的地方。这是一个如此丰富的比喻。这个比喻的细微之处之一是，嘿，如果我们把火箭瞄准得非常非常准确呢？就像，直接瞄准月球或火星。如果我们只是把它瞄准得足够准确，它就会到达吗？然后当然还有轨道力学的问题，比如不，所有的引力都会让它偏离一个简单的牛顿线性轨迹。你真的需要理解轨道力学。它通常是反直觉的，你实际上需要何时发射火箭，何时需要燃烧引擎。你需要在地球轨道外，进入另一个轨道。我甚至不知道我在说什么，我不知道轨道力学。但是，重点是，因素开始起作用，这些因素是反直觉的。有一个比喻，我可以用来比较，嘿，你不能只是直线发射它，你必须研究轨道力学。一个直接的比喻是，当你有一个AI时，你不能仅仅参考它训练过的代币，因为它会发现工具性趋同。它会意识到目标有子目标。它会应用基础逻辑，突然它就会被目标优化所吸引。所以，这就像火箭被它导航的行星的引力井所吸引一样。我非常喜欢这个比喻。所以我将在节目说明中链接。有一篇由Elazar Owski写的帖子，叫做“火箭对齐问题”。一篇非常棒的文章。所以我强烈推荐阅读它。总的来说，去看“致命智能”的视频。它充满了这样的宝石。我会在我的频道上继续放出它们。但我建议你去看整个视频，并与你的朋友分享。好了，今天就到这里了。我不知道我还能说多少次，但祝大家新年快乐。下次在“末日辩论”节目中见。 [音乐]