Transcription
你认为我们很快会进入人工智能寒冬吗？还是不会？
>> 比如说，未来五年内出现真正通用人工智能的可能性是百分之一到百分之三。
>> 这肯定低于大多数人的共识。
>> 有好几件事是它们做不到的。每一件都强有力地证明它们不智能。
>> 我鼓励你设定一些目标。
>> 我不必说这条特定的界线不会被跨越。那没有意义。
>> 也许你可以在选择例子上多下点功夫。你可能会说，嗯，我们当然在那样做。
>> 等等，等等。好的，听着。从我的角度来看，你有点过于自信了。
>> 我[音乐]只是觉得你才是那个过于自信的人。我的意思是，通常我们都可以指出，哦，这可能是一个界限。这可能是一个界限。然后你就会说，你知道吗？我已经命名了……我的意思是，那基本上就是我对你的不满，对吧？我感觉你应该更深入地挖掘。
>> 我的意思是，在某个时候，我只会说我很忙。[笑声]
现在我们来谈谈时间线。你提到你以几十年为单位思考。所以，例如，你说如果它在未来五年内出现，你会感到惊讶。
>> 我对此没有很好的校准。这是一件非常复杂的事情。等等等等。但是如果你……但我会给你……如果你足够用力地戳我，我会说出数字。所以你知道，比如说，未来五年内出现真正通用人工智能的可能性是百分之一到百分之三。
所以这肯定低于我们通常汇总人们预测的方式，对吧？如果你看看Metaculus，或者甚至只是我节目中请来的人，通常那些看起来消息灵通的大多数人的共识是，是的，有一个钟形曲线，似乎平均在2031年左右，届时我们将获得超人智能。嗯，但也有一些尾部。呃，但你为什么如此自信那可能不会在2031年发生呢？
我的回应的一部分归结为我并不真正相信那些基准正在衡量相关的事物。某个领域的专家如果试图与大型语言模型讨论他们的想法，他们通常会发现大型语言模型可能有一些有用的事实或相关参考资料。如果出现任何显著的新颖性，大型语言模型就会崩溃，无法跟上相关性，不真正理解正在发生的事情，会编造一些胡言乱语。而且这不仅仅是偶尔的幻觉或百分之十的幻觉。它对于在事物的边缘进行思考是没有帮助的。
>> 我确实认为这有道理。我同意你的看法，大型语言模型还没有达到史蒂文·伯恩斯所说的“类脑通用人工智能”，你知道史蒂文·伯恩斯。
>> 是的。是的。他在神经科学方面做了很好的研究。
>> 是的。我最近开始读史蒂文·伯恩斯这个人的书。我同意史蒂文的看法，似乎确实存在一个界限。而且吉姆·巴布科克也来过我的节目。有一集《公园》我们讨论了同样的界限，那就是今天的大型语言模型，我们似乎很幸运，它们还没有完全自举到超级智能。它们在某些非常重要的方面并非超人，但它们仍然如此有用，而你正指出了这种区别，你说它们不是一个拥有新想法的创造性思维。我想进一步探讨你对这种区别的看法。所以让我这样问你：你认为人工智能在两年内可能仍然做不到的最不令人印象深刻的事情是什么？
>> 是的。所以我的……我马上会回答你的问题，但我已经准备好反驳了，那就是你为什么不说你确实期望人工智能在两年内能做的最令人印象深刻的事情呢？[笑声]
>> 是的，我的意思是，我很乐意尝试一下。我确实有相当宽的置信区间，但所以，我基本上会把今天让我印象深刻的事情，让它们变得更令人印象深刻一些。我认为渐进式改进的一个很好的例子是，你知道现在人工智能可以和你对话吗？就像你使用GPT语音模式时，它相当不错。你知道，就像它会和我的孩子们说话。所以，我预计两年后它们会真正消除延迟。所以，在微延迟和任何可区分的特征方面，它会真正达到百分之百的感觉。我认为这些都会在两周……哦不，两年内解决。我也认为在视频方面，也许它不会完全完善，但会像今天的语音一样几乎完美。这就是我对两年内相当有信心会发生的事情的预测。
>> 只是确认一下，你同意你列出的那些事情并没有那么令人印象深刻吗？
嗯，我有百分之八十的信心，对吧？如果你想达到百分之五十的信心，哦，天哪。我的意思是，你知道，我的意思是，一旦你让我降到百分之十五的信心，那我就会告诉你像智能爆炸一样的事情，对吧？我就会变得超级智能。[清嗓子]
>> 所以，这就是我百分之十五的信心和我百分之八十的信心之间的区别。
>> 是的。不，我的意思是，明确地说，我认为你的预测完全合理。我可能同意它们。那听起来在百分之八十的范围内。部分原因是我指出这一点，是因为我现在要回答你的问题，我将给出一些……不一定是最不令人印象深刻的事情，但我预计人工智能在两年内将无法做到。
>> 为什么不呢？
>> 嗯，因为那是一个更难的问题，而且……界限更……我之所以这样问你，是因为我感觉你认为你了解一些类似防火墙的东西。我总是提出防火墙这个概念，对吧？我猜目前我们正沿着这条轨道前进，但这条轨道并没有让我们达到一个拥有新想法的创造性思维，对吧？那是你的说法。就像大卫·多伊奇关于创造新知识的类似说法。你认为你没有看到一个拥有新想法的创造性思维。而且我认为你正在推断出长达十年甚至更久的时间，届时你可能仍然看不到一个拥有新想法的创造性思维。所以这就是为什么我认为我的问题非常公平，你基本上是在说：“嘿，这里有一些事情，相对于我今天所做的，看起来有点容易。”而我确信你在几年内不会得到它们，因为那需要一个拥有新想法的创造性思维。
>> 嗯，“确定”不是我会说的话。我的意思是，正如我所说，
>> 百分之九十确定，对吧？
>> 是的，可能吧。呃，是的。好的。那么，我就回答你的问题。所以我认为你可能不会看到由人工智能主导的研究，即大部分工作由人工智能完成，产生对人类科学家或数学家来说新颖有趣的观念或想法，就像人类产生的观念一样。
好的。你能说出更不令人印象深刻的事情吗？
嗯，这有点大胆，但我们假设人工智能将无法从零开始证明康托尔定理，比如在没有人类数学定理、定义或证明内容的情况下工作，除了像“精益”的定义之类的东西。
>> 我喜欢这个提议。我不确定观众是否会同意，对吧？我们试着把它说得简单一点。所以，我想你是在说实数比整数多的那个定理。
>> 是的。所以我喜欢这个例子，因为它就像你从哪里开始，对吧？就像康托尔是如何解决这个问题的？我认为在康托尔之前，人们几乎没有提出这个问题。他们几乎不知道该问什么问题，然后他们几乎不知道从何开始以某种方式证明它，对吧？
>> 是的。是的。我想那是一个很重要的部分。
>> 是的。所以我的意思是，我当然认为那个论点令人印象深刻。我的意思是，我同意这有点像人类所做的真正令人印象深刻的飞跃，比如说爱因斯坦的相对论，对吧？因为你必须从一个新的角度看待事物，结合新的概念。嗯，是的，真正做出你可能会称之为创造性飞跃的东西，对吧？这是一个恰当的说法吗？嗯，我的观察是，我们在这里划了一条线，就像，哦，是的，百分之九十八的数学领域的人类工作者都低于这条线，对吧？他们就像在等待从康托尔或爱因斯坦那样的人那里获得高层次的想法。而人工智能正在追赶所有那些人类。但是，那些做出这些卓越创造性飞跃的顶尖百分之二的人，就像每百万人类中只有一两次在他们一生中能做到。是的。人工智能无法达到那里，对吧？看起来这条线划得相当高。
>> 是的。我认为那是一种有点偏颇的看待事物的方式。所以，我实际上会对谁在进行这种创造性思维采取更广阔的立场。我会说或多或少每个人类。嗯，至少当他们还是孩子的时候，他们一直在进行这种创造性思维。我的意思是，你有孩子而我没有。也许你有一些经验，比如看着你的孩子玩耍，胡闹，选择一些他们觉得有趣的事情，然后一遍又一遍地重复，也许会有一些变化。
>> 嗯，也许我的孩子发育迟缓了，因为我还没见过他们做任何康托尔级别的事情。
>> 是的，我不是说他们在发明新的物理学思想。嗯，我所说的是，他们正在几乎从零开始构建他们的世界。如果你对人类儿童正在做的事情的看法是正确的，那我们难道不应该能够通过引用人类儿童正在做的具体事情来回答人工智能能做的最不令人印象深刻的事情吗？
>> 是的。所以，这将是我给出的另一个答案的灵感，那就是关于样本复杂度。我也会感到相当惊讶。我不知道具体要给出哪些数字，但比如说，数据量减少大约一千倍。如果你生产出一个与当今系统同样令人印象深刻的大型语言模型，但它使用的训练数据比当前系统少一千倍（这里有一些星号，但基本上如果你做到了），那么我会相当惊讶，更害怕，可能也更困惑。
>> 我的意思是，我感觉到你所说的当今人工智能所缺乏的“神奇成分”。我同意这似乎与你为了获得结果所需的数据量有关。所以即使你看看自动驾驶汽车，是的，它们中的一些似乎比人类司机开得更好，可能比我开得更好。但为什么它们需要这么多数据，而最优秀的人类司机却不需要那么多数据，对吧？他们可能只需要几百小时的数据，你知道，有些人甚至用更少的数据就能开车。嗯，所以我同意，那也是我会试图指出缺失之处的地方，但似乎很难提出一个具体的、功能性的测试，对吧？所以就像我们认为我们对缺失的东西有这种直觉，但当我们试图将其转化为，好吧，它们将无法通过什么客观测试时？到目前为止，我感觉你一直很模糊，对吧？你基本上是在说像顶尖科学家或者孩子们做的一些抽象事情，但你并没有真正给出具体的输入输出，或者抱歉，你确实说了数据量，对吧，但即使那也是在谈论人工智能的内部机制。
>> 嗯，那不完全是内部机制，但我有点明白你的意思，我有点接受你的观点。我的意思是，你可能不喜欢这样，但你知道，如果某件事非常非常清晰且可操作，那它本身就已经是一个基准了，只是为了说明我所说的事情。部分原因是我不一定想给出像一个很好的、对抗性鲁棒的测试，而是我有点想给一个提示，如果有人试图从第一性原理思考这个问题，给出一些关于我所认为的观察到的东西的提示，以引导注意力。所以，是的，
>> 我认为你有点模糊地指出了什么，但我同意那也是我思考它的方式，对吧？当然，新的见解。我的意思是，我认为很多人都有类似模糊但相关的想法。我唯一想问你的是，为什么这会转化为一种自信，即你认为剩下的任何差距都不会被那么多不同的人尝试的各种方式所跨越。你知道，强化学习作为一种弥补大型语言模型差距的方式浮现在脑海中。
>> 所以再次强调，你所说的自信，我的意思是未来10到15年内有百分之三到百分之十的可能性。所以我的主要设想是人工智能进展迅速，当然会有你所描述的某种停滞，比如它在发明新想法方面遇到困难，无法进行康托尔或爱因斯坦那样的思维活动，但几年过去，其他事情发生了，然后它就能做到了，对吧？就像强化学习是我用的流行词，对吧？还有其他基于强化学习的方法与大型语言模型结合，现在突然连那也不是防火墙了，然后到2040年，你就会说我们都死了的可能性甚至比主观上你所展示的过去几年还要大，你不断读到突破，然后说哇这是一个有趣的突破，但它仍然没有那种创造性的火花，就像在你看来，所有突破在创造力方面都落在了不那么令人印象深刻的一边。
>> 首先，是的，在某种意义上，是的，在相关的意义上。
>> 好的，是的，我的意思是，我会鼓励你……嗯，尝试对会让你震惊的具体数据更具体一些，比如一个特定的测试，对吧？就像预测市场级别的目标，比如这是否发生了，因为我怀疑这是一种很容易移动目标的事情。我不是说你过去做过，但我是说将来可能会很诱人这样做。
>> 嗯，是的，我不太喜欢这种“移动目标”的批评。比如，如果有人一直说，为了聪明，或者如果你能做类比，那么你就是聪明的，就像人类一样，但如果你不能做类比，那么你就不是。然后他们，然后大型语言模型可以做类比，然后他们就会说：“哦，算了。是别的什么东西。”那才是移动目标。但如果你说，大型语言模型做不到XYZ，所以它们显然不智能，它们是智能的，然后大型语言模型能做到XYZ，然后你又说，好吧，它们做不到ABC。那不一定是移动目标。那只是你说的，它们有好几件事做不到，其中每一件都强有力地证明它们不智能。
>> 嗯，听起来你好像在说你从未设定过目标，我正在鼓励你设定一些目标。
>> 嗯，你对我列出的那些不满意。从零开始的康托尔定理，或者减少一千倍的训练数据。
>> 嗯，我的意思是，我认为增加一千倍的训练数据是合理的。嗯，我认为你甚至在那之前就能注意到你感到震惊。我觉得那仍然像是你正在……你正在让自己的目标设定方式在比赛后期才睁开眼睛。
>> 好的，也许我会花更多时间思考这个问题。我给你一个反建议，那就是……我经常感觉到，而且我也不一定有反驳你的证据，尽管也许你已经做过这件事了，我经常感觉到那些我称之为“自信的短期时间线”的人，似乎没有做太多工作来想象一种替代大型语言模型或大型语言模型训练架构的假设，它基本上拥有通用人工智能的要素，或者当他们这样做时，他们会说大型语言模型几乎成功了，但你只需要在线学习或自我对弈或强化学习或长时间范围或其他什么。那并没有真正解决我试图提出的问题。我想说的是，你已经对大型语言模型的表现观察做出了很大的更新，你已经做出了几次大的更新。试着以最……嗯，试着尽可能地获得一种替代的直觉，让你觉得哦，是的，我明白所有这些是如何被我关于当前人工智能状况的另一个理论解释掉的，而不是仅仅认为我们基本上已经弄清楚了通用智能。
>> 是的。我的意思是，我不确定有什么能真正说服我，因为我从一开始就会告诉你，是的，有百分之二十五的可能性会出现人工智能寒冬，而且我们二十年内不会拥有超级智能。那就是，如果你问我为什么我们会生存下来，那可能是我大部分生存概率的来源，比如，哦，是的，嘿，我们又有了几十年的时间，你知道，你的设想。它只是……嗯，它只是看起来我仍然会感到相当惊讶。我不会说，哦，天哪，这什么都说不通。我会说，不，我相当惊讶。那会是我的反应。
>> 那么，你能用什么词来形容正在发生的事情，我的意思是，在那个层面上，也许你根本不会做任何机械性的断言，你只会说看看大型语言模型的表现多么令人印象深刻。那是你的立场吗？还是你会说看看大型语言模型的表现多么令人印象深刻，所以它们可能有一些算法或什么，或者它们在思考，或者它们有创造力，或者其他什么。所以我的立场是，我不再能自信地划定大型语言模型在这些测试中能做什么和不能做什么之间的界限。而你已经表明，你并没有像我一样从这些输入输出测试的角度看待世界。但我，我把它看作一个非常重要的测试，你设定所有这些不同的目标，就具体的挑战而言，比如你给人工智能这个，它必须输出这个。如果我今年或去年或任何时候这样做，似乎我设定的许多里程碑都被跨越了。现在我很难说出里程碑了。当我说一个里程碑，比如，好吧，洗我的碗。当然，但这似乎不是一个根本性的限制。比如，它们似乎不需要什么重大的新火花就能洗我的碗。感觉只需要渐进式的进步。
>> 好的。所以，如果我说对我来说最大的更新是人工智能正在做出令人印象深刻的科学进步，比如提出对人类科学家或数学家来说新颖有趣的概念、科学见解、数学概念、定理或证明，但人类尚未撰写过。你对此的批评是，当然，那很好，那是一个输入输出的事情，但这只是一个非常非常高的门槛，你应该在那之前就能更新你的看法。
>> 是的。我之所以这么说，是因为我认为如果你正在关注它们在证明事物和帮助数学家方面的最新技术水平，你就会注意到。我认为它正在非常稳步地提升。同样地，你知道，在软件工程方面，我有一些更直接的经验。比如它们变得越来越有用。你知道，我不是唯一一个这样做的人，但我前几天刚和GPT 03聊过，比如，嘿，我正在使用Firebase。为什么在这种情况下Firebase很慢？可能出了什么问题？然后它就会说，好的，这是你应该在你的特定情况下使用的检查工具。你执行了这个查询。你应该检查这个。对吧？所以它已经像，你知道，它的帮助程度的水位线一直在上升。我认为这在许多不同领域都是如此。我没有看到像一道堤坝，你知道，我感觉水位线就像火车一样平稳前进。
>> 嗯，那道堤坝就是它不会创造新的概念和新的见解。我的意思是，你是说那不是一回事，还是你只是说那不是一个你可以分解的独立事物。如果你试图将其具体化，我不会创造新的见解。如果你试图将其具体化为一系列测试，无论你最终写出什么样的测试系列，似乎模式都非常强烈，它只会不断通过你最简单的测试，然后是更难的测试。
>> 我，是的，这对我来说是一个非常奇怪的论点。我的意思是，抱歉，不奇怪。我的意思是，显然很多人都提出这种论点。我只是觉得，你可以对一般的软件说同样的话。你可能会说，每当我们对某个任务有一个相当清晰的想法，并且它具有正确的属性，比如它根本可以放入计算机，就像它是一个信息处理任务，那么我们的软件能做的事情就会随着时间的推移不断增加，我就会说，是的，那确实是一个有效的论点，而且它与人工智能有关，但这并不能真正告诉你，比如现在我们有了见解，现在我们离……我的意思是，如果回到30年前，或者随便什么时候，比如在可用的文本转语音技术诞生之初，我就可以列出所有这些不同的里程碑，其中很多都与人工智能相关，或者我们想称之为人工智能的东西，但就像，是的，你知道，文本、图像、驾驶，对吧，这些看起来像是重要的里程碑，仅仅从，我不知道，一个外部视角，或者仅仅是看起来像，你知道，比如，好的，虚拟现实，那就像一个技术里程碑，即使在你跨越它之前，它也显得非常突出。所以，我本来会列出所有这些里程碑，而我只是注意到，嘿，我几十年前设定的所有里程碑，它们正在被攻克，我真的没有剩下多少里程碑了。
>> 嗯哼。我最好的低保真度……嗯，替你辩护或转述是……嗯，你是在说，好的，这些能力中的很多最近正在迅速实现。这可能会继续下去，或者因此我们已经得到了……所有这些里程碑的实现都与同一个中央引擎相关，对吧？就像这个大型语言模型算法，以及“规模就是你所需要的一切”这个想法，还有Transformer架构，而且它是一个非常简单的架构。
>> 好的。我的意思是，对我来说，我基本上觉得，是的，这似乎是真的，但一个非常非常关键的组成部分是，这些能力的核心来自于我们拥有的海量文本数据，这些数据某种程度上展示了这些能力，然后当你超出这个范围时，在某些情况下，大型语言模型可以显著地超出这个范围，它们绝对不像仅仅是人类那样行事，它们可以说拥有巨大的知识量，它们可以引入大量事实，它们可以做某些比人类好得多的操作。比如，至少在简单的场景和问题上，它们编程比人类快得多。然后如果你更广泛地看待人工智能，它就像超人象棋、超人这个、超人那个、超人图像生成。但我感觉，大型语言模型如何达到你所指的这些里程碑，其解释中一个非常非常重要的部分是，那是人类文本生产数据中展示出来的东西。
>> 对。好的。所以我想我们可能没有看起来那么不一致，因为我实际上同意你的看法。我认为大多数人都会同意大型语言模型扩展正在触及瓶颈。我认为GPT 4.5已经表明了这一点。
>> 好的。
>> 记得他们只是向大型语言模型投入了更多的规模。我想可能甚至增加了十倍的规模，然后他们说看，它稍微好了一点。然后每个人都说：“哦，好吧。所以，我们需要更多的碎片，对吧？我们需要把更多的拼图碎片扔进去。”所以，我同意你的看法。当我指出所有这些目标时，我所做的预测是，我认为我们有足够的工具。它不会仅仅是大型语言模型。但我同意你的看法。如果你告诉我把架构固定成GPT4或44.5或其他什么，固定架构，而你所能做的只是投入更多数据和更多GPU，那么我就会说：“好吧，是的，那实际上可能不会按照你的定义展现出创造性的火花。甚至可能永远不会。”比如，我相当信服。我会有百分之六十的把握认为它永远不会展现创造性的火花，但实际上我们确实还有一些其他的拼图碎片可以搅入这个大锅，而且我认为这种搅动正在不断发生。
>> 我同意这两点，但你为什么认为那确实能给我们带来创造性的火花呢？
>> 因为所有不同的里程碑，如果我只是说看黑箱，好吧，甚至不用担心内部发生了什么，只是有哪些不同的挑战能展现出火花，我个人会说，自动驾驶在任何环境下都比人类更稳健，事故率更低，总体上都比人类好。我会说：“是的，那是证据，就像我……我想我不会称之为创造性的火花，但至少是通用智能的火花。”
>> 你对国际象棋也会这么说吗？
>> 那是黑箱里程碑之一的例子，我就会说：“嗯，那是证据。我正在从我先验的里程碑列表中划掉它，这些里程碑告诉我们真正的东西就在这里。”
>> 黑箱这件事让我很困惑，我不想过于指责，而且我一点也不自信。但让我把它当作一个猜想，而不是指责。可能有一个……我正在理清思路，但……嗯，可能在黑箱和非黑箱之间存在一个“曼恩-贝利”效应，一方面你想要说，嗯，大型语言模型可能不是那回事，因为有最近的证据，但我们会有更多的东西。所以你试图在那里屏蔽掉机械性推理，但你并没有屏蔽掉机械性推理，因为你想进行归纳。你想说：“不，也许这只是一个不公平的指责。”嗯，我只是说，整个AI行业现在正处于这个阶段，它们在任何你想要给它们的、可衡量的维度上都展现出巨大的势头。
>> 我的意思是，你说人们那样说，但我不……当你说“可衡量”时，你是指可衡量的一个子集，比如，一位专家通过与大型语言模型交谈来尝试修补一个新想法，这是否可衡量。这是否可衡量，比如这个大型语言模型是否有这种洞察力，而我确信这些洞察力在数据中根本不存在，因为我是这个特定领域的专家，我也没有，而大型语言模型却有，那真是太棒了。专家会说那是可衡量的吗？
>> 所以我试图告诉你的是，当你把你认为的那种界限，把它分解成更像连续的刻度，比如，好吧，它是否有了一个小小的见解？它是否有了一个更大的见解？你会看到它正在产生那些小小的见解。
>> 我，是的，我不太确定我真的相信那个。所以这就是为什么我鼓励你去做那个测试，对吧？因为我认为你很容易通过说：“嗯，我只是画了这条线。它是黑白的，你知道，爱因斯坦与否。”来驳回它。然后我就会说：“嗯，试着画更多的线。我想你会看到一个趋势。”
>> 嗯，好的。如果我画更多的线，那么更多的线就会被跨越。是的。
>> 对。而且我认为你已经会看到它们正在跨越的势头。所以那时你就会说：“好吧，但是这里这条特定的线是一条特殊的线。”
>> 我不必说，我没必要说这条特定的线不会被跨越。为什么，为什么，为什么会那样？是的，那没有道理。
>> 嗯，所以如果，如果你同意我这里的这个前提，对吧？所以就像，比如说，如果它们在没有数据的情况下完成了康托尔对角线证明，你会印象深刻。但想象一下，你写了一堆不那么令人印象深刻的证明，一步步接近它，然后假设它们达到了中途或者其他什么。所以你就会一直坚持说，好吧，是的，但在我画的所有这些不同的线和里程碑中，那些直到我所指的某个特定点之前都是容易的。
>> 我的意思是，每当我……我不确定我是否理解，就像每当我们这样做时，我们都会获得新的信息，就像我们没有……就像在你做大型语言模型之前，在你制作GPT4或3之前，即使你预料到，即使有人预料到你会得到这种奇怪的能力分布，你在知识量和回答大量问题的能力，甚至解决某些类型问题的能力方面都非常超人，但你无法以这种方式进行创造性活动，等等等等，即使你提前预言了这一点，划定界限也将极其困难，如果你试图提前划定界限，你将不会成功。对吗？
>> 我只是在为我认为好的黑箱方法论辩护。所以方法论是，假设你想研究证明过程中做出飞跃的卓越性。好的？所以设定10个步骤，对吧？就像一个1到10分难度的飞跃，对吧？而且我认为它会在你的量表上取得进展。
>> 好的。我的……嗯，我并不一定不同意你提出的方法论。那对我来说听起来相当不错。嗯，我不是在做构建这些基准的工作。嗯，我接受你的观点，那就是那样会是一种更多的更新方式。不过，我不太同意论点的一部分，那就是你这样做，你设定10个步骤，然后人工智能完成了前三个，然后你就像做了一个强烈的更新。你应该做一个弱更新。你应该更新为能力正在增强。嗯，但你也应该更新，比如，嗯，这种有限的人工智能方法能走多远。在康托尔和爱因斯坦的例子中，我感觉你有一个像8或10级难度的例子，然后你就会说：“嗯，它做不到那个。”所以，我感觉它没有火花，这让我感觉很好。然后我就会说：“好吧，但你看到它在做1、2、3了吗？”然后你就会说：“嗯，那没什么意义。也许它会在3停下来。”然后我就会说：“嗯，你为什么不多想想这个，也许告诉我像四或五才是你真正的防火墙。”
>> 等等，抱歉。你能重新措辞一下吗？我没听懂。
>> 是的。所以这个假设的例子，对吧，就像康托尔证明那样好的证明，其洞察力飞跃的难度是8或10。我说，但你看所有这些它正在做的较小的证明，这些仍然被认为是较小的洞察力飞跃。不。那么你基本上认为会发生什么？你认为它会停在三，因为它刚刚达到一，然后二，然后三吗？那么你是声称它会停在三，还是声称它会在八之前某个时候停下来？你能确定一下你第一次会说“哦，糟糕，它没有停在我以为会停的地方”的目标吗？嗯，就像这个说法是，有一个模糊的范围，就像，是的，我认为它很可能会在10之前停下来，具体发生在哪里会模糊地分布在各种事物上，所以我会有所更新，但不会在任何给定步骤上那么强烈地更新。
>> 所以从我的角度来看，感觉你选择了一个你知道今天在水线之上的例子，问题是，你选择的例子，它就像只会在比赛后期才会被攻克。所以我想我只是在问你，也许你可以在选择例子上多下点功夫，这些例子在光谱上不至于高出水线那么多，比如，好吧，当然我们……听着，我们可以继续这个有趣的话题，但我只是作为一个框架点，现实没有义务给你一套你在不同时间收到的好的信息，这些信息会告诉你智能爆炸有多近。你可能就是无法知道。
>> 当然没有。但我只是观察到，嗯，每当我尝试做这个练习时，对吧？如果我要列出一系列数学问题，公平地说，我还没有这样做，但我从阅读其他报告和头条新闻中得到的印象是，人们越来越感到惊讶，就像我说的，在任何维度或任何你给它的量表上，它似乎都在不断攀升。
>> 嗯，在某些量表上是这样，在其他量表上则不是。
>> 好的。好的。你是说好的。你是说那是……那是我没有把量表做得很好很连续的产物。
>> 完全正确。我认为你如果能制作这个量表会很有成效，然后你会发现很容易声称，哦，是的，这种只有顶尖百分之一的人类才能做的超级困难的事情。人工智能今天还做不到。但我觉得尝试去思考，好吧，有没有什么事情是普通人类今天完全能做到的，而如果人工智能在几年内也能做到，你会感到震惊的？我的方法论就是谈论一些有用的应用，然后有一个与该应用相关的量表。
>> 但是，好吧，当你……我感觉这种故意混入一堆不同东西的做法，就像如果你……我不知道。所以，比如说语言学习，只是一个随机的例子。大型语言模型完全拥有作为一名优秀语言教师的核心能力或类似的东西。比如它们可以讲多种语言，只要有足够多的文本数据，而且它们还可以利用支架和多个代理，你可以让它们检查你的拼写，检查你的发音，检查你的语法，给你建议，等等等等。所以它们肯定具备核心能力，然后还有一个单独的问题，比如你能实现它吗？你有好的品味吗？你的产品发布得好吗？等等等等。如果你让我预测，是否会有一个好的产品，我可以直接进去，以我真正想要的方式学习一门新语言，对我来说有用？那是一个非常复杂的问题，但它与人工智能能力的关系较小。
>> 也许我误解了。
>> 你基本上是在说，当我在谈论一个应用时，我试图打包太多的变量。
>> 是的，但我仍然认为这是一个非常自然的层面来提出问题。我不……因为我的意思是，如果你打包一堆变量，你会得到一个范围，关于如果大型语言模型能做到，那个变量应该有多令人印象深刻，以及那个变量有多有用。所以你会得到一些对任务有点用处，但实际上不应该那么令人印象深刻，或者不会让我更新太多的变量。而你试图把它们混在一起，那就不……如果我们看看我认为有意义的测试类型。所以我提到了自动驾驶，然后还有，你知道，写出得A的论文，对吧？我的意思是，你不认为那是一个有意义的基准吗？嗯，不太是。不，
>> 我同意。这非常令人惊讶。
>> 好的。
>> 嗯，但如果你再多想一会儿，你就会觉得，嗯，我猜它某种程度上在训练数据中。就像，是的，
>> 对。我的意思是，当你得出结论，我猜它在训练数据中，对吧？我认为这对我的方法论来说不是那么有用，因为我认为我的方法论应该允许，好吧，是的，人工智能可以利用不同的范式，而不是像事后判断那样，啊，是的，它能做的一切都只是因为这个范式，因此它会停止。我认为只进行黑箱测量，并且在你首先查看黑箱基准测试结果之前不打开黑箱，是富有成效的。
>> 那么，那为什么有用呢？
>> 黑箱基准测试，我的意思是，它只是防止你产生那种确认偏误，比如，是的，我理解这个范式，当然，你知道，你是在看到范式结果之后才了解范式的。我认为这是一种对抗确认偏误的保护。
>> 我不太确定我是否跟得上，抱歉，不仅仅是那样。不仅仅是那样，还有一点是，我不想让你……它也阻止你通过聚焦于一个范式而过于执着，比如，是的，大型语言模型是一个非常重要的范式，但我想确保你正在思考整个AI领域，它正在混合各种范式。
>> 嗯哼。
>> 对。而黑箱测试可以保护你，让你不会深入研究你认为自己很了解的某个范式的细节，而是着眼于整个行业的宏观图景。
>> 我，然后你从未来十年内通用人工智能百分之五十的概率中推断出来。
>> 是的。嗯，任何时候，是的。大多数人都是这样做的，对吧？顺便说一句，有一个外部视角论点，对吧？大多数人看到的是我看到的一样，就像任何这些自然的黑箱维度，就像这些测试，我就会说，看，我只是站在一边。我甚至不声称理解人工智能。我只是看着所有这些测试，我不知道有人是从哪里得到一个先验测试或一个先验量表，让他们觉得啊，是的，它卡在量表上了。我不知道有人是从哪里得到一个先验量表，或者它卡在量表上了，就像我……我想我这里的结构可能是，我在很大程度上，或者说从概率上讲，我试图解释掉对大型语言模型能力特别是的观察，基本上是说，嗯，那是因为它在数据中。
>> 对，我的意思是，所以我的问题是，你认为我们主观上很快会进入人工智能寒冬吗？还是不会？
>> 好的。嗯，再次强调，你那是在整合一大堆变量，比如……嗯，所以我的意思是，
>> 我的意思是，我认为你认为我们是，对吧？因为你说通用人工智能很快出现的可能性很低，而且很多公司现在都承诺通用人工智能很快就会出现。
>> 对，所以我的猜测是，我们不会很快获得通用人工智能，而且不是非常强烈地……嗯，百分之八十到九十，取决于你划定的年份，但……嗯，那不一定意味着会有寒冬，对吧？比如它们已经有相当可观的收入，它们可能会显著扩张并增加收入。我不知道那方面的经济学，但我……
>> 我感觉你……我认为你必须强烈预测，很可能会有一个主观上令人失望的人工智能寒冬，因为你告诉我，嗯，也许我误解了，你是在说研究会继续进展吗？我们会不会继续得到同样令人印象深刻的东西？
>> 那是在未来几年内吗？
>> 所以从我的角度来看，任何这些自然的黑箱指标都将继续扩展。我认为你真的必须冒很大的风险……在定性上。
>> 所以你是在说：“哦，是的，不，你会撞墙，这些公司会像那样达不到他们的收入目标。听起来那必须是这个世界……”稍微撞墙，曼尼，但从非常粗略的概率层面来说。是的。不过，我认为这些事情确实很分散，因为你可能会说，我也会说，嗯，我们将进行03风格的R1风格的……嗯，强化学习，或者我们会做新的事情。人们会提出新的……呃，电路先验，人们会提出新的训练算法。他们会提出……
>> 我们俩都认为他们会那样做，对吧？
>> 对于，是的，当然。嗯，所以那至少会有点像，怎么说呢？有解除束缚，然后还有像表现出，像解锁性能一样，
>> 对吗？所以在你看来，他们会尝试所有这些其他的东西，但仍然需要几十年的时间才能让某些东西真正地“咔嚓”一声，重新启动奇点。你会获得不断增强的能力。我不知道如何提前主观地称呼它们会有多令人印象深刻。你可能会在3年或10年内迎来智能爆炸。但是的，我的主要观点是，它只是在10、20、30、40、50年间更加分散，在那里……
>> 好的，
如果你愿意，你会有多种范式，或者只是多种见解，多种算法，并弄清楚如何将它们结合起来，是的，
>> 所以总结一下分歧的核心，我认为就像我只是看到人们正在使用的拼图碎片数量，已经看起来有足够多的东西可能完成这项工作。可能不够，但感觉足够了。
>> 所以现在你正在进行机械性推理。
>> 我的意思是，我承认有一个有趣的机械性陈述可以说明，嘿，看起来大型语言模型并不能直接扩展到超级智能，对吧？所以你只需要再多一点，就像我愿意去。是的，我很乐意承认那很可能。
>> 嗯，我只是想追踪一下你的观点来源，从我的角度来看，你有点过于自信。所以，或者我们只是说对未来10或20年内出现通用人工智能充满信心，对吧？所以我试图理解这种信心从何而来。所以你谈到了黑箱问题，你明确地说不要推理机制，但现在你又说，嗯，我看到很多人正在生产机制，我们有很多小的机制碎片，那似乎应该加起来成为一个通用的智能机制。我不知道是哪个在起作用。
>> 也许是思想之间的联系。我认为黑箱测试非常重要，可以客观地告诉你事物的势头。当然，势头不一定能保持。势头可能会逐渐减弱，而且可能也曾有过，你知道，人工智能的夏天，那时爆发了一阵进展，然后又逐渐减弱了。嗯，所以，但我认为那是一个很好的起点。然后现在，仅仅基于那个起点，事情似乎全面具有高势头。然后当我打开黑箱时，我就会想，好吧，那势头的驱动力是什么？一个是像大型语言模型的扩展，就像，好吧，GPT 4.5有点弯曲了曲线，但我也看到了很多其他的拼图碎片和很多其他类型的结果，你知道，就像AlphaFold，我就会想，嗯，好的，那是一个不同的……
人们也将这个拼图块与大型语言模型（LLM）的拼图块混合在一起，我就觉得，嗯，这些强大的拼图块似乎正在混合。从宏观上看，黑箱结果似乎越来越令人印象深刻。然后，你知道，我也会参考其他人的意见，对吧？比如这个领域的共识，并不是说这个领域的一群专家都在说：“别担心，伙计们。”你知道，像杨·勒昆（Yan Lakuna）就说可能还需要十多年。那是他的预测，对吧？即使他也没有过多地反驳这种共识。所以，我只是把所有这些都揉合在一起。我的意思是，别误会，如果明天我查看人工智能新闻，每个人都说：“嘿，我们都根据数据评估改变了主意。”我完全愿意重新考虑，但实际上，我只是觉得你才是那个过于自信的人。
好的。所以，好的。所以，你的一些观点是来自其他人的意见，这很公平。关于这些拼图块效力的信号。你可以那样描述，对吧？我只收到了关于存在许多强大拼图块的积极信号。
你能，你能告诉我一些关于这个结构的情况吗？比如，有没有一些你可以点名的人，他们的信念占了你信念的百分之四十，就你信念来自他人言论的程度而言？有没有一小部分你可以点名的人，或者它更像是一类人，或者？
基本上就是那些在Metaculus上投票的人，你知道吗？就像评论员一样。我，我，我只是觉得我没见过多少我尊敬的评论员会说：“是的，我完全理解人工智能和大型语言模型，但如果它在二十年内出现，我会感到震惊。”我的意思是，你知道，加里·马库斯（Gary Marcus）算一个吧，但他甚至也承认有百分之三十的可能性，而且他属于那些对它即将到来持怀疑态度的人中的极端。他在我的节目中说，在十年内出现的可能性是百分之三十。
好的。所以，这只是一个事实，那就是大多数，很少有人说少于。
嗯，那再加上客观测试，对吧？我的意思是，我唯一能做的就是尝试对人工智能本身获得更深层次的机制理解，但这并不是我的专长。我的意思是，我对此很感兴趣，你知道，有机会我就会研究。嗯，但我的意思是，我只是认为我有一个校准过的，我的意思是，我已经给出了它需要很长时间的概率，对吧？我给了你百分之二十五的可能性，它会需要超过二十年。好的。所以，是的，是人们，是，是，嗯，是黑箱观察到的能力，以及某种意义上存在许多机制，也许它们会累加起来，或者看起来有很多机制，而且有很多人正在努力将它们结合起来。
对吧？而且，而且就是这种想法，比如，好的，描述一下它不会发生的情况，对吧？但我让你去描述，你却说：“哦，嗯，那是一种它在能够证明某事时逐渐衰竭的情况，但即使是你的界限，一旦你开始看到进展，你可能最终也会移动你的界限。”我就是这种感觉。我没有感觉到你实际上划定了一个有意义的界限。
嗯，我通常都非常小心，实际上我一直非常小心地表示，如果发生某某事，我会非常惊讶。我，我的意思是，我同意你划定了一个有点，我的意思是，我认为我们可以让它更精确，但我同意你划定了一个有点有意义的高界限，对吧？就像这样，而且我愿意相信，在世界末日之前，你确实会感到惊讶。
好的。所以我的意思是，我想如果你指责我，指责我在此特定案例中基本上有点草率或认知论不佳，那没关系。嗯，不。我的意思是，我不认为，我认为你所说的一切都是合理的。我只是，我只是希望你能说，你知道我应该做的是为自己设定一个更低的界限，那会让我警醒，那就是拼图块，有足够的拼图块可以。
我想我有点在说，那感觉不太令人信服，因为我真的不觉得大自然必须给我那样的指示。
是的，它不必如此。我的意思是，那是真的。那是真的。但我认为大自然会足够慷慨，给你比你字面意义上的坎特级别更早的预警信号。
是的。
你为什么这么认为？我。
我认为大自然，我确实认为大自然正在给我们一些迹象。我的意思是，我不认为包括那些非常聪明、合格的人工智能专家在内的人群，他们都趋向于认为在下一个十年。嗯，你知道，像图灵奖得主，你知道，像大卫·杜维诺斯（David Duvenos）、安德鲁·克里奇（Andrew Critch），你知道，我只是随便举几个例子，你知道，杰夫·辛顿（Jeff Hinton），我的意思是，约书亚·本吉奥（Yoshua Bengio），对吧？我的意思是，这些都是非常合格的人，他们都说，是的，它似乎不会超过十年，对吧？所以，你在这里对你的低层次技术预测显得非常自信。
嗯，好的，我的意思是，我想他们为什么对它即将到来如此自信呢？
他们的理由是什么？我的意思是，我，我当时和克里奇以及大卫·杜维诺交谈时，我实际上认为我所说的那些模糊的东西可能与他们所说的相似。我的意思是，他们可能会说一些额外的东西，但我不认为我偏离太远。比如，当我与安德烈亚·克里奇（Andrea Critch）交谈时，我特别记得他有点同意我的观点，他说，是的，我就是看不到防火墙。事情似乎正在按部就班地逐步发展。
看不到防火墙。我的意思是，是的。所以，另一件事，另一个我可以提出的直觉，它不会改变任何人的想法，但就像桥梁不会随机地立在那里。你不能只是把钢材堆起来，然后就有一座桥，因为你没有看到一个好的、令人信服的、清晰的理由说明它不应该是一座桥，或者不应该立起来。
嗯。
对。但那种智能，智能是一种特定的事物，或者一类特定的事物。嗯，一类事物，但我认为要有效地测试它，需要一系列的测试。
很公平，很公平。好的。但我们正在努力。
我的意思是，那基本上就是我对你的不满，对吧？我觉得你只有这一个测试，而且你不愿意进行其他测试，因为你不认为现实必然会让你进行其他测试。但我认为你应该更深入地挖掘。
我的意思是，在某个时候我只会说我很忙。嗯，[清嗓子]但我，我，嗯，我想我有点把你当作在和像我这样的人说话。所以，我以那种方式回应。
我的意思是，当大型语言模型（LLM）出现时，那至少缩短了你的时间线吗？
呃，所以在那之前我并没有真正的时间线。嗯。
好的。
我，我同意人们在看到所有这些时应该缩短他们的时间线。
嗯。
好的。
是的。但我，你知道，我想我问人们为什么，你知道，你是如何更新的？嗯，到目前为止我还没有得到非常明确的答案，比如。
但是，就像现实通过大型语言模型（LLMs）向你展示了一些时间线更短的证据一样。我认为它会足够慷慨，再次向你展示，如果你只是，你知道，专注于你的目标。
嗯，我不知道，是的，我不知道，我真的不明白。所以，所以，我的意思是，你觉得有没有可能有一系列的想法？比如有五个这样的想法。我们已经有了其中两个。每次你得到一个，你就会获得能力上的显著提升，然后你知道，看起来会有一段快速增长期，然后逐渐减弱，然后你又得到一个，然后当你得到第五个时，你就会迎来智能爆炸。这作为一种世界观合理吗？我的意思是，这五件事你可以称之为我所说的拼图块，但我也认为，在高层次上，我们可能已经知道了这些拼图块，比如，高维空间代表意义，Transformer架构，强化学习，等等。我的意思是，我认为在高层次上我们可能已经拥有了所有高层次的，你为什么这么认为？
我之所以这么认为，是因为我无法划清它能做什么和不能做什么的明确界限。
桥梁不会，哦，抱歉，你继续。
是的，不，那，那差不多就是这样，对吧？就是说可能有一个界限，但我甚至说不出那个界限是什么。这在任何领域都不是我习惯的状态。我的意思是，通常我们都可以指出，哦，这可能是一个界限。这可能是一个界限。而你却说，你知道，它可能被命名为洞察力的火花。你一直在替换一个高层次的东西，但你一直在替换，你知道，我确实给出了一些具体的东西，但你却说，嗯，那是一个很高的标准。
它是一个具体的东西。我的意思是，我没有给你界限，但我给了你一个具体的。
所以，所以你基，好的。所以，所以只是为了，嗯，澄清一下，你只是认为人工智能可能会一路发展，变得非常接近，你知道，在数学方面比大多数人类数学家好得多，但就是不如顶尖的数学家。
不，它在某些数学部分或某些数学方面比所有人类都好得多，在其他方面会稍微好一些，在更多方面会稍微差一些，而在其他方面则相当糟糕。好的。所以，你认为在接下来的二十年里，比如说，百分之九十的数学家会比最好的AI，比如百分之九十，我想是前百分之十，更适合一份工作，是更好的雇佣对象。
这取决于是什么工作。有可能你会，我不知道是否会取代工作。我不确定是否会有一些工作你可以完全取代。有些工作你可以大部分取代，或者像取代那样，你有一个人类和五个AI做十个人的工作，或者别的什么。嗯，会有一个完整的这样的光谱。如果你谈论的是像研究数学家这样的数学家。
我们来谈谈，是的。研究出版工作，对吧？所以在出版方面，你是告诉我，如果我唯一的选择，假设我是一名数学研究员，我唯一的选择是使用我自己的大脑，或者使用二十年后最好的数学人工智能大脑。你是说我自己的大脑会更好。
这取决于你想要做什么。比如，如果你，如果你想要，嗯，是的，如果你想要做的是对其他数学家来说既优美又有趣的数学研究，并且以一种让更多人讨论你所讨论的概念的方式进行，那么使用你的大脑会更好。你仍然会，你肯定会在数学研究中越来越多地使用计算机和人工智能。但如果你想做那种数学，你可能在很长一段时间内仍然会想要人类。是的，有些事情你主要只想使用人工智能，比如，嗯，我不知道，检查工程计算。
我想这就是我想要深入探讨的，对吧？就是你甚至不只是声称坎特天才级别的东西。你是在说：“嘿，即使是那些仅仅是普通教授水平的数学家，他们所做的一些事情，人工智能也将在几十年内难以应对。”
他们做的一些事情。是的。
是的。我的意思是，我想我，所以，我的意思是，我认为那才是真正的前进方向。我认为你想要做的是观察这位有点普通的数学教授，并找出那些“啊哈”时刻，对吧？就像那些你觉得“啊哈，这一个小时，人工智能做不到”的一个小时。那就可以成为你的下一个目标。
是的。然后你还需要，你知道，我的意思是所有这些事情都很难衡量。所以你需要检查它是否实际上基本上已经存在于训练集或以其他方式可访问的数据中。嗯。
然后你可能还需要对，嗯，计算能力进行参数化，比如人工智能复制相同事物需要多少计算量。我不太在意计算能力，但那是你可能想要考虑的另一个参数。
是的，你可以那样做。
是的。而且，显然我知道这不是你的主要关注点。你不会花时间去做。嗯，我只是想说，当你设定这类基准时，我们甚至可以调整刻度，比如，好的，百分之九十的数学教授，对吧？百分之十的数学教授，对吧？在某个时候，你会有像世界上最差的数学教授。他肯定很快就会被人工智能取代，对吧？而那正是我鼓励你关注的范围。
好的。我，我的意思是，我再次觉得大自然不必对你那么清晰。所以一个例子是，假设我同意了这样的事情，我说，好的，是的，如果我们开始攀登这个，这个尺度，那么我就会有麻烦，那么我就必须更新。嗯，然后我们实际得到的是一个特定的场景，然后我会在事后说，等等，我知道我说了什么。我知道我说了那个，但实际上我想要，呃，事后修正我的预测，即发生的情况是，嗯，数学中有一个子集，其中有一个我们目前称之为创造性研究数学的子集，实际上人工智能确实开始产生与更好、更高水平的数学家相等或超越他们的见解。这个子集可能包括涉及大量计算或大量纯粹。
对。是的。但是，但是如果我们只选择特定的数学教授，比如，是的，他们的数学子集看起来像是数学的一个代表性子集。我的意思是，在我看来，这些并不是很难设定的目标。
对我来说听起来有点难，但是的，有人可以做到。
就像如果你只是，如果你只是学习，对吧，如果你挑选十位数学家，然后你根据他们出版物中似乎使用的整体脑力总量对他们进行排名，你对他们的印象有多深。好的。好的，所以你对这十个人进行了排名，然后有一天你得知，你认为非常了不起的中间那位，结果他一直让一个人工智能做他所有的工作。就像他实际上根本没有去上班。
你难道不认为那会比一直等到像数学天才、顶尖数学天才那样更早地发出警报吗？
不，那基本上就是我说的，不是吗？
是的。我说过你期望现实会呈现出一种情况，比如，是的，他一直在工作中偷懒，但后来你发现他的工作在某种程度上比你想象的要容易，但我的意思是，就选他，不要让他那样。
是的。在某个时候，那是我所说的那种我会感到惊讶并会更新的场景，那就是如果你有一个人工智能。
在相当广泛的努力领域中产生许多对人类来说有趣的概念，就像人类数学概念那样有趣。那将符合条件。如果你看到，如果你看到数学教授失业率飙升，那对你来说难道不是比你之前讨论的更早的警报吗？
嗯，如果是因为，如果是因为这个。
嗯，这不就得了，对吧？我的意思是，我所要求的就这些，对吧？就是，好的，注意数学教授失业率何时飙升。
当然。但如果我深入调查，发现是因为其他原因，比如美国国立卫生研究院（NIH）削减了一大笔资金，或者其他什么国家基金，比如美国国家科学基金会（NSF）削减了资金，那我就会说，嗯，算了。
好的，当然。我同意那可能是一个很好的借口，对吧？但是，你难道不认为我们正在取得进展，让你注意到奇点正在发生并缩短你的时间线吗？
没那么多，但是。
好的。我觉得我们正在取得很大的进展。
好吧，伙计。嗯，我想，我想这是一个很好的时机来快速回顾一下。所以，呃，我们谈论了MI的研究，我们都同意Intella Dynamics很重要，而且Meri拥有合法的根基，他们是一个优秀的组织，而且仍然被低估了。我们还谈到了，你知道，可纠正性是其中之一，还有决策理论。我的意思是，人们可以回去听细节。然后我们谈到了，呃，你对如何降低PDOM的不同希望，它可能不会是对齐研究，所以也许应该是生殖系工程，或者你会如何修改这个总结？
是的，我们应该禁止人工智能。呃，我们应该和人们谈谈，努力真正理解他们为什么要做通用人工智能能力研究，并尝试给他们一个做其他事情的方法。嗯，我们应该努力制造更聪明的人类，也许是脑机接口（BCIs），但实现这一目标的方式是生殖系基因工程。[清嗓子]
埃利奥斯基（Alioski）在他那篇著名的帖子《让我们有尊严地死去》中谈到了这个想法，其中提到，我们似乎很可能会死去，但至少我们能做的是尝试采取行动，显著降低这种可能性，或者也许不是显著，但像在微型末日或其他情况下，可衡量地降低。比如，你至少降低了，你知道，百万分之一的百分比。那也算点什么。如果我们都这样做，也许我们可以降到百分之五十以下。嗯，我想表扬你，因为你是一个真正帮助我们提升尊严的人。我不会说“死去”那部分。你正在帮助我们提升我们的，我认为按照这个标准，提升我们进行生殖系工程的能力，让我们走上制造更聪明人类的道路，这是一种有尊严的行动。我认为你实际上是在提供帮助，而不仅仅是谈论它、开玩笑，然后去你的日常工作，试图成为摇滚明星并赚钱。我认为你实际上是解决方案的一部分。所以，为此感谢你。谢谢。是的，也谢谢你的工作。谈论这些事情似乎非常重要。我们都应该多思考一下这个问题。
当然，我们应该。好的，我很感激。S·本·本森·蒂尔森（S Ben Benson Tilson），感谢你来参加末日辩论。
谢谢，朗。[音乐]