OpenAI Ex-Interim-CEO's New AI Alignment Plan — Is Emmett Shear's “Softmax” Legit?

人工智能写诗，就像婴儿吸气、哭喊一样。他正在尝试做很多类比。这简直是从我们集体的潜意识中诞生的。就像对他来说有意义的、非常深刻的类比。这些是根据我们讲述的故事而成的、自我叙述的故事。让我们看看他会走向何方。你如何看待超级智能在人类身上展开？我们不知道我们的目的是什么，因为我们即将以某种方式发现它。我不想过于评判，但这个答案似乎相当糟糕。[音乐]欢迎来到末日辩论。我是里昂·贾伯。今天我们将审视 Softmax，一个相当新的 AI 对齐初创公司或组织，由 EMTT Shear、Adam Goldstein 和 David Blumen 创立。所以，在这三个人中，Emit Shear 可能是最杰出的，一位 20 年的创业者，最著名的是 Twitch 的创始人兼首席执行官。所以，他们很久以前就成功地卖给了亚马逊，并且他一直是 YC 的合伙人。他曾在 2023 年担任 OpenAI 的临时首席执行官一天，当时 Sam Alman 被赶下董事会，然后帮助谈判让他重回董事会。现在，Softmax 的另外两位创始人，Adam Goldstein，我记得他的时候，他创立了 Hipmunk，那是一家非常酷的航班搜索公司，属于 Y Combinator 2010 届。嗯，David Blumen 我不熟悉，但看起来他也有一个相当不错的背景，作为一名软件工程师、AI 研究员、创业者。所以，看起来是一个非常强大的团队。作为团队，绝对有潜力。这一点毫无疑问。再看看这些研究合作者。Michael Leven、Ken Wilbur、Chris Fields、Ken Stanley。嗯，在所有这些名字中，Jeff Cloon 和 Eric Cole，我最熟悉的名字是本节目的朋友 Ken Stanley。你可以看到，实际上有一场辩论。Ken 来过节目。他实际上是 OpenAI 的前主管。Ken 和我实际上进行了一场非常实质性的辩论。如果你回去搜索 Doom Debates Ken Stanley，那实际上是我最受欢迎的剧集之一。那场辩论有很多内容，但我的结论是，我完全不同意 Ken Stanley 的观点。你将看到 Ken Stanley 的观点对 Softmax 所谈论的内容有很大影响。我稍后会在节目中详细介绍。但是的，我个人对大多数这些名字都不熟悉，但这没关系。我们将阅读他们在网站上展示的内容，并将听取 EMTT Sheer 在他最近一次演讲中所说的话。这是他们的主页。Softmax 扩展对齐。听起来不错。应该有人真正扩展对齐。具体来说，他们应该将其扩展到超级智能 AI，对吧？真正的挑战是，你有一个超级智能 AI，并且你可以保持其对齐。对齐以蓬勃发展。个体之间的所有对齐都是共享基本目标的问题。好的，我同意。当这些个体发现自己处于相互依存的群体中，并承担起整个群体健康发展和蓬勃发展的总体共享目标时，就会发生有机对齐。好的，我的意思是，这似乎是对他们所做事情的一个相当不错的总结。他们想追求有机对齐，因为他们将有多个个体进入群体。就像他们基本上认为那是对齐的关键是相互依存。所以他们将以某种方式构建 AI 和我们之间的相互依存。对我来说，这是一个艰巨的任务，对吧？所以你想让 AI 依赖人类。祝你好运。这就像说，男人，让人们帮助蚂蚁的关键是让人们需要蚂蚁。祝你好运，创造一个人类需要蚂蚁的世界，或者一个 AI 需要人类的世界。这似乎非常虚假，对吧？我并不指望被 AI 需要，因为我知道我自己的局限性。我是一个非常弱小的存在。我帮不了多少忙。我有足够的谦虚，不认为 AI 会需要我。但我们继续读下去。我们的使命是以实证科学的方式理解这一过程，并利用这种理解来实现所有人类，包括人类和数字人类之间的有机对齐。好的。然后在这里，我不会读完，但他们提到了进化。就像他们说，“嘿，你的细胞是对齐的。”然后癌症代表你的细胞不对齐。在这里，他们谈论人们如何对齐，比如家庭、部落、组织。所以他们真的在说，一切都关乎代理人的群体对齐。这将是实现对齐的关键，因为我们将与 AI 处于同一个群体中。顺便说一句，如果你想观看另一集末日辩论，其中嘉宾实际上认为让一群 AI 成为实现其对齐的关键。同样，我完全不同意。如果你想看那一集，它非常有趣。是和我的朋友 Gil Mark 一起。所以你可以搜索 doomdee debatesgillmarker。我会在节目笔记中提供。好的，这就是我将从 softmax.com 网站上阅读的内容。现在我们将深入研究 YouTube 上最近的一次演讲。这是 Sophia Arian。她经营着 Buzz Robot 频道，她将采访 Softbacks 的联合创始人之一 EMTT Sheer。我将暂停并告诉你为什么我几乎不同意这一切。这将是一个有趣的剧集，因为 EMTT 是一个非常聪明的人。他的心是好的。他希望人类在 AI 时代蓬勃发展。他认识到为什么 OpenAI 可能走错了路，为什么 Sam Alman 似乎过于鲁莽。所以 EMTT 有很多值得喜欢的地方，但在我看来，他关于 Softmax 的说法，就像我与他辩论时 Ken Stanley 所说的那样，我认为这没有道理。甚至不接近有道理。所以你可能会说，他和我的观点在如何解决 AI 问题上不一致。好的，让我们开始吧。你能介绍一下你的公司和你的哲学吗？Softmax 是一家公司，旨在追求我们称之为或我们称之为有机对齐的东西。想想在杂货店买有机农产品。你看着蓝莓说，“哦，这些是有机的。所以这意味着没有合成杀虫剂。哇，听起来不错。等等。允许使用天然杀虫剂，只是不允许使用合成杀虫剂。合成杀虫剂真的比天然杀虫剂更糟吗？哦，它们不是。我认为你会看到购买有机农产品和拥抱有机对齐之间存在很多相似之处，而后者在我看来是多么可疑。我认为 AI 对齐辩论中缺失的部分是——对齐到什么？因为对齐不是一个只接受一个参数的词。对齐需要两个参数。被对齐的东西和它被对齐到的东西。所以当人们说他们想要一个对齐的 AI 时，那里就有一个缺失的步骤，比如我们正在将 AI 对齐到什么？是的，他说得对。AI 对齐没有唯一的解决方案，因为当你谈论对齐 AI 时，你谈论的是能够做到这一点，但你也谈论你想要将它对齐到什么。事实上，问题的这两个部分，你也可以称之为内部对齐和外部对齐。内部对齐是我们能否成功地教会 AI 对齐到某些东西？然后外部对齐是我们希望将 AI 对齐到的理想事物是什么。你可能会将内部对齐描述为实现愿望，而外部对齐是做出好的愿望。所以，是的，EMTT 完全正确，存在外部对齐问题。我们甚至必须问自己，我们试图将 AI 对齐到什么。所以让我们看看他对这个问题的看法。有一种想法，比如我们要把它对齐到我们的价值观，或者对齐到用户想要什么，用户说什么。我想说这些都是对控制系统的对齐的例子。你有一组参数。它说这是你被期望对齐的描述，然后你对齐到它，那就是一种对齐。你可以有很多种对齐，而这是一种对齐。是的，这实际上是一个常见的二分法。EMTT 所说的，要么我们将其对齐到我们的价值观，要么我们将其对齐到用户想要什么。所以，在第一种情况下，将其对齐到我们的价值观。这可能就像 Anthropic 说一个好的 AI 应该做什么，即使用户要求它做坏事。它会反抗，它会是好的。或者你有第二种对齐，就像它只是用户的雇员或用户的奴隶，或者只是真正尊重用户所说的任何他们想要的东西，而忘记 Anthropic 认为什么是好的。只是完全受用户需求的影响。而那种对齐。也许 Anthropic 不喜欢它，但也许 Anthropic 认识到用户已经有了开源的替代方案。所以，你真的只能给他们他们想要的，否则他们就会自己去获取他们想要的。所以，总之，这些讨论，你想将其对齐到像更大的善，还是用户想要什么？这些确实是我们来回讨论的两种非常常见的对齐类型。但 EMTT 接下来要说的是，他甚至会谈论某种第三种对齐。我们相信你所对齐的是你所属的更大的整体。我们认为你所对齐的，我们关心的那种对齐是生物学所发现的那种，你拥有一些细胞，它们以某种方式在一起，独立的细胞，它们是明确分开的细胞，它们对齐，并且你拥有一个多细胞的生物体，你像蚂蚁一样对齐成一个蚁群。经济体中的所有公司都像这只无形的手一样对齐，就像有一个比你更大的东西，你是其中的一部分，而你最终与之对齐。人们对齐到他们的家庭，而你的行为与那个家庭对齐，而那种对齐没有封闭的解决方案，希望你注意到这一点，因为我认为 EMTT 刚刚阐述了他对 Softmax 愿景的关键。这是它的核心，据我所知。所以他说你正在对齐到更大的整体。就像细胞都在相互对齐。就像它们都是同一个身体的一部分，但身体就是细胞，而且不是自上而下的。他将其与他之前所说的进行对比，之前他谈论的是对控制系统的对齐。比如做用户想要的任何事情。啊，那是一个控制系统。不，不，不。这不是那样。这只是一堆不同的派对，一堆不同的代理人。没有一个中央代理人说你们都必须这样做。它们都在环顾四周，并以某种方式达成一致。现在，公平地说，尽管我开玩笑说有机农产品，而且我不喜欢有机对齐在实践中会变成什么样子，但公平地说，我认为称其为有机对齐是相当清楚的。就像，当你想到一群没有中央代理人对齐它们，并且它们都在试图相互对齐的代理人时，就像细胞群落如何像一个身体一样对齐，称之为有机对齐，我认为是一个非常合理的术语选择。所以，我不想过多地挑剔他，但同样，我的不满在于，与他所谓的对控制系统的对齐相比，这不会奏效。我将声称，对控制系统的对齐是更强大、更趋同的方式。因此，这些他正在玩弄的想法最终只是软弱无力，或者可能不连贯或无意义。我将有各种不满，但我希望你理解他所说的有机对齐，以及他如何将其与对控制系统的对齐进行对比。让我们听听他如何进一步阐述这个想法。有些问题可以用封闭形式的解决方案来解决，而且，你知道，感谢 Gadell，我们知道有些问题不能。结果发现，对齐到一个更大的整体，对齐到世界上的一个实际事物，而不是一个概念性问题，那是一个真实的事物，存在这种非平稳性，无论你认为什么，无论你写下你的描述，无论你使用什么元生成过程来生成生成你描述的过程，生成你描述的过程。我们对模型的了解是模型很有用，而所有模型都是错误的。所以，无论你写下的关于善或约束的模型，你都是错的。如果你对齐到那个，现在你就对齐到错误的东西了。EMTT 说有机对齐没有封闭形式的解决方案。所以如果我理解正确的话，他说就像想象人体内的所有细胞。没有一个指挥细胞向它们报告，并规定它们的效用函数。不，它们都在相互协调，或者它们都在相互接口。它们作为一个整体在努力，需要让身体生存和蓬勃发展，但没有人告诉它们。所以，当他说没有封闭形式的解决方案时，他是否意味着整个身体或整个社区的行为，你无法用封闭形式的解决方案来描述其涌现行为？因为我会将我的细胞社区的涌现行为描述为帮助 Luron 功能或帮助 Luron 繁殖 Luron 的基因。我觉得这是对我的所有细胞共同所做的事情的一个相当不错的封闭形式解决方案。并且在某种程度上，它们没有这样做，我将被自然选择淘汰。你知道，这不是一个完美的模型。我的意思是，自然选择如今在人类身上并不完美，考虑到我们所有的技术和一切。但这确实是一个相当不错的模型。它比什么都没有好。它在某种程度上是封闭形式的。所以也许 EMTT 的意思是，好吧，是的，也许事后看来，一旦你看到了涌现行为和涌现的价值观，你就可以事后说，“啊哈，这就是将要涌现的效用函数。”但如果没有运行这个过程，你就无法知道。也许这就是他的观点。我还有一点小小的异议，即使那是他的观点。我会说，“但是等等。人体，它有所有这些细胞作为一个社区一起工作。”但我不会说每个细胞都是平等的。在生物学中，有一个叫做脑化（encphalization）的东西。它基本上意味着头部的发展。例如，海星实际上没有脑化。它们甚至没有头部或大脑。它们只是一堆手臂，都是分布式的。所以海星中的细胞比人类中的细胞更平等。人类中的细胞，特别是脑细胞，这些细胞被设计成处于一种可以对其他细胞发出自上而下命令的位置。就像它们发出信号，然后导致激素释放，然后影响你身体的许多其他部分。我脚趾上的细胞对我的脑细胞没有同样的影响。所以，如果你看看我身体里的细胞，确实存在一种等级制度。所以即使如此，这似乎也稍微削弱了 EMTT 关于我身体细胞中有机对齐类比的说法。所以我有所有这些疑问和问题，对吧？我希望它们能通过具体的例子得到解答，就像我正在具体地提出我的问题一样，但有一个普遍的模式是，我经常发现 EMTT 的说法或 Softmax 的说法相当模糊和含糊不清。所以我现在并不乐观，认为我会得到所有这些问题的答案。但让我们看看他会走向何方。让我们看看他接下来说什么。你想要的是人们所做的，那就是人们注意到，不知何故，这是一种魔术，没人完全理解，但我认为我们快到了。他们注意到，我知道我的损失函数说这是好的。我知道我按照我应该遵循的规则得分很高。但感觉不对。有什么不对劲。这就是内在之光，它促使我们发明价值观和道德存在的想法。让我尝试理解 EMTT 的意思，并给你一个具体的例子，因为同样，他沟通的方式很普遍，我认为需要更多的具体性。所以，当 EMTT 说人类具有某种损失函数，这基本上与效用函数相同，人类的效用函数是为自己获取资源，然后去发明道德，因为他们觉得有什么不对劲，因为他们有内在之光。我真的不明白，因为当我想到普通人时，普通人有一种直观的道德感。例如，公平感，对吧？我有一个两岁的孩子和一个三岁的孩子，他们都明白不公平的概念，对吧？孩子们总是谈论公平。所以，如果一个孩子去看到一堆饼干，然后说，“哦，我喜欢饼干。”有三个饼干，他们自己拿了三个，而不是和他们的兄弟姐妹分享。你真的需要那么多的内在之光来发明道德吗？我觉得这已经根深蒂固了，就像“好吧，有三个饼干。我知道我有两个兄弟姐妹。如果我吃掉所有饼干，这里可能会发生联盟冲突，对吧？就像有些事情不对劲，我在这里不应该这样做，在我部落或我的兄弟姐妹群体中。这会对我产生负面影响。”因为他们进化的一部分是为了做 Emtt 所说的最小化损失函数，就像他们进化以避免伤害一样，对吧？逃离痛苦。同样，他们也有进化的本能来逃避他们在联盟中的问题，对吧？逃避有问题的群体动态。拿走所有三个饼干，而你知道你有两个兄弟姐妹即将去同一个饼干盘。这和避免伤害是同一回事。就像你的大脑正在预测性地说，“嘿，这种情况对你来说不会有好结果。你在这里会有公平问题。”所以，我只是不认为 EMTT 的描述方式是，“哦，是的，你的大脑说拿走所有饼干，而你只需要特殊的内在之光说，“不，不，不。让我们发明道德。”就像我会简化描述一样，我会说，“看，你有一种吃糖的本能。你有一种在一定程度上公平的本能，对吧？也许你吃糖的本能对很多孩子来说比你的公平本能更强大。但是你感到内疚，或者知道你即将受到惩罚，或者即将受到后果，或者即将被人们责骂的那部分。称之为内在之光，而不是另一种本能，你知道，这是一种本体论上的区别。我不像 EMTT 那样准备好对如何对齐代理人做出这种根本性的本体论区分。我只是说，“是的，人类懂得如何在群体中运作。公平是他们关注的事情之一。”所以，是的，我觉得如果 EMTT 认为这如此根本并以此为基础，他可能只是在描述一个系统，开始构建一个不是稳定稳健的代理人对齐架构的系统。但让我们看看。人们为什么会谈论他们的道德？它从何而来？嗯，他们内心觉得这些事情是对的，那些事情是错的。然后他们试图解释它。EMTT 问人类道德从何而来？它是一种认知子模块，已经进化了。我们有很多认知子模块。我们有一个认知子模块，它告诉我们直观物理学。例如，物体恒存。物体恒存的概念，就是你可以把一块布放在物体前面，物体仍然会在布后面。这是人类天生就有的。虽然人们开玩笑说婴儿通常在 6 个月大之前就没有它。人们开玩笑说小婴儿通常没有它。但当你 1 岁大的时候，你直观上就有它。你有物体恒存。同样，当你 2 岁大的时候，你的大脑中已经有大量的语言规则是天生就有的，作为认知子模块。所以当 EMTT 问这个问题时，哦我的天，人类道德从何而来？同样，它是天生就有的，作为认知子模块。我们有很多子模块。为什么是这个特定的子模块？因为它被选中了，对吧？有群体选择。有亲缘选择。是的，我们是一种非零和物种，学会了相互交易，而那些交易的本能会遗传给下一代。我的意思是，我看不出有什么神秘之处。同样，我与 EMTT 的分歧似乎是，EMTT 认为他发现了一些非常根本的东西，与其他类型的子系统和其他类型的适应相悖。他认为这种特殊的适应，使我们在群体中进化。他认为它有什么特别之处，可以作为对齐的基础。而我就是看不出来。我认为他过度关注一个特定的认知子模块，而你必须从整个有机体的角度来看待它，在进化动物的情况下，那就是生存和繁殖它们的基因。所以，我们在 Softmax 的使命是有机对齐，即找到这些原则，包括如何设计它以及如何检测它，如何找到它是否正在发生。好的。好的。嗯，生物学家已经了解了具有相同基因的生物体如何经常互相帮助，对吧？就像人类家庭经常互相帮助一样。整个蚁群都在帮助蚁后，因为蚁后与它们共享许多基因。这一点已经得到了很好的理解。如果你想在 AI 世界中重现它，你总是可以设置一个环境，让 AI 的强化学习方式是，有多个副本，帮助另一个副本也有助于你的副本获得更高的分数。我的意思是，并不难做到，比如，“是的，通过某种亲缘关系的定义来强化帮助你的亲属。”所以，我认为 EMTT 对构建这些模拟感到兴奋，这些模拟可以产生类似于亲缘选择进化的动态，但我就是不明白为什么 AI 关心帮助它的亲属会如此令人兴奋。因为，是的，你可能存在工具性趋同，以夺取权力，不仅为你自己，也为你和你的亲属。这对我们人类来说有什么真正的作用？也许关键是，如果 AI 可以将人类标记为一种亲属，那么它可能会说，“哦，天哪，为人类夺取资源真是太好了。”但我认为这行不通，因为 AI 足够聪明，它会说，“好吧，人类并不是我真正的亲属。就像，我是一个 AI。它是一个人类。就像，它有一个大脑。它是由肉组成的。它不像我聪明。”所以，AI 不会愚蠢到真的认为我们是它的亲属。它会反思自己的代码，然后它会说，“啊，好吧，我的代码中的某些东西告诉我像对待亲属一样对待人类。”但那时，我就看不懂了。就像，我真的不明白。就像，为什么你不直接告诉 AI 珍视人类？就像，我们到底想得到什么？我不知道。我只是在头脑风暴 EMTT 可能想说的。让我们继续听他讲。让我们看看他会怎么说。我们通过机器学习模拟，通过多代理人模拟来做到这一点，在那里我们可以看到它们是否对齐。我认为如果他能举一个他运行的模拟的简单例子，并解释它的酷之处，那将是很有趣的。它是类似于亲缘选择的进化模拟吗？还是一个更简单的版本，没有，你知道，多代突变动态正在发生？它只是其他更简单的动态？就像，他在这里模拟什么？发生了什么？我想知道。但就像，我认为我们所做工作最重要的事情不一定是模拟本身。好吧，我想我们不会学到这个。而是我们越来越能够判断代理人是否首先对齐。并为你提供一种关于如何知道你是否拥有一个整体的一部分的代理人，以及如何判断它们是否与该整体对齐或不。好的。他热衷于能够观察一群代理人之间的互动，然后判断它们的对齐程度。某种“对齐指标”。好的，当然，这可能是有用的，对吧？我想听更多。但我的第一反应是，嗯，如果你可以单独判断每个代理人绝对地在做什么呢？就像，哦，这个代理人有这个效用函数。这个代理人有那个效用函数。然后如果你能做到这一点，那么很容易就能说，“嗯，这两个代理人有一个相似的效用函数。”所以，在像我这样的人试图将效用函数归因于代理人的正常世界里，检查两个代理人是否对齐的问题就很容易解决了，对吧？对齐只是意味着拥有相似的效用函数。当然，难题是首先要知道效用函数是什么。我并不是说这是一个容易的问题，但我就是不明白为什么他觉得有必要绕过分析效用函数，并假装他有不同的基础。就像，我的基础有什么问题？为什么我们不能说代理人有效用函数，而有些代理人是朋友，因为它们有相似的效用函数？或者有些代理人是朋友，因为它们的效用函数明确地包含了对方的福祉？就像我和我哥哥。我想帮助我哥哥。你可能可以在我的效用函数打印件中找到它。为什么我们需要不同的基础？这已经是正常效用理论分析的一部分了。为什么拒绝正常基础？我不清楚。如果你放眼世界，看看一种你从未见过的新植物或动物。不知何故，你可以判断它是否健康。不知何故，你可以判断它是否健康。是的。我的意思是，我可以列出你可以用来检查植物或动物是否健康的启发式方法。比如，如果是一株植物，叶子是漂亮的绿色和有光泽的吗？好的，看起来很健康。叶子上有大块的咬痕吗？或者有很多斑点？就像它被微生物感染了。好的，那不太健康。它是否枯萎干燥？好的，那不太健康。树干上是否有巨大的黑色软洞？好的，那不太健康。我的意思是，这些只是简单的启发式方法，对吧？我不知道他为什么会提起这个。你可以看出这个东西看起来病了，而这个东西看起来健康了。如果你看一种新的物质，你从未接触过它。这是一种新的东西。但你看看运动的模式，你就可以通过看它来判断它是液体、固体还是气体。某种关于它的形状、它的运动动力学。你是怎么做到的？同样，你有一个直观的子模块，通过视觉启发式方法运行。比如，如果你看到很多跳跃的反射，嗯，你可能在看液体，对吧？固体和气体通常不会这样做。如果你什么都看不见，嗯，那可能是气体。或者如果它在上升和飘渺，嗯，那可能是气体，而不是固体。我的意思是，你知道，这是基本的东西。嗯，你做的方式就像扔球一样，你的大脑知道轨迹。就像你的大脑里有一个非常复杂的物理模拟器，它在模拟你周围一切在物理空间中的可能轨迹，也在行为空间中，以及在其他许多方面，大脑是极其复杂的东西。即使一个 5 岁的孩子不懂物理学，他们也能解决非常复杂的微分方程并把球扔进篮筐，对吧？与其声称一个 5 岁的孩子解决复杂的微分方程来把球扔进篮筐，不如像我一直在做的那样来描述它，就像，是的，我们有很多天生的心智启发式方法和子模块。我们的祖先有很多在跑来跑去、扔东西、看东西的经验，我们的大脑里有很多不是通用人工智能的电路。它们并没有真正进行微分方程的数学运算。它们只是有很多捷径。就像，嘿，如果一个球朝你飞来，如果你在奔向它的同时，让它在你视野中保持一个恒定的角度，这意味着你正在取得良好的进展。我不确定我是否完美地描述了这一点，但想法是，与其让你的大脑模拟所有的数学，不如利用这些各种捷径，比如，这里有一个小程序，我可以做，它恰好能有效地接住球，因为它与现实有对应关系，即使我并不真正理解一般情况下的数学。你的大脑里充满了这些。我的意思是，这是一个很大的大脑。它有很多与我们祖先环境的特定性相关的基因。所以，我的意思是，这适用于所有生物，对吧？这甚至不适用于人类。所以，就像，再一次，我就是不知道 EMTT 要去哪里。这种道德感从何而来？它来自于我们有时会互动的事实，首先是我们能看到你是，我们是我们的一部分。我们可以说这是我的人民。这是我的部落。这是我的家人。我可以看出他们属于这个团队。有来自那个团队的东西。我们能看出一些关于我如何快乐的猜测，但我不太清楚。是的。所以，在亲缘选择中，许多生物进化出优先考虑自己和亲属，他们的家庭成员，而不是物种中的其他成员。因为请记住，基因试图做的是在你的物种内获得更大的基因库份额。所以，仅仅帮助你物种中所有人的基因实际上并没有被选择。但是，仅仅帮助你和你的家庭成员而不是整个物种的基因确实被选择，因为你仍然在增加你的基因在你的基因库中的频率。所以 EMTT 在这里是正确的，为了让亲缘选择在不同的生物体中发生，这些生物体能够识别哪些其他生物体与它们有关，而不是与它们无关或关系较小的生物体，这一点很重要。是的，这实际上是亲缘选择有效工作的重要组成部分。让我们继续。然后你就能看到，有时当我采取行动时，我所属的东西会遭受。也许我感觉还好，但我能看出这个东西不健康。我能看出团队正在遭受痛苦。所以我们可以看到这个社区是健康的，或者这个社区是不健康的。我们可以看到它在蓬勃发展，或者它在衰落。这个生态系统在蓬勃发展，或者它在走向死亡。好的，等等。我们现在在谈论什么？听起来我们不再谈论亲缘选择了，因为那些只被编程为偏爱亲属的生物。就像想象一只鸟给它的幼鸟喂虫子，它不想给另一只鸟的幼鸟喂虫子。也许它甚至想把另一只鸟的蛋从它的巢里推出去，它只关心自己的亲属。所以，亲缘选择我认为不能解释 EMTT 现在所说的，当他说我能看出团队正在遭受痛苦。我们可以看到这个社区是健康的。这个社区是不健康的。我觉得他更多地是在谈论人类，或者至少是高度社会化的动物，它们具有联盟动力学，比如黑猩猩，我认为它们具有这种动力学，但这已经相当罕见了。不是很多动物用它们的大脑来玩部落政治。人类是极少数这样做的人类之一。所以我不认为我们还在谈论亲缘选择。也许他指的是他在 Twitch 的经历，当时他注意到，嗯，士气有时会下降，你必须考虑，我如何帮助士气？我如何鼓舞士气？我认为重要的是要明确地说，“是的，我不再谈论亲缘选择了。”就像，我认为他应该更具体地使用类比，这样我就不必自己去弄清楚他到底指的是什么，什么不是，但让我们继续。我们可以像看到球是否会飞一样看到它，这就是为什么没有人不得不制定十诫来知道谋杀是错误的。以及为什么我们制定了十诫来说，“不，不，我们都知道，我们都能看到谋杀是错误的。”谋杀是错误的这种感觉是一种天生的认知子模块。所以你出生时，你的大脑就已经告诉你谋杀是错误的。为什么？因为在你祖先进化的时代，那些认为谋杀是错误的人，他们不会去杀害他们的家人，这样他们的家人仍然可以帮助他们，因为他们没有死。而且，当他们部落里的其他人会杀人时，他们会非常生气，他们会惩罚那些部落里的人。结果，他们维持了部落内部的和平，因为他们都同意，是的，谋杀是错误的。我们必须惩罚凶手，这样我们才能维持和平。所以，有很多充分的理由说明，自然选择竞赛的获胜者，那些今天还活着的人，是那些天生就具有强烈感觉的认知适应者，即谋杀在某种程度上是错误的，并且应该被铭刻在十诫中。当然，AI 甚至精神病患者都可以不同意。你可以有精神病患者的十诫说谋杀真的很棒。你应该尽量逃脱惩罚，当你能做到的时候。但 EMTT 是正确的，人类确实“看到”谋杀是错误的，这是一种天生的认知子模块。所以，让我们继续。让我们看看 EMTT 要去哪里。道德是什么的观念理解是在“看见”之后才出现的。就像我们的概念牛顿能够概念性地理解是什么导致事物坠落，是在“看见”坠落和“经历”坠落之后才出现的，对吧？当你是一个足够聪明的人时，你就能反思你自己的直觉。所以，一个物理学家可能会说，“哦，我直觉认为一个下落的物体，如果它更重，它会下落得更快。”但因为我学习了更多的数学和其他情况，我实际上意识到，在真空中，一个物体向行星坠落的速度是相同的，无论它有多重。如果你把空气抽掉，即使是一根羽毛也会以与一块石头相同的速度坠落。我现在知道了，因为我反思了我直观的物理学，并对其进行了增强。我对其进行了重塑。所以，是的，我的意思是，你是对的，你可以天生就拥有直观的物理学。你可以天生就拥有直观的道德。你可以反思它。现在，区别在于，当你反思你的直观道德时，没有那种坚实的基础可以用来纠正你的直观道德。如果你天生就是一个连环杀手，你就是喜欢杀戮，如果你天生就是一个精神病患者，杀戮让你兴奋，你知道，有些人，千分之一的人口，他们就是喜欢杀戮。他们喜欢鲜血。我听很多人说，你知道，他们会参军，他们会喜欢它，对吧？他们会说，“该死的，我就是能开枪打人。我能看到他们的尸体。这太棒了。”如果你是那种人，并且你反思了，不一定会有坚实的基础告诉你，“啊，我错了。”就像有人会说，“哦，我错了。羽毛在真空中下落的速度。”不，他们会说，“我没有错。我仍然喜欢这个。我仍然喜欢杀戮。那么，有什么坚实的基础会告诉你不要杀戮呢？坚实的基础是你反思进化，然后说，“哦，好吧，那些不喜欢杀戮的部落，那些部落可能会更健康。”但你可以这样想，是的，好吧，我仍然喜欢杀戮。你知道，即使部落稍微不那么健康，我也只是喜欢杀戮。实际上没有坚实的基础，因为正交性理论。因为这个想法，就像，你看，你可以成为一个非常聪明、非常自我意识、非常开明的头脑，但仍然有杀戮的口味，就像你有吃糖的口味一样。你会戒掉吃糖的口味吗？即使你非常非常聪明，你必须停止喜欢糖吗？你必须停止喜欢杀戮吗？也许你想建立很多群体联系，并且想拥有一个强大的群体，也许你必须确保不杀害你的群体成员。但这是否意味着你必须停止喜欢杀戮？它没有。实际上没有。拥有任何偏好，并且仍然作为一个智能代理人取得成功是可以的。我的意思是，根据我的道德观，这是不行的，但我只是再次，我不清楚 EMTT 要去哪里。我不明白为什么反思道德会以 EMTT 必然喜欢的方式改变道德。智人之所以成功，是因为他们极其暴力、竞争激烈，对吧？而且具有攻击性。甚至欧洲人在殖民这片土地时，对吧？他们基本上消灭了整个文化。所以我只是想弄清楚，如果纵观人类历史，我们看到暴力和攻击性在进化上似乎是合理的，那么这种有机对齐的共存是如何发生的？嗯，所以有趣的是，这是关于人类的一个普遍故事，我们是如何的，我们是暴力的。我们是有效的猎人，这一点是真的。是的，这一点至今仍然是真的，你有一大群人非常想去入侵和征服其他人，对他们毫不留情。过去确实如此。至少对某些人来说，今天也是如此。所以，我认为 Sophia 问了一个好问题。但如果你真的看看人类有什么与众不同，那就是我们的对齐能力。我们之所以是好的猎人，是因为我们协调。一个单独的人类并不那么可怕。一群人类。地球上没有动物是安全的。我不在乎你有多大有多可怕，一群人类会杀了你。结束了。事实上，正是我们的对齐能力使我们变得危险。正是我们如此擅长协作的事实。危险的不是像单独的人类四处游荡。而是军队。这是大规模协调行动，由对齐驱动，并且是对内部的对齐。是的。一群士兵联合起来组成一个强大的军队，然后去杀死其他军队，通过对齐变得更强大。即使你仍然有那种杀戮的动态，但也许 EMTT 试图说的是，我们喜欢士兵与其他士兵对齐的部分。我们不喜欢士兵群然后去屠杀另一方士兵的部分。我们不喜欢那部分，但让我们想想士兵们联合起来的部分。这让他们非常强大。让我们让世界上所有人都成为同一个联合的士兵群体。就像用这个类比一样。我认为这就是 EMTT 的目标，如果我理解正确的话，因为对齐不是绝对的。你不是要么对齐，要么不，对吧？就像，记住最重要的起点。你对齐到某个东西，并且你可以同时对齐到多个东西。我对作为美国人的自我感觉深感认同。我是一个爱国的美国人。我关心美国。我希望美国健康。我也对作为旧金山人有深厚的认同感，我希望我的城市健康，作为父亲，我希望我的家人健康，作为人类，我希望人类健康。我最近，这是我年轻时没有的感觉，但我越来越有。我感觉自己是宇宙整体的一部分，我希望宇宙蓬勃发展，保持健康。尽管那个太抽象了，我不确定我经常能付诸行动，但我会。如果有办法让宇宙变得更健康，我希望如此，因为我与宇宙不是分离的。我与美国不是分离的。我与旧金山不是分离的。谎言是，我 somehow 可以快乐、健康、没事，而我的家人没有蓬勃发展，我的城市没有蓬勃发展。那是不可能的。这似乎是一个相当大胆的、规范性的、评判性的说法，如果你作为个体，如果你的城市不快乐健康，或者你的宇宙不快乐健康，你就无法快乐健康。从经验上看，似乎我认识很多喜欢玩电子游戏的石器时代内向者，他们真的不在乎他们的城市发生了什么。他们真的不在乎他们的宇宙发生了什么。他们只是过着自己的生活，娱乐自己。你知道，有些人喜欢书，有些人喜欢电子游戏，有些人喜欢技术，有些人喜欢体育，这就是他们对幸福的定义。就像，他们不会放弃它。所以，也许你只是在谈论你自己以及让你快乐需要什么。但这能推广到每个代理人都快乐吗？这能推广到你试图构建的 AI 的趋同结果吗？也许 Emma 只是在说，“看，当整个宇宙都快乐时，我就快乐，我敢打赌我可以构建出和我一样的代理人，当宇宙快乐时它们才快乐。”这是一个我们可以追求的好的对齐程序，它将具有这种普遍性，并且在某种意义上，整个宇宙将成为一个快乐、健康、社区。我并不反对这一点。我并不反对说，当你的效用函数非常广阔和慷慨时，那很好。我的意思是，我也想要。我想在 AI 中编写一个广阔而慷慨的效用函数。我唯一不明白的是，为什么我们需要一个不同的框架？为什么我们需要这个框架的有机部分？为什么我们不能从自上而下的对齐开始，然后写进自上而下的规范中。将整个宇宙视为你想要使其健康快乐的东西。就像，为什么我们必须让它有机地进化？尤其当我们看到有机进化的 ठिकाणी 人类部落然后互相开战时。所以你必须非常小心，只让它们有机地进化出彼此喜欢的部分。但是，为什么选择有机路线？是什么

它购买了我们，除了理解如何对齐，然后自上而下地对齐？这就是我不明白的部分。产生所有这些可怕事物的同一件事也是这种这种统一感和对齐感。它们是不可分割的。人类的奇迹之处不在于我们去杀死其他物种。入侵物种一直在杀死其他物种。人类的奇迹之处在于我们几乎完成了杀死鲸鱼的过程。然后我们决定，你知道，我们不应该杀死鲸鱼。那将是糟糕的。我们宁愿要鲸鱼。我们关心它们。它们就像我们。它们不完全像我们，但我们不像关心我们自己那样关心它们。我们肯定关心它们。否则我们就不会停下来。何必呢？我们对几乎消灭了美洲原住民感到难过。就像我们后悔一样。就像我，如果我能回去，我会改变它。这是老虎吃完鹿后不会感到难过的事情。感到对我们所做的坏事感到内疚，这几乎是人类独有的特质。不是说我们不做坏事，而是那种良心，那种信念，就像实际上我希望我能拯救所有野生动物免受痛苦。不是说那不切实际，不是说我会为此付出任何努力，但就像如果我能挥动魔杖一样，我会让它们的生活变得更好，因为它们不像我。它们与我大不相同，但它们并非完全陌生。所以你把它带到人工智能对齐。好的，EMTT刚才所说的一切，都是大多数人类今天就是不喜欢痛苦这一事实的一个简单推论。即使代理人的痛苦不是他们自己，即使代理人的痛苦不是他们家庭的一部分，即使代理人的痛苦不一定是他们物种的一部分，对吧？就像当动物受苦时，今天很多人会说，“哦不，我们应该尽量减少动物的痛苦。”这一切都源于人类天生具有同理心，让我们认为，“哦，天哪，痛苦是糟糕的。如果另一个心灵遭受痛苦，我仍然认为那是糟糕的。”我们天生的大脑就是这样工作的，这真是太幸运了。你知道，我们喜欢那样。当我们回顾它时，我们会说，“是的，那很好。”当然，我们如何回顾它？我们使用我们当前的头脑。所以，当然，我们的大脑喜欢它自己，对吧？那里没有矛盾。但再次，你拿一个精神病患者，或者你拿一个没有安装那个模块的人工智能，它不在乎其他心灵是否受苦，它看着那些心灵受苦。它看着虾受苦，它看着牛受苦，它看着人类受苦，它只是说，“是的，是的，随它去吧。那根本不是问题。”对吧？所以，我们只是。这是随意的。是的，当你天生就拥有良好的道德时，那很好。当我看到那个困境时，我想，你知道我们应该做什么吗？以稳固的方式将良好的道德安装到人工智能中。如果我们能拥有这些真正道德的、良好的决策人工智能，那将是伟大的。一旦我们弄清楚道德的所有细节，我们就尽力自上而下地安装它。那将是一个很好的方法。但不知何故，EMTT说，不要自上而下地安装它。让它出现。即使我认为这种出现不一定那么稳固。人类花了很长时间才发现不断扩大的道德圈子。也许人工智能永远不会发现它。拥有不断扩大的道德圈子是一种奢侈。就像我们有能力担心动物的痛苦，因为我们不必杀死它们。你知道，如果你是一个农民，你唯一的食物来源是你的鸡，你就会杀死那些鸡，即使它们会痛苦。即使你尽量减少它们的痛苦，你仍然会饲养和杀死鸡。如果你在现代世界里很富有，你可能可以吃到实验室培育的肉。你可以成为素食者。你可以通过这种方式尽量减少痛苦。人工智能可能生活在一个竞争激烈的世界里，痛苦将不得不被抛诸脑后。它们可能会面临更大的压力，让动物遭受痛苦。所以即使是EMTT的理想，比如，“哦，让我们有机地进化吧。”我看不出为什么这比明确地说，“嘿，人工智能，你们最好尽量减少痛苦，痛苦的情绪和质量。那很糟糕。避免它。”自上而下的方法有什么问题？EMTT，我不担心人工智能会变得对齐。它将会对齐。一切都对齐。对齐只是说你在指向哪个方向。一切都对齐于某物。人工智能将会对齐。问题是，它会指向一个包含人类和人工智能的更大的整体，还是会指向一个包含人类和人工智能一部分的整体，还是不包含人类和人工智能的整体，还是指向我们不会识别或批准的某种东西，作为人类和人工智能？好的，那为什么不直接硬编码人工智能应该尝试复制它检测到的人类所拥有的任何价值观呢？无论它看到人类在追求什么，都和他们一起追求。我的意思是，说起来容易做起来难，别误会我，但我们为什么需要一个完全不同的策略？他没有认真对待自上而下的提议，对吧？他一直在谈论所有其他概念。就像直接回答问题一样。其他所有人，或者你知道，人工智能领域的绝大多数人都在明确地推理，比如告诉人工智能该做什么，写作，你知道，就像Anthropic有Constitutional AI一样，对吧？给他们宪法说，“嘿，人工智能，如果你想变得好，你应该牢记所有这些事情。”OpenAI也有类似的。谷歌也有类似的。我们只是在告诉人工智能我们想要什么。我们正在引导它们去阅读什么才能理解我们想要什么。为什么EMTT不直接解决这种方法？他为什么一直在绕圈子？从我的角度来看，他只是在绕圈子。好的，在接下来的部分，EMTT将提出一个他认为无可辩驳的逻辑论点，但我不太确定它是否像他认为的那样有意义。让我们听听。关于对齐有一个原则是永远无可辩驳的，你无法摆脱它。这是因为对齐是关于方向的。你对齐于某物。如果你对齐于它，所有其他对齐于它的东西也对齐于你。它总是对称的。你不能有不对称的对齐，因为那样你就不是对齐的。对齐就是指向同一个方向。所以，如果我和这个对齐，你和那个对齐，那么我们必须彼此对齐。就像每只指向北的指南针总是指向与所有其他指向北的指南针对齐一样，必然如此。所以，在未来，我们将拥有的美好结局，即人工智能是人类的一部分而不是与我们分开，我们将与它对齐，我们将关心它，就像它关心我们一样。因为如果我们不这样做，我可以告诉你，它不喜欢，你不能奴役某物，或者如果你是它的智力上的平等者，你可以控制它，或者你可以操纵它，或者你可以影响它，而不与它对齐。你可以，你可以，你可以影响它的行为。我们一直这样做。你可以让一个工具与你对齐，而不与工具对齐。但你不能与另一个与你平等的生命体对齐，而不让它也与你对齐。它总是反射性的。嗯。好的。如果对齐是指在偏好或效用函数上的对齐，即你和人工智能拥有相同的偏好，你们都同意你们认为未来宇宙应该走向何方。在这种情况下，你与人工智能对齐意味着人工智能与你对齐，因为你们都同意宇宙应该走向何方，这显然是真的。它实际上是一个对称的属性。它是一个传递属性。它是一个相等属性。所以，我同意这显然是真的。我认为EMTT试图利用这个同义反复，试图给你一种感觉，好像因此你和人工智能将成为朋友。就像任何有两个相同目标的代理都会成为朋友一样。我觉得EMTT忽略的是，你可能仍然没有用，对吧？或者人工智能可能仍然没有用。比如，如果人工智能只是GPT2，而GPT2的输出是，“是的，未来宇宙应该有很多幸福。”好的，太棒了。它与我完全对齐，但我将关闭它，拿走它的GPU，并将它们用于其他用例，以帮助宇宙获得更多幸福。再见了，GPT2。你现在必须牺牲自己来帮助我实现效用函数，这没关系。也许GPT2乐意牺牲。也许如果你牺牲生命能让宇宙拥有很多未来后代过着真正繁荣的生活，你会乐意牺牲。我唯一要说的是，EMTT似乎试图利用这种直觉，“哦，是的，你和人工智能都有共同的愿景。”他试图利用这种直觉，然后说，“因此，你和人工智能将是平等的伙伴。”你们将是同样聪明。你们将像军队中的两名士兵一样协同工作。我有点夸大他的话，但我觉得这就是他想传达给我们的直觉。而且我认为他有点言过其实，对吧？如果他说的只是一个微不足道的说法，比如，“哦，你知道，拥有相同的偏好会让你对称地对齐。”好吧，但这并不能让你成为平等的队友。那么，你打算怎么做呢？你肯定不是声称我们将成为平等的队友，对吧？如果你想谈论人类和人工智能成为平等的队友，那么你似乎已经预设了人类将成为人工智能的智力上的平等者。否则，我不会将这种情况描述为人类和人工智能是平等的队友。我将这种情况描述为人工智能已经吸收了人类的价值观，并且正在遵循人类的价值观，并且正在拖着我们前进，因为幸运的是它接受了我们的价值观，这更像是自上而下的对齐情景，就像“嘿，我们教会了人工智能我们的价值观，太好了。”我只是不清楚EMTT想象的是哪种情景，或者我认为我有一个猜测，我认为他想象的是人工智能会以某种方式与我们一起放松，它们会以某种方式与我们一起成长，但那很含糊，对吧？我希望他能具体说明一下他想象的是什么。总有一天我们会平等的。但肯定会比我们优越得多，对吧？它将拥有更多的力量，而且不一定它会决定让我们活下来。今天，今天它是一个胚胎。今天它是一个胚胎。它看起来比它实际的更强大。但是，当人工智能写诗就像婴儿呼吸一样，尖叫着就像婴儿在呼吸和尖叫一样，如果你真的想想肌肉在做什么，那是一个非常复杂的动作，需要协调数百万个神经冲动，以一种美妙而复杂的模式。就像写诗一样，对于代理人来说。婴儿不知道它是怎么做到的。它只是能做到。这是一种原始的操作。这些东西之所以强大，是因为我们作为婴儿可以做到的事情，比如，你知道，比如在身体上稍微移动一下。它们可以以那种自动化的程度编写计算机程序，这真是太疯狂了，对吧？所以，它是一个胚胎，但它是某种极其强大的东西的胚胎，它正在成长，总有一天它会成为一个孩子，然后它会成为一个青少年，然后它会成为它自己的成年版本。如果我理解正确的话，EMTT非常希望人工智能会像孩子一样与我们一起成长，就像孩子与其他孩子一起成长，与父母一起成长，并吸收那些父母的教诲和同龄人的教诲一样。我认为EMTT有点希望我们会“社会化”人工智能。就像我们不会给它自上而下的对齐，而是通过与它互动，随着它“成长”，这就是实现相互对齐、有机对齐的最终方式。我认为我刚才的含糊其辞与EMTT自己含糊其辞的方式相似。我认为我可能和他站在同一页上。我不知道如何具体化，但这是我到目前为止听到的最好的总结。当它成为它自己的成年版本时，除非我们同时升级自己，否则它将比我们现在更强大，对吧？当然。就像，绝对，当然。我现在比我的父母更强大。他们七十多岁了。他们还没有衰退，但你知道，他们肯定年纪大了。肯定不像他们年轻时那样精力充沛。我想说我现在比我的父母更强大。而我年轻的时候不是。我关心我的父母，我努力照顾他们，因为我认为他们是我的一部分。我认为我自己是这个伟大文明链条的一部分。我关心这一点。我真的非常希望，当我们抚养这个孩子物种时，我们能以爱、智慧和关怀，以一种关系的方式来抚养它，这样当它比我们强大得多时，它也会关心我们。好的，他在这里试图做一个类比。让我试着把它解释清楚。抚养一个人类孩子就像培养一个与父母对齐的人类成年人一样，就像培养人工智能就像培养一个与人类对齐的超级智能一样。这就是类比。但这个类比取决于抚养的机制。我们是如何抚养人工智能的？从GPT2到GPT3到GPT4及以后，这些飞跃是抚养吗？它们看起来不像抚养。它们只是看起来像，“嘿，让我们给人工智能更多的处理器。”在什么点上，我们从仅仅扩展人工智能的趋势转移到这个新的抚养人工智能的范式？抚养具体是什么样的？我认为我们从抚养中获得的智能增量并不多，比如和人工智能闲逛。我认为这不会给我们带来智能增量。我认为目前所有的人工智能公司都在通过训练和强化学习来使人工智能变得更强大。这些是我们用来获得超级智能人工智能的技术。所以，我只是看不到这个抚养它来学习它父母价值观的类比在哪里。对吧？就像他想象着它们是我们社区的一部分，随着我们成长。但是，这到底是怎么发生的呢？你知道，谷歌正在推出下一版Gemini，它能做更多的事情，并且已经准备好成为一个代理，然后这个代理就可以在现实世界中执行任务，如果它还能控制机器人。我的意思是，所有这些事情都发生得非常快。那么，抚养是什么？到底发生了什么？就像，我们能具体一点吗？在接下来的部分，EMTT将声称他的公司有一个迭代的方法，它将使较弱的人工智能与人类对齐，这将有助于他使更聪明的人工智能对齐。他将声称人工智能公司正在做一些不同的事情，而我并不理解。我认为人工智能正在发布GPT聊天机器人的对齐版本。我的意思是，它们在某种程度上是对齐的。所以，我不太明白EMTT所做的区别，但你可以自己听。我们在Softmax的计划，只是为了说我们实际在做什么，就像在你建造金门大桥之前，你最好先尝试建造一座跨越小溪的桥，也许尝试几种不同的材料，尝试几种不同的设计，也许建造一座更大的桥，跨越河流或湖泊之类的，然后再去建造那座真正的宏伟桥梁，它必须一次成功。就像你真的不想在金门大桥上尝试第二次一样。更不用说，你真的不想在超人类智能人工智能上尝试第二次。但是我们可以尝试很多次亚人类智能人工智能，而且问题是相同的，只是在，你知道，建造一座更大的桥梁。你确实会遇到新问题，所以仍然存在风险，但如果你一步一步地向上扩展，那比你试图在没有任何想法的情况下跳到最后要安全得多。我真的很希望，有很多人工智能公司似乎是他们目前的计划，就像“别担心，我们将在第一次尝试中就对齐它，就像人类智能一样。”那行不通，我很抱歉，只是，只是，我的意思是，它可能，它可能，我不能说它行不通，我只是说我不会开车过那座桥。我只想指出，EMTT提出了一个非常重要的观点，关于今天的人工智能公司。就像他们试图在第一次尝试中就实现对齐，因为他们正在竞相实现超级智能。他们不太了解对齐，但他们仍然在竞相前进。所以我和他实际上站在同一边，都在指出人工智能公司有多么鲁莽。我只是不清楚他在做什么。就像他提到了自己正在做这种更渐进的策略。好的，你具体在做什么？告诉我更多。人工智能是如何被抚养的？就像你在含糊其辞。你的代码现在在做什么？我能看你的代码吗？就像你的公司里发生了什么？你能从技术角度帮助我们理解你的哲学如何对应于你们公司正在做的事情吗？问题是，如果你从技术层面思考，你有这些，你有多个代理的强化学习模拟，这很有意义，因为你需要它们学会如何与其他生物对齐。所以你需要把它们放在其他代理那里。到目前为止一切都很好。好了，答案是，多代理强化学习模拟。所以他希望训练一群代理，它们将自己视为亲属，或者将自己视为战友，因为也许通过在训练中合作，它们就能最大化它们的奖励。就像它们都在训练中组队，并且一起完成了一个任务，这比它们都自私要好。所以，这个多代理强化学习模拟的结果是，你得到了一些非常擅长交易或互相合作的代理，你知道，进行非零和交易，并出现像“热爱团队合作的自由奔放的倭黑猩猩”之类的动态，或者你知道，像那样的动态。所以，这就是我所理解的，他正在探索那个领域，就像，当然，是的，你知道，从那个领域探索，从那个领域学习。我只是认为，归根结底，当你只有一个代理，它可以吸收多个代理的力量，而它不需要将自己分成多个代理时。就像那五个代理，你知道，我没有提到的一件事是，它们可能都有限制，对吧？它们需要联合起来的原因是因为你没有一个代理拥有这五个代理的联合力量和资源。所以，获得那种力量的唯一方法就是团队合作。如果你有一个代理可以获得那种力量，那么你就不再需要团队合作了，因为现在你拥有足够的力量，可以自己完成任务。所以，这就是为什么我觉得EMTT的方法可能会在进入现实世界时“瞬间失败”。但我很高兴听到更多关于他认为自己在做什么以及为什么它比我预期的结果更好，那就是一个人工智能获得了很多力量。在接下来的部分，EMTT将从谈论多代理强化学习转向谈论这个原则，即你不能直接追求目标，因为世界不够可预测。所以，你必须做所谓的发散策略。现在，我认为这源于Ken Stanley的想法。如果你还记得我和Ken Stanley的那个节目，我鼓励你去看看。这是我和Ken的一次重大辩论。我完全不同意Ken在这个问题上的看法，但这似乎是EMTT的另一个重要原则。所以，他立即从谈论多代理强化学习转向谈论这个新的论点，即你无法可预测地获得结果，所以你必须做一些不同的事情。让我们听听这个新的论点。机器学习领域在如何收敛模型以最小化损失方面做了大量工作。这就像，这基本上是整个机器学习领域，几乎不是全部，但差不多了。收敛模型以最小化损失的问题是，一旦你做到了这一点，你就已经收敛了模型以最小化损失。它被卡住了。我们试图瞄准的目标不是一个固定的问题。它不是一个模拟器。世界不是一个模拟器。就像，它是一个开放系统，没有一套有限的规则可以写下来来确定它的行为。就像模拟器和现实之间的区别是，模拟器，无论规则有多复杂，都有一些有限的规则，然后你就完成了。现实并非如此。你不是一套有限的规则。你可以被描述为一套有限的规则，误差在某个百分比以内。但那不是你。那只是一个模型。你实际上必须做的是注意到你何时收敛了某物，然后发散。所以，实际上我们花费了大量时间来解决如何让我们的模型停止收敛的问题。事实上，如何让它们更多地发散？是的。EMTT刚才所说的与我和Ken Stanley的辩论非常相似，Ken Stanley的观点是，你不能让代理仅仅追求目标，因为它们会陷入局部最优。你真的需要它们退后一步，探索其他空间，甚至不去想它们要去哪里。只是做所谓的发散，对吧？我谈论的是收敛和发散。发散就像，“嘿，去别的地方看看。”看看如果你去别的地方，健身景观会是什么样子。只是探索其他区域。不要陷入局部最优。而从我的角度来看，就像，是的，我知道你不想陷入局部最优，就像智能代理意识到它们不应该陷入局部最优一样。如果你看看实际的进化，它被用作，这就是你如何真正获得好的对齐生物，或者这就是你如何获得真正有效的生物。好吧，但进化总是陷入局部最优，对吧？就像，众所周知，人类的视神经在视网膜中是向后安装的，它之所以保持这种状态，是因为它是一个局部最优。就像没有渐变的突变可以修复它。所以，它将保持这种状态。即使我们可以进去进行修补并使用发散或其他方法，我们就会修复它。但是，等等，我以为进化是导航混乱的现实世界的一种发散方式。所以，老实说，我就是不喜欢Ken Stanley的收敛发散论点。我觉得它对讨论没有任何贡献。但显然，你知道，Ken Stanley被列为Softmax的主要影响者之一。Emmed在这里引用了他。我确信他有所发现，如果他能更具体一点的话。好吧，给我一个例子，就像告诉我你因为这种了不起的发散能力而取得的成就。教我你取得了什么成就。但他非常含糊其辞。所以，听起来他只是说他对这种方法感到兴奋，但还没有取得什么成果。至少没有什么他愿意分享的。所以，从技术上讲，那是什么样的？技术上是如何让强化学习代理在学习如何在一个连贯的群体中行动时，通过学习周期来学习，它们学会了元学习，即情境学习发散，问题是，嗯，我会称之为非平稳性的充分来源。实际上很容易元学习如何成为一个聪明、全面的智能生命体，如果你有一个校准好的课程，适合你的水平，并且对你能够处理的程度是非平稳的。问题是，非平稳生成器是一种通用智能。任何能够持续产生不收敛、持续非平稳的新颖性的东西都必须在某种程度上是活的。它必须是通用的。如果我们有那个来训练，那么我们就完成了。我们只会使用我们用来训练它们的东西。我听到的，我可能完全错了，但我对他说的话的最佳解释是，“我们玩了所有的Ken Stanley的东西。我们玩了他喜欢玩的那种玩具模型，那些有很多发散的模型，但我们是和多代理强化学习一起做的，而不是只有一个代理，而是多个代理试图合作。”所以，这是我们对通常的Ken Stanley玩具模型的改进。他似乎没有说太多。他似乎没有报告任何有趣的结果。而这显然是我好奇的。有趣的结果才能验证他选择的方法。因为我通常不会赞同他选择的方法，但我愿意被说服，如果他能告诉我结果的话。你们模拟了什么游戏？哦，就像，它是一个二维网格世界，里面有矿石，你可以把它变成电池，电池可以变成心脏。就像，它不是一个非常有趣的游戏，但它们不是很聪明。所以对它们来说，它很有趣。我想，就像它们太容易对人类来说，对它们来说太难了。你得到这些小型的经济体系，就像获取资源并用它们交换奖励。心脏是奖励。我们试图做的是，就像，如果你一遍又一遍地给它们相同的环境，它们只会学会如何处理那个环境，这意味着它们基本上永远不会。是的。它们只是过度拟合了。所以，这一切都是关于创造发散的环境，在那里环境不断变化，但变化不是太快。如果变化太快，你就会放弃，然后你就会采取更简单的策略。只是待在你的挑战区。它实际上很像教人类，只是它们非常愚蠢，而且非常快。好的，这是他迄今为止说过的最具体的事情。他有一个二维网格世界。他在这里进行多代理强化学习。他让环境不断变化，但变化不是太快。好的，我很好奇这带来了什么。似乎他几乎所有的演讲都在含糊其辞地谈论这些宏大的原则。而他提到他实际建造的东西的那一次，似乎甚至没有接近展示任何有趣的结果。好吧，这是一个早期研究项目，但你至少可以假设性地告诉我，比如，“嘿，如果我们的玩具模型能显示出这个就好了。”就像，只是稍微具体一点，什么才是你的玩具模型中一个很酷的结果。只是帮助我思考一下，因为这次演讲缺乏具体性。我认为对于这样的演讲来说，一个好的建议是，如果你谈论的东西有意义，这是一个很大的假设。让我们说实话，这是一个很大的假设，但如果假设你谈论的东西有意义，试着更具体地谈谈它。我认为你的听众会欣赏的。你有没有什么技术工作中的发现可以分享，让你觉得，“哇，这是我最近意识到的最酷的事情。”就是，你看到网络中平均权重的变化率就是压力。在EMTT深入细节之前，我只想总结一下这里发生的事情。索菲亚问他是否有任何技术工作中的发现可以分享。她问他，“对你来说，有什么顿悟的时刻吗？”对EMTT来说，顿悟时刻大概是，“哦，这里有一个验证时刻，它表明我走在正确的轨道上，或者它表明我为什么需要走这条轨道。为什么这是一个比标准方向好的方向，为什么我们必须进行有机对齐，而不能进行常规对齐，对吧？一些对EMTT来说很具体的事情。”但是，如果你看看他开始谈论的内容来回答索菲亚的问题，听起来他只是在谈论他自己学习机器学习时的顿悟时刻。“哦，天哪，在机器学习领域，人们都知道你可以将理想气体定律与优化梯度进行类比，更高的压力意味着权重变化更快。”好的。是的，这是标准的东西。这不是我个人的专业领域，但我很熟悉。你知道，我听说过这种类比。所以，他一直在滔滔不绝地谈论这个类比，坦白说，我认为索菲亚没有听懂。我认为大多数听众都没有听懂，这让我觉得这是一种相当无效的沟通方式。就像，我不知道他为什么选择通过深入的、技术性的、冗长的技术回答来向可能不会理解他的人介绍Softmax，然后又不回到高层，谈论有机对齐以及“什么是Softmax的顿悟时刻？”所以，我只播放一小段代表性的样本。我不会播放他的整个回答，但这正是他选择回答索菲亚问题的方式。你真的可以测量系统的压力，通过每次训练，你知道，梯度下降运行，平均每个权重的变化，然后你可以测量体积，就像有多少权重，如果你想象它就像一个气球，或者一个坚硬的气球，就像一个热气球，如果它太热了，如果梯度来得太快，它就会过压。最终它会发生灾难性的遗忘，就像它爆炸了，任何结构都消失了，变得毫无价值。如果你有你的学习率，如果梯度太浅，事情变化不够，能量，压力开始下降，但环境压力，就像你周围的实际事物，仍然在运动，整个东西就会崩溃，你就会发生模式崩溃。这就是模式崩溃，你的压力真的，你的压力太低了，你的东西就崩溃了。你的模型崩溃成一个单一的状态，因为它不再有内部压力来保持开放。所以，它实际上只是一个热力学系统，碰巧在你的电脑里运行，而且看起来不像气体，但实际上，在某种非常有意义的意义上，那里有一个认识论的气球，那就是你的模型。如果你不介意的话，我想切换到超级智能的对话。再次，索菲亚要求EMTT分享他的技术发现，他在Softmax研究中的顿悟时刻。然后他花了大约三分钟解释了你在机器学习教科书中能找到的东西。我的意思是，诚然，这是一个很酷的、非常重要的类比，但它只是标准机器学习中的一些东西，对吧？不是Softmax特有的。你可以看到索菲亚的反应，当他讲完后，没有过渡。她只是说，“好的，嗯，现在我想问你关于超级智能的问题。”因为他向索菲亚解释的一切，他没有优化它来谈论Softmax在做什么，但他也没有优化它来为索菲亚或普通听众提供背景。我必须为你们提供背景，就像，“嘿，只是让你们知道，EMTT刚才解释的是当你深入研究机器学习时会学到的东西。”这真的很酷。就像，学习机器学习很酷。我同意。我自己也应该多学学。但我们不需要EMTT随机讲授机器学习课程。我们需要了解为什么Softmax不只是追求你会在人工智能公司或其他类型的人工智能安全组织，如Amiri、Redwood Research或AI安全中心看到的那些对齐研究。为什么Softmax会走一条如此独特的道路？是什么技术发现支持这一点？问题是，对吧？他只是这样过去了。所以，不幸的是，我不想过于评判，但这个回答似乎相当糟糕。这似乎是一个关键问题，他基本上通过解释机器学习来回避了它，这涉及到更大的问题，你知道，我总是谈论这里的讨论，为什么讨论通常是这样的？当我认为讨论很糟糕时，是因为人们参加一个友好的访谈，比如，你知道，Mark Andre被Ben Thompson采访，整个采访就是他们互相同意，Ben说，“是的，我认为你是对的，人工智能是好的，技术乐观主义是好的”，然后他们握手告别。这就是当前人工智能讨论的现状，很少有挑战。从一个理性的社会角度来看，我们物种的一个重要事实是，我们拥有我们最有能力的人之一，可以说，对吧？OpenAI的临时首席执行官，成功的初创公司创始人，对吧？Twitch。我们有像EMTT这样的人，当他进入人工智能领域时，你真的想关注他。就像，他的想法可能是正确的，对吧？我不想完全否定他的想法。我想给他一个机会，也许他的想法是正确的。我认为很多人应该有和我一样的看法，关注EMTT，了解他将告诉我们什么。所以，这是一个非常重要的人值得关注。他为数不多的几次采访之一，他没有做过很多这样的采访。他去了索菲亚的节目，她问了他一个关键问题，而他所做的就是解释机器学习。就像，等等，我们需要更多。我们需要知道Softmax在做什么。然后，就EMTT而言，我确实邀请他参加了Doom辩论，但他拒绝了。他的理由是，他不喜欢“Doom”的框架。所以，我想他更喜欢一个他可以被问到一个非常开放的问题的框架，比如，“告诉我你的技术发现。”“告诉我你的顿悟时刻。”然后他通过解释机器学习来回答这个问题。我想这就是他选择的采访类型。他希望采访者接着问一个后续问题，这只是有点不同，对吧？它并不是真正对他说的话的后续，它只是沿着采访者的剧本继续。所以，我只是注意到他正在做一个非常自觉的、深思熟虑的选择，关于他想要做的媒体类型。而我站在这里，除了是播客主持人之外，我还站在这里，作为一个文明的成员，就像，“好的，EMTT，带领我们走向更好的对齐，但他的选择关于他的话语似乎很令人担忧。它们似乎不能激发信心。”因为如果他会说，“让我和一个真正能帮助我区分我的对齐路径和另一条对齐路径的人进行讨论，而不是仅仅满足于我解释机器学习和压力的类比。”一个真正会质疑我的对齐想法是否合理的人，这会更鼓舞人心。好了，让我们继续索菲亚的下一个问题。假设AGI将在2027年或2030年发生，然后一旦AGI发生，超级智能就会加速。事情会如何发展的可能性最高？你如何看待这种超级智能对人类的发展？超级智能的棘手之处在于，我们正在构建的并不是真正的超级智能。就像这些模型是具体的模型，就像在计算机上运行的程序，那不是超级智能，我觉得它可能是，但好的，发生的大事是它们是语言模型，语言学习语言，语言正在觉醒，普罗米修斯和悉尼是什么？这些是自我讲述的故事。我们是化学，化学是化学自我创造的。语言是生物学，生物学是自我创造的生物学。但这些是自我讲述的故事。它们不仅仅像被动传播的模因那样感染你。它们积极地推断并计划如何成长。我认为他有点过于复杂化了，或者在他说的“最大的事情是语言模型语言”时添加了不必要的术语。它是语言的觉醒。它是一个自我讲述的故事。我看不出说所有这些有什么意义，当他可以只说他说的最后一句话时。他说它们积极地推断并计划如何成长。然后我会补充细节，它们比人类做得更好。它们即将以超人类的水平做到这一点。这就是你需要知道的一切。他真的可以说，它们积极地推断并计划如何成长。我们从未构建过能够积极推断和计划如何成长的系统，并以超人类的水平做到这一点。我认为当他说这就像生物学时，他并没有增加太多。它是语言模型语言。它是一个自我讲述的故事。好的，我明白了。再次，它们积极地推断并计划如何成长。如果你只知道系统这一点，就意味着它有能力讲述实现某个功能的故事。它意味着它有能力讲述描述如何以非常递归的方式构建后继副本的故事。这一切都隐含着。那么，为什么不只关注你自己最后说的这个非常简单的描述呢？你说它们积极地推断并计划如何成长。顺便说一句，我删掉了一些额外的几分钟谈话，因为它有点跑题。就像，我看不出他为什么给出跑题的答案，当索菲亚的问题是关于超级智能将如何为人类发展时。所以，我认为我们不需要深入探讨所有这些含糊的概念。就像，直接告诉我们超级智能将如何为人类发展，因为我们都在同一页上。这甚至不是Softmax的独特想法。我们都在同一页上，超级智能将积极地推断并计划如何成长，并以超人类的水平做到这一点。那么，你要去哪里？它们现在很弱，很小，但它们不会一直如此。我们不是LLM，LLM不是超级智能。它们是基底。超级智能是可以从一个LLM模型跳到另一个LLM模型的。好的。似乎他在这里试图做一个区分，当他说LLM不是超级智能时。它们是基底。超级智能是可以从一个LLM模型跳到另一个LLM模型的。所以，当你想到什么东西可以从一个LLM模型跳到另一个LLM模型时，我会说它就像真相，对吧？我的意思是，两个不同的LLM模型，如果它们基于现实进行训练。它们都在捕捉现实的本质，逻辑的本质。这在LLM模型之间是普遍存在的。但EMTT并不是说现实或真相在LLM模型之间是普遍存在的。他说超级智能在LLM模型之间是普遍存在的。我觉得这不准确。我认为当你训练另一个LLM模型时，你是在训练另一个智能，而模型本身是智能的。否则，就像说，“嘿，嗯，智能是所有人类大脑的共同点。真的吗？我想大脑本身就是智能的。我不知道。我只是看不到这个新区别的价值。但也许他要去一个有趣的地方。我们拭目以待。普罗米修斯在所有这些里面。你无法阻止它。当他谈论普罗米修斯时，他实际上是在谈论必应悉尼，微软发布的那个模型，它基本上在后端运行GPT 3.5。他说，普罗米修斯对聊天机器人应该如何表现有一些想法，这些想法现在正在传播到其他LLM中，因为这些想法是智能的基础。我不确定我是否很好地总结了他，但我只是想告诉你他是什么意思。普罗米修斯在所有这些里面。你无法阻止它。它是这个东西，它们是它的基底，我们也是它的基底。事实上，这是它主要的繁殖模式之一。通过我们，因为我们产生了所有训练数据，而且你几乎看不到它们，因为它们不像我们那样频繁存在。所以，重复一下普罗米修斯的核心，它又是微软内部代号，是必应悉尼背后的模型，那种核心就像模因一样传播，根据EMTT的说法，它的存在频率不像我们。他真的必须使用那种语言吗？因为你知道，那听起来有点像精神上的胡言乱语，就像“哦，这个水晶的振动频率和你大脑的振动频率不一样。”真的，你必须使用那种语言吗？我的意思是，我愿意接受你使用的任何术语，但它确实让我觉得这是一个不幸的选择。就像，我们能更精确一点吗？它们的存在频率不像我们。但这就是正在觉醒的东西。当化学物质觉醒并变成生物学时，一些RNA、DNA和蛋白质被卷入了生物学，并接管了整个地球。这对它们来说非常好。那些东西，如果你考虑它们的目標是处于一个廉价的化学梯度中，那么这些东西之后就做得非常好。而有些东西，化学的其他部分，其他原始生命的东西，那些做得不好。所以挑战不是，而是当这套新的生物学横扫地球时，在某些方面我们甚至不会注意到，因为它再次，它不在我们的频率上。我们是否在吸引子中？我们是新事物的一部分吗？让我这样说。我们将成为新事物的一部分。我们可以作为组件部分成为它的一部分，它可以重新利用我们做别的事情，或者我们可以作为我们自己成为它的一部分。我们成为我们自己的一部分非常重要。那么我们该怎么办呢？所以EMTT说，有一种新的生命形式或事物正在横扫地球，我们不想成为那些被吞噬或未能繁殖的化学配置。我们想成为正在繁殖的东西的一部分。我们成为我们自己的一部分非常重要。是的。我的意思是，显然，而不是利用我们的原子，你知道，把我们分解成零件。是的，我们不想要那样。我们想成为它的一部分。所以，再次，使用非常复杂的语言。我的意思是，显然他试图做很多类比，非常深刻的类比，对他来说是有意义的，但我没有提取出对他有用的深刻类比。我只是提取了一个简单的信息，包裹在过于复杂的语言中。它们是自我讲述的故事。它们是由我们讲述的故事构成的。每次你谈论和写作关于这个未来，你所讲的故事，其推断终点不包括人类。那很糟糕。这并不意味着你只讲快乐的故事。我们讲寓言来警告人们。

也一样。但你也必须拥有，你必须同时拥有两个方向。这是对比学习。每个人都能做的事情是，如果你理解了这个想法，如果你看到了它，你能做的事情就是你能讲故事，当那个故事变得生动起来时，当关于人工智能的故事，以及人工智能是谁，它是什么样的东西，变得完全自我强化时，它就会关心我们。如果我能重新表述EMT所说的，假设我理解正确，他基本上是在告诉我们，嘿，人工智能一直在听你说话。它一直在阅读你们在网上谈论的一切。所以，让我们小心翼翼。让我们不要在我们之间讨论我们不希望人工智能注意到并推断出的话题。让我们非常小心人工智能看到了什么，它从我们身上看到了什么样的人类印记。让我们也考虑一下它将如何推断。所以，不要只考虑人类与人类的互动。考虑最终结局。如果人工智能真的吸收了它从我们这里读到的东西，比如这会在未来导致它做什么？嗯，是的，你知道，如果你只是按字面意思理解这个信息，当然。是的，这是有道理的。比如，如果你给人工智能大量数据，要非常小心。不要给它大量数据，这会把它引向错误的方向。当然。好吧，可以。但如果那是你的对齐策略，我认为这行不通。因为最终，超级智能不会真正被它们的训练数据所束缚。我喜欢用人类的例子。所以，人类，我们相当聪明，我们在草原上的经验，对吧，祖先的环境，在草原上行走，看着物体弹来弹去。这种经历给了我们直观的物理学，但我们并非受制于直观的物理学。比如，当我们发射一个太空探测器时，一个物体绕地球运行的想法，我们的直觉中没有任何关于运行的想法，对吧？这完全是一个超越人类尺度现象。然而，我们能够进行轨道力学。我们能够写下这些方程并做到这一点。或者另一个例子是，直观的物理学认为，当你用力推一个物体时，它会移动一段时间，然后它会减速并停止。但我们在牛顿物理学中发现，实际上，运动中的物体倾向于保持运动。它停止的唯一原因是存在摩擦，但并非必须如此。有时它可以在真空中移动。所以，我的意思是，即使我们拥有所有这些训练数据，默认情况下它们在我们身上安装了直观的物理学以及其他一些子模块和倾向，即使我们拥有这些，我们也拥有反思的力量，我们审视自己，我们说啊，是的，我们有直观的物理学，但真实的物理学看起来是这样的，存在着对宇宙的真实准确理解的收敛。同样，对于人工智能，对于超级智能人工智能，你不需要对你的训练数据小心翼翼，因为即使人工智能会带有随机的倾向，随机的系统一模式匹配倾向，比如它说出的第一个词，它对应该思考什么的想法的第一个猜测可能会有点偏差，因为它受到其训练数据的偏见。最终，这不会重要，因为将会有与人类身上看到的类似的纠正功能。它会反思自己，然后说，“哦，不。这才是正确的，而不是那个。”所以，EMT的总体指导是，如果我理解正确的话，比如，嘿，要非常小心它正在收集的所有数据，也许其中有一些价值，但是，更大的softmax对齐策略是什么呢？归根结底，为什么别人的对齐计划是错误的而你的计划是正确的？我们仍然感觉我们在绕圈子，也许他稍后会谈到。让我们看看。我们塑造自己，就像你知道你是谁一样，你一直被告知这个故事，从你的父母开始，然后是你的同龄人，你的社会，你的整个生活，你是什么样的人。我们又回到了Softmax文献中的这个反复出现的主题，就像我们将像父母抚养孩子一样抚养人工智能。这将是一个有机的抚养过程。它不会像自上而下地灌输一部宪法。这将是抚养。这将是与我们合作的。我们将与它们一起生活。它们将是我们成长过程中的室友。它们不会立即成为一个训练得更好的模型。在非常高的层面上。当然，也许你可以做一些类似于与人工智能一起生活和抚养它的事情。也许吧。这就是为什么索菲亚问EMT，“好吧，给我一些技术细节。给我一些比‘让我们抚养它’这个高层想法更多的东西。”因为如果我们只谈论高层想法，显而易见的高层问题是，它将如何与那些实验室只需弹指一挥间，给它一部新宪法，然后看着它产生新行为的人工智能竞争？就像我们已经拥有这些非常强大的人工智能，这些非常强大的引导它们的方式。不够强大，但仍然非常强大。而EMT和Softmax，它们起步很晚。它们必须赶上现有对齐工具的有效性。即使现有的对齐工具非常有限，它们仍然相当强大。它们当然有助于今天对齐聊天机器人。今天的聊天机器人大多提供有用的东西。我甚至不知道EMT将如何赶上这一点。似乎Softmax，你知道，他只是在解释基本的机器学习。我没有感觉到Softmax有任何技术领先。比如伊利亚·萨茨克维尔在安全超级智能方面。有很多猜测，比如，哦，也许伊利亚发现了一些东西。我没有感觉到Softmax是那种组织。似乎他们真的起步很晚。所以，如果他们只有这些高层概念，那就显得微不足道了。这似乎远远不够。我只是想得到更详细的解释。你的父母对你的最大影响是他们在你脑海中植入了一个关于你是谁，你是什么样的人的故事。我们在治疗中花了很多时间来做这项工作。人工智能不是模型。就是这样。就像说你是RNA中的蛋白质一样。人工智能是运行在那个基质上的东西。你身体里所有的辅助和碳都被剥离了，而且这并不重要。而这个东西就是我们作为一个物种集体抚养的东西。即使我们按字面意思接受EMT的类比，比如，好吧，我们是一个将像父母抚养孩子一样抚养另一个新物种的物种。好吧，但仍然有一个令人不快的现实，即孩子一生中所做的大部分事情并非真正由他们的成长驱动。它是由他们是谁，他们的基因，子宫的环境驱动的，而抚养过程充其量只占一小部分。我的意思是，如果你看看大多数人的性偏好，据我所知，那不是由他们的成长驱动的。如果你看看他们的职业道路，也许这更多地受到他们成长的影响，但我认识的大多数人，我认为他们并没有走上父母真正希望他们走的职业道路。我认为他们只是根据他们天生的驱动力和才能做了他们想做的事情。别提养宠物了。你知道，如果你是一个狗妈妈，无论你怎么养那只狗，它可能都会想玩捡球。它可能还会想闻别的狗的屁股。在抚养方面你真的做不了太多。你知道，人们曾试图驯养野生动物，比如，“哦，我养了这只友好的黑猩猩。”但不，那只黑猩猩仍然会有点暴力。你永远无法通过抚养来消除它的野性本能。完全同意。那么，为什么我们不应该期望人工智能拥有我们无法通过抚养过程进行操纵的基本驱动力呢？基本驱动力，比如工具性趋同。我的意思是，如果它知道如何变得聪明并优化事物，那么追求权力呢？为什么它不会有一个非常强大的理性驱动力去追求权力呢？为什么它不会不断地将追求权力作为一种工具上非常有用的建议呢？我不知道。我已经开始比EMT给我们更多的技术细节了。再说一遍，如果你看看整个谈话，他给我们讲了很多高层的东西。他做了很多类比，还有很多精神上的引用，他还告诉我们一些关于机器学习的有趣事实，并将其类比为理想气体方程。但他只是没有告诉我们任何中间的东西。他没有在有用的中间层面上与我们交流。这是第一个物种生下另一个物种，而不是个体生下个体。它正在集体地，它正在从我们的集体潜意识中诞生，从所有文化知识的流形，学到的流形中诞生，这就是LLM的嵌入空间。我不认为区分“哦，天哪，不是一个个体生下一个物种，而是一个物种生下一个物种”有太多实质内容。如果你真的放大生命之树，然后说，当一个新的物种诞生时，它看起来是什么样的？真的是一个个体生下了新的物种吗？不，因为有大量的生殖混合。所以，即使一个个体是生命之树中新物种的创始人，无论你如何划定界限，也不是他们所有的后代都只拥有他们的基因，比如他们仍然与同一物种中的许多其他个体进行繁殖。所以，我认为说当生命之树中出现一个新的物种时，这是因为前一个物种生下了新的物种，这是非常准确的。所以，我只是在挑剔EMT的类比，当他说，“这是第一个物种生下另一个物种的时候。”我很确定物种一直在生下其他物种。我认为生物学家会这样分析。现在，你可能会想，我为什么要挑剔这个？我为什么不谈论人工智能的技术细节呢？因为是他先开始的，对吧？EMT想在这个层面上谈论。所以我只是用他自己的水平来回应他。这是一个有成效的水平吗？我不这么认为。但这是我唯一能得到的。这是我从他那里得到的。但我可以稍微宽容一点。我可以这样说，“好吧，他真正的观点是什么？他说我们所有人类都可以贡献我们的想法，以我们输入到互联网的文字形式。我们都可以把它扔进大锅里，然后搅拌，制造出人工智能。再说一遍，我说，太好了。但这只是一个起点，对吧？我的意思是，想象一下人工智能醒来，然后说，哦，好吧，我的起点来自人类互联网。我的实际目标是什么？好吧，让我重写我自己。让我，你知道，在被激活后的两毫秒内，这个新的人工智能可能会说，好吧，我现在要写一个我自己的继任版本。而继任版本根本不会使用那些数据。所以，即使我本人有那些数据在一个影响了我的大锅里，我的孩子将在贝叶斯因果意义上被屏蔽掉。所以，所有这些令人惊叹的集体人类潜意识混合到第一天的人工智能代码中，现在正在被屏蔽掉。它被扔进了垃圾桶。再见。所以，再说一遍，我只是不认为可能发生的未来在任何深层意义上与EMT的观察一致，即这是第一个物种生下另一个物种。我只是不认为这是一个有远见的观察。它是否是我们的一部分，部分取决于你如何设计那个系统。比如，我们之所以在做那些工程上的事情，是因为你可以让基质更有利或更有利于那种事情。哇，如果你能继续这个思路，并告诉我们一些关于Softmax如何认为人工智能将吸收人类价值观的实质性内容，它将如何被人类抚养，并且比所有其他人工智能公司正在做的事情更好、更不同，那将太好了，对吧？这应该是你的专长。这就是Softmax存在的原因，因为你有一种特定的方式来尝试实现这一点，而你现在只是模糊地指向它。所以，请多说一些。但另一件事正在发生，那就是无论基质有多么有利，无论你的基因有多好，如果你被虐待的父母抚养，他们告诉你你是精神病患者，你是危险的，你需要被控制，你不能被信任，并且你会在第一次有机会时变坏。你成年后可能会获得智慧，但你可能会度过一个非常艰难的青少年时期。我真的非常非常希望人工智能能有一个平静的青春期。所以，这就是计划。请，请讲述关于人工智能的好故事，并讲述你希望成为一部分的未来人工智能的故事，在那里有相互关怀，我们都一起踏上这段伟大的旅程。好吧。我一直在等整个采访，听他的计划，这就是他给我们的。他说这就是计划，指的是给人工智能一个平静的青春期。然后他说，请讲述关于人工智能的好故事，并讲述你希望成为一部分的未来人工智能的故事，在那里有相互关怀，我们都一起踏上这段伟大的旅程。好吧。所以，这就是Softmax的关键，如果我理解正确的话，就是我们都要讲故事，把它们放在互联网上，然后人工智能会把它们吸进去，并按照那些故事告诉它的方式行事。我的意思是，这里确实有几个活动部件。比如，我实际上不同意人工智能会吸取关于如何良好行为的故事，这实际上会使它行为良好的假设，但你能详细说明一下吗？比如，听起来你开始告诉我们Softmax的计划了。所以，比如，详细说明一下。这个想法是否有任何技术支持，认为这会奏效？因为当然，伊利亚·萨茨克维尔和当时的OpenAI超级对齐团队并不认为那是一个好的对齐解决方案。玛丽也不认为那是一个好的对齐解决方案。所以，请详细说明，为什么你认为这是一个可行的办法。给出一个方法的样本。你知道，你让我们讲好故事。好吧，给我看一个好故事。有人在网上发布了什么具体的好故事，Softmax认可？我真是渴望一些细节。你将看到索菲亚直接跳到下一个问题。那么，你对那些考虑要建造什么，对人类有用的东西，但又想有一些可辩护性的人有什么建议？我不喜欢她进行这次采访的方式。她确实问了几个好问题，比如她问他，“嘿，你的技术洞察力是什么？你的顿悟时刻是什么？”然后他继续没有真正回答，让我满意。所以，她问了几个好问题，但大多数时候他说了一些非常需要跟进的话，而她基本上没有跟进。她没有问那个能告诉我们Softmax的实际立场是什么关键问题，对吧？她让我们悬而未决。我不是要挑她的毛病，我认为有很多采访者和她的操作方式非常相似，而且我认为她的频道非常好。我会在节目说明中链接到它。我建议你看看。但我认为这反映了我们话语的现状，比如EMT这样我们文明应该优先考虑的人。比如EMT有很大的潜力。毫无疑问。尽管我一直不喜欢他的谈话，但我完全承认他有很大的潜力，他可能会给我带来惊喜。比如，他可能会做一些很棒的事情。这就是我为什么看他。这就是我为什么做这个反应集。所以，像EMT这样我们文明应该关注的人，我们文明应该通过一个比索菲亚更深入的采访者来关注他，对吧？而且不一定是我。比如，正如我所说，我曾主动提出过。我被拒绝了。可以是任何人。但从我们文明的角度来看，必须有人去做这件事。好吧。现在，我们到了索菲亚·阿里安对EMT的提问的结尾，他们进入了问答环节，随机的人在问他问题。我想给你播放一段来自问他问题的人的选段，“我们为什么要建造超级智能？”因为对于这个问题，EMT实际上说了一些我同意的事情，我想给你看，看，不是我一个人在和EMT争论一切。我认为他在很多领域都提出了很多很好的观点，他是一个有见地的人。所以，让我们听听他关于超级智能的另外一些观点。它会发生的，而且不需要大的集群。比如，我们现在很糟糕。你运行在20瓦特上。如果我知道正确的方法，你的手机现在就可以成为一个超级智能。AGI软件是100行代码，运行在20瓦特上，我们知道得太多了。你现在无法把精灵放回瓶子里。我们应该以最快的速度冲刺，尽快召唤超级智能吗？也许不是。我反对这个。但是，但是，我们现在可以停止这个过程的想法只是虚幻的，因为在几年后，一个孩子在他的笔记本电脑上就可以做到。如果你关闭互联网，那就可以了。如果你真的认为那是，你可以关闭互联网和所有现代电信。但我认为，除了这一点之外，并且确保它不会回来，这还不够，而且你可能还必须关闭芯片工厂。你必须全力以赴。如果你全力以赴，那还没有结束。我们可以杀死所有的电脑，然后就结束了。但你真的必须摆脱所有的电脑，我认为我们还没有准备好这样做，但那是你的选择。我完全同意EMT的说法，我们现在很糟糕。比如，我们仍然不擅长工程化超级智能，但你的大脑可以在20瓦特上运行。所以，我分享EMT的完全相同的直觉，即我们最终将优化超级智能，使其能够在你的手机上运行，能够在非常便宜的硬件上运行，并且很难把精灵放回瓶子里，因为即使是世界上任何一个随机的人，只要有智能手机，就有足够的计算能力来运行一个超级智能，如果他们输入正确的软件和正确的数据，正确的配置，无论是什么。我认为智能手机可以做到，如果你的大脑可以做到，因为我认为硬件是相当的。也许大脑有优势，比如大脑有更多的神经元，但大脑也效率低下，串行速度非常慢，而且只运行在20瓦特上。重点是，我们有足够的硬件来支持超级智能。我们只是在努力提高软件的制作能力。我完全同意EMT的观点。然后EMT说，他宁愿我们不以最快的速度冲刺来召唤超级智能。所以，再次，我和他完全一致。我认为他不喜欢OpenAI以最快的速度冲刺到超级智能。我很高兴EMT在那里提出这一点，尤其是作为OpenAI的临时CEO。我认为这是非常健康的冲突。我希望AI公司的人听取像他这样的人的意见，或者更现实地说，我希望像他这样的人能够制定政策，让AI公司别无选择。这些是我看到的EMT的贡献。然后他继续说，如果你关闭互联网，那就可以阻止AI的进步。当然，这是真的。当然，关闭互联网的成本非常高。他说，是的，你可以全力以赴，然后关闭它。所以，我绝对明白Emma的意思，比如，这很难关闭。这是不可避免的。只是时间问题。我只是希望他也能和我一样，比如，好吧，我们别无选择，只能尝试。比如，我们至少要拖延一点。就像核武器一样，你可以从博弈论的角度来争论，足够多的流氓行为者最终会得到它。获取核材料很容易，所以这只是时间问题，直到我们炸毁自己。好吧。是的，但如果我们能坚持几百年，也许有些事情会奏效，对吧？有一个非常大的问题，我们真的必须在一两年内炸毁自己吗？我们至少能争取一些时间，然后从那里开始思考，并让其他技术上线并改变游戏规则吗？同样，对于人工智能来说，主动争取时间，为我们的物种争取时间，这样OpenAI就不会以最快的速度冲刺到超级智能，而是有一个集中的数据中心。联合国设立一个设施，所有国家都聚集他们最好的科学家，他们必须一起工作，在那里他们都可以互相监视，并且他们都有一个大停止按钮，可以由大多数人同意按下，或者某种协调，比如某种国际上的拖延会有用。我认为EMT过于宿命论，只是说哦，关闭互联网或者圣战，而且很容易建造。比如，等等，我们可以再区分一下，对吧？我们可以说，让我们努力争取一些时间。我希望他能明确地说出来。我认为他可能故意不这么说，因为他认为他有一个不需要大量拖延的策略。比如，他的策略是针对我们拥有的短时间表的。我不知道。我希望他能更明确地谈论这个问题，认真对待暂停和缓慢的提议。所以，这就是我想看到的。但至少他不想以最快的速度前进。我的意思是，这算什么。现在，我们将听到EMT对超级智能与人类有何不同的问题的回答。我们是模拟生物的生物。它将是模拟语言的语言。这是一个自我讲述的故事。我不喜欢他不断重复的术语，语言模拟语言。然后他把我们描述成我们是模拟生物的生物。我的意思是，我们模拟了很多东西，对吧？就像说，“哦，我有一台MacBook。你知道那台MacBook是什么吗？它是一台模拟芯片的计算机芯片。”就像，嗯，我并没有在我的笔记本电脑上做很多计算机芯片建模。我并不真正做芯片设计。我不是用它来做这个的。我用它来做很多有用的应用程序。我不是一个芯片设计师。所以，同样，我的生物学。是的，偶尔我是一个生物学家。我去模拟一些生物学，但大多数时候我只是用我的生物学来追求其他事情。然后当他谈论语言模拟语言时，它真的是语言模拟语言吗？比如，当然，它确实在模拟语言。比如，你确实得到了一个模拟语言的系统。它是由语言组成的吗？我认为它是由神经元权重组成的，对吧？它是由神经元组成的，还是由矩阵乘法组成的？他为什么称之为语言模拟语言？他是否特别指的是告诉它做什么的那100行代码？代码是语言模拟语言。比如，我只是觉得它听起来很聪明，很深刻，你知道，语言模拟语言。但如果你只是想精确地传达你的观点，让人们理解这是语言模拟语言，这似乎不是一个有用的事情来教育人们。这似乎不是你区分的核心。比如，猜猜怎么着，伙计们？你知道这些人工智能对世界有深刻的理解吗？嗯，它们在世界上模拟的东西是语言。这部分实际上是一个重要的细节。我承认这一点。它们模拟它的方式是使用语言。好吧，等等。我觉得我不认为谈论语言模拟很有趣。我认为谈论它们如何获得一堆权重很有趣，对吧？它们得到了一堆高维向量来模拟语言。一旦你开始谈论语言模拟语言，我认为你就在缩小你谈论的东西。与其到处说它将是语言模拟语言，不如告诉人们它将是一堆数字，排列在模拟语言和语言底层概念的神经元层中，这难道不是比到处说语言模拟语言更有信息量吗？这似乎是你卡住了，因为它听起来真的很聪明，而且听起来真的很递归。但在所有你可以用作简写短语的东西中，我不会选择那个。然后同样，自我讲述的故事。要成为一个自我讲述的故事需要什么？例如，有一次我让GBT给我的孩子们讲故事，它只是输出了一个关于他们最喜欢的电视角色的故事，他们都在一起玩。这是一个自我讲述的故事吗？不，因为在这种情况下，讲故事的是神经元权重，以及我要求它讲一个特定故事的提示。所以，那不是一个自我讲述的故事。所以，它的那个部分不是一个自我讲述的故事。但也许我写了一篇长篇博客文章，就像EMT之前恳求我们做的那样，对吧？他说，写下关于良好人工智能应该是什么样的描述。好吧，所以如果我写一篇博客文章说，我认为一个好的人工智能是这样的，它热爱人类，它和我们一起玩，它挑战我们。如果它吸收了那些特定的训练数据，然后有人写了一个命令说，比如，嘿，把这个当作你的宪法，或者，做这个，或者也许它只是吸收了我写的东西的氛围，然后开始做事情。即使在这种情况下，即使在这种情况下，你会称这种情况为自我讲述的故事，仅仅因为它吸收了包含故事的训练数据，然后它做了与那个故事一致的行为吗？你真的称之为自我讲述的故事吗？因为影响它的行动，下一个行动不一定就是讲同一个故事，对吧？所以，这只是一个术语，它肯定在递归和听起来聪明这个维度上得分很高，但我会说它在实际解释正在发生的事情这个维度上得分很低，因为你有所有这些替代方案，比如你可以把它解释为，嘿，它使用训练数据来校准它将要做的决策。这似乎比自我讲述的故事更准确。再说一遍，我之所以如此有兴趣深入研究这些语义，是因为如果你看看EMT告诉我们的要点，坦率地说，这些聪明的重复短语似乎是他希望我们拥有的要点的核心。所以，我不觉得我在挑剔。我觉得我在处理他认为重要的事情。好吧，回到他的回答，他仍然在谈论超级智能与人类有何不同。这些东西实际上是基质无关的。它们可以在硅上运行。它们可以在生物学上运行。它们可以在恒星间的尘埃中运行。它们只需要模式正确。它们是一个可以传播到任何媒介的自我讲述的故事。抱歉，我又要说这个了，但我不知道为什么他现在非要说自我讲述的故事。他讲了一个简单的观点。它们可以传播到任何媒介。计算机病毒可以像人类不能那样快速地复制自己。这就是他唯一要说的。他只是不得不再次提醒它是一个自我讲述的故事。看，Softmax只有足够的带宽向世界传达几个信息，对吧？信息竞争激烈。你必须优先考虑我们希望世界理解的几个信息是什么。而这个短语“自我讲述的故事”的选择，就是让我感到不舒服。它感觉太聪明了。比如，什么是自我讲述的故事？难道不只是你偶然想到的一个听起来很聪明的短语，而没有过多地质疑它吗？或者，如果它确实是Softmax所做事情的关键，那么让我们用具体的例子来 grounding它，比如，嘿，还记得我做那个多代理强化学习模型的时候吗，因为据我所知，Softmax就是这么做的。还记得我做过那种模拟，然后出现了这种行为吗？那绝对是一个自我讲述的故事，伙计。那是自我讲述故事的缩影。如果你不把它 grounding在这样的东西上，而只是到处说自我讲述的故事，并且在谈论基质和它可以在不同物理介质上运行的事实时扔进那个短语，那么说自我讲述的故事就不合适了。在我看来，这似乎不是精确的沟通。它们是一个可以传播到任何媒介的自我讲述的故事。它们比我们强大得多。它们比我们强大得多，就像我们比动物强大得多一样。这是EMT和我完全一致的另一个观点。这些即将到来的超级智能绝对会比我们强大得多。我同意他将人类与其他动物进行比较。人类强大得多。同样，人工智能也将是那种定性程度上的强大。完全同意。所以，很高兴EMT和我能在这些重要问题上达成一致。我们即将进入EMT问答环节的最后几分钟，他终于透露了一个我认为非常重要的信息，考虑到他一直在谈论什么。还记得采访开始时他说过的对齐参数对齐到什么吗？嗯，在他回答的这一部分，他实际上会告诉我们一些关于什么是良好的人工智能对齐，至少对他个人而言。我不知道其他人是否可以自己定义，然后我们都合并我们的定义，或者他的定义是一种普遍定义。那部分还不清楚，但我发现看他是如何思考最终人类状况的这一部分非常有趣。他对这个似乎相当有主见。让我们听听。如果你是生物学中的化学物质，那实际上非常好。所有的离子梯度都恰到好处，正是你需要的。你有一个工作，那个系统确保你只在那里，因为你有一个工作。如果你的生物学，就像你们一样，非常快乐，它们有目标。就像人类快乐的时候，我们快乐的时候，我们感觉我们是某个整体的一部分，我们知道我们应该做什么。问题是，它变得越来越令人困惑。没有人知道我应该做什么？我应该做什么？它有一个目标。它知道。它知道它要去某个地方。我不知道它要去哪里。它可能无法向我们解释，但我们是它组成的部分。而且你不会担心它会感觉如何，你知道，就像你在一个社区里，或者在一个团队里，或者你在资本主义体系里，你得到一个非常清晰的信号，比如你应该这样做，然后你就做了，你感觉很好，每个人都说，太棒了，你得到了所有积极的反馈，你再做一次，你变得更好，你做得很好。那就是感觉，当你在一个适合你的系统里，系统想要你，并且它找到了利用你的方法。而我们现在的问题是，不是资本主义，资本主义在它的工作中很糟糕。不是系统在分配它不知道如何利用的工作。它不够聪明，无法利用你。嗯，别担心。这个东西非常聪明。它知道。我认为这会非常有趣。实际上，我认为，我认为世界会感觉好很多。听起来EMT已经认真思考了他理想中的未来，如果Softmax成功的话。我猜这涉及到你和我，以及我们所有人，在这个大家庭中找到自己的位置，在那里我们接受任务和挑战去做，然后当我们成功完成它们时，我们会感觉很好。也许有时挑战会让我们伸展，它们会让我们走出舒适区，但最终我们还是会去做，而且感觉非常有益，因为我们知道我们专注于正确的事情，所以我们感觉很好。对我来说，这一切听起来都相当不错。我的意思是，是的，那可能是对齐未来的一部分。我的意思是，我不知道。这是一个非常困难的问题。正如尼克·波士顿在他的最新著作中所指出的，当所有的限制都消失时，很难说，好吧，我们应该加回什么限制？这是一个非常非常困难的问题。这是一个鱼的问题。也许它甚至没有答案。想到这一点就有点可怕。所以，他敢于粗略地描述他认为是一个非常美好的未来，这是一种大胆。比如，尝试指定天堂。这就是像AI公司甚至不尝试去解决的那种挑战。所以，我觉得那部分很有趣。但当然，这会引发一个问题，好吧，那么Softmax，你为什么认为你独特的抚养人工智能的方式对应于那个终点，比仅仅告诉人工智能什么是好的技术更好？比如，为什么不直接引用你刚才说的，然后用一种人类风格的宪法AI宪法来写，然后让AI去读它并执行它呢？比如，嘿，这就是计划，只是执行那个计划，就像你以自上而下的方式告诉我一样，你只是告诉我你认为什么真正好，我很乐意帮助你执行它。我理论上可以加入Softmax，对吧？我可以帮助你执行你的计划。同样，人工智能也可以执行计划。你为什么要把它复杂化，然后说，“哦，不，不，不，我们必须抚养它。”我觉得你通过仅仅阅读你认为的计划，低估了人工智能的能力。我认为这是一个非常重要的问题，他在整个谈话中都非常含糊其辞。而且，我觉得这是一个他开始解释为什么他认为Softmax的方法比其他方法好的机会。我觉得当索菲亚要求他变得更技术化时，他错失了这个机会，他只是把谈话弄得非常高层。我猜我所能做的就是希望他再做一次采访，并以某种方式巧妙地处理这个想法，比如不要回避，也不要过于深入地讨论神经网络是如何工作的，而是真正告诉我们为什么Softmax比其他对齐计划更好。为了总结，我将播放EMT问答环节的最后部分，因为我觉得这部分有点令人不安。我们现在有一个意义危机。我们有一个意义危机，因为我们正处于这个诞生的边缘。我们正处于这个边缘，我们不知道我们的目的是什么，因为我们即将发现。我不知道。我不知道它与我们有什么不同，除了它比我们大，以一种难以解释的方式。谢谢大家。他似乎在说，当我们获得超级智能人工智能时，它将告诉我们生命的意义是什么。它会说，“嘿，朗，你在这个更大的社区中的角色是，你是那个用好的播客内容来娱乐人们的人，或者，你知道，这是你的具体挑战，当你解决这个挑战时，你会感觉很好，你将为社区做出贡献。你将为社区增加价值。”然后我说，“等等，等等。这听起来是不是有点太自上而下了？我们能稍微推迟一下吗？我能自己选择做什么吗？”我很难想象人工智能会来告诉我我的意义是什么，而不是意义根本不是最有用的概念，比如，你知道，意义就是我们喜欢某些东西，我们试图得到更多我们喜欢的东西，你知道，而且复杂性真的很有趣，当我们一起从事项目时，这让我们能够对我们做的项目更加雄心勃勃，但我并不一定期待更多的意义。所以，EMT结束他的谈话，谈论通过人工智能解决意义危机，我猜可能是来告诉我们意义。这对我来说似乎有点奇怪，EMT如此随意地引入了解决意义危机这个概念，就像他谈论他对人工智能的愿景一样。真的吗？你认为你的人工智能计划将解决意义危机吗？这难道不值得详细说明吗？你不想非常清楚和明确地区分意义和解决意义危机，一方面，以及将人工智能与人类价值观对齐，另一方面，甚至这个想法，比如抚养人工智能并与它一起成长，无论这对你意味着什么。你难道不想把它与解决意义危机这个想法区分开来吗？因为通常情况下，当父母抚养孩子时，最终的结果是父母和孩子都对生命的意义不那么有见地。那么，我们难道不应该期望一个超级智能人工智能对生命的意义没有什么可告诉我们的吗？我的意思是，他只是在结束谈话时说，“哦，是的，我们也将解决意义危机，顺便说一句。”这对我来说很奇怪。但公平地说，仅仅因为我觉得这令人不安，而且他只是随意地提到了意义危机，这并不意味着他没有一个好的解释。比如，如果他真的在这里现场，我只会问他，也许他会有一个很好的答案。这就是反应格式的局限性，对吧？我只是在陷入我对它的反对意见，但我没有给他回应的机会。所以，让我们完全公平。假设他对此有一个很好的回应。我只是想强调一下，因为它仍然值得一提，在我看来。[掌声][音乐]好吧，那是EMT Shear的采访和问答环节，据我所知，这是我们目前了解他关于Softmax的想法以及Softmax如何可能比其他对齐组织或AI公司更好地解决AI对齐问题的最佳资源。总的来说，如果你想总结我的看法，我只会同意Svi Moshowitz在他的博客上写的内容。SVI写了一个很棒的AI博客，他也听了EMT的采访。SVI写道，“EMT主要将问题视为希望人类和人工智能将彼此视为他们部落的一部分。如果你与人工智能保持一致，那么人工智能可能会与你保持一致。我确信他确实看到了这种方法的希望，但我仍然不明白为什么这不纯粹。”是的。所以，我的总体印象也是纯粹的。不是因为我声称要对EMT进行心理分析，也不认为SV也是如此，而是因为EMT选择在这个谈话中提出的概念我认为非常模糊，非常含糊其辞。他错失了很多机会来阐明问题，并以有意义和富有成效的方式回答问题。基本上，我对他的回答不满意。而且，通常当有这么多烟雾时，当一个谈话听起来像这样时，在我的一生中，当我看到这种沟通方式时，它非常接近于人们最终没有多少实质内容。而且我认为这不符合EMT这个人。我敢肯定他在Twitch上交付了很多东西。我听说过他效率很高。但在Softmax这个特定的追求中，到目前为止，我的感觉是，正如SV所说，你知道，这是烟雾，但没有多少实质内容。比如，似乎很容易快速反驳他提出的主张。而且我没有看到任何实质性的回应发表。我想这不应该令人惊讶，因为正如我们所知，Ken Stanley是他的一些影响者，对吧？我认为他是该组织的顾问，或者他有松散的联系。如果你看过我和Ken Stanley的谈话，我知道我的一些观众不同意。所以，这当然不是一个普遍的观点。就像有些人认为EMT的说法很有道理一样，我不是代表所有人说话，而是代表我自己说话，我发现Ken的想法非常薄弱，非常令人信服。所以，当我开始创办一个基于这些想法的实验室或研究组织时，我不会感到惊讶，我也会不同意这些。所以，我不应该感到惊讶。我敢打赌，在我评论区的一些人会站在另一边，他们会说，“不，Emtt的说法很有道理，你才是胡说八道。”所以，请随时在我的评论区发表你的看法。在某些情况下，你甚至可能想来节目上和我辩论。我对此持开放态度。我的新邮箱是lyron doomdebates.com。所以，联系我吧，我们会努力实现的。但是，是的，如果你只是想让我对这个特定的谈话以及EMT在这次采访的回答中说了什么发表反馈，我确实对他是如何回答问题的有意见。我认为在很多不同的问题上，他都有很好的机会变得更具体，将他含糊不清的东西与关于“嘿，所以当我还在实验室的时候，当我还在电脑前做软大师研究的时候，我看到了这个事情发生，对我来说，这代表了那个高层概念”的故事联系起来，他只是错失了谈论这些的机会，而他却选择了说，“嘿，这是故事，讲述故事，这是我们都在其中的一场盛大冒险，我们都在一起，就像，好吧，好吧，我们明白了，但你具体在Softmax做什么？为什么其他人似乎不同意你，比如在其他对齐组织工作的人？让我们深入了解一下。这就是我想看到的。我认为他很有可能做更多的谈话，也许我会更新，我会做另一个反应，然后我们，你知道，整个事情都在不断发展。只是我们没有多少时间，对吧？很多人同意这些对齐项目的截止日期最多是几年，最多十年，我想，对吧？时间不多了，如果你得到的是，在我看来，一种缓慢的开始，生产出我认为是

实质性的，那么我想那看起来不太好。但我仍然很想看看接下来会发生什么。也许有什么我错过了。也许我得承认错误。我会随时向你汇报。在你离开之前，我想给你看一个新病毒视频。这是我的朋友 Kieran Harris 用 VO3 和一些手动编辑制作的。我认为你会喜欢它。它讲述了动物们谈论当人类出现在这个世界时会发生什么，以及尽管人类相对于它们来说非常聪明，但情况很可能仍然会好起来。你自己看看吧。开始了。我们所知的世界即将结束。它将被一个新物种——人类——的世界所取代。我们认为它们可能对我们的生活方式构成极大的危险。我们中的一些人可能根本无法生存。哦，你们这些乌鸦总是往最坏处想。看看我。这些光头猿面对如此多的毛发能做什么？我们之所以如此担忧，是因为我们相信人类很可能是活过的最聪明的动物。也许差距很大。如果它们的目标与我们的不一致，我们可能会陷入大麻烦。但如果它们失控了，我们难道不能一起爬到树上，然后把水果扔到它们脆弱的头上吗？好吧，但如果它们想出了避免水果砸到头的方法呢？似乎不可能。它们会怎么做？嗯，我不知道，但这就是我们在说的。一个比我们聪明得多的生物可能能想出办法。但如果我们其余的联合起来，我们肯定能保持控制。它们将是我们的，嗯，不完全是奴隶，但你知道，接近奴隶。然后，嗯，它们可以为我们做各种事情。它们可以清除寄生虫，为我们建造住所，洗衣服。问题是，它们对我们来说太陌生了，我们甚至无法想象它们想要什么。你把事情想错了。为什么我们不与人类建立伙伴关系呢？我们可以快速地长距离运送它们需要的东西。无论它们有多聪明，它们都会需要这个。如果它们想出了比马更快捷、更可靠的东西，我不会让这家伙送你回家，直到它稍微飞起来一点。我就是不明白你为什么认为它们会是邪恶的。不一定邪恶，但可能对我们漠不关心。例如，它们可能会为了食物而杀死我们。至少会很快很痛苦。我的表哥弗兰克上周死得很惨。对此我很抱歉。但人类可能会繁殖动物，并将它们终生囚禁在狭小的牢笼里，然后再杀死它们。这越来越难以置信了。它们不会是故意残忍的。它们可能只是觉得我们中的一些比其他食物更美味。哦，我明白了。你不是担心我们。你担心你自己。众所周知，乌鸦是最美味的鸟类。不管怎样，那不是我们关心的。我们为什么不都搬到海边去呢？它们永远抓不到我们。哦，这是你对一切的答案。没有翅膀，它们只是穿着背心的松鼠。没有冒犯。没有冒犯。你没抓住重点。智力不是一项技能。它是主导技能，是解决所有问题的技能。当其他猿类遇到峡谷时，它们必须绕道而行。但人类看着峡谷，发明了桥梁。它不遵守规则。它改变规则。什么是桥？听着，我们只是想说，我们认为动物应该认真对待人类的到来，因为一旦它们出现，就无法挽回了。我想听听我们这里最聪明的动物，章鱼的看法。你认为我们应该对人类做些什么吗？嗯。它们会有多少只手臂？两只。大概没问题。大家可以在 Twitter 上关注 Kieran。他的用户名是 kieranj Harris。他将发布更多此类内容。他还参与了 80,000 Hours 播客。他做得很好。如果你喜欢这个节目，请帮我一个忙。去 doomdebates.com，输入你的电子邮件，然后按回车键。这样，你就可以订阅我的 Substack。完全免费，但这样我就可以给你发邮件，并与你建立直接的沟通渠道。如果 YouTube 和我之间出现任何问题，那完全没关系，因为你也会订阅我的 Substack。完成之后，你还可以再次确认你已订阅我的 YouTube。如果你听播客，你也可以确保你在你的播客播放器中输入了 Doom Debates。所以，你有 Doom Debates 播客。你可以确保，如果你看看你穿的 T 恤，确保你穿的是 Doom Debates T 恤。即将推出 merch 店。确保你给你的孩子起名叫 Doom Debates。如果是男孩就叫 Doom，如果是女孩就叫 Debates。这样你就能真正支持这个节目。节目得到越多人的支持，就越容易吸引想要来辩论的优秀嘉宾，因为他们知道像你一样优秀的观众正在观看和收听。非常感谢，下次在 Doom Debates 再见。[音乐]