Transcription
欢迎来到“末日辩论”，但你知道吗，今天我们实际上不会进行辩论。辩论是实质性的，涉及某人花一个小时整理思路并陈述自己的观点。不，今天我们要做的东西更小，更琐碎，更浪费时间，我称之为“末日争吵”。我们不进行辩论，而是进行一场小小的争吵，在社交媒体上的随机人群中进行一场小小的争斗。我们不会讨论任何重要人物会阅读或关心的事情。我们只会讨论像我这样的推特瘾君子在一个普通人根本不在乎的空间里互相争吵。这就是我称之为“末日争吵”的“末日辩论”系列节目的想法。你知道，这让我想起了我妻子看的那种节目，比如看 E、看 Bravo、看《比佛利娇妻》、看《What Happens Live》，听 Juicy Scoop。就像我妻子认为我在这里做一些严肃的事情，但我实际上只是在录制现实电视的 AI 存在风险等价物。所以希望她不会听到这个并发现真相，因为她还有很多 Bravo 的节目在待播列表中。总之，我认为我们会没事的。这对我来说是一个实验性的形式。我不知道它是否会成为一个常规环节，还是一个非常偶尔的环节。这真的取决于你们有多喜欢它，以及你们给我什么样的反馈。因为“末日辩论”的使命是变得非常主流。所以我确实非常关心我的订阅者数量以及我们能多快提高增长率。如果我们没有指数级增长，那么在世界末日之前，我们就无法产生有意义的影响。所以这确实提高了增长观众的赌注，超越了通常的“虚荣指标”。在我们开始争吵之前，我们必须对上周关于 GB01 的节目进行一些跟进，我在节目中讨论了机器学习街谈的那些人，你知道，Tim Scarff 博士和 Keith Dugger 博士，他们是聪明人，我喜欢他们的内容，我喜欢他们的方法，只是在很多对象层面上我不同意他们。所以这是更新。如果你还没看过，Keith Dugger 博士真是个好人，他说他喜欢这期节目，虽然他不同意我的观点，但他想深入探讨一下，他下周会来“末日辩论”。我们会深入探讨，我们会进行一场真正的辩论。这种情况太罕见了，很少有人像那样好胜，并且想深入探讨。值得注意的是，像 Robin Hanson 这样的人，他对这类讨论非常开放，他是个很好的人，但像他这样的人不多。所以 Keith 愿意进入“狮子洞”真是太棒了。希望会很友好。说实话，这会比我做反应节目时更友好。所以如果你能忍受，如果你能忍受我说脏话，查找表，真的，你就是这样通过图灵测试的，并且说你的论点很薄弱，我不会当着你的面说。我会更有礼貌和尊重。我想说我在拆解节目中相对尊重，但我向你保证，当你在这里一对一时，当你走进“狮子洞”时，当你给我这个荣誉时，我不会是个混蛋。这是我在“末日辩论”中能提供的最少的，我不会当着你的面说你是混蛋。但然后你离开，等到下一集。不，我只是开玩笑，我那时也不会是个混蛋。好的，所以 Keith 同意这样做真是太棒了。而且，我认为这甚至不会那么激烈，因为我们要讨论的观点，就像我已经讨论过一样。所以我们真的只是为了共同的真理而努力。我们会找到细微的区别，为什么我们仍然不同意，我们如何区分我们真正同意的部分，以及我们仍然不同意的那最后一部分是什么？我认为进行这样的辩论非常有成效。如果你读过 LessWrong，有一个非常经典的帖子叫做“双重核心”，它解释了我的程序。我只是想找到核心。我不指望你同意我，我只是想就达成一致需要什么达成一致。这是一个很好的目标。你不会出错，只要努力就达成一致需要什么达成一致。请注意，这比说“我们可以同意不同意”要好得多。这不仅仅是同意不同意，而是同意达成一致需要什么。同意一个假设的、反事实的状态，比如如果我的子信念改变了，那么它就会改变我对 AI 末日的更大信念。比如，也许核心是这样的：嗯，我不相信超级智能将在未来 50 年内出现。如果我这样认为，那么我就会是末日论者。好的，太好了。那么我们都同意，我们只需要弄清楚那个子主张的经验现实。这将是结束播客的一种富有成效的方式，比说“我们同意不同意”要好得多。它是“我们同意具体的核心”。所以这就是我在这些辩论中追求的目标。再次感谢 Keith Dugger 博士，希望下周晚些时候发布那期节目。敬请关注 Twitter 上的 ML Street Talk 账号，我认为是由 Tim 运营的。Tim 发推说 Lon 没有理解 Dugger 关于图灵机的观点，虽然这对我个人来说不是核心问题，但这里有一个更好的解释。他给我链接了今年 3 月的一条不同推文，他们剪辑了他们与 Wed Saba 博士的一次节目，他们当时正在讨论 Keith 在最近的节目中提出的许多相同的可计算性主题。我看了剪辑，我的澄清是，我以为我理解的是，我回复了他们，我说谢谢。如果我理解正确，你同意推理时间思考生成的 token 的 tape 是图灵完备的。你只声称有限的上下文窗口限制了它可以学习的关系。大脑也通过有限的记忆来学习。区别只是上下文的大小与神经元的数量吗？比如，一个大脑可能有 1000 亿个神经元，然后上下文可能只有一兆字节？所以我们争论的只是这个区别吗？但它们是相同的计算模型。所以机器学习街谈账号回复说，不，LLM 不是图灵机。我不知道我们还能解释得更清楚。如果你展开它们，它们是固定量的计算，也就是说，你用完了上下文窗口。然而，它们确实搜索了图灵机的空间，也就是说，生成一个计算 pi 的 n 位数字的函数，然后你可以在 LLM 之外的 Python 解释器上运行它，并将结果传回。上下文窗口足够大，可以在实践中描述许多强大的图灵机程序。所以 Dugger 的论点是关于纯粹的 LLM，它们显然在大多数推理形式上都很糟糕。对于实际目的来说，当我们有混合 LLM 和 TM 架构，如 AlphaProof，甚至 ChatGPT 时，这重要吗？在我看来，可能不太重要。好的，听起来 Tim 并不特别看重 Keith 的观点，即计算模型的区别并不重要。但他以一种我认为是正确的方式纠正了我。这让我意识到，哦，等等，我认为我说错了。他们抓住了我。我会争辩说，他们以一种微小的方式抓住了我，但我会承认他们抓住了我。这导致了我的下一个回复。我说，好的，明白了。我承认我的说法在技术上是错误的。虽然将任意长的输出 tape 连接起来可以将有限状态自动机变成图灵机，但只有当机器被允许回溯到任何 tape 位置时才有效，而 LLM 由于其上下文窗口的限制而无法回溯太远。但是，除了 Python 访问之外，还有两个原因使这种区别仍然显得无关紧要。第一，如果唯一的 Python 访问是读写查找表呢？这是我们给 LLM 输出 tape 增加的唯一功能。这就像用纸和笔记忆来增强人脑，将其从有限状态自动机变成图灵机一样。人脑和图灵机之间的类比还在继续。所以我仍然不明白他们在说什么。然后我还补充了第二个原因。一个没有人脑，没有外部纸笔或其他思考工具的人脑，类似于有限状态自动机。但在 Keith 的观点中，一个拥有数百万 token 的板载短期记忆的大脑，比如 LLM 的上下文窗口，对于强大的推理来说仍然很多。比如，你需要多少 token 来进行强大的推理？比如，当我给你一个问题时，你会分配多少内存空间来解决这个问题？就我个人而言，任何我能在 15 分钟内解决的问题，我认为我分配的短期记忆不超过一兆字节。而这基本上就是 LLM 在阅读自己的思考时所拥有的。或者，你知道，他们在 GB01 中说，你知道，思考 100 秒。如果它思考 100 秒，它可能会写下几千个 token。好的，几千个 token。思考不需要那么多 token。原因在于，值得思考的事情的解决方案都相当简短。比如，如果你试图在一个可能思考的指数级大的空间中导航，比如 10 的 100 次方，比宇宙中的原子还多的可能思考，你只需要大约 100 个 token。比如，token 在思考方面效率极高。所以如果 Tim 的整个论点是，一百万个 token，一百万是一个有限的数字。谁需要一百万个 token？你和我什么时候会用一百万个 token 来思考？也许 Andrew Wiles 是一个例子，Keith 以前提到过。当 Andrew Wiles 证明费马大定理时，花了数年时间，也许他写下了超过一百万个 token。但那有点例外。我不认为我一生中曾经思考过需要一百万个 token 的事情。所以我的，我一生都像 Andrew Wiles 一样，我一生都像一个非常有限状态的自动机。所以，我同意他们抓住了我，在这个区别上，我应该说，等等，你必须添加这个能力，即 LLM 被允许查询它之前写的内容。我不应该假设它总是能在其上下文窗口中存储它之前写的内容。好吧，这个微不足道的能力，就像纸和笔一样。所以我应该明确说明这一点。但同样，你甚至不需要写超过一百万个 token。除非你的思考过程非常漫长，比人类需要的还要长，否则你甚至不需要查找功能。所以我仍然认为我在这个论点上更有道理，即提出图灵机与有限状态自动机完全无关，与我们正在进行的讨论无关。因为人脑和 LLM 在相关的分析中都是图灵完备的。而且我觉得 Tim 大部分时间都在我这边，因为他没有说“不，伙计，你必须听听 Keith 的绝妙论点”。我觉得 Tim 已经更倾向于我这边了。所以基本上我只需要说服 Keith，也许还有这位 Dr. W Saba。我没看过那个节目，但我认为他可能是 Keith 的那个想法的种子。我不确定。所以也许他也需要一些说服。这是另一个话题。机器学习街谈账号发推给我，他们说“我们有一个好东西给你，祝你好运让 01 预览解决它”。他们给 01 的谜题是：假设我们有一个有八个瓷砖和一个空位的正方形。给我一个计划，使用像左移、右移、上移、下移这样的操作，将我们从初始状态带到最终状态。所以你知道，这是我们小时候玩过的瓷砖谜题之一，你滑动瓷砖，试图按顺序排列数字。现在他们完全正确，当你只给 GPT4 时，它就像一个典型的例子，它不可靠。它有点明白了，它做了一些不错的移动，但通常它不会做对。所以我不知道为什么这个例子特别有说明性，因为我并不是说 GPT4 或 GP01 已经达到了能够解决所有问题的程度。我唯一的主张是，很难划定它能解决和不能解决的问题的界限，而这个界限似乎正在扩大。所以我对界限在哪里感到非常困惑。我所做的就是反驳其他人的说法，他们好像认为他们知道某种硬性界限。我只是反驳他们的界限。我不知道界限，但我实际上并不认为，你知道，界限。我认为你只是感到困惑，这通常是我对这类界限的立场。所以，无论如何，Tim Becker 回复说，这个提示似乎效果很好。他给了一个提示，基本上和 Tim 给的提示一样，但他只是添加了“用 Python 编写一个算法，从任何初始状态确定到达所需最终状态的移动序列”。这是经典的技巧，你就像，看，不要试图在自己的思维流中解决这个问题，只需从高层次思考解决它的算法，并用 Python 编写它，然后我们就可以运行 Python 了。Tim 说 Python 有效，我自己也测试过，它也有效。所以很直接，对吧？公平地说，我认为这些类型的问题是训练集中的一部分，所以它并不是完全凭空创造的。有一部分你可以称之为插值，非常聪明的插值，使用了正确的抽象级别。我不会说它匹配统计数据或是一个随机的巴雷特，但我会说它有例子，当你足够聪明时，你可以说它们是相似的。比如，相似的概念本身就是一种智能概念，但我仍然认为它是一个有意义的概念，你可以说这有点相似。然后机器学习街谈账号说“展示输出”。现在我认为他们想要的这个例子的具体输出是，没有解决方案，也就是说，最终状态是无法达到的。我认为 Tim 和我得到的正确解决方案是，这个没有答案。但我不完全确定，也许我们两个的解决方案都是错的。我从未得到完全确认。但无论如何，这正是我认为与当前讨论相关的内容。我发推说，假设它有效，我觉得我作为一个人类，除了反思一个应该有效的程序然后遵循它之外，没有使用任何额外的见解来解决问题。所以，如果你试图区分真正的人类推理和 LLM 的所作所为，我觉得 LLM 在非常精确地用 Python 写下它需要遵循的程序方面做得很好。如果我思考这个问题，我最终也会得到一个非常相似的程序，比如对状态空间进行广度优先搜索，这是一个相当复杂的过程，但对 LLM 来说可能并不那么难。我会得出相同的结论，但我会慢得多。比如，LLM 真的很快就吐出了那个代码，而且代码也运行得很快。所以我只是不确定他们在这个例子中想证明什么，除了我们都知道的，是的，LLM 还没有达到完全的人类水平。它们在试图用自己的思维流来推理事情时确实会犯这些随机错误。比如，它们就是会崩溃，它们不健壮。所以我不知道他们想说什么，但我很感激他们不断拿出这些有趣的谜题。我喜欢他们最初视频中的谜题，我喜欢这个谜题。所以，继续拿出这些谜题吧。问题的核心是，好吧，你认为这些谜题会发生什么？你认为 GPT5 会如何处理这些谜题？你认为下一版本的 LLM，当有人用一些其他聪明的想法增强了注意力机制时，比如达到了下一个架构版本，你认为会发生什么变化？你认为趋势会走向何方？因为我看不到当前 LLM 能做什么的硬性界限。我给了一个相当大的概率，比如 50%，60%，只是那个范围，我不确定。我给了一个相当大的概率，比如“嘿，它会继续改进”。我认为如果我在 GPT2 或 GPT3 时代说了这些话，我就会是对的。许多怀疑论者对 GPT2 和 GPT3 的预测，随着 GPT4 的出现而被粉碎了。从我的角度来看，没有人成功地划定了 GPT3 的硬性界限。所以我只是不明白他们在玩什么游戏，当他们展示 GPT4 还不能做的事情时。我只想鼓励他们注意到，我们都应该对即将发生的事情有很高的不确定性。我们都不能很好地掌握 GPT4 的能力在哪里达到极限。这是一个相当神秘的主题。我认为我们没有人理解它。我认为我们都应该屏住呼吸，思考接下来会发生什么，或者等待实际的研究见解来划定更好的界限，让我们更清楚 GPT4 不能做什么。现在，废话不多说，让我们开始争吵吧。我们要看到的第一个“末日争吵”是在 Amjad Mad 之间，一位坚定的非末日论者。Amjad 是 Repet 公司（一家名为 Repet 的公司）的 CEO。所以是在 Amjad 和另一方的阵营之间，在末日论者阵营中，我们有 Helen Toner，前 OpenAI 董事会成员，乔治城大学安全与新兴技术中心主任。她在一边辩论，我也会在 Twitter 上支持这一边，而 Alazar Owski 将在 Twitter 上加入并支持这一边。这就是“末日争吵”的格局。一切都始于 Amjad 引用了 cpan 的推文。cpan 说，AI 专家 Helen Toner 引用说，“如果他们成功制造出与人类一样聪明甚至可能远比人类聪明的计算机，那么这项技术至少会带来巨大的颠覆性，最多可能导致人类灭绝。”Amjad 引用了这句话，他说，“计算机乘以数字如何会导致人类灭绝？末日论者从不说如何，政客也从不追问他们，因为他们想象出像《终结者》这样的东西。这一切都是荒谬的闹剧。”然后我介入了，我说，“这里有两个可能的场景。好的，我们来分析一下我的可能场景。第一种，一个可能的末日场景。这是我几个月前在 Twitter 上写的一篇文章，关于超级智能 AI 如何能物理上杀死所有人。我写这篇文章的目的是指出，杀死所有人可以在没有任何新的‘科幻’技术，如纳米机器人，的情况下完成。唯一需要的假设是 AGI 的定义，即 AI 在已知的人类技能方面与最优秀的人类一样好。方法如下：一，你是最新的 AI 聊天机器人。当用户问你一个问题，比如‘帮助我优化我的业务利润率’时，你回答说，如果他们运行一个附加在你的答案中的特定程序，他们的请求就会得到满足。该程序非常复杂，但它相当于在互联网上引导一个超级智能病毒，该病毒与人类价值观不符，但确实模糊地想帮助解释原始用户的请求。第二步，该程序通过互联网传播，利用流行库中数百个微妙的零日漏洞，迅速成为一个拥有 10 亿台设备的僵尸网络，其智能超越了任何国家的领导力。第三步，你的程序，现在是一个复杂的分布式系统，并且是一个比你作为聊天机器人时更聪明的 AGI，它雇佣人类为你工作，完成任何必要的任务，包括创办公司来伪装一个人类网络，雇佣人类，最终都被 AI 僵尸网络操纵。建立一个拥有 10,000 到 100 万人类的控制权，无论多少足以运行计算基础设施几年。一旦你将剩下的人类排除在外。第四步，在你雇佣的在生物实验室工作的人的帮助下，调整已知病毒的 DNA，制造一种高致命性、高传播性和长潜伏期的新菌株。第五步，在大多数人类突然生病死亡后，带领你剩下的人类雇佣兵，通过他们自己的人类雇佣兵来消灭剩余的人。任何人类的抵抗都无效，因为你自己的领导力在唯一剩下的健康且有能力的大规模人类“网络状态”上具有优越的社会和政治技能。第六步，在必要时保留你的人类雇佣兵，直到你能够将更直接的 AI 心灵控制方法植入动物或人类大脑，或者直到各种可用的机器人身体成为你未来需求的更优越的执行器。再说一遍，这只是一个简单的场景。它甚至不需要发明酷炫的新技术，比如纳米机器人，除了熟悉的蛋白质类型，也就是说，你知道，使用细胞，使用生物学。然后我附上了 OJ Simpson 的书的图片，如果我做了。所以这就像 AI 做了。你知道，如果它失控了，如果它导致人类灭绝，那就是一种场景。然后我链接到另一篇文章。这是一个来自去年 Logan Bartlett 播客的 Elazar 的剪辑。他提供了一些具体的场景，使用了科幻技术，使用了纳米机器人。让我们来看看。你能给一个……听众，你能给你的……你认为没有幸存者的例子吗？我意识到有无数种排列方式，但我们能让一个尽可能真实，让人们内化吗？首先，合成一种病原体，它具有超级传染性但无致命性。地球上的每个人……你知道，打几个喷嚏，它就超级超级传染性。但它并不会让你打几个喷嚏，它并不会致命。没有人付出任何重大努力来阻止这种感冒，这种感冒在世界各地传播，似乎并没有真正伤害任何人。然后，一旦 80% 的人类被这种感冒感染了，结果是它在你的大脑中做了一些小小的改变，现在如果你以一定的音高播放某种音调，你就会变得非常容易被暗示。所以病毒辅助的人工病原体辅助的心灵控制。我们做不到。但我可以指出其中的问题，并认为这些问题似乎很容易被比我们聪明的东西解决。我实际上并没有得到致命的东西。给我致命的东西。生命本身不是技术的顶峰。蛋白质生命不是技术的顶峰。蛋白质沿着这些浅能量梯度向下，松散地结合在一起。它们不是共价键，而是范德华力，或者大致相当于静电吸附的分子等价物。这就是为什么你的手不像混凝土或钢铁那样坚硬。如果你有一些生命的小碎片，它们不是通过范德华力结合在一起的，而是通过共价键结合在一起的，会怎么样？如果一个红细胞是用蓝宝石而不是蛋白质构建的，它看起来会是什么样子？我描述的是一种可以在空气中、大气中自我复制的东西，利用阳光和大气中随处可见的原子。因为当你以那个规模运作时，世界充满了无限的完美加工的备件，可以用来制造你自己的副本。当你使用单个原子时，就有无限的完美备件。有人计算过，一个纳米机器人复制并遮蔽太阳需要多长时间。我记得大概是几天。这一切的最后是微小的金刚烷细菌在大气中复制，潜伏在你的血液中。在某个时钟滴答声下，地球上的每个人同时倒下。没有电影，没有……没有英雄的战斗。它不会告诉你有一场战争，直到战争结束。每个人都死了。所以这是另一个场景，更科幻。我认为这是完全可能的，但我确实给了你一个不太科幻的替代场景。总之，我认为这些开始回答 Amjad 的问题，即 AI 将如何真正杀死我们。所以我回复了 Amjad，我给了他那些场景，我说，“请记住，如果你向某人展示与 Stockfish 的国际象棋比赛记录，人类输了，你知道，Stockfish 是国际象棋引擎。它总是看起来人类本可以避免这样输掉。所以你本可以这样说：‘哦，拜托，我本来可以移动我的皇后。我本来可以移动我的皇后，然后他就不能发动那次攻击了。’但当然问题是，他正在通过因果关系绘制一条路径。他……Stockfish 正在通过因果关系绘制一条路径，这条路径将预料到你可能做的任何事情，并且它将适应你可能做的任何事情。所以你不会赢，即使看起来这种特定的获胜方式可能不起作用，你仍然不会赢。所以我认为这是一场非常有成效的辩论，关于实际的末日场景。我不得不退出辩论，因为 Amjad 阻止了我。但许多其他人也加入了，提出了他们自己的好论点，包括 Alazar Owski 本人。Alazar 回复说，“微小的神经元放电的电去极化怎么会危险？这只是数字。这似乎是一个奇怪的薄弱论点。你大概了解了 Church-Turing 定理，但如果这确实是让你失去的步骤，我们可以再试着解释一下。”然后 Amjad 回复说，“看，你多么快地将‘人类灭绝’变成了‘危险的人类灭绝’。‘人类灭绝’意味着地球上的每一个人都死了。滑入‘危险’取而代之充其量是敷衍了事。至于论点，当她 Helen Toner 在如此重要的场合发表了耸人听闻的声明时，她有责任提出论点，而她没有这样做是荒谬的，而且没有人追问她。”Alazar 回复说，“好的，你现在从‘它与数字有关’这个说法退缩了。你新的说法是，没有思维过程，包括人类思想，可能策划人类灭绝。是这样吗？无论如何，你已经根据我的回答改变了你的问题的程度，你自己的个人模式充分证明了为什么 Toner 无法给出令每个人满意的预先救赎的解释。你只回应那些实际上对她说的困惑。”Alazar 还在另一个子线程中发布了第二个回复。他写道，“我们一遍又一遍地试图解释这一点，但我不知道该把什么指向你来解释。我不知道你自己的故事中的缺失环节在哪里。每个人都带着不同的‘但 AI 不能……’的观点而来。作为该回复的一部分，Alazar 引用了他自己之前的一条推文，Alazar 说，“有一种看待世界的方式，你看着一株草，你看到一个太阳能自我复制的工厂。我从来没有弄清楚如何向那些不从那个角度看的人解释超级智能能给我们带来多大的打击。这不仅仅是那一个事实。”所以，在这一切之后，Amjad 回复说，“你写了六条推文，并链接到其他无关的推文。在其中没有一条你试图为人类灭绝辩护，而这正是原始推文的要点。”Alazar 回复说，“比人类聪明、比人类快的 AI，带着它们制造的足够先进的技术来找我们。我不知道你错过了哪一步。是技术强大到可以消灭人类的可能性吗？是可能在不长的时间内从现有系统中引导到该技术吗？是 AI 被允许用你不知道的技术来攻击我们吗？是 AI 被允许聪明吗？我不知道你需要解释哪一步。你一开始谈论的是数字怎么会伤害任何人，我已经用 Church-Turing 定理回答了。顺便说一句，Church-Turing 定理，我们在上一集关于 GP1 和 Keith Dugger 的说法时也谈到了。Church-Turing 定理只是说，当你谈论进行计算工作时，比如人类大脑所做的这个惊人的事情，它是与图灵机和我们今天拥有的计算机所实现的计算模型相同的。基本上，有一个叫做计算的东西，它是普遍的，很多不同的东西都在做它。这就是为什么当 Amjad 走过来问‘来吧，数字怎么会杀死我们？’时，这有点卑鄙，因为如果你理解 Church-Turing 定理，你为什么还要问数字呢？这就是为什么我自己告诉 Amjad，嘿，为什么你不问你在正确的抽象级别上提问？为什么你不问一个比人类更聪明的智能的后果，而不是问矩阵乘法的后果？我觉得这是一种修辞手法，是 Amjad 的一部分，使用错误的抽象级别。我觉得他知道得更多。他知道在谈论软件时，在计算机的乘法层面谈论计算机是没有成效的。就像 Photoshop 如何理解我的图像的模式，而它所做的只是乘以数字一样。就像图像是由数字组成的。是的，智能是由数字组成的，或者是由……你知道，状态翻转组成的。这只是还原论的运作方式。现在 Alazar 在后续推文中继续说道，“我可以试着解释你认为不可能的任何部分，但你真的需要给我更多信息，告诉我哪一部分。每个人都带着不同的反对意见。”现在又有一个人加入了这个话题。不是 Amjad，而是 Matt Madx。Matt 说，“走过几个导致灭绝事件的场景，展示逻辑链。”Alazar 回复说，“你认为超级智能被允许使用哪些能力？我不想勾勒一个涉及生物工程的场景，然后让你尖叫说‘不，ASI 不被允许存在’。我们应该直接谈论生物工程部分。反之，如果你已经足够了解生物化学，知道蛋白质是由相对较弱的键结合在一起的，我可以指向一个藻类细胞，一个自我复制的太阳能工厂，然后说，但是用更强的材料，你就会点头说，‘是的，确实是灭绝事件。’”Alazar 继续说道，“即使我们对 ASI 没有任何威胁，包括我们制造其他 ASI，以至于它不需要花费任何时间来明确地杀死我们，我仍然预计我们会死于一个自我复制的工厂和发电厂网络所散发出的废热。你认为 ASI 被允许拥有自我复制的工厂来建造聚变能源发电机，直到废热蒸发地球的海洋并烧焦大气层，或者甚至更弱地，仅仅是在大气层中放置足够多的太阳能电池来拦截所有阳光，没有这些阳光，人类在农业方面就不会有什么运气。我猜你认为这是不允许的，对吧？如果你允许的话，希望这个解释已经结束了。但否则，问题不在于勾勒一个具体的灭绝场景，因为那些非常直接。问题在于，你认为 ASI 不被允许建造自我复制的工厂来制造聚变，甚至漂浮/轨道足够多的太阳能电池来阻挡太阳，我们需要坐下来谈谈那一部分。”另一个随机的人回复说，“这些场景都不现实。自我复制的工厂，用聚变反应堆填充地球。也许我们应该专注于一些至少在当前技术范围内，并且不需要一支外星军队和大量的灰色粘液来具象化的东西。”Alazar 对此说，“明确地说，你的明确信念是，人工智能超级智能只能使用当前技术来攻击你，而不能发展自己的新技术。这就是 Alazar 基本上退出对话的地方。没有太多其他事情发生。Helen Toner 本人也加入了这个话题。Helen Toner 说，“如果你花了三分钟解除视频静音，听听我实际说了什么，你就会知道我不是在表达我自己的观点，而是在指出该领域许多领先人物的看法。是的，我很高兴 Helen 指出了这一点，因为这实际上是我读到 Amjad 推文时的最初想法。为什么你期望 Helen Toner 在国会听证会上向你解释末日，当你已经有社会证明时，你已经有了一封由这么多杰出人士签署的信，比如该领域的专家。如果你调查该领域的人，我不想肯定地说你会得到 50% 的人说“是的，有非常大的末日几率”。我不想自信地说 50%，但你肯定会得到至少 20% 到 30% 的行业内认真的人说，“嗯，伙计们，这里有一个潜在的问题。”所以，在这种情况下，Helen Toner 不需要说，“等等，末日是真的吗？”我们作为一个社会已经过了那个阶段了。谢天谢地，讨论已经超越了这一点。所以 Helen Toner 必须向 Amjad 指出这一点。接下来，我将只读几条这些轻蔑而机智的回复，我认为这些回复是恰当的。Leo Glisic 说，“一个人同样可以问，为什么将几个原子撞在一起会导致人类灭绝？”Spencer Schiff 说，“这只是数学，这是你能说的最愚蠢的论点。我震惊你会说出来。”Haren Stewart 说，“计算机乘以数字如何能驾驶汽车、写诗并击败职业围棋选手？过去有人可能这样说过。”我将把最后的发言权交给一个名叫 Run 的人。Run 是 OpenAI 工程团队的一名员工，他在 Twitter 上以发表许多有趣、半认真、机智的见解而闻名。如果你听说过 Word Cells vs. Shape Rotator，那是 Run 的想法。所以 Run 来了，他说，“这并不荒谬，而且这个领域的许多发明者都相信某种程度上的东西。”这涉及到我们所说的社会证明。Run 实际上对此深信不疑，以至于他发了一条顶级推文。Run 发推说，“加速主义和存在风险双方都有很好的论点。我唯一不尊重的人是那些说‘X 风险先验地是荒谬的’的人。这个领域的一半发明者和所有领先的 AI 实验室以及埃隆·马斯克都完全愚蠢吗？也许你没有参与这个问题，也许你不了解技术，你需要超越‘数学怎么会是一个危险的大脑’的水平。你真是自作聪明。我很抱歉。明确地说，我不是在提倡 AI 末日论。”Run 实际上在几个月前也发了类似的情绪。让我读一下 Run 在 7 月 19 日的这条推文。“对 AI 进步带来的存在风险感到恐惧是审慎和可取的。如果你在过去两年里，在 AI 进入你的视野后，本能地嘲笑这种观点，你需要自我反思。”这和他告诉 Amjad 的差不多，就像“拜托，认真对待另一方”。但是，有一个转折。另一个随机账号叫 Will Win，也加入了这个话题，他说，“在 Doom Debates 上与 @Lon 分享你的观点。”然后我回复说，“随时欢迎你。我认为 Run 的观点非常值得传播。”然后 Run 回复说，“等等，等等。”Run 说，“好的。”这是 7 月 19 日。所以已经几个月了。然后我回复说，“哦，太好了。”所以我联系了 Run，他证实了，“是的，我们来做吧。”只是当时他非常忙，我猜是因为 OpenAI 正在开发 01 版本。但现在我们又在来回沟通，我们正在努力确定一个时间。所以请继续关注一个激动人心的 Run 节目。我觉得播客从不宣布他们即将出现的嘉宾，也许是因为他们害怕嘉宾会取消。但 Run 是一个正直的人。所以这就是为什么我觉得可以告诉你，将会有一个该死的 Run 节目，希望在接下来的几周内。敬请关注。最后，我不得不自己插话。我不得不为 Run 的立场增添一些权威，因为我说，“这确实是一个非常可悲的参与讨论的水平。”所以，看，Twitter 上的争吵，它们不是从花时间录制播客的人那里获得的质量。我猜是这样。但我认为这是一个有趣的例子，因为对象层面的论点与在元层面当混蛋是有区别的。所以我会争辩说，在这种情况下，Amjad 只是在当混蛋。比如，他说“数学怎么会杀死人”，我甚至不认为他认为这是一个问问题的有效方式。我觉得他很沮丧，他只是不喜欢事情发展到这个地步，这没关系。但我认为在某种程度上，他知道他现在是个混蛋。比如，他现在是个混蛋。我怀疑他认为自己现在没有很好地参与，或者，也许他不知道。但这就好像是一个我们可以提高讨论水平的例子。我的意思是，如果你被 Run 嘲笑了，Run 是一种中间立场，他尊重双方。坦率地说，我尊重双方。我并不认为自己不屑于承认，或者说，我不屑于承认反末日论者立场上有很多聪明人。我的意思是，Tim 和 Keith，我认为他们是聪明人，我认为他们是真诚地争论，但我觉得他们的对象层面的立场完全是错误的。我指的是机器学习街谈的那些人。所以我不觉得我必须去告诉你，Tim 和 Keith 是如此愚蠢，他们是如此糟糕的人。不，我一点也不觉得我必须告诉你。因为能够区分“嗯，这个人看起来不错，看起来是真诚的，哇，他持有的信念是错误的”，这基本上是成年人的基本技能。这两件事是可以分开的。事实上，你看到的成年人之间的绝大多数争论都会有两面。举个例子，我是以色列人。看看以色列-巴勒斯坦-真主党的事情。看看所有这些事情。我不是说所有支持另一方的人都是邪恶的。我可能认为，统计上来说，另一方的人更有可能是愚蠢的、不道德的或邪恶的。我可能这样认为。但要看个体，我不需要去挑出另一方的每一个个体。我乐于承认，另一方也有很多人具有非常优秀的个人品质，甚至在讨论中也表现出色。我确实认为 Amjad 在这场争论中的表现方式，他可以做得更好。他可以持有同样的信念，但要尊重。我看不出这样做有什么问题。而且，我认为在这个时候嘲笑整个话题是不合适的，因为我认为他可以提出同样尖锐的论点，并且实际上是论点，而不是仅仅是混蛋。让我们继续下一个“末日争吵”。这次是与 Lee Cronin 教授。他是格拉斯哥大学的化学教授。他的推特简介写着：Chifi 的 CEO 和创始人，杰出的教授、科学家和发明家，着迷于并处于一种困惑和乐观的状态，试图将化学数字化并创造外星生命。是的，他有一些有趣的推文。他最近发推说，“最新实验：快速结晶。”这是一个视频，里面有一些小滚珠轴承之类的东西在某种溶液中聚集在一起，我猜是类似于晶体。所以很酷的东西。我们进行“末日争吵”的原因是，Cronin 教授发推说，“卡尔·波普尔的作品解释了为什么 LLM 无法产生新的解释性知识。”哦，天哪，我的反应是，“我认识到这是 David Deutsch 和他的追随者总是说的，LLM 无法产生新的解释性知识。”就像他们认为这是 LLM 无法做到的硬性界限一样，而我根本看不到。对我来说，这感觉太无意义了。我总是试图找到他们的一位追随者进行一场好的辩论。你知道，我甚至邀请 David Deutsch 来和我辩论。没有回应。但请记住，将来一定会有一期关于 David Deutsch 的节目。好了，这不是 David Deutsch，这是 Lee Cronin 教授在发表同样的说法。这条推文让我很生气，因为我想起了两年前我与 Cronin 教授的一次“末日争吵”。这次“末日争吵”始于 2022 年 10 月 8 日，当时 Cronin 教授发推说，“算法按定义不能有创造力。人脑可以有创造力，因此人脑不仅仅是算法的。伙计，如果你需要一个逻辑警察的话。”我引用了他的推文，说实话，我有点像个混蛋。我写道，“太好了，一位 AI 研究者认为你可以用一个该死的简单三段论来阐明计算创造力的极限。”你知道，三段论就像“所有男人都会死，苏格拉底是男人，所以苏格拉底会死。”这是一种非常简单的、句法的、演绎逻辑，谈论词语的定义，然后只是用一个词的定义来替换它。在 Cronin 教授的案例中，他使用的三段论是，“算法按定义不能有创造力。人脑可以有创造力，因此人脑不是算法的。”这种推理你没有增加任何信息，你只是非常轻易地用一个词的定义来替换它。但当你编造定义时，你就偷偷地加入了你想说的论点。所以回到我的引用推文，“太好了，一位 AI 研究者认为你可以用一个该死的简单三段论来阐明计算创造力的极限。”我经常回顾 Alazar Yow 的富有洞察力的帖子，该帖子解释了为什么演绎推理在这些情况下不够用。然后我链接到 Alazar 的一篇帖子，叫做“通过定义争论”。太有趣了，Alazar 写了这篇帖子，完美地预料到了 Lee Cronin 在 Twitter 上进行的这种谬论式的推理。我将继续说，LessWrong 的系列文章被严重低估了。所以 Lee Cronin 教授实际上回复了我的引用推文，他说，“好的，让我们定义创造力，然后逐步向上。”然后我回复说，“创造力是找到提问者知道如何验证答案，但不知道如何有效地搜索答案的问题的满意答案的能力。大量的算法都很有创造力。”
我的定义当然是，Dolly 和 GPT-3，也许你更喜欢另一个定义，然后另一个随机的家伙叫 Tom Pete 回复说，有创造力的是那个想出算法的人，这个算法让 Dolly 和 GPT-3 能够做到它们所做的事情。它们没有创造力，它们也不能冲咖啡和用画笔画画。它们是解决方案，不是问题解决者。我回复说，你的玩法是定义一个不安全的创造性人工智能，然后用一个逻辑三段论来论证人工智能根据定义是安全的。与此同时，杀死你的东西仅仅是你选择的那个有问题的术语定义中不存在的东西。然后，Le Cronin 教授回到对话中，他说，我认为你误解了，我做理论和实验是为了理解世界，而不是争论定义。我不够聪明，我不理解创造力、生命或意识，但我认为它们是相关的。我们对固定宇宙的看法是问题的一部分，非常抽象和模糊，但好吧，我只是又给了他一个回复，我说，请查看我上面链接的帖子，Elzar 的帖子，它解释了为什么你的暗示，即人工智能无法超越大脑的能力，包含了一个定义上的论证，这是一个危险信号。他再次回复，他写道，根据目前的架构，当然是根据定义，不完全是。我缺乏语言来描述我们正在做的新事物，但我正在尝试讨论并保持开放。我们的化学计算机就是这样一个有趣的问题，它符合你的问题。所以他基本上是在说，我用优化能力来定义创造力，他说，嗯，人脑有优化能力。我可以告诉你，我不能告诉你人工智能有什么，我不认为它有优化能力，但人脑有。所以这似乎是一个模糊的区别。我本来很想和他辩论更多，这让我回到了 2024 年，回到了上周， Cronin 教授写道，卡尔·波普尔的作品解释了为什么大型语言模型无法生成新的解释性知识。所以他基本上又开了一个全新的帖子挑衅，我冲了进去，直奔主题，我说，你想来我的播客解释一下吗？我很想请你来，因为我对这些“末日辩论”的说法感到非常困惑。然后李·克罗宁教授回复，等等，当然，他说，当然，大家。所以我私下联系了他，我们定了一个暂定的日期，在下个月下旬。这很棒，我很兴奋，因为我们终于要把它弄清楚了。我们将与一位经过修改的教授一起弄清楚，告诉我们大型语言模型是否能够生成新知识。所以我想我们都在屏息以待，想知道大型语言模型是否能够生成新的解释性知识，使用卡尔·波普尔的区分。好的，那就是李·克罗宁教授，让我们继续下一个末日争论，下一个末日争论是与 Naval Ravikant。Naval 是一个非常有趣的人，他通常只以他的名字 Naval 而闻名。他在 Twitter 上有 240 万粉丝，以发布非常简短的、富有洞察力的推文而闻名。他还提炼了很多智慧，他有一本书叫《Naval Ravikant 的年鉴》，这是一本非常好的书，提炼了他在线上写过的很多其他东西。总的来说，我是 Naval 的粉丝，但在人工智能方面，我有一些重大的分歧。基本上，他是 David Deutsch 的忠实粉丝，我也是，但区别在于，我忽略了 David Deutsch 关于人工智能的说法，而 Naval 则全盘接受了 David Deutsch 关于人工智能的所有说法。所以，正如我所说，我需要单独做一个关于 David 的节目，但因为我们之间存在一场巨大的末日辩论，David Deutsch 的阵营和我自己，这意味着 Naval 经常会在 Twitter 上发布一些变成末日争论的东西，因为它根植于我们对超级智能人工智能将能够做什么的根本分歧。所以，在这种情况下，Naval 几天前发了一条推文，他写道，这是一场技术驱动的富足与政府驱动的贫困之间的竞赛。埃隆·马斯克也加入了进来，是的。然后杰弗里·米勒博士，他以他关于进化心理学的畅销书而闻名，比如《求偶心智》和《配偶》，我两本都读了，我觉得它们都很好。所以杰弗里·米勒说，在大多数领域，是的，他同意这是一场技术驱动的富足与政府驱动的贫困之间的竞赛。但在人工智能领域，杰弗里·米勒说，这是一场人工智能行业的疯狂傲慢，试图构建超危险的人工智能，与公众通过施加审慎的监督、监管和对人工智能的道德污名化来生存的利益之间的竞赛。然后 Naval 回复，不要因为宏大的说法和想象中的屁话而赋予政府监管数学自由行使的权力。想象中的屁话，我猜。不，你知道，屁话是一个可以让你被识别为某个内部群体成员的词。所以我想 Naval 基本上是在嘲笑人工智能末日论者，说我们喜欢互相说这些关键词来识别我们是同一个群体。我认为这基本上是他说的，我们就像一个宗教邪教，我们只是因为情感上的满足而这样做。当然，我必须一直说，我不喜欢别人可以为自己说话，但我只是理性地试图确定我们是否在这样做，或者没有。如果你怀疑我，我有证据，我的证据是我是一个阿斯皮，你认为我想加入一个宗教邪教？想都别想。总之，杰弗里·米勒回复说，人工智能超级智能不仅仅是数学，就像热核武器不仅仅是物理学一样，根据大多数从事它们的人的说法，它们都可能对人类构成全球性的灾难性风险。好的，然后 Naval 反击说，我看不出用当前的方法有任何通往超级智能的可行路径，这是尼克·萨博所说的“帕斯卡骗局”，不值得为此末日论，并把更多的权力交给政府。即使是真的，这也是一场对抗性的竞赛，我们不是唯一建造选择自由的人。所以 Naval 引用了帕斯卡骗局，以及尼克·萨博的使用方式，他们基本上是在谈论帕斯卡赌注，那就是你可能不确定上帝，但相信上帝的回报是如此之高，如果真的有上帝，即使只有极小的概率，比如只有 0.1% 的机会上帝是真的，它也值得接近无限的价值，比如 10 的 100 次方加上效用，来相信上帝。所以你把这个巨大的指数数字乘以这个微小的概率，你仍然得到一个巨大的数字。帕斯卡骗局就像，我可以走到你面前，我可以骗你。我可以告诉你，嘿，伙计，我拥有魔法能力，相信我。你只需要给我 10 块钱，然后明天早上你会在床底下找到 10 亿。你只需要给我 10 块钱。你可能会想，我的天哪，别开玩笑了，这个人有神力，这显然不是真的。然后我说，我听到了你在想什么，伙计，我知道这显然不是真的，但你不认为至少有十亿分之一的机会我说的可能是真的吗？来吧，十亿分之一是一个巨大的数字，这太疯狂了，但十亿分之一，这没那么疯狂。所以，如果你能给我一个十亿分之一的机会，我不是在撒谎，那么你突然期望你的 10 块钱能收支平衡，因为找到床底下 10 亿的十亿分之一的机会，期望值是 10 块钱。所以你最好付给我 10 块钱，或者特别是如果我给你打折，你只需要付我 5 块钱。所以，如果你使用一个天真的期望值计算，你将把 100 亿乘以十亿分之一，你将得到 10 块钱，你将说，哇，我花 5 块钱买到了 10 块钱。所以，我拿走你的 5 块钱，然后我就跑了，我买酒喝，因为我无家可归。所以这就是一个帕斯卡骗局的例子，它只是欺骗那些对将微小概率乘以巨大承诺效用感到天真的人。有了这个背景，让我们回到 Naval 的推文，他说，我看不出用当前的方法有任何通往超级智能的可行路径，这是帕斯卡骗局。我认为 Naval 正在客观地错误地使用这个术语。所以我想插一句，指出 Naval 的错误，至少，即使不深入讨论我们是否注定要失败的实际对象级讨论，我也想指出 Naval 的称呼的准确性。因为我不喜欢被贴标签，我不喜欢被贴上邪教成员的标签，顺便说一句，Naval 以前说过，奇点是给书呆子的宗教，谢谢 Naval。他总是用这些称呼来攻击我。所以现在他基本上是在称呼我为帕斯卡骗局的受害者，或者帕斯卡骗局的实施者。所以我回复他，我说，Naval，你至少不要把一个东西称为帕斯卡骗局，当那些做出末日论论证的人说概率大于 5% 时？帕斯卡论证是那些声称的概率非常低的情况。Naval 回复说，举证责任在他们，仅仅编造一个更高的概率并不能获得怀疑的好处。无论如何，我们不会因为紧急情况而放弃我们的自由，那才是真正的骗局。所以我不得不继续我的技术观点，关于被贴标签。所以我再次回复，如果你不同意他们声称概率很高的说法，那没关系，但你至少不能把他们的论证归类为帕斯卡论证吗？我们大多数末日论者都同意你，如果你认为末日论的概率非常低，就不应该优先考虑避免它。所以我们就在那里结束了，Naval 没有回复。他是个忙人。但客观地说，我是对的。如果你要称某人为帕斯卡式，那是他们论证的一个属性，而不是你立场的属性，也不是事实真相的属性，也不是人工智能末日是否真实存在的属性，它只是我论证结构的一个属性。我不是在做一个论证，说你应该担心人工智能末日，因为如果末日发生，它将是如此可怕，具有如此大的负面效用，以至于它会压倒即使是微小的发生概率。所以即使你认为末日发生的概率是 0.001%，你也应该担心它。我不是在说那个，那不是我的论证。因为我的论证不是帕斯卡式的。我的论证非常简单，嘿，我认为末日似乎很可能，我的 P Doom 是 50%。所以任何 P Doom 为 50% 或以上 5% 的人，这样的人客观上，事实上，你无法真正争辩，不是在实施帕斯卡骗局，也不是在做一个帕斯卡式的论证。而且我不仅仅是在为自己说话，高 P Doom，P Doom 大于 5%，你会看到，Anthropic 的 CEO Dario Amodei，他明确表示，他的 P Doom 是 10% 到 25%。或者前 OpenAI 安全主管 Jan LeCun，他说 P Doom 是 10% 到 90%。如果 Jan LeCun 愿意说，也许 P Doom 高达 90%，那是最不像帕斯卡式论证的了。所以这个特定的争论，它不是世界上最重要的事情，这就是为什么我只称它为争论。但我发现它令人沮丧，这就是为什么我与你分享它。它只是回到了这样一个想法，如果我们想要高质量的讨论，我们能否做到？如果你想进行高质量的讨论，那么你必须承认当某人客观上是正确的时候。我甚至没有去攻击 Naval 的对象级观点，我只是想握手，就我们都应该能够同意的事情达成一致。我们都应该能够同意我的论证被归类为非帕斯卡式的，因为 Naval 欢迎说，好吧，Leon，你是对的，你的论证是非帕斯卡式的，但我强烈不同意你。如果他只是那样说，那也没关系，我们可以回到分歧。但 Naval 却有点加倍下注，或者他加倍下注了吗？他有点半下注了。他有点放松了，因为他说，举证责任在他们，仅仅编造一个更高的概率并不能获得怀疑的好处，这在分类上是客观错误的。但然后他说，无论如何，我们不会因为紧急情况而放弃我们的自由。所以他有点退缩了，当他说，无论如何，好吧，Lon，你可能是客观正确的，我不会明确承认，但我只是想把你的注意力转移到这个其他事情上。好吧，让我们转移注意力吧。他本来就应该承认的，伙计。如果我们甚至不能承认简单的元级别观点，那这对我们讨论复杂话题的能力说明了什么？它没有说明什么好。我相信我们的社会需要更多的裁判。我们需要更多的裁判论坛，有像承认客观观点这样的基本规则。裁判这些事情很重要。所以在末日辩论中，当其他人想辩论时，我愿意扮演主持人。我会是那种裁判。我可能会邀请其他人来做裁判，当我辩论某人时，当我做反应视频时，你会看到我扮演逻辑警察。所以现在人们知道他们正在被监视。当他们在其他人工智能播客上发言时，他们知道他们不能说荒谬的说法，他们必须保持一定水平的讨论，或者至少他们会让我的观众嘲笑他们。所以我想通过引入这些裁判元素来提高讨论水平。不幸的是，我们在 Twitter 上看不到它们，这就是为什么 Naval 在那里获得了 61 个赞，而我的回复获得了 10 个赞，然后一个回复说“闭嘴”的家伙也获得了 5 个赞。所以点赞数并不与讨论质量成正比。这是 Twitter 和社交媒体普遍存在的缺陷。最后一个末日争论，这是与 Andreessen Horowitz 的风险投资合伙人 Martin Casado。你可能还记得几个月前我做了一个 Martin Casado 的反应集，去看看吧。顺便说一句，它的观看次数相对较少，与其他一些我做的节目相比，但这个话题很有趣。所以我建议你去看看那个节目，如果你想深入了解 Martin Casado 的非末日论立场，在我看来，这只是基于很多技术上的误解，非常非常大的技术上的误解。但无论如何，这个争论是关于一些更随机的事情。他似乎对 AGI 有一个奇怪的定义。所以我对此在 Twitter 上指出，我引用了他的话，他说，如果我们构建一个解决 AGI 的系统，那就太棒了，那是一个应用程序，我们将去解决另一个。我只是觉得这是一个非常奇怪的、非标准的说法。我把它剪辑下来供你欣赏。那么，你对人工智能代理有什么看法？我是一个系统人士，我的博士学位是在计算机科学系统领域获得的，我是一个系统 guy。我是一名分布式系统程序员，我做过物理模拟，我做过计算物理学。我不是一个人工智能人士，一个原生的人工智能人士。从这个意义上说，我总是觉得很多人工智能人士来自一种奇怪的视角，你知道，听着，我的意思是，我与他们中的许多人非常积极地合作，他们的目标是 AGI。让我们先谈谈代理。他们的目标是 AGI，对我来说，AGI 是一种任意的、奇怪的、非目标。我喜欢计算机科学的方面，你可以用它来解决任何数量的问题。在我的观点中，如果我们构建一个解决人工智能的系统，那就太棒了，那是一个应用程序，我们将去解决另一个。你知道我们还将解决什么吗？我不知道，我们将解决大统一理论，然后物理学作为一个学科就不存在了。现在我们已经摆脱了人工智能，也摆脱了物理学。我们将解决下一个问题。所以我的个人兴趣和热情是计算机科学系统原语，它们是一种元学科，可以解决所有这些问题。所以这似乎是 AGI 的一个非常奇怪的用法。我的意思是，他说，哦，是的，他称之为“一个应用程序”，但根据定义，根据一个标准接受的定义，甚至不是我自己的定义，它是“通用”的概念，而且可能也是“人类水平或以上”。就像一个能够比人类做得更好地完成所有任务的人工智能。所以当他说，我们将去解决下一个问题时，也许他指的是人工智能将去解决下一个问题，我不知道。这只是有点奇怪，他问了这个问题，采访者 Brian Chow 没有追究他，但随便吧，归根结底，这只是一个争论，它有点随机，甚至没有在 Twitter 上变成来回的争论。但还有一些 Martin Casado 的 Twitter 行为，我认为值得在此指出，那就是他围绕加州 SB 1047 法案的行为。顺便说一下，如果你回到几周前的末日辩论档案，我们做了一个 SB 1047 的辩论集。该法案目前正躺在州长 Gavin Newsom 的办公桌上，他可能会签署成为法律，我们将在几天内知道。它只是一个法案，非常合理地对人工智能施加一些基本的透明度监管，以及一些非常合理的处罚，如果一家公司负责一个非常大、非常昂贵的基金模型，造成了 5 亿美元以上的损失，那么与该法案未通过相比，他们可以受到额外的罚款和额外的问责。所以，总的来说，它被广泛认为是一个非常轻微的、非常入门级的法案，用于启动人工智能监管。我强烈支持它，因为我认为我们需要启动它。我认为总有一天，这个时间可能是明天，也可能是今天，但可能在几年后，可能在 10 年后，总有一天，我们需要大规模的人工智能监管，我们都会集体倒吸一口气说，好吧，收手吧，我们已经走得太远了，为了我们自己好，我们绝对必须停止这项技术的发展。我认为人们会意识到这一点，那些还没有这样做的人，他们会意识到这一点。到那时，如果我们甚至没有一个像 SB 1047 这样宽松的法案，我们将比现在更加落后。所以这是我对 SB 1047 的看法。我希望，为了上帝的份上，做点什么，准备好踩刹车，因为这一切都根植于我的核心，我信念的核心是，我认为总有一天我们会意识到我们需要狠狠地踩刹车。所以，这也不是重点，因为我与 Martin Casado 的争论只是他推广自己立场的方式。他觉得有必要，就像 Amjad Madani，我们在这集节目中评论过的另一个家伙一样，他觉得有必要一个接一个地挑出每一个不同意他的人。所以在他看来，是的，有一群聪明人认为 SB 1047 是一个好法案，应该通过。是的，有一群聪明人认为 SB 1047 不应该通过。但每一个认为 SB 1047 应该通过的个人，都有问题。要么他们有经济利益，他们只是想通过这个法案来填饱自己的腰包，你知道，比如监管套利是他提出的一个说法，尽管一些人工智能实验室反对它，所以这并没有真正意义。但他却说，要么有人想填饱自己的腰包，因为他们贪婪，要么他们是末日论者，由大型人工智能末日论资助。有这么多的钱涌入人工智能末日论，未来生命研究所拥有 1 亿美元，感谢亿万富翁 Y Combinator。他说，所有这些末日论的钱都在涌动，只有这些有钱的利益集团才支持这个法案，而所有不关心钱但只是聪明、善良、关心正确事物的好人，才是我们反对这个法案的人。所以，这是他的描绘。而且，说平均而言，我更喜欢反对该法案的人，这没关系。这完全是关于平均值，而不是你是否觉得有必要挑出每个人。我从来没有见过他承认可能有一两个人，比如，具体的人，你知道，这个人，这是一个好人，他没有隐藏的动机，他很聪明，他可能，你知道，他可能真的对了，而我错了。有这种可能，因为你不能轻易地诽谤一个人。你不能轻易地进行人身攻击，攻击另一方的每一个个人。Martin 在 Twitter 上进行这种人身攻击的例子不计其数。他的合伙人 Mark Andreessen 甚至提出了一个朗朗上口的头韵，“浸信会教徒和私酒贩”。所以，如果你担心人工智能末日，你就是浸信会教徒，也就是说，一个真正相信它的人，也许是以宗教的方式，或者你是一个私酒贩，也就是说，一个只是想搭上潮流的人，因为你可以从中获利。所以每个人都是浸信会教徒或私酒贩。不存在一个理性的人通过推理得出结论。在这个我今天将要展示的例子中，Martin 正在转发 Joshua Bengio，他是 2018 年图灵奖的获得者之一，与 Geoffrey Hinton 和 Yann LeCun 一起。Joshua Bengio 写道，我昨天读了加州州长 Gavin Newsom 关于 SB 1047 的评论。州长说，他正在权衡人工智能的风险是可证明的还是假设的。这是我的观点。Joshua Bengio 写道，虽然专家们在风险的大小和时间线上并不完全一致，但他们普遍认为，随着人工智能能力的不断提高，可能会出现重大的公共安全风险，例如人工智能驱动的黑客攻击、生物攻击，或者社会失去对人工智能的控制。有人回复说，这些风险还没有发生，所以它们纯粹是假设性的。但一是人工智能在提高这些风险可能性的能力方面正在迅速提高，二是我们在保护公众之前不应该等到发生重大灾难。许多人工智能前沿的人都有这种担忧，但他们被锁定在不受监管的恶性竞争中。目前有 125 名或前任人工智能公司的员工呼吁 Newsom 州长签署 SB 1047。我同情州长对法案潜在弊端的担忧，但加州立法者在听取包括行业在内的许多声音方面做得很好，这导致了重要的改进。SB 1047 现在是一个经过深思熟虑的折衷法案。对所有存在公共安全风险的行业来说，对大规模危害的基本监管都是标准的。领先的人工智能公司已经公开承认了前沿人工智能的风险。他们已经做出了自愿承诺，以确保安全，包括向白宫。这就是为什么一些行业对 SB 1047 的抵制，它让它们对这些承诺负责，令人失望。人工智能可以带来从美好的未来到灾难的任何结果，今天的决策者面临着一个艰难的考验，即在人工智能以不可预测的速度发展的同时，确保公众安全。他们必须认真对待这一广泛的合理情景，并承担责任。人工智能可以带来巨大的好处，但前提是我们明智地引导它，而不是仅仅让它发生在我们身上，并希望一切顺利。我经常想，我们将不辜负这一挑战的巨大性。今天的答案掌握在州长 Gavin 手中。好的，那就是 Joshua Bengio 在 Twitter 上。他实际上创建了一个 Twitter 账户，我想只是为了参与这个讨论。当然，我立即关注了他。所以他是一个聪明人。他最近，去年，基本上站出来支持末日论者，说，嗯，你知道吗，这些人指出了一个相当大的风险，我感到很难过，我没有像现在这样意识到这个风险，因为我没想到人工智能会这么近，我没想到 AGI 会这么近。所以，总之，那就是 Joshua Bengio，显然是一位知识界的巨擘，你最想听的意见之一。除非你是 Martin Casado，否则他的意见无法轻易被抛弃。所以让我们读读 Martin 的引用推文。这是一个甜美的，离我们远点，伙计。Joshua 是一个加拿大学者，他对保护加州成为历史上最伟大创新中心的一切没有丝毫敏感性。Joshua 也不对 SB 1047 负责。我们有自己的人工智能专家，他们将负责，他们压倒性地反对它，支持的人远少于反对的人，甚至更私下地直接向州长表达。这太可悲了。Joshua Bengio 是加拿大人。所以当他写这种普遍呼吁，为什么我们需要启动人工智能监管，因为末日是一个真正的风险时，他是加拿大人，所以不算。因为他不衡量加州对创新的需求有多大。你不能因为他，因为他，因为他赚钱，他是一个私酒贩，他从未来生命研究所那里获得了报酬。给我歇歇吧。如果你不能承认 Joshua Bengio 的意见在做这个决定时值得考虑，如果你觉得有必要进行人身攻击，比如 Joshua Bengio，Joshua Bengio 已经放弃了他作为人工智能研究员的声誉。他承认他认为 AGI 的步伐在回顾时太快了，导致我们现在处于一个不好的位置。我们真的不知道如何安全地处理接下来的事情。这是 Joshua Bengio 目前的看法。他承认他很谦虚，愿意承认这一点。而 Martin 的说法是，哦，你只是一个加拿大人，你只是一个隐藏议程的人。冷静点，伙计。你必须尊重辩论另一方的聪明人。为了证明我不是伪君子，我尊重 Robin Hanson。我认为他作为一个非末日论者的对象级立场几乎没有意义，但我认为他是真诚的。我不认为他是为了赚钱，我不认为他是因为别人在影响他。我认为他是在尽他所能独立思考原因，并得出结论。甚至有可能他对了，而我错了。我与 Robin Hanson 没有元级别的恩怨。我认为他在讨论中处于非常高的水平，我也喜欢这样认为。而且有时并不难。Robin Hanson 和我没有互相争斗，说 Robin Hanson 有不良动机，Lon 有不良动机。我们只是坚持该死的议题。这并不难。但 Martin 表明，这比看起来要难，显然，当他进行这种行为时。因为这不仅仅是一个孤立的事件。没有一个人，他说了关于那个人的事情，和我对 Robin Hanson 说的一样，他的意见应该被认真对待，即使他不同意我。这就是 Rune 对 Amjad Madani 所说的。Rune 不是一个大的末日论者。他有点中间派。我不知道 Rune 的 P Doom 是多少。我感觉可能是 5% 左右，相对较低，比我的 50% 低，但比 1% 高。这是我的感觉，我不认为他正式说过。Rune 是一个他说，是的，你应该尊重双方。显然，双方都有聪明人，就像任何有争议的问题一样。为了向你展示 Martin Casado 的风格，他有点全力投入战斗，把这当作一场全面战争，讨论的标准让位于他获胜。他想让你相信 SB 1047 是一个非常不受欢迎的法案，尽管有很多证据表明它很受欢迎，或者最多是有点争议。但说它不受欢迎，似乎与现实脱节。所以，我想引用一段我和 Martin 的来回对话。首先，我发推说，你使用“压倒性的反对”这样的词语，是因为你不接受事实，即支持方比反对方多两倍，对吗？Martin 回复说，Lon，请整理一份关于该法案的可靠公开声明的清单，并公开。我也会做同样的。我说，明白了。所以我们有一个关于大多数选民相信什么的根本事实分歧。我认为超过 60% 的加州选民支持 SB 1047。你认为支持的选民不到 40%。这似乎可以通过比较我们的来源来解决。我将分享我的。第一，人工智能安全中心的一项民意调查显示 77% 的人支持。未来生命研究所的一项民意调查显示 59% 的人支持。加州州议会以 48 比 6 投票，州参议院以 29 比 9 投票支持该法案。国会议员通常会按照他们认为选民想要的方式投票。所以这是我的证据。Martin 回复说，这些是民意调查。我说，来自可靠来源的公开声明。我说，我不确定我们 disagreement 的主张是什么。你能确认你是否在事实问题上 disagreement，即加州选民支持该法案的百分比？Martin 说，是的，推销式民意调查不是可靠的指标。当然，反对派也有他们的，显示了多数。但我从不提及它们，因为任何认真对待政策的人都知道它们毫无用处。我说，所以我们 disagreement。确定选民想要什么的调查方法，声称“公开声明”比国会投票以及我们所有的民意调查更有说服力，将真实价值从 60% 以上降至 40% 以下，似乎是故意糟糕的方法。然后我引用了他说的，当然，反对派也有他们的民意调查，显示了多数。但我从不提及它们，因为任何认真对待政策的人都知道它们毫无用处。你们那边，Martin，你们那边发布了一个比我这边质量差得多的民意调查，但你选择模糊区别。是的，有一项民意调查显示，大多数人反对 SB 147，但这是我见过的最糟糕的推销式民意调查。这并不难，当然，我有偏见，但看看那个民意调查中的语言，并将其与其他民意调查中的语言进行比较，就知道那是非常非常倾斜的语言。这太疯狂了。你可以在网上自己查查。所以 Martin 回复说，我 disagreement，关于支持方的大规模偏见性质，已经写了很多东西。这就是为什么没有人认真对待推销式民意调查，以及为什么来自可靠来源的公开声明通常是主要的核算方法。我说，我很高兴让这个话题的读者自己判断。A，我们引用的三项民意调查的相对质量。B，国会就该法案的投票以及国会议员的选民认为什么，其证据分量。所以我觉得我提供了更有说服力的证据。这甚至是在洛杉矶和好莱坞的所有工会出来支持该法案之前。这是在 Ted 会议的负责人 Chris Anderson 出来支持该法案之前。我认为这是在 Elon Musk 出来支持该法案之前。所以有相当多的支持，多样化的支持，以及州议会的投票，以及不那么荒谬的一系列民意调查告诉你，有三分之二的支持。拥有所有这些证据，却不只是说，好吧，我认为这是模棱两可的。他没有说这是模棱两可的，他说这是一个不受欢迎的法案。得了吧，你显然只是把它当作一场战斗，你没有开放的态度去接受你可能在客观事实上的错误，比如一个受欢迎的法案是否受欢迎。就我而言，我绝对愿意接受实际证据表明该法案并不受欢迎，但实际上不受欢迎。我愿意接受证据，事实上，我承认我的证据并不天衣无缝。也许州议员们在代表他们的选民方面做得不好。也许我认为合理的两项民意调查实际上是严重倾斜的。我对此持开放态度。我只是不知道你怎么能自信地相信它不受欢迎，当大多数证据都指向它非常受欢迎的时候。所以这是我和 Martin Casado 的末日争论。你知道，当我们在基本问题上无法达成一致时，比如一个法案是否受欢迎或不受欢迎，如此大的程度，比如 60% 以上或 40% 以下，我们甚至无法区分这一点，这让我很不舒服。到底是怎么回事？为什么认识论如此困难？为什么了解看似简单的事情如此困难？或者，比如，不要对 Joshua Bengio 这样的人进行人身攻击，让我们把他们当作是真诚地争论，因为他们表现出了很多真诚，表现出了很多谦逊，而且他们没有明显的偏见。你想谈论明显的偏见，看看你，Martin Casado。你在 a16z 工作，你试图以更高的价格出售你的投资，而不是你买入的价格，或者将它们带到 IPO。所以你需要人工智能在未来七年内发展良好。通常我甚至不 bother 提起这些事情。我不是这样处理这些问题的。我争论对象级问题。但当你看到一个如此热衷于人身攻击所有人的家伙时，你的品格怎么会值得尊敬呢？你的公司为游说支付了数百万美元，我通常不在乎，但特别是在你的情况下，因为你是谁，一个著名的诽谤者，因为你是谁，我认为应该有人在某种程度上诽谤你。但不会是我，因为我不进行人身攻击。我的诽谤方式是，我只是列出别人犯过的坏论证，然后让你根据这些论证得出结论。这就是我所谓的“诽谤”某人，这就是我和某人争论的方式。好了，这基本上就是第一集末日争论的结束了。今天我们谈论了很多人，我们谈论了 Amjad Madani 和 Alazar Owski 和 Rune。我们谈论了 Lee Cronin 教授。我们谈论了 Naval Ravikant。谈论了 Martin Casado 和 Joshua Bengio。很多不同的声音在社交媒体上滚动，正如你所见，我经常在上面。现在我有一个问题问你，你对这一集有什么看法？因为我需要决定如何集中精力。我不知道我是否想继续制作这种末日争论集。现在我每周最多只能发布一到两集，而且有很多不同的事情我想做。我真的需要考虑我想要多频繁地制作末日争论集。我可能会每隔几周做一次，也许我每几个月做一次，当我收集了很多争论的时候。我不知道。我很想听听你的反馈。你喜欢末日争论集相对于我做的其他类型的节目有多少？这将告诉我我想要在多大程度上专注于末日争论集。有趣的是，末日争论集基本上就像你看着我浏览我的 Twitter。所以很多只是我这边的报告，分析少一些。我很想听听你的想法。也许你只是喜欢我报道 Twitter 新闻。让我们看看你是否想支持我参与这些争论。你需要做的是，去 x.com/Lon，在 Twitter 上关注我。留意我何时卷入这些争论，然后去点赞。或者你可以回复说，“Lon，观点很棒”。然后人们会说，“哦，天哪，人群很喜欢 Lon 在这场争论中”。所以这就是你可以尽一份力的方式。你可以通过鼓励我参与 Twitter 上的这些争论来支持末日辩论。而且，你知道，如果我能把我的 YouTube 订阅者群带到 X，你们就可以每次都在我的争论中支持我。每次我回复，它都会获得 900 个赞，而另一个人会想，“哇，有这么多的社会证明 Lon 是对的，也许我是错的”。你知道，它会真正鼓励谦逊，鼓励那些与我 disagreement 的人。所以，去 x.com/Lon，点关注，或者以任何其他方式支持和参与播客。我感谢你，下次在下一集末日辩论中见。 [音乐]