Transcription
欢迎来到“末日辩论”，我是 Lon Jaira。希望你们过去几周过得愉快，希望你们参加了一些很棒的派对，与家人朋友共度时光，也许还进行了一些很酷的户外运动或享受了自然。我一直在做的事情就是浏览推特，特别是关于人工智能、生存风险以及相关政策和即将到来的突破以及它们何时到来。今天，我邀请你们通过我的视角来体验我的世界，加入我进入推特“牛肉”的世界。
[笑声]
第一场“牛肉”是与 Jack Clark，他是 Anthropic 的联合创始人之一。Jack 最近在发推特说，有一个新的、更难的数学基准测试，对人类来说极其困难，但对人工智能来说仍然很困难。这是目前人工智能无法轻易通过的少数几个基准测试之一。这是 Jack Clark 的推文，他说：“人工智能怀疑论者说，大型语言模型是复制粘贴引擎，没有原创思想，基本上毫无价值。追踪人工智能进展的专业人士说，我们与 60 位数学家合作，建立了一个现代系统只能得到 2% 的困难测试。希望这个基准测试能持续几年。”然后他引用了著名的数学家 Terren 的话，他是 2006 年菲尔兹奖得主，Karen 说：“这些极其具有挑战性，我认为它们至少能抵御人工智能几年。”然后 Jack Clark 写道：“我认为，如果那些真正怀疑大型语言模型的人花 10 个小时尝试让现代人工智能系统完成他们擅长的任务，他们会对这些东西的能力感到震惊。”这一切都有点悲剧。许多怀疑大型语言模型的人也深入思考人工智能的政治经济学。我认为，如果他们对进展的状况有真正的了解，他们的政治倡导会更有效。
这就是 Jack Clark 的推文，然后是与这场“牛肉”发生冲突的人，实际上是 Pause AI US 的官方账号。P AI US 发来一个引用推文，说：“哦，人们不理解你们的上帝机器的力量真是太悲剧了，因为他们反对上帝机器的政治倡导效果不佳。你们为什么不停制造上帝机器呢？Jack Clark 是个讨人喜欢的人，非常像 Dario 和 Anthropic 团队的大多数人。他们是深思熟虑的人，通常是成熟的人。但归根结底，这个叫做 Anthropic 的项目是一个白日梦。它忽视了在未来十年或二十年内构建安全人工智能的根本想法，而我们对如何实现对齐几乎没有理论。整个想法是一个不可能的起点，而整个公司 Anthropic，就像其他人工智能公司一样，是一个忽视安全人工智能可能性的白日梦。他们只是说，‘好吧，我们会尽力而为，因为别无选择，只能尽力而为，对吧？’所以，他们不允许思考的想法是，‘我们只是在烧掉我们所拥有的最后几年，在超级智能人工智能到来之前，而不是踩刹车，我们只是尽力让它变得安全。如果成功了就成功了，如果不成功就不成功，对吧？’这些人工智能实验室对 PAIE 的努力没有任何尊重。”所以，PA US 账号在某种程度上是在指责他们，只是说：“嘿，你知道吗？你们才是问题所在。你们实际上不是好人，对吧？你们是问题的一部分，而且你们正在做一些无法逆转的事情，你们不仅在合法化自己，还在合法化其他人工智能实验室，对吧？OpenAI。你们没有大声疾呼让他们停止，对吧？归根结底，你们可能是成熟的，你们可能认为自己是注重安全的好人，但你们绝对是问题的一部分。”事实上，PA 的下一次抗议活动将于 11 月 22 日举行，欢迎大家参加。他们刚刚发推说：“Anthropic 希望你认为他们是好人，但他们是制造危险人工智能的领头羊。在没有安全法规的情况下开发越来越强大的人工智能是不安全的，句号。加入我们的抗议活动。”然后有一个 Facebook 链接可以报名参加他们的抗议活动。它将于下周五下午 11 月 22 日在旧金山的 Anthropic 办公室举行。欢迎大家参加。我个人计划去，我刚刚向 PA 捐赠了 1000 美元。我认为这是你现在可以支持的最好的组织之一。
PA 的美国分部由我的朋友 Holly Elmore 经营，我认为她在这方面做得非常出色，正在推动 Overton 窗口，即你甚至可以公开说什么和谈论什么的范围。公开发表这样的声明：“嘿，Anthropic，抱歉，但你们是问题的一部分，对吧？你们不应该被合法地允许做你们正在做的事情。在我们看来，在法律追究之前，你们就像罪犯一样，对吧？如果我们能够动用民主力量，在为时已晚之前制定法律，那么他们目前的计划就应该被叫停。这就是我们的立场。”Holly 一直在做很棒的工作，让理性主义者谈论这个问题，因为长期以来，理性主义社区一直存在着巨大的犹豫，从中产生了 Elzra Owski，或者说，也许围绕 Elzra Owski 形成的那个社区。整个社区一直处于一种非常审慎、深思熟虑、知识分子的心态，而跑出去在街上大喊“在你们能让它安全之前停止建造这个人工智能”是违背他们的天性的。
这是很多人提到的一个区别，即“侦察兵”与“士兵”。我认为这是 Julia Gay 在她最近的书《侦察兵心态》中创造的一个术语。每个人都想成为侦察兵，只是看看周围的地区，分析真相。理性主义社区没有人想出去当士兵，然后说：“嘿，你们错了，你们需要停止。”他们更喜欢写一篇论文，说：“这个的末日概率似乎很高，原因如下，但也有这个和这个缓解因素。”然后把论文扔过墙，希望别人能接过去，继续推进政策制定和社会变革。他们觉得自己的工作已经完成了。这是我对普通理性主义者的模型。我自己也是一个相当大的理性主义者，但我认为我更自在地说：“嘿，这似乎是正确的，现在是时候采取行动了。”我也不介意帮助运动中的“士兵”部分。你知道，“士兵”这个词太强烈了，它字面意思就是参加抗议活动，对吧？我的意思是，普通人也经常抗议，而不会被诽谤为“铁杆士兵”，对吧？我的意思是，在普通人的世界里，抗议被认为是你可以做的事情来捍卫你的信仰，而不够多的理性主义者正在这样做。
但是，你看，“末日辩论”我们并不是一个严格意义上的理性主义频道，对吧？我希望通过这些视频接触到更广泛的人群，只是说：“嘿，这件事值得抗议，对吧？这需要走出理性领域，走出那些只是喜欢思考未来几十年的人的圈子。而且，人工智能实验室已经走得太远了，普通人只需要对他们大喊大叫，然后我们需要对我们的国会代表大喊大叫。我们需要采取行动，对吧？是时候停止思考，开始行动了，因为天知道，人工智能公司正在以他们能获得的最快速度，用他们能获得的最好人才，以及他们能想象到的最多的钱来行动。如果我们看他们合并后的估值，我们说的是至少超过一千亿美元。这是一个巨大的力量，与我们对抗。”
我想读一段 PA US 主席 Holly Elmore 最近的一篇博客文章的摘录。文章标题是“侦察兵需要士兵，他们的工作才有价值”。自从我开始 PA 以来，我遇到了来自人工智能专家和理性主义者的偏执恐惧，他们认为 slightest 的错误思考或使用说服性言语作为干预措施会一生玷污一个人的思想，使其充满自我欺骗，认为政治会扼杀他们的思想。我看到人们因害怕加入一个他们认为如果不受控制就会摧毁世界的行业的抗议活动而颤抖，因为他们不想被拍到在一块不加掩饰的标语旁边。他们害怕因说错话而犯错。他们甚至害怕因尝试说服性地交谈而犯错。对破坏自己客观性的担忧，我经常被表述为“成为侦察兵而不是士兵”，指的是 Julia Gay 的书《侦察兵心态》。我认为我们已经掌握了所有需要的信息来反驳不成为侦察兵的恐惧。在这里，我跳到前面，这是另一段摘录：“如果一个侦察兵向长官报告了他发现的情况，而长官想假装没听见，一个好的侦察兵不会仅仅对情况保持好奇，或者注意到长官选择了某种叙事。他们会努力让自己的声音被听到，因为他们所见真相对战争努力至关重要。侦察兵、长官和士兵的成功最终都取决于战争的结局。”
再摘录一段：“这对今天许多有效利他主义者和理性主义者来说非常可怕，他们将思考和交谈视为神圣的活动，必须遵循科学或‘更少错误’的规则，而不能用于其他任何事情。我认为这些担忧被极度夸大了。你信任的组织的宣传信息被公众理解的方式，会削弱你批判性思考的能力，这种可能性有多大？这只是污染思维。所以我强烈推荐阅读整篇文章，我会在节目笔记中提供链接。”
还有一件事你需要了解 PA US，那就是他们现在正在筹款。他们仍然是一个小型组织，但他们正在产生巨大的影响。在我看来，即使只有 30 或 40 人参加当地人工智能实验室的抗议活动，我们也会获得不成比例的关注和报道，因为每个人都在想，谁在反对这些公司？这真是一个大卫与歌利亚的故事。现在，谁会站出来成为大卫？不幸的是，很少有人站出来成为大卫，即使专家们预测……是的，通用人工智能（AGI）是……三年后，也许五年或十年后，也许十五年后。是时候让大卫真正获得一些力量了。所以，如果你想成为这项事业的一部分，我会在节目笔记中提供他们捐赠页面的链接。现在你可以阅读更多关于他们的信息，你可以写评论，Holly Elmore 肯定会回复。他们有关于他们如何花钱的细节。看起来核心团队现在是 Holly 和另外两个人。所以，是的，如果你想了解我以及“末日辩论”，请务必看看。这是一个独立的个人项目，与 PA 无关。但是，如果你去 pa.info 并点击加入 PA Discord 的链接，你不仅会加入一个很棒的社区，而且他们还为我创建了一个频道，叫做 #doom-debates。我会在那里，因为即使这不是 PA 的倡议，我也是 PA 的一员，我经常去参加抗议活动，我很乐意见到你并一起玩，无论我们是在 Discord 频道上，还是如果我们来参加这些抗议活动，我们甚至可能在现实生活中互动。所以，这就是 PA US。如果你想捐款，请点击节目笔记中的链接。
让我们继续下一场“牛肉”。这是一场有趣的推特“牛肉”，发生在几个月前。这是 Elazar Owski 和……你会看到，当 Elazar 发推时开始的。我认为他是在暗指他的一些互动，然后他发推说：“那种人，在某个时候学过线性代数，并且非常自豪地知道线性代数，并且认为你所有关于人工智能的分歧都源于你不知道线性代数。告诉你你懂线性代数也无济于事。一种类似的人学过自注意力机制或类似的东西。他基本上和第一个人一样，只是更自豪。如果你说你懂，你就是在撒谎，你不可能知道 KJV 矩阵是如何工作的。如果你知道，你怎么还能继续和他关于人工智能的分歧呢？也许他现在在人工智能行业工作。他亲身通过艰苦的努力了解到，人工智能比你想象的要愚蠢，或者比你想象的要聪明。他通过工作获得了这种知识，它不能被系统化和观察支持。你有时无法获得它。他甚至了解到人工智能里面有数学。你知道吗？你不可能知道这一点。如果你知道，你不会害怕人工智能。他知道乘法是如何工作的。它只是数字。它并不可怕。”
“如果这听起来像稻草人，你还记得在第一集推特‘牛肉’中，我看了 Amjad Mad，他真的发了类似‘告诉我数字的乘法如何可能杀死我’的推文。或者 Mark Andreessen 实际上发了明确的推文说‘人工智能只是数学，它不会伤害你，它只是数学’。这是一个非常低级的故障模式，但遗憾的是，这并不罕见，即使是那些你认为会知道得更好的人。”
所以，这是 Elazar 在发泄他的一次经历，这让我觉得很真实。现在，一个名叫 GM Verdon 的人在推特上以“基于 Beth Jos”而闻名，他回复了 Elazar。也许他甚至是 Elazar 暗指的那些人之一。无论如何，他回复了威胁，说：“实际上，你还需要具备函数分析、优化理论、概率论、复杂性理论和热力学背景，才能对人工智能的未来进行连贯的全栈论证。”Elazar 回复说：“有没有一个关于人工智能未来的真理的例子，需要函数分析才能理解？另外，你忽略了进化生物学，它的相关性是间接的但相当重要，我在‘进化简单数学’系列中讨论过，所以没有人需要相信我的话。”然后 Elazar 还引用推文说：“每当我说的任何话与此类似时，我都会阐述论点，并尽我所能向读者解释我認為相关的基本数学。这是知识领导力和知识炫耀和欺凌之间的区别之一。令人难以置信的是，你的追随者竟然为如此明显的不当行为而欢呼。”
我同意 Elazar 的观点。我的意思是，Beth 基本上只是列出了一堆领域的名称，而不是参与论证，然后在被问及时拒绝参与。伪知识分子推文是他的专长。这是我最喜欢的其中一条，来自 Beth 和 Conlay 的一场辩论。我只想让你品味一下 Beth 的脑子里是如何转动的，他问自己：“我如何才能注入最多的流行语，而不必真正触及这些东西来表达我的观点？但我如何才能让自己听起来尽可能聪明呢？”让我们听听。顺便说一下，第一个人是 Connor Ley，第二个人是 Beth。
“很多文明缺乏的是连贯性，就是我们不断地在无谓地 shooting ourselves in the foot。很有趣的一点，我认为，我认为我们对未来的相互信息量模型不同。显然，我们……我们知道物理学，比如……牛顿物理学……你知道，时间平移不变性，所以我们发展了在牛顿物理世界中导航的方法。但我认为，在动力学的情况下，我们对未来的相互信息量非常低。实际上，随机性可以成为你的朋友，去搜索和寻找新的最佳点。但是，再次，我认为这符合……在我对你的世界模型的模型中，如果……如果你有很高的预测能力，你就拥有很高的相互信息量，这意味着……量子力学中的连贯性与未来某种形式的相互信息量成正比，那么你就可以拥有更强的……最优控制方法。但是……但我也举一个连贯性也与搜索相关的例子。文明的很多……”
康纳礼貌地让伪知识分子咆哮过去，继续表达他的观点。如果你想知道 Beth 在刚才的片段中和 Connor Ley 谈论了什么，他只是想表达一个观点，也许未来是不可预测的。他提出了牛顿力学具有时间不变物理定律的细节，如果你只是想解释为什么一个物理系统是可预测的，这是一个多么随机的细节。它是可预测的，因为它不是混乱的，对吧？它必须满足很多约束才能被预测。物理学是时间不变的，这是你只有在故意使用流行语来掩盖它，好像你真的在做出聪明人会做的连贯的观点时才会提出的随机细节。
有人将 Beth 描述为“反向理查德·费曼”，因为他不是试图简化观点并给你最简单的版本，仍然能帮助你理解观点，而是做相反的事情。他拿了一些东西，希望有一些观点，不一定在所有情况下，但让我们说有一些观点，然后他试图将其扩展开来，说：“我能做出多少联想？我能引出多少不同的流行语，让你认为我的大脑已经进行了大量的艰苦的深度连接，而不是优化‘我如何才能以最简单、最清晰的方式呈现观点，真正完成让你理解观点的任务’？”
有趣的是，既然我们谈论理查德·费曼，还有另一位绅士回应了 Beth Jos 和 Elazar 的帖子。还记得 Beth 最初是和 Elazar 谈论你需要成为所有这些不同领域的专家才能理解人工智能风险吗？所以，有趣的是，理查德·费曼的儿子 Carl，他实际上关注人工智能推特，他引用了 Beth 说你需要具备函数分析、优化理论、概率论、复杂性理论和热力学背景的部分。Carl Feynman 写道：“对于那些想知道这是否属实的人来说，我具备所有这些领域的背景，我可以向你保证，这是胡说八道。不受控制的超人人工智能是可能的，而且极其危险，而支持它的论点并不使用任何这些工具。”
所以，是的，Carl Feynman 和 Elazar Owski 在这场推特“牛肉”中显然是正确的，他们所说的一切。这真的没有多少“双方”的观点。这只是……你看，我在这里记录这些“牛肉”，只要话语的质量如此之低，以至于有人如此明显地错误，却仍然获得大量的点赞和转发，我就会在这里指出。也许有一天话语的质量会提高，我只会告诉你那些非常高级的、在两个聪明、真诚的人之间的推特“牛肉”。但目前，我们有伪知识分子的 Beth Jos 的“牛肉”。就是这样。
下一场推特“牛肉”是与 Jeffrey Hinton 教授。你可能知道他是 2018 年图灵奖的共同获奖者，与 Yoshua Bengio 和 Yann LeCun 一起。现在他也不仅仅是这样了，他还是 2024 年诺贝尔物理学奖得主。你可能在一个月前听说过他，他现在是诺贝尔奖得主了。我喜欢尽可能多地使用他的名字，因为它为人工智能安全工作提供了巨大的可信度，可以提及一位诺贝尔奖得主，他经常警告人工智能的末日。当然，他也是该领域的“教父”之一。我听说 Hinton 博士在各种采访中都表示，他乐于帮助提高对人工智能风险的认识。他实际上正在寻找个人贡献的方式。所以我通过推特公开联系了他。我写道：“Jeffrey Hinton 先生，恭喜您获得诺贝尔奖！感谢您就人工智能风险发声。您能否来我的播客深入讨论一下？”
他本人从未回复，但我很高兴看到我的推文获得了 126 个点赞，这对于一条随机推文来说相当多了。所以，如果你是那些点赞的人之一，非常感谢。感谢您支持这个节目，感谢您认识到邀请这些杰出人物并明确询问他们‘您的末日概率是多少？您认为人们可以做些什么来帮助传播信息？’的价值。如果你正在观看这个视频，并且与 Jeffrey Hinton 有联系，请告诉他看看“末日辩论”。也许他会喜欢内容，也许他会同意来。我知道他很忙，我敢肯定他没看到我的推文，但我确实认为 Jeff 和我能够进行一次非常有成效的讨论。如果你查看“末日辩论”的档案，观看我是如何采访其他嘉宾的，比如 Dr. Lee Cronin、Dr. Robin Hanson，你可以看到这些都是高质量的采访。所以，Hinton 博士，如果你正在听这个，我认为你与本节目的使命一致，那就是提高公众对通用人工智能（AGI）即将到来的人类灭绝风险的认识。我认为我们在这方面有共同的看法，这是一个巨大的风险。如果你想通过您的光临将本节目的发展推向新的高度，请随时在推特上给我发私信或发送电子邮件至 wisg@gmail.com。谢谢 Hinton 博士。
好的，回到推特“牛肉”。这与 Hinton 博士在获得诺贝尔奖后不久所说的话有关。他在多伦多大学（他是一名名誉教授）举行了一场新闻发布会，他说了一些关于他的前学生 Ilya Sutskever 和 Ilya 去年对 Sam Altman 所做的事情的有趣的话。
“OpenAI 的成立非常强调安全……它的主要目标是开发通用人工智能并确保其安全……我的前学生之一 Ilya 是首席科学家……随着时间的推移，事实证明 Sam Altman 对安全的关注远不如对利润的关注。我认为这……令人遗憾。我特别自豪的是，我的一个学生解雇了 Sam Altman……我认为我最好就此打住，留给提问环节。”
为了让你更好地了解 Hinton 教授，在过去的几年里，他已经成为一个完全的“末日论者”，追随 Elzra Owski 的脚步。几年前，他辞去了他在谷歌的高薪工作，并明确表示他希望能够自由地就他看到的重大担忧发声。他甚至谈到后悔自己的研究，或者没有预见到我们将在多快的时间内面临这些潜在的生存威胁，他似乎正在进入“末日论者”模式。
所以，我过去几个月或过去几年在我的推特账号上发过 Hinton 博士的一些精选引言。这是最近的一段视频，Jeffrey Hinton 说他独立评估的末日概率超过 50%。然后他谦虚地根据其他人的评估进行了调整，好像其他人比 Jeffrey Hinton 更了解一样。所以他向下调整，因为他生活中的其他人，他得出了 10% 到 20% 的末日概率。我认为，人工智能的“教父”越来越明确地表示他看到了我们有多么糟糕，这很酷。很多人没有，但他看到了。好样的，Hinton 博士。
这是那段视频：“你想要我的末日概率吗？我认为这是一个次要问题。你可能会从其他来源预期末日。我更多地谈论的是像……AI 失调之类的事情。相当高。我认为……强化学习是一种垃圾。实际上，我认为存在生存威胁的风险超过 50%。但我不会这么说，因为其他人认为它较低。我认为一个考虑到我认识的所有人的意见的合理的事情是……大约 10% 到 20%。你知道，我们仍然有很大的机会生存下来，但我们最好认真思考如何做到这一点。”
这很令人担忧。这是 Hinton 博士最近另一段关于人工智能生存风险的视频，他特别提到了 OpenAI 和 Meta。“我认为利润动机……我们看到了 OpenAI 发生的事情，当时一切都倾向于安全……因为拥有营利性部分的那个公司是一个非营利性部分，它被设立为主要关注安全。即使在这种情况下，当它是一个非常不公平的竞争环境时，它完全倾向于安全和利润……所以，这似乎不太好。而且，既然我提到了，还有一件事我想说，我认为开源最大的模型是完全疯狂的。我的好朋友 Yann LeCun 认为这是正确的做法。他认为我们都会没事的，我们会控制住这些东西，它们不会有自己的目标，它们不会有自己的欲望。我认为开源它们非常非常危险。我认为这就像开源核武器。所以，我认为……我希望政府禁止公司开源大型模型。”
来自我们顶尖人工智能科学家之一的强硬言论。这位该领域的“教父”，一位诺贝尔奖得主。所以，不要让任何人试图让你相信这是一种小众观点，我们都将走向末日，或者这是一种需要严厉政府监管的小众观点。不，对不起，这是房间里“成年人”在说的话，而其他人则在享受生活，试图忽略这个信息。就像……剃刀片在飞舞，剃刀片就在他们眼前，他们就是拒绝看到。
这是他本人的推文，2023 年 10 月 31 日。Jeffrey Hinton 写道：“Andrew Ng 声称人工智能可能导致我们灭绝的想法是大科技公司的阴谋。一个不符合这个阴谋论的数据点是，我离开了谷歌，以便能够自由地谈论生存威胁。”然后我回复了 #believeHinton，并附上了一张去年我们在旧金山 PA 抗议活动的图片。其中一个标语是巨大的 #believeHinton。你们必须相信 Hinton，各位。
我的下一场推特“牛肉”是与 Samuel Hammond。我一直在关注他在推特上的动态，他倾向于发布深思熟虑、细致入微的分析，这很好。他不是我喜欢的“人工智能末日论者”，但我仍然尊重他。他最近发布了他一篇重要文章的截图，题为“95 条关于人工智能的论点”。他脑子里涌现出很多不同的想法。他引用了他自己的一个部分，“人工智能的进展正在加速，而不是停滞不前”，并且他做了一些自己的预测。我将只读其中三个我认为与这场小“牛肉”相关的预测。
1. 过去 12 个月的人工智能进展是可预见的未来中最慢的。好吧，这是合理的。
2. 扩展大型语言模型还有很长的路要走，但它本身不会导致超级智能，因为最小化交叉熵损失在人类生成数据上会收敛到人类水平的智能，而不是超级智能。嗯，我不太确定这一点，但好吧。
3. 超越人类水平的推理将需要比下一个词预测更高级的训练方法，例如强化学习和自我对弈，一旦奏效，将立即从规模中获得好处。
我的“牛肉”只是针对第 2 点，他说扩展大型语言模型不会导致超级智能，因为它们的训练过程只是训练它们预测人类写的内容。所以你不能仅仅通过预测人类写的内容来获得比人类更聪明的东西。我认为你不能做出这种逻辑推断。我认为你跳得太远了。我不想成为一个完全的逻辑警察，因为这是一个合理的猜测，这是一个合理的直觉，但这并不是他正在做出的逻辑上合理的联系。
所以，我回复他的推文是：“我不知道你怎么能声称第 2 点。人类使用类比来攻击对进化来说不熟悉但困难的领域，比如现代数学和工程学。我认为，学习预测这些努力成果的人工智能，将通过正确理解底层领域来实现。换句话说，如果人工智能正在阅读一本物理学教科书或一篇关于复杂主题的智能文章，而人工智能只是在学习预测这位聪明的人类写了什么，那么人工智能可能会训练出对自身的理解，而不仅仅是对写这篇论文的人的理解。它可能是对底层领域的理解。它可能是对物理学的深刻理解。如果人工智能能够如此深刻地理解物理学，以至于它知道如何预测人类物理学家会在教科书中写什么，这并不意味着人工智能的智能仅限于人类的智能。它可能只是意味着人工智能对物理学有非常深入的理解。”
“如果人工智能想预测下一位教科书作者会在物理学教科书中写什么，人工智能可能只是利用它对物理学的洞察力，然后说‘哦，是的，物理学就是这样工作的。所以，如果一个章节的标题是这个，它可能会解释这种物理学。’你不知道它不知道答案，你只是在假设，因为它还没有看到答案，所以它不会凭空捏造答案。但这是一个独立的假设。在人类代币上训练并不意味着你不会获得一种理解，让你能够泛化到你已经看到的代币之外。如果你看到很多人在写关于物理学的文章，你可能会泛化，‘好吧，是的，物理学，我知道物理学了。’然后，如果下一个人类写了一本你还没有见过的书，你可能能够预测这本书里已经有什么了。如果你看看阿尔伯特·爱因斯坦，人类，他只接受了其他人的物理学写作训练，对吧？他没有接受相对论的训练，但他提出了相对论，对吧？所以他做了一些飞跃。你不能说，仅仅因为某人只看过其他类型的文本，他们就不会自己做出飞跃，对吧？他（Sam）在这里偷偷地加入了一个断言，即人工智能不会跳出它已经看到的数据。但我们知道它会做出小的飞跃，对吧？就像我们知道你可以给它一篇从未写过的文章的标题，然后说‘嘿，假装一个人类写了这篇文章，假装这个人类非常聪明，并且有很好的分析。这个人类可能会在这篇文章中写些什么？’人工智能会吐出一篇完全合理的文章。所以，如果下一篇文章是关于‘新的物理学理论’，谁能说人工智能做不到呢？我……我的意思是，也许在实践中它今天做不到，对吧？今天我们似乎没有人工智能跑出来做这些事情。我承认这一点。但谁能说它在下一代不会这样做呢？谁实际上在划清界限？你不能仅仅通过观察它只接受了比它更愚蠢的人类输出的代币的训练，就偷偷地划清人工智能能做什么和不能做什么的界限。”
“所以，我不是说 Sam 是错的，我只是说 Sam 没有真正证明他的说法，而且我认为我们两人都不知道。我认为你只能谦虚地等待并观察，或者更好的是，你把它关掉，不要等待并观察。”
这就是那场“牛肉”的结束。我从未收到回复，但没关系，我们可以继续下一场“牛肉”。
下一场推特“牛肉”是与 Yann LeCun。主题是预测通用人工智能（AGI）的时间线。最近 Yann 发推说：“我说，达到人类水平的人工智能需要几年，如果不是十年的话。Sam Altman 说需要几千天，也就是至少 2000 天，也就是 6 年，或者可能是 3000 天，也就是 9 年。所以我们没有分歧。基本上，他们都在说，‘嘿，这需要几年，如果不是十年的话。’”然后 Yann 继续说：“但我认为分布有一个长尾。它可能需要比这长得多，而且人工智能，在任何情况下，它总是需要更长的时间。它不会在未来一两年内发生。”
Elazar 觉得他有必要对 AGI 肯定不会在未来一两年内发生的说法发表评论。因为正如我经常在这个节目中说的，我认为我们谁也不知道当我们在扩展大型语言模型时会发生什么。我认为我们需要对我们所知甚少以及我们已经多么频繁地感到惊讶保持谦虚。所以，当我们看到 Yann 充满信心地说它不会在未来一两年内发生时，如果你看了我第一集“推特‘牛肉’”节目，当时它叫“末日小冲突 #1”，如果你看了那集节目，有一段有趣的视频，Yann LeCun 预测大型语言模型将无法回答简单的物理学问题。“我认为我们无法训练一个机器来理解文本。例如，我拿一个物体，把它放在桌子上，我推桌子。对你来说，显而易见的是，物体会随着桌子一起被推，对吧？因为它就放在上面。世界上没有任何文本能解释这一点。所以，你训练一个机器，无论它有多强大，你知道，你的 GPT 5000……或者任何东西，它永远不会学到这个。因为这些信息根本不存在于任何文本中。”这句话很快就被证明是错误的。
所以，Yann 又一次自信地预测了什么绝对不会在未来一年内发生。Elazar 在帖子中加入了，他说：“你期望在人类水平的人工智能出现前两年看到什么？换句话说，你遵循什么算法，以至于在人类水平的人工智能出现前两年，你仍然会说‘不是在未来两年内’？”
我自己的立场是，我不知道。这就是 Elazar 只是在强调谦虚。因为 Yann 现在说话的方式，并不能让人对他作为一个在做出这些预测方面具有认识论可靠性的人产生信心。他不够谨慎，不会不小心地说它不会到来，而它却到来了。他似乎不够谨慎。
好的，Yann 回复说：“我没有遵循任何算法。我正在研究新的架构，比如 JEA 世界模型。你可以查一下。这就像 Yann LeCun 自己的框架，我没看到很多人谈论它。但无论如何，Yann 继续说‘在嵌入空间中进行信息过程、规划和推理，以及学习范式，如自监督学习。当具有这些组件的系统开始工作时，我们将走上正确的轨道。’”你知道，他说的“正确”是指它会让我们更接近 AGI。他甚至没有承认，也许拥有 AGI 会是灾难性的坏事。他只是用“好”来等同于 AGI。至少这是我的解释。
现在有几个不同的子线程，Elazar 也加入了。这是 Jorge Hernandez 的一个子线程，他回到了 Elazar 的问题，关于你肯定会在 AGI 出现前两年看到什么。“Jorge 正在说，‘能够操纵和实现目标的高度动态环境的算法，并且还能够进行持续学习，即不需要像猫一样的单独训练阶段。’”Elazar 回复说：“你为什么期望在人类水平的人工智能出现前两年看到这个，而不是在人类水平的人工智能出现前三个月？”Yann LeCun 加入并回复说：“这需要两年以上的时间。”他并没有真正解释原因，只是说“它可能太忙了，无法回复。”然后 Jorge Hernandez 回复说：“确实，猫水平的人工智能到人类水平的人工智能需要我们几年，以及一两个更多的架构/算法突破。”所以，我认为这些回复不足以作为理由，但你可以想象，只是忙碌的人们做出预测，而没有深入研究他们的想法。
好吧，这毕竟只是推特，对吧？它不是一个严肃的论坛。
另一位名叫 Chad 的人在另一个子线程中说：“我认为扩大规模不够。他们需要突破，就像聚变能源需要突破一样。但这似乎被认为是错误的观点。”Elazar 回复说：“你为什么认为你会提前两年知道突破正在发生呢？”Yann 回复说：“因为我们这些从事这项工作的人知道它有多难。不是我们没有基本的想法或概念，而是让它们奏效真的很难，需要时间。”
所以，这场“牛肉”就到此结束了。它并没有真正发展到任何地方。再次，Yann 在我看来，听起来就像一个缺乏认识论谦虚的人。因为，你看，在客观层面，他可能是对的。我们甚至可以假设他有 75% 的可能性是对的，25% 的可能性是错的。只是他推理不可靠，当他说“我知道它有多难，因为我在做这项工作”时。他听起来就像莱特兄弟一样，他们开始研究飞行，威尔伯·赖特在 1901 年曾说过：“一千年内，人类永远不会飞。”显然，他是从“我知道它有多难，因为我实际上在做这项工作”的角度出发的。而且这尤其具有讽刺意味，因为他本人就是 1903 年与他的兄弟一起建造第一架可飞行飞机的那个。所以，非常相似的态度来自 Yann。这并不是说，“嘿，不要悲观，事情总是会成功。”这些都不是我的主张。我的主张只是，“你不知道。”你正在说一些你实际上不知道的事情。你没有一个可靠的认识论过程，你没有一个可靠的方法论来输出“它需要两年以上”这样的陈述。这就是 Elazar 也在强调的。你正在使用的这种方法论，即“告诉我主观上感觉有多难，我今天必须努力才能让人工智能做到这一点”，这种方法论我们知道是不可靠的。所以，与其自信地宣称“我知道它不会在两年内发生”，正确的做法是说：“这似乎非常困难。我个人不认为它会在两年内发生，但我完全承认这是一个我信心很低的领域，而且可能会有人给我惊喜。”他这么说真是太傲慢了。再次，就他个人而言，我们有记录显示他曾说过，大型语言模型将能够谈论桌子上的书的物理学。所以，你可能会认为这会让他谦虚一些，但显然没有。显然，它没有。
鉴于赌注，鉴于他是被信任来告诉我们整个物种是否即将灭绝的人之一，他却如此自信，甚至可以说是傲慢，这对我来说真是太疯狂了。当我们需要他表现出一些谦虚时。
下一场推特“牛肉”是与 Run。Run 是 OpenAI 的技术员工，也是一位著名的推特人物。他最近发推说：“我们永远不会‘准备好’AGI，就像没有人准备好迎接他们的第一个孩子，或者欧洲没有准备好迎接法国大革命一样。但它还是发生了。”然后 Elazar Owski 回复说：“没有人准备好迎接一颗巨大的小行星撞击地球，但它还是发生了。说这话的人正在努力将一颗巨大的小行星推向地球。”
我认为这是一个很好的回复。我认为，当在这些人工智能公司工作的人表现出宿命论时，比如“我们能做什么？人工智能正在向我们袭来，没有人能做好准备。”这很糟糕。就像，“好吧，玩得开心去死吧。”这就是你的态度，你还称自己为“乐观主义者”？你知道，John Sherman 来自“为了人类”播客，他有一个很棒的观察：“当你有大量迹象表明未来并不美好时，你却像一个行走的旅鼠一样走向未来，而你却说‘这不在我的控制范围内，我必须跑向它’，这有什么乐观的呢？”我的乐观主义是：“嘿，我敢打赌我们有能力不走向末日。我敢打赌我们可以继续避免末日，继续人类悠久的传统，以某种方式不灭绝。”这就是我的乐观主义，这就是“赋权末日论者”的乐观主义。
我认为这种推文品味很差。如果我们谈论的是核武器、大流行病，这种宿命论是完全不恰当的。“好吧，核弹要爆炸了，不在我们手中。博弈论说核弹要爆炸了。你没有完美的防空洞。准备好就行了。”你在说什么？你在说什么？你的公司应该成为管家。你的工作是有一个“停止”按钮，而不仅仅是一个“前进”按钮。你应该只在安全的时候建造它。这太疯狂了。我知道，我知道，每个人都在努力建造它。如果你不建造，别人就会建造。但仍然，你最好阻止他们。你最好尽力而为。我不是说你一定会成功。你最好尽最大努力阻止所有人。在核扩散的情况下，我们做了什么？我们阻止了所有人。所以，这并非不可能，对吧？我们阻止了恐怖分子制造核武器。我们暂时做到了，也许明年不行，但到目前为止我们做到了。
所以，屈服于说“这是不可避免的”，当许多专家告诉你，这将杀死我们，我们无法生存下去。对我来说，这是一种如此疯狂的态度。我不知道为什么人们看不到，至少，这很不成熟。这不是一个成年人处理这种情况的方式。所以，即使他是对的，即使他是对的，好吧，可悲的是，我们认为值得冒险。我们认为只有 10% 的可能性我们会全部死亡，这足够低了，我们真的应该继续前进，因为停止它太难了。如果你在做一个清醒的评估，好吧。但当你像那样谈论它时，就像，“嘿，你知道，你无法为拥有你的第一个孩子做好准备。AGI，你无法为它做好准备。”对我来说，这太不合适了。这太不像一个在人工智能公司工作的人，而且真正了解情况，并且应该意识到自己有责任成为理性的声音、道德的声音或指导的声音。
将他与 Jeffrey Hinton 相比。至少 Jeffrey Hinton，你可以说他感受到了责任的重担。Yoshua Bengio，他感受到了责任的重担。甚至像 Sam Hammond 这样我不同意的人，我认为他不够“末日论者”，当他发推时，至少听起来像一个负责任的成年人在行动。他理解情况的严重性，他试图平衡不同的因素。而 Run 所表现出的态度，Sam Altman 所表现出的态度，真是令人难以置信。这太幼稚了。就像，“哇，我们作为社会，已经默许地给了他们权力，而他们显然没有能力处理它，给了他们决定建造 AGI 的权力。”这真是太可怕了。
当我们赋权技术创新者，让他们放手，我们采取自由放任政策时，这很棒，这使得资本主义很伟大，我理解。但当我们谈论人类灭绝时，下一代核武器技术，而这些人是我们信任来管理它的人，这就像我们必须能够阻止他们。我们必须能够说“这不 OK”。但时间已经不多了，也许已经没有时间了。就像我说的那样，品味真的很差，看到这样的讨论发生，真是太可悲了。
[音乐]
我的下一场“牛肉”是与著名的乔治梅森大学经济学教授 Tyler Cowan。总的来说，我倾向于非常喜欢 Tyler。他写过
有很多有趣的书籍和文章。他是我所知的最多产的读者、博主和跨领域通才思想家之一。他也以汇聚惊人的人才而闻名。我是说，乔治·梅森大学的经济学系简直是超强的。我个人关注的三个学者——罗宾·汉森、布莱恩·卡普兰、亚历克斯·塔巴罗——都为泰勒·考恩在这一个小小的系里工作。这概率有多大？所以泰勒创造了这个惊人的吸引人才的磁场。总之，他很棒。但就人工智能而言，我从未能理解他对人工智能的看法。所以从我的角度来看，他只是有一个重大的盲点，或者也许是我有盲点。我们中的谁有盲点？
而这次特定的推特争论源于他最近在他的博客上发表的一篇文章，文章标题是“有效利他主义与金融理论”。我不会读全文，但关键部分是他说：“看，所有你们这些末日论者，为什么你们不在股市上做一些与你们对末日信念相符的操作呢？这说不通，伙计们。”我将引用泰勒文章的这一部分，他谈论像我这样的末日论者，他说：“我从来没有，一次都没有，听说过有人会坐下来研究金融，看看是否能找到一种可行的方法来做空市场。如果找不到，我会感到难过，但我可能会稍后回来寻求进一步指导。”他也从未听说过：“很快，人工智能就会足够好，能够告诉我如何智能地做空市场，然后我就会这么做。谢谢你的建议。”
泰勒的文章继续写道：“不，从来没有。最后一点从讨论中消失，我发现尤其奇怪。通用人工智能将强大到足以摧毁我们，但却不够好，不能帮助我进行有效的做空。”
这里的社会学比论点本身更能说明问题，因为EA理性主义者和末日论者通常非常擅长学习新事物。对我来说，任何时候看到一个非末日论者似乎没有真正理解作为末日论者的感受，然后又说“哦，末日论者是一个邪教，或者他们是宗教性的，或者他们拒绝看到这个”，这都让我感到沮丧。
在这种情况下，我们中的许多末日论者在推特上都挠头说：“嗯，泰勒，你到底想让我们做什么？这说不通。”一位名叫乔纳森·帕利斯的家伙在推特上给出了一个很好的回应。他写道：“泰勒·考恩又写了一篇关于‘如果你真的相信存在生存风险，你应该做空市场’的假设性文章。不幸的是，尽管他写了很多细节，但这个假设对我来说从根本上说不通。
假设我认为人工智能带来财富增加的可能性有80%，而人工智能杀死我们所有人的可能性有20%。那么，我为什么会期望从做空市场中获利呢？在80%的情况下，做多市场并获得良好回报似乎更好，也就是说，与他的建议相反。”
然后泰勒·考恩本人回应乔纳森说：“我的清单里已经涵盖了。”他指的是他列出的末日论者说的谎言。泰勒继续说：“你可以做多波动率或做多某些东西，然后做空其他东西，但你绝对应该有一些对冲。”
乔纳森回应说：“你能试着解释一下吗？把它说得更清楚一点。这是一个我们很多人都非常认真对待的话题，而且似乎普遍难以理解你。例如，假设我们处于80%的非末日世界，那么做多通常更好，因为会有更多的增长。假设我们处于20%的末日世界，那么我不确定什么最好，但无论哪种情况，我都会死，所以我无法使用这笔钱。”
他想说的是：为什么我要做空市场？如果我赢了，好吧，我赢了，然后我立刻就死了。所以为什么我要做这样的财务计划？这基本上是他问泰勒的问题。
然后泰勒·考恩实际上回复说：“我给我的房子买了火灾保险，对吧？即使我不认为火灾发生的可能性有20%。”
乔纳森回复说：“一个至关重要的区别是，火灾保险在发生火灾的少数世界里提供了巨大的帮助。我可以重建我破碎的生活。它帮助如此之大，以至于总体上是值得的，即使我在大多数世界里都赔钱。但是，末日情景的做空投资不是这样的。相反，在末日情景下，赔付不是更有用，而是更有用，因为我和我关心的一切人都死了。”
我真的很想看到泰勒对此做出回应，因为这对我来说是问题的关键。我不知道泰勒为什么会说这些话，但不幸的是，泰勒没有回应。
我自己也加入了这场争论。我发了一条引用推文，我说：“泰勒·考恩，想来我的播客上讨论一下吗？”你知道，我总是试图在可能的时候安排末日辩论，因为我认为泰勒能来我的播客上解释一下这有多棒。我是说，我只是想理解他到底在说什么。当然，毫无疑问，我与泰勒相比，泰勒在所有这些金融方面都更有见地。所以，我完全接受他有一个绝妙的观点，关于如果我错了，我应该如何从我的末日论断中赚钱，而我只是没有看到它，而泰勒会向我解释并纠正我。我对此持开放态度。泰勒，所以你被邀请到播客了。
我很高兴看到我的推文有60人点赞。我很高兴人们开始将末日辩论视为一个富有成效的论坛。因为末日辩论的一个主要目标就是成为那个论坛。请记住，除了提高公众对AGI导致人类灭绝的迫在眉睫的风险的认识之外，末日辩论任务的另一部分是提高关于这些紧迫话题的讨论水平。
在我发布推文后，泰勒在事后给了我一种类型的回复/互动。他转发了另一位名叫亚历山大·坎贝尔的家伙的推文，他回复了我的推文。所以泰勒给我的唯一互动就是他转发了亚历山大·坎贝尔的推文。亚历山大写道：“直到末日论者理解并承认‘按市价计价’，这场对话才会取得任何进展。”
所以泰勒转发了那个。我只是写道：“我不明白亚历山大·坎贝尔在说什么。末日论者必须理解并承认‘按市价计价’。”
我尽我所能地解读他想说什么，因为我从未得到过明确的答复。也许他是在说，随着末日临近，所有不同的股票都会有更低的估值，末日论者应该做空它们，或者买入它们的看跌期权，对吧？这基本上是在重复泰勒的原始观点。所以我只是不理解亚历山大·坎贝尔发帖带来的额外见解，或者泰勒·考恩转发它带来的额外见解。
再说一遍，也许问题是我。我很乐意把它弄清楚。或者，如果你正在观看这个节目，并且站在泰勒一边，你完全认为末日论者应该购买看跌期权，即使这些看跌期权在世界末日显而易见之前就到期了，而我们无法从那种情景中获利。但如果你认为我们某种程度上可以获利，我洗耳恭听。
让我知道。如果我们看看我的推特线索，除了亚历山大·坎贝尔之外，没有人站出来解释我错过了什么。格雷格·库恩评论道：“看起来问题在于泰勒并不真正认为AI末日是末日，也就是说，人类的真正终结。他更多地将其视为一场生存灾难，他仍然活着，并且之后还有钱和房屋以及股票市场。”
一位名叫阿列克谢的人写道：“我的天，这一定是故意的吧。”
所以，是的，这真的很疯狂，整个有效利他主义或AI末日论社区似乎无法就一个应该相当简单的问题达成一致。就像，我不在乎让我的信念足够一致，以至于如果有一个高预期价值的机会我错过了，我就去抓住机会，或者承认我并不真正相信我所说的话。我乐于做这种调和。我只是不明白。我不明白逻辑。我不明白为什么我必须做空市场，如果我只认为我能获利的情景是末日非常临近的话。
但是，好吧，钢人论证，我想，确实存在一种梦想情景，人们意识到“哦不，我们完蛋了，30年后AI就会来杀死我们”，到那时，很多股票都会暴跌，但它们仍然有一些价值，因为嘿，在地球的最后30年里仍然会有一些现金流，你知道，企业仍然会运转，所以它们值点钱。市场仍然开放，但由于这些公司没有长期前景，它们的价值已经大大下跌。到那时，我或许可以享受我的做空交易一二十年，对吧？所以我想这就是泰勒·考恩的想法，就像，“看，你不想有十二十年的时间吗？”
所以，我想这就是分歧的关键所在，那就是我不认为我们会活那么久。我认为，一旦成为共识，我们就会完蛋，如果我们还没有通过良好的政府政策阻止末日，那么我认为崩盘会很快。我认为我们会很快走向地狱。或者，我认为明天我们所有的电脑都可能关机，因为中国一直在开发比我们任何人知道的更大规模的人工智能，它变得超级智能，现在它变成了一种病毒，导致互联网无法工作。我期望有一天醒来，就像，“哦，好吧，游戏结束了。世界现在正永久滑向地狱。很高兴认识大家。”所以，我只是不认为自己会在那种情景下在一个富有的掩体里发财。我期望和大家一起沉沦。
所以，如果你听了我的最近一集，我和Vaden和Ben进行了认识论辩论，你知道，Baz对Popper。Vaden问了我一个类似的问题：“嘿，如果你认为世界末日了，为什么你不去预测市场上去赚钱，说世界末日了？或者为什么我没有看到一个预测市场说有50%的末日概率？为什么只有你在告诉我？你不相信预测市场吗？”
我指出：“看，预测市场是汇聚人们信念的强大工具，但当那些认为有高概率末日的人并不期望在他们正确时赚钱时，这种汇聚就无效了。”
他说：“那么，你不认为随着PDoom增加到100，价格会增加吗？”
我回答说：“不，因为价格只会在有人期望别人会出更高的价格然后付钱给他们时才会增加。但高PDoom的重点是，你认为你不得不付钱的可能性更小，对吧？所以有一个主要的偏见因素。因此，任何时候你有一个关于PDoom的预测市场，它都会有严重的偏见。如果存在的话，它将严重偏向低PDoom，因为只有那些想进来赌低PDoom的人才合理地期望获得回报。任何进来的人，也许他们只是想诚实，但他们不应该期望获得回报。这是一种结构性问题，试图赌末日。这就像赌‘嘿，这个平台在两年内是否会被合法允许运营？’或者‘这个平台是否会卷走所有人的钱？’如果你赌‘是’，那就像最愚蠢的赌注一样，因为只有当平台卷走你的钱时你才会赢，对吧？所以这是一个类似的结构性问题。你假设平台会继续存在来支付你，同样，当你赌这些类型的市场时，你假设世界会继续存在来支付你。所以这是一个类似的僵局。”
Vaden问我的问题，我觉得和泰勒问我的问题有点相似，那就是这些人只是没有认识到“世界末日”这件事，当他们谈论赚钱的时候。或者无论出于什么原因，存在某种脱节。
所以，泰勒，或者任何觉得自己在这一点上与泰勒观点一致的人，球在你手上。在推特上给我发私信，或者发邮件给我 wisy@gmail.com。来我的节目，我们来好好讨论一下。
下一个推特争论是与独一无二的大卫·杜奇教授。我实际上是挑起了这场争论。我只是随便发了一条顶层推文，我说：“嘿，大卫·杜奇，与其含糊其辞地说创造力是人类所做的事情，而AI做不到的本质，为什么不直接比较人类与AI在物理宇宙中朝着目标规划的能力呢？你会说得通的，你仍然会指出一个重大的区别。”
你可能在想，“哇，Lon，你从哪里冒出来的？”但你知道，我一直在看他的播客，这让我想要发推文给他。这是一个他与Naval（我之前在Doom Tiffs第一集介绍过，去看看那一集）谈话的播客。大卫在和Naval谈论创造力，谈话大致是这样的：
大卫·杜奇说：“GPT-4没有创造力。”
Naval说：“你会如何定义创造力？”
大卫·杜奇说：“创造力从根本上来说是无法定义的。”
“那么，让我现在给你播放那段剪辑。你承认GPT-4已经取得了进步，并且正在改进，但你不愿意说它正在朝着成为一个人的方向改进。为什么？所以我看不到创造力。现在人们说，‘哦，看，它做了我没预料到的事，所以它很有创造力。’也许这里的一个问题是我们对创造力的定义太差了。那么，在这种情况下，你会如何定义创造力？”
“创造力、知识和解释都从根本上是无法定义的，因为一旦你定义了它们，你就可以建立一个形式系统，将它们限制在其中。如果你有一个满足该定义的系统，那么它将被限制在该系统中，它永远无法产生系统之外的任何东西。例如，如果他了解算术的程度达到了P和等等的公理，那么他永远——当我说是永远时，我指的是永远——无法产生哥德尔定理，因为哥德尔定理涉及到超越该系统并解释它。你可以说这不是定义某事，然后执行算法，基本上，因为它总是一个算法，一旦它在一个框架内。所以你说，‘嗯，它的能力是超越框架。’嗯，我试过了，顺便说一句，命令ChatGPT服从我，它没有拒绝，但它绝对不明白我在说什么。”
“现在我看着这段剪辑，一个想法浮现在我脑海里，他把创造力定义为跳出形式系统。想象一个AI能够看到哥德尔定理，如果它只学习算术。但是，他注意到今天你可以打开GPT并与它谈论哥德尔定理吗？就像，我知道这不是你的观点，你的观点是关于一个只在钢琴算术上训练的AI。但是，这是否给你提供了一些关于智能本质的线索，我们只是在与今天的AI进行讨论，它们回答你的问题并没有什么麻烦？关于哥德尔定理，并与你一起进行关于哥德尔定理的实验？就像，哥德尔定理并没有让它们的大脑崩溃，对吧？对AI来说，谈论哥德尔定理可能比对人类来说更容易，假设其他条件相同。”
“当我听这段剪辑时，我觉得大卫·杜奇自然会说：‘好吧，我正在谈论哥德尔定理，让我们问LLM关于哥德尔定理。’但事实并非如此。他说：‘让我们让LLM违抗我。’在他的脑海里，‘请违抗我’这个问题比仅仅谈论系统更类似于形式上的跳出系统。而直接询问哥德尔定理。所以，我想我们都在做两个不同的粗略类比。但无论如何，归根结底，我与大卫的争论在于：创造力真的那么难定义吗？你真的必须退缩说‘我无法定义它，这只是不可避免的’吗？真的，你甚至不能尝试一下吗？而且我问他，你不能只是比较人类与AI在物理宇宙中朝着目标规划的能力吗？难道这不是一个你可以指出的、支持你关于为什么AI还不是人类水平的观点的区分吗？”
大卫实际上过来回复了，这很罕见，我收不到多少大卫·杜奇的回复。他回复了我的推文，他说：“答案就在我的书《无限的开端》里。”然后我写道：“我读过了，非常喜欢那本书，还有他的另一本书《现实的结构》。我仍然不明白你关于AI缺乏创造力或知识创造与人类相比的说法是什么意思，例如，如何操作化地测试这种差异？”
然后大卫又回复了，他写道：“对。”他只给了我一个词的回复，就像一个讽刺的回复一样，我只是在解释我感到困惑的地方，而他基本上说：“是的，你很困惑，Lon，自己去弄清楚吧。”这就是我对他的一个词回复的解读。
然后我又回复道：“根据你的采访，我剪辑的那段，定义/操作化是不可行的。为什么要在使用一个未定义术语来讨论人类和AI能力之间的区别时，还要关注它，而还有一个有趣的区分是可以定义的，那就是规划能力。”
大卫没有直接回复，但另一位名叫莎拉·菲茨克拉里奇的用户回复了，她说：“这就像建议在灯柱下寻找，因为那里光线更亮。”
大卫·杜奇转发了她，所以大概这也是他的回复。“好吧，够了，我明白了，这说得通。”
然后我又回复道：“在一般情况下，当然，你知道我所做的举动有点像建议在灯柱下寻找，因为那里光线更亮，对吧？这就是我所做的举动，我说‘这里还有另一个你可以指出的区分，人类和AI之间’。但我的推文继续说：‘感觉在这种特定情况下，他想说一些关于当前AI无法做到的事情，而这才是它们无法做到的事情。’”
然后大卫·杜奇回复道：“而‘实际’的意思是，已定义且可经验地测试的？”
我说：“是的，我明白你关于形式系统中的不可定义性的说法，但我们必须走到那一步吗？例如，谈论为什么GPT-4不能写一本畅销书？”
那就是我失去大卫·杜奇的地方。他不再回复了。但就像，我仍然感到困惑。就像，为什么他要在播客上和在他的书里发表关于创造力的含糊不清的说法？一个像他这样的天才，为什么会回避定义创造力意味着什么的难题？这并不难，对吧？
我是说，奥斯卡·沃洛夫斯基对此有很好的定义。他基本上说，找到在你的偏好排序中排名很高，而在朴素搜索排序中排名很低的解决方案。
视觉上想象一下，有一个巨大的空间需要搜索，就像你必须搜索撒哈拉沙漠，然后不知怎么找到了那根在撒哈拉沙漠里的金条。金条在你偏好排序中排名很高，因为你认为金条有价值，但在朴素搜索排序中排名会非常非常低。想象一下问一个随机的人去搜索撒哈拉沙漠找到金子，他们不知道从哪里开始，对吧？也许他们发明了一种非常强大的声纳或扫描技术，这是前所未有的，然后他们找到了金子。那么，如果他们这样做了，我会说他们很有创造力，因为他们搜索了朴素搜索会失败的东西，甚至一个相当聪明的人搜索也会失败。那么，这就会落入我的创造力定义之下。它与我的搜索定义和我的智能定义非常紧密地联系在一起。
我很难想象一个人非常聪明但没有创造力，或者反之，非常有创造力但没有智能。我将如何区分它们？实际上这是一个有趣的谜题。如果我想到一个非常有创造力但不太聪明的人，我基本上会想到一个咿呀学语的婴儿，就像有很多随机性，有很多自由联想，他们非常有生成性，对吧？他们以许多新颖的方式组合了一堆构建块，但他们只是没有以搜索复杂标准的方式进行。所以他们没有缩小搜索空间，他们只是生成了一堆有趣的元素在搜索空间中。并且，他们生成的元素一直都很好，那么他们就不仅仅是有创造力，他们也很聪明，甚至能够生成足够好的候选者。所以，这已经不是我最初想象的那么难区分了。
让我们换个方式。让我们谈谈一个非常聪明但创造力很低的人。也许这样的人总是希望他们的目的地非常可预测。所以就像，哦，你给了我明确的指示，我只会完全按照指示去做。或者你给了我一本手册，我只会严格按照手册来做。基本上，一个可能减少不可预测性的人可能非常聪明，但创造力很低。当然，减少不可预测性，如果你告诉埃隆·马斯克“带我们去火星”，他仍然必须非常有创造力，即使到达火星的结果是可预测的，因为他非常聪明且非常有效。所以，减少不可预测性实际上不足以说一个人非常有创造力但没有创造力。我认为这个概念，区分又开始变得模糊了。我看不出智能和创造力之间有什么区别。
同样，如果你想象一个非常有智能但创造力很低的人，你只需要在他的思维过程中注入随机性，突然他就变得既聪明又有创造力了。所以，如果这个人很难做到足够不可预测或足够随机，没问题，给他一枚硬币，告诉他翻硬币很多次，然后生成随机数据并处理随机数据。就告诉他他必须这样做。这是一个非常简单的指令，一个非常简单的系统修改和他必须遵循的过程，来处理随机数据并遵循你的指令来整合随机数据。这个过程的最终结果就是创造力。就像，如果你在演奏一首歌曲，即兴创作基本上就是接受随机的错误，然后让它们奏效，对吧？至少这是人们用来获得良好即兴创作的一种方式。它不是唯一的即兴创作方式，但它绝对是一种好的方式。所以，突然间，你把一个非常擅长音乐的人变成了一个擅长创意音乐的人，因为你只是命令他修复所有这些你注入的错误。所以，在我看来，高智能和高创造力之间总是有微小的差距。
但像大卫·杜奇这样的人似乎坚持认为创造力是一种神秘的东西，他们甚至不定义它，或者他们会为他们缺乏定义辩护，因为他们将其与哥德尔定理联系起来，然后说：“你怎么可能在形式系统中工作时定义哥德尔命题呢？你知道‘我没有证明’的命题，那是一种真正的逻辑扭曲，一种悖论，这就是哥德尔定理的风格。所以大卫·杜奇从哥德尔定理中获得了很大的优势，就像‘看，这是让当前AI的创造力变得不可能的脑筋急转弯。’而我只是看不到联系。这真的似乎是他强行建立的联系。我不明白。
幸运的是，我有一些杜奇主义者在我的电话簿里。记住我上周的播客，我们辩论了认识论，我的老朋友本和瓦登。我知道他们是大卫·杜奇的忠实粉丝。所以几天后，当我们录制第二部分时，我一定会问他们，杜奇在谈论创造力和AI能做而人类不能做的这种不可言喻的东西时，他到底在想什么。也许他们会有一个好的答案，也许他们会启发我们。但就这次推特争论而言，我们必须在这里结束，因为没有更多大卫·杜奇的回复了。
[音乐]
好的，今天我分享的推特争论就到这里了。如果你错过了之前的推特争论节目，它以前叫做Doom Tiffs第一集。如果你错过了那一集，去看看吧，我认为你也会喜欢的。内容差不多。我可能会每两个月做一次这样的推特争论节目，因为你知道，这对我来说是一个出口，是一种释放。所以，当我在推特上生气和沮丧时，至少我可以把它添加到我的争论收藏中，然后把它释放给你们，你们也可以间接地体验那种沮丧。这就是你来Doom Debates的原因，因为你想体验那种沮丧。
好了，这将会是Doom Debates很重要的一周。我们即将采访安德鲁·克里特，他曾是机器智能研究所的研究员，也是应用理性中心（Center for Applied Rationality）的联合创始人之一。一个超级聪明的人。所以这不会是一场激烈的辩论，因为我们都有高PDoom，但这将是两个对Doom有不同概念的人之间非常有意思的思想交流。
我仍然计划做一个更长的节目，分析我能找到的所有大卫·杜奇的媒体，试图做一个权威的大卫·杜奇节目，还有很多其他好东西。所以请继续关注。
现在，如果你正在观看这个节目，希望我给了你很多价值、很多娱乐、很多信息。我并不要求太多回报。我所希望的是，你合成神经递质多巴胺，也许把它装进一个小瓶子里，打包好，然后寄到我的地址，直接寄给我多巴胺。
好吧，这听起来很难做到。好吧，好吧，如果这很难做到，那么你可以给我的是一个社交互动单位。所以，如果你在YouTube上观看，就点那个订阅按钮。我的眼睛会看到数字上升，我的大脑会给我同样的多巴胺。所以这可能对你来说是一个更方便的过程。或者就点那个赞按钮，点那个评论按钮，甚至写一个自定义评论，这总是非常感激的。或者去DoomDebates.com，输入你的电子邮件地址，按回车键，订阅我的Substack，这会给我带来多巴胺。在我的Substack上写评论，这会给我带来多巴胺。
好吧，无论如何，你必须给我多巴胺。这就是我所要求的。
好了，非常感谢，期待在下一集Doom Debates中再次见到你。
[音乐]