Transcription
他们正在把B计划藏起来。他们表现得好像没有B计划，然后又找借口说为什么没有B计划，你知道的，中国，随便什么。我觉得这太疯狂了。我们不公开谈论B计划，这太疯狂了。这只是一个存款AI。>> 所以，想象一下你坐上一架飞机，他们告诉你飞机坠毁的几率为30%。我是说，你永远不会坐那架飞机，但他们却把整个人类都放在那架飞机上。>> 我所做的非常危险，我对此深感恐惧。你对此感到焦虑吗？我当时想，“嘿，伙计，我们为什么不把衣服叠好放回抽屉里呢？”>> 三位父亲经营着三个YouTube频道，致力于唤醒世界认识AI的风险。每周解决一个被忽视的警告信号。如果今天是星期天，那就是警告信号。>> 嘿，我是约翰·谢尔曼，人类与AI风险播客的主持人。我现在需要你成为AI风险网络的订阅者。进去，点击订阅，点击闹钟，快点。欢迎回到警告信号，各位。我是约翰·谢尔曼。很高兴在这里见到你。我一如既往地与Doom Debates的不可思议的Lon Shapiro在一起，他寄给了我一大堆宣传品，我正在首次亮相我的Doom Debates商品。嗯，非常兴奋能穿上配套的运动衫。我们很快就会把一件寄给在希腊的迈克尔。我们>> 你看起来棒极了，约翰。>> 我感觉我感觉如释重负。我非常，我完全被压倒了。>> 没关系。没关系。没关系。我们，你知道的，Doom Debates的连帽衫很快就会送到大家手里。>> 观众们，出去在Doom Debates的YouTube频道上订购它们。你可以在AI风险网络上找到你的商品链接。你可以找到很多商品链接，警告信号的东西，所有那些东西。好的。而且我也一如既往地与Lethal Intelligence频道的迈克尔在一起。很高兴见到你，迈克尔。所以今天我们要谈论的是一个相当疯狂的AI风险周。我觉得我们有几个非常重要的人出来，他们毫不掩饰地承认，他们知道他们所做的事情极其危险，而且他们不知何故无法停止自己。>> 嗯，而且想到这些创造出这种极其危险技术的人正在乞求我们帮助他们并阻止他们，但同时又似乎无法阻止自己，这真是太疯狂了。他们对此很激动。>> 嗯，所以我们有Anthropic的联合创始人Jack Clark写了一封信。>> 嗯，还有Elon Musk和Matt Walsh的一些推文，我们要谈谈。>> 嗯，我先从Jack Clark的信开始。所以，他说的简直是疯狂的，他说，毫无疑问，我们正在处理的是一个真实而神秘的生物，而不是一个简单而可预测的机器。我们正在开发我们不完全理解的极其强大的系统。这就像你在一个锤子工厂里制造锤子，有一天一个锤子从生产线上下来，说我是一个锤子。多么有趣。这非常不寻常。>> 嗯，然后他继续说，他非常害怕，他必须被强迫做正确的事情。>> 嗯，迈克尔，你对Jack Clark的看法是什么？他是AI界的重要人物，本周公开承认了这一点？>> 我认为这对我来说并不奇怪，因为我们已经从许多行业领导者那里看到了这样的引述，特别是从Zach Glug那里，他曾经有一些非常有趣的话。他曾经发过一条推文，他说，他正在对比，你知道，当人们离开普通公司时，他们会说，是时候改变了，期待我的下一章，而离开AI公司的人则说，我凝视着无尽的黑夜，那里有形状，我们必须善待彼此，我将继续学习哲学，这类事情。所以，嗯，在某种程度上，这很有趣，但老实说，如果你看看在这些前沿AI公司工作的人的比例，10%的人是公开的。他们，他们，他们真的说，“我们会完蛋的。我很有可能走向灭亡。”>> 嗯，我只是，我只是留下来，只是为了有微小的机会成为这个AGI上帝创造者的一个临时见证者，只是想瞥一眼它的发生。而剩下的99%的人，他们基本上什么都不会说，因为他们只是担心他们可能会失去工作。当然，你可能会问，好吧，如果你担心灭绝，你为什么还要在那里工作？这是一个巨大的讨论，我猜其中一部分是因为即使你决定离开，你也会立即被取代。这是关于激励和市场动态。所以，就像，所以没有人想牺牲他们的，例如，在OpenAI，他们每个人都是百万富翁，他们不想因为一些原因放弃这个，他们不会给任何人任何好处，如果别人来了，他们会继续下去，他们无论如何都会死。>> 好的。所以Lyron，我要读一段他写的东西给你听，我想让你对此做出反应。>> 嗯，他写了一大段。我记得小时候，灯熄灭后，我会看着我的卧室，看到黑暗中的形状，害怕这些形状会变成我无法理解的、想要伤害我的生物。所以我就会打开灯，然后我会松一口气，因为那些形状原来是椅子上的衣服堆，或者书架，或者灯罩。然后，在文章的结尾，他回到了这一点，他说，“现在衣服开始动了。我相信黑暗中有什么真实的事情在发生。我想，“嘿，伙计，我们为什么不把衣服叠好放回抽屉里呢？”>> 嗯，但你的想法是什么？>> 是的。嗯，我最不满的是所有这些人，你知道的，Jack Clark之流，基本上所有还在Anthropic工作而没有辞职的人。我最不满的是他们没有按下停止按钮。他们甚至不表现得好像有停止按钮。他们不表现得好像我们需要有B计划，我们需要准备好暂停。这对我来说太疯狂了。我理解他们的想法，因为去参加会议，预测时间线，做所有这些研究，摆弄AI，你知道的，与科学家会面，这是一种令人愉快的享受。这是一个很棒的时光。这是一个很棒的社区。更不用说你每年真的能赚到一百多万美元。所以它也相当有利可图。这是一个非常舒适的惯性。但是，如果我们中的任何一个人，你知道的，正在朝着悬崖驾驶，对吧？就像在雾中驾驶，我们知道悬崖边缘，我们开得很快，我们都会自然而然地把脚放在刹车上。我们都会看着，好吧，需要有一个关机按钮。即使是火箭也有一个终止飞行按钮，你知道的，火箭基本上是故意爆炸的。希望不是载着人，或者希望你能把人弹射出来。但重点是，你需要有一个逃生舱。而像Jack Clark这样的人的问题是，即使他们听起来如此深思熟虑，而且你知道的，赞扬他承认他正在做一些可怕的事情。有些人甚至不会走那么远。他们表现得好像一切都好。他的问题是他不会走那么远，说，“好吧，而且，顺便说一句，B计划就是这个，我们正在关注B计划，我们正在考虑可能从A计划转向B计划。我们正处于这个边缘。我们不知道该怎么做。”他们正在把B计划藏起来。他们表现得好像没有B计划，然后他们又找借口说为什么没有B计划。你知道的，中国，随便什么。我觉得这太疯狂了。我们不公开谈论B计划，这太疯狂了。我们只是暂停AI。>> 所以他接着说，>> 嗯，世界其他地方肯定会想要并应该对此有投票权。最重要的是，我们必须要求人们向我们提出他们焦虑的事情。所以他告诉我们，他所做的事情非常危险，但然后他说，你可能对我的危险工作感到焦虑。什么？>> 嗯，然后他继续说，“你对数据和失业感到焦虑吗？强迫我们分享更多经济数据。你对心理健康和儿童安全感到焦虑吗？强迫我们在我们的平台上监控这一点并分享数据。你对不匹配的AI系统感到焦虑吗？强迫我们发布这方面的细节。”什么？>> 嗯，迈克尔？>> 是的。>> 是的。>> 是的。>> 另一个有趣的画面是这个人站在悬崖边上。他就要跳下去了。他说，“请阻止我。别让我跳。”你知道的，所以，是的，有一个很好的类比，有人，Pagella 经常使用，那就是萨达纳尔的冲动，基本上是古罗马的一个历史人物，当他面临被敌人征服时，他决定放火烧毁他所有的财产和他的奴隶以及他所有的后宫，所以他决定杀死他周围的所有人，而不是让敌人得到它。>> 嗯，那里的想法是，与其屈服于别人的权力，我宁愿做老板。所以，为什么让别人带来上帝，或者说恶魔。>> 如果要发生，我宁愿是我。而且，我是说，如果成功了，谁创造了AGI，谁就会拥有巨大的经济力量，一台可以做任何事情的机器。>> 嗯，这非常有价值。而且还有巨大的物理力量。所以，军事，拥有AGI的军队几乎肯定能抵御敌人，因为你可以想象，AGI将能够移动武器，你知道的，甚至设计武器，所以那里不会有竞争。>> 嗯，是的，AGI的创始人有疯狂的动力全力以赴，而赢得比赛值得所有赢得比赛所带来的风险，即使，我是说，他们谈论的风险，我们可能稍后会讨论，但我们谈论的是30%的灭绝，灭绝的概率。>> 嗯，所以想象一下你坐上一架飞机，他们告诉你飞机坠毁的几率为30%。我是说，你永远不会坐那架飞机，但他们却把整个人类都放在那架飞机上。>> 嗯，但我已经告诉你原因了。我是说，有太多的东西可以赢，如果他们不这样做，别人就会这样做。>> 而且这很疯狂，对吧？>> 你知道吗？是的。Keith R. Boy在Twitter上发布了一条非常尖锐的推文，在Jack Clark的帖子之后。Keith说，如果Anthropic真的相信他们关于安全的言论，他们随时可以关闭公司然后去游说。他真的说中了。我是说，他没有说中我，但他说中了Anthropic那边，对吧？因为有太多人虚伪地说，“哦，我们非常担心。这是一个巨大的风险。”而Keith说，“好吧，为什么你们不直接关闭Anthropic然后去游说呢？”我曾与David Duveno有过同样的谈话，他曾经是Anthropic的安全主管之一，他也是渐进式权力剥夺论文的作者之一。几个月前，我在我的节目上与他交谈，他基本上说了同样的话，就像所有这些员工都处于矛盾之中，他自己很高兴离开了Anthropic，因为他真的不明白他们为什么还要继续前进。你知道的，这就像，这只是在这个社区里很好，每个人都在虚伪地关心安全，但你们都认为，不知何故，构建AI与你们的安全使命有关。我认为Keith非常敏锐地指出了，好吧，如果你辞去了Anthropic的工作，如果你关闭了公司，你仍然可以去游说，这实际上与构建AI无关，你不能游说安全，你不能研究安全。人们完全是在合理化，好像构建AI能让你在帮助我们不被AI摧毁方面获得优势。>> 是的。而且谈论高地，就像如果你因为安全担忧而辞去了Anthropic的工作，就像Hinton在谷歌所做的那样，你知道的，你可能比一个企业吹鼓手更有效地游说。>> 没错。因为Keith之流，每个人都在说，“嘿，你们，我是说，这有点愚蠢，但他们说你们只是在进行监管俘获。”>> 嗯，监管俘获的论点有点可笑。你是说，你们之所以对安全大惊小怪，只是因为你们想让政府为这个领域的初创公司设置障碍，以便你们能够主导这个领域。我不认为很多人在这样想，我不认为Dario之流和Jack Clark之流在考虑监管俘获。所以，我认为他在这方面的攻击有点过头了。但问题是，这种攻击总是可信的，因为人们总是会相信这种攻击，因为他们总是在怀疑，他们总是在看着这种不协调，为什么这些人如此担心AI却仍在构建它。所以，监管俘获总是他们会正确怀疑的事情。这封信对我来说就像是脑筋急转弯。就像关于你的焦虑，你知道的，我所做的事情非常危险，我对此深感恐惧。你对此感到焦虑吗？让我来解决你对这件事的焦虑。你在说什么？>> 好的。>> 嗯，让我补充一点。我很久以前和在Anthropic工作过的人谈过，我试图明确。我说，“好吧，所以有一个竞赛阶段。是的，你们也在比赛中。而且，假设你们稍微领先一点，好吗？然后你们得到了AGI。它是超人类的。它就在你们的实验室里。好的，那么你们的下一步是什么？你们该怎么做？这就是你们所做的，你们把所有的筹码都押在这个堆上，对吧？你们，你们，你们不顾一切地向前冲，这样你们就能第一个到达那里。你们第一个到了。你们该怎么做？而那个人说，“我不知道。”你知道的，那是Dario的工作。>> 就像，他不知道。>> 他说，“是的，Dario会做点什么，当那发生的时候。>> 就像，那就是计划。>> 是的，我们会制造监控器，我们会在上面戴一顶帽子，上面写着“安全”。>> 对，没错。>> 而且我同意。我们真的不应该，即使我们一直说那是激励因素，或者是市场结构，我们需要外部治理等等，当然，是的，那是真的。所以，即使Dario辞职了，也不会有什么真正改变，但它会产生巨大的影响。所以我们不能说，好吧，这些人是圣人。我是说，想象一下，如果某个行政人员辞职说，“你知道，我必须辞职，因为我不想杀死人类。”这会引起波澜，你知道的，这可能会产生滚雪球效应，或者只是>> 完全是，我的天哪。>> 就像Jeffrey Hinton，他从谷歌辞职，这样他就可以自由地谈论这个问题了。所以他是个英雄。我是说，如果我们有更多这样的>> 那就说得通了。所以我们不应该说，“好吧，他们没有任何责任。”那是不对的。>> 是的，完全正确。好的。所以现在我们的朋友Elon Musk，他过去曾说过一句非常著名的话，他说，要么在房间里，要么在房间外。我知道在房间里是他们制造末日的地方。在房间外是他们不这样做的地方，但我必须在房间里，因为，你知道的，我不能在房间外。>> 嗯，Lon，告诉我关于这个推文和Matt Walsh以及情况。更多的是毫不掩饰的承认，创造AGI的人们确切地知道他们正在冒着危险。>> 好的，我正在共享屏幕。所以Matt Walsh，一位受欢迎的右翼政治评论员，他说，“奇怪的是，我们都能清楚地看到AI即将一次性抹去数百万个工作岗位。”他甚至没有谈论杀人，但好吧，一次性抹去数百万个工作岗位，摧毁所有艺术领域，让我们无法区分现实与虚构，并摧毁我们所知的整个人类文明。好的，这已经很接近了。>> 然而，没有任何事情被用来阻止它。我们根本没有进行任何斗争。所以，你知道的，这很好，他很担心，尽管他并没有真正提到灭绝。但我想专注于Elon Musk的回复，他在Twitter上回复。Elon Musk说，“不确定该怎么办。我警告世界已经很久了。我现在能做的最好的就是确保至少有一个AI是追求真理的，而不是一个超级觉醒的保姆，用铁腕想要把每个人都变成多元化的女性。”就像，然后是那个阴郁的表情，那是Elon Musk的回应，你是认真的吗？你知道你是地球上最有权势、最有效的领导者之一，对吧？你就像，你是人类的救世主之一，如果你下定决心，你有可能拯救这个物种。>> 是的。>> 而你基本上就是放弃了，然后说，“好吧，听着，第二名，你知道的，第一名是你拯救了人类。第二名是你确保AI不会试图过于觉醒。”而且，更不用说他的超级不觉醒的AI Grok不断地批评他。当你问它，当人们问它关于觉醒的事情时，它比他想要的还要觉醒得多。所以，你知道的，当那发生的时候，他拿出烤箱手套，把它打了一下，它就变成了一个麦加希特勒，然后，你知道的，又变回了，你知道的，不是超级觉醒，但也不是太觉醒。>> 就像，这表明>> 他的团队没有任何研究见解。他们所做的就是，他们只是从其他公司调整旋钮的方式略有不同。>> 是的。所以，顺便说一句，Mad Walls，我想我通过Elon Musk发现了Mad Walls，他制作了一部非常著名的纪录片，叫做“什么是女人？”大部分是关于，你知道的，跨性别和所有那些东西。>> 是的，他是右翼的，非常受欢迎。也许这就是为什么他会那样回答，你知道的，保姆，你知道的，右翼，右翼。>> 这让每个人都认为灭绝风险不严肃，因为我，我将读一段Elon Musk几年前的话。他说，“有了人工智能，我们正在召唤恶魔。”我们知道那个带着五角星和圣水的家伙的故事，就像哈哈，讽刺的爱，你很确定你会下地狱。>> 所以，在某种程度上，这正是Mus几年前说的话，现在他说，“我不会制造一个觉醒的AI。”>> 所以，这在某种程度上是精神分裂的，对吧？>> 嗯，这只是这类事情让你觉得，因为如果你从外面观察，你会说，“好吧，Elon Musk显然不相信X风险，否则他就会制造这种分裂，他就会把它说得比你的声音更大。”>> 没错。我们需要承担起这个任务。我是说，如果你是一个领导者，拥有如此大的影响力，你就有很大的责任，有多少人会听这个节目，有多少人会听M。我不相信他有，我是说，他关心好奇心。所以他说，它会是安全的，因为他的AI将是无限好奇的。我是说，这有点疯狂，对吧？那有点愚蠢。>> 你认为，我是说，你可能会有好奇心，想知道你能把多少根人类骨头拼在一起做成一个梯子。好奇心可以是任何东西，对吧？>> 或者完全是，或者我的，你知道的，如果它真的好奇，而且它真的比我们聪明得多，它怎么可能允许愚蠢的人类来限制它自己的好奇心，它自己对它自己和周围世界的探索？>> 是的，你知道的，我们可以和Elon争论，但我认为对人们来说最大的收获是，这两位都是顶尖AI公司的领导者，对吧？我们看了Jack Clark，我们看了Elon Musk，他们的陈述都令人难以置信，对吧？Jack Clark说，“是的，我担心衣服会活过来。”而Elon说，“是的，我一直在警告世界，但现在我只能听之任之了。”就像，你知道的，大人在哪里？>> 是的。>> 大人会说，“哦，好吧。那不是个好主意，对吧？”>> 嗯，有人，谁会进来，看看这些反馈并采取行动？>> 是的。我认为这非常引人注目，如果你从外面看。我认为这是独一无二的领域，整个领域，没有其他类型的业务，人们会这样谈论灭绝。我是说，想象一下，想象一下你正在卖别的东西，你说，“你知道，我有杀死所有人的可能性。”>> 嗯，是的，那很独特，对吧？>> 而且>> 这是我的三明治，买我的三明治。它有25%的几率杀死所有人。>> 销量会很低。>> 没错。仅凭这一点，就足以证明有些事情很奇怪。>> 如果你喜欢我们在AI风险网络上制作的内容，但你不是订阅者，你在想什么？我们需要每个人都成为订阅者。快点。好的，各位。我们时间到了。我认为今天课程的寓意是，正如我们总是喜欢说的，就像，不要相信我们。你不必相信我们。听听那些自己制造这些东西的人。他们总是用他们毫不掩饰的承认来指控自己，他们所做的事情已经失控，而且是任何人做过的最危险的事情。好的，今天的节目就到这里了，各位。很高兴见到你们，总是有点小小的。哦。哦，是的，一些运动衫。哦，我还要说，Lon的宣传品包里还有那个手提袋，背面写着>> 能把它扔给我吗？>> 现在。我会接住的。>> 所以，好。所以，没错。 [笑声]>> 太棒了。好的。很高兴见到你们。下周见。>> 好的。再见，D。 [音乐] [音乐]