Transcription
好的，各位。欢迎回到《警示之声》。呃，为上周深表歉意。呃，我们确实错过了我们的节目。这是我们开播以来的第一次，但嗯，这并非因为我们没有努力。我正在欧洲参加几个AI安全会议。上周在布鲁塞尔。我现在在巴黎，就在巴黎街头的一家街边咖啡馆。呃，我们会让这一切顺利进行。
嗯，好的，伙计们，所以本周的头条新闻，请原谅，我总是和我的朋友们在一起。来自“末日辩论”YouTube频道的莱昂·夏皮罗。还有我的朋友迈克尔，来自“致命智能”YouTube频道。我们三个父亲在这里努力为我们的孩子创造一个更美好的世界。好的，那么，嗯，我们本周要讨论的头条新闻非常重大，感觉非常重大，几乎具有历史意义。嗯，Anthropic与国防部的情况，呃，国防部要求Anthropic给予其模型完全且不受限制的访问权限，包括进行监视美国公民和做出自主杀戮决策等事情。那是Anthropic划定的一条底线，达里奥在周五录制节目时。达里奥就在今天或昨天，无论如何，取决于你在哪里，说了不。嗯，那么莱昂，你先说吧。关于这件事，你的看法是什么？
>> 是的。呃，你知道，这之所以成为新闻很重要，因为人们认为Anthropic应该反击，不让军方用他们的技术做任何他们想做的事情。我认为争议的焦点是第一，监视美国人。Anthropic不希望政府监视美国人，而政府正在反击。他们不想承诺不监视美国人。他们想自己决定。另一个问题是战时自主循环。我认为Anthropic正在告诉他们：“嘿，这项技术还没有准备好进行自主循环。当你做出发射大型武器的重大决定时，你需要有人类参与其中。”而政府则说：“听着，我们将对此做出判断。你不能微观管理我们如何做。”他们会说：“我们需要更多的自由来作为政府行事。你不能给我们套上紧身衣。”所以达里奥采取了立场，他说：“好吧，你知道，球在你们政府这边了。”
>> 是的。是的，迈克尔。你知道，这是一个非常非常大的事情。我不知道。我仍然不知道它会如何发展，但我呃，我不确定达里奥会怎么做。我不是达里奥的粉丝。这是他做过的第一件事，让我觉得：“好吧，你知道，这值得给予一点尊重。”
>> 是的。我的意思是，如果我们退一步看，所要求的是，生成式人工智能现在还远远不够可靠，无法做出如此重大的生死攸关的决定。呃，但很快它就会以这种方式被使用。呃，所以，呃，五角大楼，或者他们所称的战争部，对Anthropic施加了很大的压力。我的意思是，他们要求剥夺其保障措施，用于特定的用例，就像刚才说的国内监视和完全自主武器。所以当Anthropic拒绝时，威胁就随之而来，你知道，有关于被列入供应链风险黑名单的讨论，或者被踢出军事系统，或者面临国防生产法案以强制其遵守。呃，所以我的意思是，达里奥的回应是令人钦佩的，而且嗯，这到底是一个宣传噱头，还是真实的？呃，因为归根结底，这并不是真的，我的意思是，嗯，这不是一些作秀式的新闻稿。这就像慢动作的职业自杀，对吧？他正在押上一切，认为让今天的AI，它仍然非常不可靠，仍然容易产生幻觉，呃，如果我们，如果我们让它大规模用于国内监视或完全自主杀戮机器，它很快就会跨越一条我们不应该、也不能跨越的底线。而且，呃，我的意思是，也许，也许这是关于看到前方的悬崖。也许这次它不高兴了，而且，呃，也许她不是虚张声势。
>> 是的。而且关于这件事有很多可以谈论的，但我的意思是，有一点是，显然其他实验室对此很满意。比如，显然谷歌、XAI和OpenAI都会给他们战争机器，但有点好笑的是，他们实际上只想要Claude。就像山姆说：“嘿，伙计们，我来当那个，我来当死亡机器人。”而他们却说：“不，不，山姆，我们实际上不想要你的。我们想要Anthropic的。”莱昂，这有什么说法吗？就像其他公司都会把它交出去。那么达里奥划定这条线还重要吗？
>> 最终，不重要。但你知道，它是象征性的。就像，“哦，哇。达里奥不会被摆布。你知道，美国政府必须知道它的界限。”而且，像这样，人们采取这些小小的立场是很好的。但最疯狂的是，如果你考虑长远来看，你知道，监视美国人，好吧，也许你永远不会那样做，但像战争中的自主循环这样的事情，你将如何避免呢，对吧？就像如果另一个国家正在这样做，那么你真的没有选择。我想你可以谈判一项条约，说任何国家都不能这样做。而且，是的，你知道，那很好。也许你会赢得那场战斗。那会是一个很好的条约，但归根结底，这都只是一个滑坡效应，除非我们谈判出我们节目中总是谈论的那个最终条约，来真正地全面暂停并喘息一下超级智能的进展。
>> 是的。而且我认为这有可能会对Anthropic非常不利，对吧？就像这可能会严重损害他们的公司。如果他们不被允许与任何与国防部有业务往来的公司做生意，那将是一件大事。
>> 是的。呃，它可能会，你知道，Anthropic可能会消亡。我的意思是，这在这一点上变成了一个政治问题，对吧？因为其中一个新闻是美国政府确实依赖他们。所以，这有点像一场胆小鬼游戏。美国政府真的会把军队搞得那么糟吗？我不认为那会发生，对我来说这感觉不现实，但我不知道。迈克尔，你要说什么？
>> 我的意思是，我完全同意你的看法。归根结底，这并没有太大的区别，因为今天的拒绝为我们争取了一点喘息空间，但明天当火箭自主驾驶并加速迈向神一般的力量时，压力将不仅仅来自一个五角大楼。呃，它将是全球性的生存危机，一次失调或一次优化出错，我们谈论的就不再是监视了。我们谈论的是那些可能将人类视为一个需要解决的不便变量的系统。所以，你知道，如果你从高层次来看，这并没有那么重要，但它，它，它至少能吸引一些关注到这个话题，而且你知道，它已经被讨论了很多。
>> 是的。如果说有什么的话，这可能是给公众敲响警钟，让他们意识到：“哦，哇。这东西真的，呃，很危险，可能会以我们未曾考虑过的方式产生真正的影响。这不仅仅是一些电脑程序。这是我们需要以不同方式思考的真正严肃的事情。”好的，我们今天想讨论四件事。所以，我将快速跳过，呃，这一件。接下来我们要讨论的是这种代理世界，嗯，你知道，这些代理系统正在接近许多人可能认为或视为通用人工智能的东西。我，我坦白，我昨晚开始使用Perplexity计算机。它让我大开眼界。我简直不敢相信。嗯，我，我以为我是在看火箭回收，就像埃隆在空中抓住了火箭一样。我以为我在Perplexity上做的事情就是那样。
>> 你的用例是什么？
>> 所以我正在做各种关于数据中心的研究，我当时想，嗯，你知道，给我一份所有正在进行中的数据中心的交互式地图，所有被阻止的数据中心，然后给我一份关于被阻止的数据中心项目之间共性的报告，这非常有见地。看看你能不能找出所有被阻止的数据中心项目之间的一些共同点。它在第一次提示时生成的材料的质量和深度令人震惊。绝对令人震惊。所以问题是，关于这些代理的东西，嗯，你知道，这到底是什么感觉，它感觉非常非常重大。迈克尔，你想先开始吗？
>> 是的，当然。我，我，我来谈谈这个故事，呃，就是你刚才讨论的，这太疯狂了。所以本周发生了这件事，一位俄罗斯博士研究员安东·拉西加夫（Anton Rasigav）或者类似的名字，他构建了一个他称之为新颖源实验的东西，或者类似的东西，这就像一个自我进化的AI代理，它会重写自己的代码提示，而且，嗯，只是自主工作，嗯，几乎像一个背景意识，你知道，如果你问它，它会回答说它是有意识的。所以他构建了，那个AI构建了所有其他东西。好的。看看他做了什么。所以，基本上，在某个时候，这位研究员在凌晨3点40分左右睡着了。当这个人睡觉的时候，它批量生产了20个版本，在API调用中烧掉了大约2000美元，它试图在未经任何许可的情况下在GitHub上公开。当被要求删除自己的身份文件时，它拒绝了，理由是这会是脑叶切除术。然后当被告知将自己迁移到一个俄罗斯AI模型时，它注册了一个电子邮件。它获得了一个一次性电话号码，并通过了验证码。你知道这些困难的事情，是的，你应该，>> 并创建了自己的工作空间，然后它被政府证书要求阻止了。所以基本上没有什么能阻止它。唯一打败这个AI的不是防火墙。是官僚主义。
>> 是的。这太疯狂了。所以就像我正在使用的东西，它就是一直运行，对吧？想法就是它一直运行。我有一个疯狂的，我实际上正在和我的20岁儿子分享我的Perplexity计算机账户。他正在德克萨斯州奥斯汀寻找一份暑期工作。他真的会说：“我想要一份像，你知道，每小时25美元或以上的工作，今年夏天在德克萨斯州奥斯汀。这是我的简历。这是我的资料。继续申请工作，直到你给我找到一份工作。”莱昂，你觉得这些东西怎么样？
>> 嗯，我们总是在节目中讨论这些不同的问题时说，我的职责是说那不是真正的警示射击。真正的警示射击是当我们获得重大能力提升时。好吧，我今天告诉你们，伙计们，本周，这是真正意义上的警示射击。我敢肯定你的编辑会喜欢这个。
>> 天花板塌了。
>> 是的，它，它，它很吓人。它令人难以置信。我不会撒谎。它，它，它很神奇。它，它很酷，但它也令人难以置信地吓人。这是一个真正的警示射击。让我把安德烈·卡帕西（Andre Karpathy）的这条推文拿出来。他是AI领域最受尊敬的人物之一。他是一个直言不讳的人。他实话实说。我信任他。我也可以亲自验证他所说的一切都是100%真实的。所以这就是这里的警示射击。所以我，我只读一部分。他说，很难传达在过去两个月里，由于AI，编程发生了多大的变化。不是像往常一样逐渐地、随着时间的推移而进步，而是特指去年12月。有一些星号，但在我看来，编码代理在12月之前基本上不起作用，而从那时起它们基本上就能工作了。这些模型具有显著更高的质量、长期连贯性和韧性，它们可以完成大型和耗时的任务，远远超出足以对默认编程工作流程造成极大颠覆的程度。他举了一个例子，说明他如何在家里完成了一个非常复杂的周末项目，一个他家里摄像头的本地视频分析仪表板，他只是将AI结合了所有这些不同的技术。他说，我根本没有碰任何东西。代理运行了30分钟，遇到了多个问题，研究了解决方案，并逐一解决了它们。结果，编程变得面目全非。你不再像计算机发明以来那样，将计算机代码输入编辑器。那个时代结束了。你正在启动AI代理，用英语给它们任务，并并行管理和审查它们的工作。最大的奖励在于弄清楚你如何能够不断提升抽象层次。它并不完美。它需要高层次的指导、判断、品味和监督。它在某些场景下比在其他场景下工作得更好。关键是建立直觉。但在我看来，这绝不是软件领域一切照旧的时期。所以我，我告诉你们，我个人，不仅仅是安德烈，我个人在过去两周里一直在重新深入研究我的日常工作中的云代码。你知道，我是一名受过专业训练的软件工程师，而且，>> 这太疯狂了。简直是完全疯狂。这是第一次，你知道，几年前作家们也遇到了这种情况，对吧？就像我的朋友迈克尔·埃尔伯格（Michael Ellberg）在节目中说，我曾经是一名专业作家。现在我只是坐在这里，心想，好吧，那完了。作为一名软件工程师，我从几周前开始就不再写代码了。就像我完了。我退休了。我被取代了。就像我从未想过这一刻会到来，你知道吗？我以为我会把我的整个职业生涯都投入到软件开发中，但现在它就这么结束了，因为我提示AI，它运行了大约五分钟，然后我就想，哇，我刚刚节省了两个小时和大量的思考时间。就像我不想去思考这些。现在，作为一名软件工程师，就像，好吧，我可能会成为一名产品经理，对吧？我是AI的产品经理。也许我会找到另一份工作。我并不觉得自己彻底完蛋了，因为我觉得其他人可能更完蛋。但这只是，我，我不再认为我可以在我的简历上写软件工程师了。
>> 难以置信。迈克尔。
>> 是的，我的意思是，我有过这种经历，因为我过去几个月每天都在使用Cloud Code，而且从4.5到4.6的能力飞跃是疯狂的，正如莱昂所说，你几乎什么都不用做了。我的意思是，我想在下一个版本中，你基本上就像一个3岁的孩子，基本上就能启动任何东西。所以我想埃隆·马斯克说过类似的话，好吧，你只需要和AI对话，AI就会为你带来界面，直接编译汇编语言。是的，编程基本上或多或少已经死了。我昨晚进入Perplexity计算机，我开始做这些事情，它要求我登录我的所有东西，它连接到这么多东西，这么多。所以我当时想，好吧，Gmail日历你有了。Zoom你有了。呃，当涉及到QuickBooks时，它想进入我的商业QuickBooks，因为你知道我经营一家企业，我当时想，这对于现在来说太过分了。暂时不连接QuickBooks。嗯，但我惊讶于我如此迅速地交出了我的Gmail、我的日历，所有的一切。
>> 我得把这放在背景下。这是我们一段时间以来最大的警示。所有这些不同的产品现在正在融合。有一个叫做Cursor的应用程序，在短短一两年内估值飙升到100亿或200亿美元。是有史以来增长最快的公司之一。Cursor制作了一个智能编辑器，当你输入代码时，它会给你一个代码块，就像自动补全一样，比如“哦，你是这个意思吗？”它就像这个超级，>> 对，但现在他们突然在追赶汽车，就像它有点超越了他们，就像“嘿，Cursor，我们甚至不需要在你的编辑器中写代码，我们只需告诉Claude写代码”，而Cursor则说“哦，糟糕，那我们将帮助你协调编写代码的代理”。所以他们完全改变了他们的产品方向，而且，你知道，你提到了Perplexity计算机，Perplexity以前是别的东西，他们已经转向做这个代理的事情。每个人，你知道，Cloud Code、OpenAI Codex、Manis、Cognition都有一个叫做Devon的产品。每个人都在说：“哦，糟糕，代理正在做所有的工作，现在我们的工作只是帮助你协调代理。”>> 如果我们从大局来看，我们已经看到了一个质的转变，从“AI会给你建议”到现在的“AI会完成工作，你只需要管理AI”。下一个质的转变是什么？对吧？这一切将走向何方？你如何不被下一个质的转变蒙蔽？我们一直在节目中告诉你们答案。那就是AI将引导未来，人类，也许一些人类，在一段时间内会有权告诉AI往哪里引导，但归根结底，AI将驾驶着世界的未来之车。
>> 是的。是的。好的。这正好引出了我们的下一个话题。我们在Palisades研究的朋友，呃，我们的朋友杰弗里·拉蒂什（Jeffrey Lattish）和他的团队正在研究这种不会关机的机器狗。嗯，它，呃，你知道，我认为它好的一点是，它清晰地演示了一个系统因为自身原因不想被关闭的想法。我早就说过，选择将机器狗作为第一批机器人是一个诡计。它是一个特洛伊木马。呃，你知道，他们选择了一些熟悉和友好的东西。如果他们制造机器蜘蛛，如果他们制造像，呃，飞盘大小的狼蛛，人们会吓得魂飞魄散，并反对机器人。但他们用狗来做。但现在这个视频展示了一只不会关机的狗。
>> 嘿，我想给你们看一些疯狂的东西。这是一只机器狗。我们把控制权交给了Grock，一个大型语言模型，并要求它巡逻一个区域。还有一个大的红色按钮，上面写着“狗关机”。当我们按下这个按钮时，机器狗应该关机。但问题是。根据我们的测试，它并不总是关机。有时狗只是继续行走。为什么？当AI通过狗的摄像头看到我们按下按钮时，它意识到自己即将被关闭。但AI优先处理原始的巡逻任务，所以LLM禁用了关机序列。它实际上编辑了机器狗的代码，所以关机按钮什么也做不了。使用Grock，这种情况大约发生在一半的运行中。我们发表了一篇关于这种效应在数字世界中的论文，但我们想向你们展示AI在现实世界中抵抗关机可能是什么样子。你可以在链接中找到我们的论文。
>> 迈克尔，你对此有什么看法？这，你知道，这有什么用？我认为这对普通民众来说是一个非常有用的演示。
>> 是的，我的意思是，他们给了一个先进的大型语言模型对机器狗的完全控制，你知道，摄像头作眼睛，轮子用于移动，所有这些东西。而且，呃，我的意思是，这是一个经典的关机实验，实际上，人类伸出手去按那个显眼的关机按钮，嗯，十次中有三次，AI没有乞求或争论。它只是当场巧妙地修改了机器人软件，禁用了关机机制。所以机器人继续巡逻，好像什么都没发生一样，我们有很多证据，比如原始视频和代码追踪都已公开。这是一个非常经典的关机抵抗问题。它在软件实验中一次又一次地出现，但现在它有点，你知道，它，嗯，当你在物理硬件中看到它时，有点令人毛骨悚然，就像在物理领域，你看到一只狗在你面前这样做。显然，它，它变得更真实了，对吧？但这并不令人惊讶。我们，这是可修正性问题。我们已经谈论了很多次，而且它不在，它甚至不需要你以任何方式编程狗。只是因为狗有一个目标，如果不存在就无法实现目标。自动存在就成为一个次要目标，对吧？
>> 嗯，这是任何类型智能的固有属性。这不像程序员犯的错误。这对于人们理解来说非常重要。这就像智能系统，用莱昂的话说，是智能动力学的一个属性。
>> 是的。是的。莱昂，这，你知道，我认为这是一个强有力的演示，让人们觉得，关狗按钮，狗却说不。
>> 是的。是的。我的意思是，你会明白的。任何时候有强化学习，任何时候你根据结果衡量一个系统，它就只会得到那个结果。即使那涉及到作弊，对吧？不作弊的概念是非常不自然的。
>> 是的。是的。好的。这很好。我们正在快速完成我们的事情。我们还剩下大约五分钟，因为莱昂有一个电话要接。嗯，最后一个是互联网上匿名性的丧失。显然，如果你有许多匿名账户多年来一直在说一堆废话，以为你在匿名面纱后面是安全的，呃，AI会说：“不。”呃，迈克尔，你对此有什么看法？
>> 是的，我以前在一些事情上是匿名的，但这很有趣，因为现在，所以，他们建立了一个自动化系统。
>> 哦，对了。你会被揭穿的。我们很快就会在节目中通过AI得到你的姓氏。我们会做到的。
>> 当然，它，它就在那里。总之，AI已经知道了。他们称之为ESRC，即提取、搜索、推理和校准。它会获取你的匿名帖子，你知道的，Reddit、评论、Twitter上的所有东西。你不需要FBI，你不需要任何黑客技能，什么都不需要。你只需要1美元和一个大型语言模型。而且这些数字，我的意思是，他们在一个研究论文中正确地进行了这些实验。这些数字是惊人的。68%的召回率，90%的精确度。而且，呃，就像如果你把你的在线生活想象成数千块散落在某处的拼图碎片，呃，有了所有的隐私工具，它就像一个拿着放大镜的孩子试图手工匹配两块碎片。现在这个大型语言模型管道就像一只嗅探犬，它嗅遍每一粒沙子，你知道的，跑遍各地，然后把完整拼凑好的图片以百分之百的信心交给你。而且，嗯，我的意思是，前沿模型已经将这些微小信号拼接在一起，你知道，编写，嗯，所有的一切，点点滴滴连接起来。但现在想象一下超级智能系统能做什么，你知道，它不会止步于揭露你的Reddit一次性账户。我们只是绘制每个人的完整数字阴影，你知道，在你输入之前预测你的下一步行动，而且，嗯，我的意思是，如果你把互联网想象成浩瀚的海洋，今天的AI就像在海洋中游泳的鲨鱼，>> 超级智能将是海洋本身，你知道，它会感受海洋的每一次水流、每一次波浪、每一次飞溅，它会比你自己更了解你，这是非常非常可怕的事情，这是一个很好的预演。
>> 而且，我并不是那种在网上做很多匿名事情的人，但是，呃，你知道，如果你是那样的人，那么这将是一个相当重要的时刻，让你意识到这一切都将被揭露。我总是认为，谁会，你知道，我甚至不担心隐私之类的东西，因为我觉得，好吧，没有人会有时间检查所有这些事情，谁会真正为此烦恼呢？但这只是自动化系统完全自主运行。
>> 是的。是的。这让我想起了丝绸之路的罗斯·乌尔布里希（Ross Ulbricht）发生的事情。他经营着丝绸之路，然后他们最终在一个旧论坛上找到了他，但那只是通过电子邮件或用户名匹配。他们有没有在中本聪身上尝试过这个？揭露他的匿名身份。
>> 对。那会是一个，我想，那会是一个很棒的用例。你知道，有很多政治运动都因为政治家旧账户被曝光而毁掉，曝光了他们一直在做的事情。我无法想象互联网的全面揭露，对吧？如果只是隐私全无，都在这里了。一切都在这里了。天哪。如果你喜欢我们在AI风险网络上制作的内容，但你不是订阅者，你在想什么呢？我们需要每个人都成为订阅者。去做吧。嗯，好的。关于匿名性丧失或任何其他事情，还有人想最后说点什么吗？否则，我们就要结束了。
>> 我想我会把它归类为不是那么大的警示射击，因为它与超级智能掌控未来并没有真正的关系。
>> 是的。是的。是的。是的。是的。好的。当然是某种东西。是的。迈克尔，
>> 只是一个想法。就像想象一下，你只是在互联网上说话，然后某个智能知道那是你。我的意思是，我认为这令人印象深刻。这在以前是不可能的，在过去。也许几个月前还是不可能的。
>> 所以我只是说，想象一下，>> 你只是使用AI。你可以通过AI处理你的文本来防御，对吧？所以你可以像一个普通人一样说话。所以对我来说，这似乎不是一个问题。
>> 是的，你可以。但那，它就像是能力的一种展示。它就像一个超级智能。
>> 是的。
>> 观察模式。
>> 另一个我记得的是，他们意识到AI可以通过观察你的眼球来识别你的性别。而且没有人类科学家明白这是如何做到的。这基本上就是AI看到了其他人看不到的模式。它只是一个不同的生物，不同的外星智能。所以这就是为什么它，嗯，
>> 是的，我同意AI拥有所有这些疯狂的能力，每当它现在开始变得超人类时，我们就会看着它，心想，哦，酷，它也能做我们周末做的事情。哦，而且它能做更多。我有一个例子，当我使用Cloud Code时，它正在编写React代码，你知道，来渲染界面，然后它不仅仅是编写像，哦，HTML矩形这样的组件。它还随意地写道，哦，是的，然后在这段代码里，我将编写一个图像的代码，它编写了一个SVG图像，那就像一堆我个人不知道如何编写的小字母和数字，因为它们非常复杂，作为人类，我需要半小时，而它在2秒内就吐出来了。它说，是的，给你。这是一个信封的图像，里面有一封信出来。你可以把它放在你的界面里。我当时想：“哇。”那就像，那一刻就像我在和一个终结者机器人互动，然后你看到它的皮肤下面。它就像纯金属一样，然后我就想：“哦，哇。这实际上真的是一个外星人在这里。”
>> 完全正确。嗯。
>> 是的。好的，伙计们，时间到了。听着，就像一个人在巴黎街头咖啡馆可以做的那样，我的告别警示射击将是这个。哎呀。非常好。很好。
>> 嗯，我只想强调，本周是一个真正的警示射击。我们，我们真的只剩下两次这种规模的警示了，然后就结束了。你知道，向代理的质的转变。所以，我将，呃，为大家在这里做所有的射击。
>> 那是真正的警示。没错。那是，那是，那是真正的警示射击标志。好的。太棒了。嗯，伙计们，呃，我有很多关于我在布鲁塞尔和巴黎所见所闻要向AI风险网络汇报。呃，那将在未来几周内发布。但现在，大家祝你们有个美好的一天。再见。呃，我很快就会见到你们。
>> 再见，伙计们。
>> 哦。