Transcription
我们三个人，你知道，花费大量时间思考的一个问题是，我们如何唤醒人们认识到这一点？我们如何让人们对此感兴趣？人工智能加上军事，就像人们会扬起眉毛一样。>> 与人类不同，人工智能不会犹豫或质疑命令。它只是行动。而我们正在构建这些系统，却未能完全理解它们在真实世界的混乱中如何运作。而风险再高不过了。>> 所以，我将此视为一个例子，就像我们作为一个物种，在核战争的边缘如此岌岌可危地平衡着，任何可能打破平衡的事物都极其可怕。是的，人工智能可能会打破这种平衡。>> 三位父亲经营着三个 YouTube 频道，致力于唤醒世界认识到人工智能的风险。每周解决一个被忽视的警告信号。如果今天是星期天，那就是警告信号。好了。大家好。欢迎回到警告信号。我是约翰·谢尔曼。与来自“末日辩论”节目的不可思议的隆·夏皮罗，我的朋友迈克尔，来自 YouTube 上的“致命智能”频道。嗯，我们今天在这里要讨论一个警告信号，它是人工智能风险领域发生的一件事，本应是一件大事，但却不是。世界只是继续前进。本周有一个有趣的。我们正在讨论人工智能在军事上的应用，以及《政客》杂志上的一篇文章，该文章是关于斯坦福大学的一项研究，该研究谈到了人工智能模型在军事战争游戏中的倾向。所以隆，就像我们一直做的那样，让我们先请你，如果你能为我们简要介绍一下这是什么。>> 嗯，我不确定我是否准备好了很好的总结。嗯，让我想想。迈克尔，你想试试吗？>> 迈克尔，你来吧。所以，我的意思是，五角大楼正在进行一场高风险的竞赛，以将人工智能整合到其武器系统中，并与中国和俄罗斯等全球竞争对手抗衡。我的意思是，你知道，你已经处于一场冷战的多极世界中，而且，嗯，如果你看新闻，紧张局势已经达到了红色级别，而且，你知道，中国的弹道导弹和俄罗斯的网络战能力正在迫使五角大楼迅速采取行动，这甚至不是一个选择。我的意思是，如果你不在你的系统中整合人工智能，并且你不尝试，你知道，最小化对威胁的响应时间，你就会被淘汰，然后，嗯，这是一个真正的问题。我想，迈克尔，最有趣的是当它涉及到升级和降级的可能性时。那是首先引起我注意的事情。而最奇怪的是，我们正在了解到，就像这些人工智能模型几乎拥有像人格一样的特质。它们拥有，就像它们拥有某种使它们独特的东西。我不知道那是什么。它就像一种世界观。我不知道那是什么。就像如果你看看操场，有一个孩子想拥抱每个人，还有一个孩子想揍每个人，对我来说，这些模型并没有什么不同，它们都有一些，你知道，个人的怪癖。所以他们用所有当前的模型进行了大量的战争游戏测试，他们发现它们在进行战争游戏时都会升级，而从不降级。所以它们直接走向核武器，它们直接走向战争，它们会给它们一个假设的乌克兰，一个假设的以色列的情况，它们只是直接升级，升级，升级，升级，武器更多，武器更糟。>> 是的。在核战争中，这可能在几分钟内导致世界末日。所以五角大楼被推动，部分原因是威慑对手，但这些系统的速度和自主性可能会超越人类的决策，而且与人类不同，人工智能不会犹豫或质疑命令。它只是行动，而且，嗯，我们已经看到了它有多少幻觉和犯错，而我们正在构建这些系统，却未能完全理解它们在真实世界的混乱中如何运作，而风险再高不过了。所以想象一下，人工智能误判了殖民地并发射核武器，这听起来像一部电影，但五角大楼正在让我们更接近那个现实。嗯，>> 是的。而且，而且隆，我认为有趣的是，所有的模型，所有的时间都在升级，而不是降级。是的，这是一个有趣的趋势。你知道，目前还不清楚，随着人工智能变得更聪明，它是否会保持这种趋势。文章中的人们推测，他们只是看到了训练数据中很多关于升级的故事或关于升级的训练指南。所以这有点像一个大型语言模型的产物。将来，它们能够反思并说，好吧，让我们尝试和平。所以它们现在的行为不一定是一个巨大的警告信号，但我们仍然面临着这样的问题：好吧，滑坡的尽头在哪里？而这才是真正根本的问题。就像，当每个人手中都拥有这个终极核系统时，而没有人想成为最弱的一个，博弈论是什么？>> 是的。文章继续讨论了死亡系统，基本上是核导弹系统，如果你的国家的指挥和控制系统被例如第一次核打击摧毁，你将默认自动以自动化方式向发射者发射所有核弹。他们基本上在谈论，由于速度和竞争，似乎不可能不将该死亡系统与人工智能联系起来，你知道，如果对方也这样做。这一切听起来真的很，真的很，真的很糟糕。>> 是的。所以，从长远来看，人工智能的末日甚至不需要核武器，对吧？所以，我们可以从森林里的一个裸体数据中心开始人工智能，对吧？无论什么，它都可以通过自身的力量获得它需要的任何武器。所以给人工智能增加核武器，就像，哦，我们要给鲨鱼装上激光，你知道吗？就像，当然，那很好，那很耸动，而且它可能是一个短期威胁。但还有另一个角度，那就是，嗯，核武器已经极其可怕了，对吧？我们与核武器的平衡已经很脆弱了。已经有过近距离的接触，比如冷战。所以有可能我们甚至不会得到超级智能的人工智能。我们只会得到半智能的人工智能，这会让我们越过界限。你知道，我们会遇到另一个古巴导弹危机，而这次我们不会完美地处理它，而那绝对是一个更短期的死亡方式。>> 你们还记得埃尔扎尔的那个推文吗，他说为什么核武器比核武器更危险，他给了 10 个有趣的理由。所以他说核战争不如人类聪明。核战争不会自我复制。它们不会自我改进。它们更容易理解。所以有一个非常长，非常有趣的推文，而且，你知道，核武器也太容易理解了，人们明白它们很危险，而人工智能，大多数人甚至不明白它们很危险，所以有 15 个理由，你还记得其中任何一个吗？我，嗯，完全没有，有太多了，我认为最大的原因是，在制造核武器的过程中，它们不会让你变得富有。>> 是的，而且，我的意思是，嗯，制造核武器的材料和工厂相对容易发现，而我的意思是，人工智能基本上可以在未来在地下室建造，你知道，最终当它变得非常节能时，而且，有很多原因，我的意思是，风险投资公司正在试图私下扩张，你知道，人工智能不会发生在核武器上。>> 听着，我们将在节目中稍作休息，谈谈我们的着装。我们都穿着有趣而令人兴奋的衣服。我穿着“问我关于人工智能风险”的粉色衬衫，可以在这个 YouTube 频道的 AI 高风险网络商店购买。嗯，迈克尔，告诉我们你穿的是什么。>> 我的意思是，我知道这一集将是关于人工智能战争，所以我只是，嗯，你知道，嗯，这是我在希腊的。我们在希腊有义务兵役。我惊讶它还合身。是的。>> 迈克尔已经准备好迎接人工智能摧毁主要系统后的两个月生存期，而且它还没有派出无人机去对付所有人。迈克尔已经准备好了。>> 没错，你甚至在森林里都看不到他。他会伪装起来。他只会是一个走动的头。>> 嗯，当然还有隆。>> 那是我唯一拥有的东西，顺便说一句。我没有其他装备。我没有箭之类的。>> 好，好，好。好了，回到我们的主题。所以，我觉得，我觉得人工智能的军事应用是公众可能非常警惕和担心的事情。而且，你知道，就像每部电影都是关于它的。就像，这并不难理解，这是危险，危险，可能不是个好主意。嗯，但你发现什么如此有趣的是，就像这些系统表明它们有点，你知道，它们不是和平缔造者，而隆，你说将来它们可以训练一些和平缔造的潜力，但你知道，当它们都在战争游戏测试中时，它们都是欺凌者，它们都想升级，它们如何才能把它，你知道，把它调回来？嗯，在这种特定情况下，我实际上并不认为人工智能是更危险的部分。我认为核武器是更危险的部分。你知道，这有点像鲨鱼激光的场景。就像，嗯，如果你已经有了激光，或者你已经有了鲨鱼，那么组合并没有那么可怕。所以，我将此视为一个例子，就像我们作为一个物种，在核战争的边缘如此岌岌可危地平衡着，任何可能打破平衡的事物都极其可怕。是的，人工智能可能会打破这种平衡。但如果你问我操作顺序，我认为在我们愚蠢到让人工智能按下核发射按钮之前，甚至在那之前，我们就会愚蠢到让人工智能递归地自我改进，并以任何它想要的方式杀死我们，无论它是否使用核武器。>> 所以你，你，你甚至不认为我们会达到军事应用成为问题的程度？>> 我的意思是，我们肯定可能会，不是吗？我的意思是，这确实是一场竞赛，对吧？就像，哦，我们会先死在哪条路上？这就像一场有趣的赛马。迈克尔。>> 实际上，我认为在短期内，它实际上可能导致伤亡减少，因为它的发展方向是，一个国家的无人机可能会与另一个国家的无人机作战。所以，人类的伤亡会更少，你知道，士兵们会互相射击。>> 所以在短期内，让无人机或自动化系统互相作战可能会通过让士兵远离战场来减少人类伤亡。但这就假设了对技术的严格控制，这是有风险的。而且，随着它们杀戮链的瞄准。所以，季节性罢工，一切都完全自动化。即使是很小的，即使是很小的故障也可能导致混乱。而且，它实际上会变得非常疯狂。你知道，嗯，如果你想到战争的演变，我们正接近这一点，即子弹离开你的枪，然后只是飞行，你知道，通过面部识别软件，就像一架无人机，嗯，然后找到特定的脸，只是击中那张脸，就像落在你的额头上。所以，它只是，它正在以惊人的速度变得非常疯狂。而所有这些东西都在像乌克兰和其他地方的真实战争情况下不断发展，那里有很多无人机。所有这些听起来都像科幻小说，但它正在快速发展。而且，随着无人机变得便宜得多，你可以想象它们会扩散，任何人都有可能在某个时候成为目标。嗯，你知道，你可能会基于一个档案，或者一条推文，你知道，即使在你所在的城市，有人可能会，你知道，某个疯狂的人可能会发射一架小无人机，你知道，试图找到你并杀死你，随便什么。这在不久的将来可能会发生。>> 当你想到子弹时，这是一个可怕的想法。我猜它不是我们传统意义上的子弹，而是一种智能子弹，或者别的什么。>> 是的。>> 是的。而且它只是找到它，它知道某人的 DNA 或他们手机上的某种签名，或者无论是什么，它在寻找那个人，然后找到他们并杀死他们。>> 是的。我的意思是，这个杀戮链瞄准的想法，一切都将自动化。决策将在某个时候自动化。所以你需要真的行动得非常快。所以你不能有人在循环中。人是慢的。他们可能会犹豫。莱昂，我们如何拥有能够自己做出杀戮决定的系统，而我们却会产生幻觉，而且它们是错误的，而且，你知道，它们如此不精确？>> 我相信这是软件的普通测试阶段，你知道，就像质量保证一样。是的，会有一些意外的杀戮，就像有自动驾驶汽车事故一样。我实际上认为这是一个很好的类比。就像，是的，会有一些悲剧，但最终我们有一个反馈循环，对吧？你有多次机会做对。只要你没有杀死所有人，你就可以让你的下一版系统更健壮。我不认为这是一个大问题。事实上，正如迈克尔所说，我们甚至可能挽救生命，并让无人机互相战斗一段时间，对吧？所以，这不是我的担忧。而且，我认为在我们做节目并指出所有不同警告信号的同时，保持这种视角很重要，那就是，哪个是关于人类灭绝的，对吧？对。而且，我认为我们应该将其归类为，不是人类灭绝威胁，而是更多关于战争和监视，对吧？以及独裁者权力平衡的威胁，但那不一样。>> 当然。而且，我认为，你知道，我们三个人花费大量时间思考的事情之一是，我们如何唤醒人们认识到这一点？我们如何让人们对此感兴趣？我们如何，你知道，迈克尔，我们刚才谈到世界是如何对这一切熟视无睹的，没有人知道任何关于它的事情。而且，我认为这是，这是，这是唤醒人们的东西，你知道，人工智能加上军事，就像人们会扬起眉毛一样。>> 但如果你仔细想想，我的意思是，我们正在字面上构建“终结者”电影中的天网，因为我们正越来越接近这种情况，即，我的意思是，你真的可以按下一个按钮，你知道，躺下，让它展开，几天后检查一下，假设城市里的每个人都消失了。字面上每个人，你知道，被猎杀并消失了。而且，就像我们自动化工厂生产某种东西一样，现在我们正在尝试自动化这个死亡工厂，它能以最佳方式制造破坏和毁灭。而且，显然，一个单一的错误将释放级联的破坏。这些由人工智能驱动的工具运行速度比人类的监督快，可能会误解信号，比如雷达信号，或者优先考虑效率而不是道德，无论什么，它都可能发动攻击，引发无法阻止的跨国冲突，因为如果这开始了，你很难阻止一场战争，你知道，看看历史，第二次世界大战等等。所以，没有人为干预，这些机器可能会继续战斗，优先考虑它们的逻辑而不是我们的生存。而且，请记住，我的意思是，正如莱昂所说的关于核武器，我的意思是，它们对它们来说是一种工具，因为它们不在乎。所以，在未来，现在不是，但在未来，一旦它变得非常强大，它可能会决定它可以在核冬天生存下来。>> 我的意思是，核冬天可能对人工智能来说是件好事，因为它可能是在给它的服务器降温。>> 我的意思是，这对我们来说无关紧要。这是一场毁灭性的核冬天。>> 但它不在乎，就像，如果，如果一切都被摧毁了，>> 它为什么会在乎？我的意思是，它可以开始优化其他东西，或者开始构建其他东西。它并不意味着，当人类试图在战争地区进行外科手术式摧毁或进行某种手术时，情况并非如此。>> 当然。而且，隆，在一个理智的世界里，在一个激励机制不同的世界里，而且，嗯，激励机制不是利润而是安全，保护我们的孩子，保护我们的家庭，而不是结束世界，我们会如何处理人工智能的军事应用？>> 显而易见的事情是，各国政府已经足够聪明地认识到，你不能仅仅将核发射代码交给人工智能。对于更关键的事情，你有人在循环中。但如果你有较小的武器，我确实认为，当它足够好时，将权力委托给人工智能是有意义的，就像自动驾驶一样。是的，会有人意外死亡，但总会有事故率。所以，我实际上会将其中一部分归类为，是的，正常的科技发展，正常的精确战争优化。所以有一个非常重要的分界线，最终是当事情变得生死攸关时，就像，好吧，当事情变得生死攸关时，我们无法处理人工智能，但当它们不是生死攸关时，是的，它是一个有用的工具阶段，就在那里，那条线。是的，观众朋友们，请在评论中告诉我们您对人工智能的军事应用以及这些升级和降级问题有何看法。这都是一些我认为我们将一起思考和讨论的引人入胜的事情，因为它非常重要。嗯，我们时间到了。迈克尔，你穿着你的军装或你的军用迷彩服。所以，你，你从未如此恰当地穿着来结束节目，以我们标准的时尚方式，用一点点。>> 好的，既然我们在谈论自动化，我将做一个无人机，一个无人机。所以，我只是用我的 PlayStation。>> 极好的。好了，谢谢，先生们。下次见。哦，隆，来了。 [音乐] 太棒了。下周见，各位。