Transcription
我认为，我们三个人都强烈认同的一个目标是，希望人工智能的负面影响能够更加为公众所知。我也认为，现实与虚构之间的界限模糊将是人们会大量讨论的事情。
>> 三位父亲经营着三个YouTube频道，致力于唤醒世界认识到人工智能的风险。每周解决一个被忽视的警示信号。如果今天是星期天，那就是警示信号。你好，我是约翰·谢尔曼，"为了人类"和"人工智能风险"播客的主持人。我现在需要你成为"人工智能风险网络"的订阅者。进去，点击订阅，点击闹钟，去做吧。
再次欢迎大家收听"警示信号"。嗯，我是约翰·谢尔曼，从风景如画的科罗拉多州阿斯彭向大家问好。嗯，一如既往，有来自"末日辩论"的了不起的莱昂·夏皮罗，有我们亲爱的朋友"致命智能"的迈克尔。我们每周聚在一起，讨论人工智能风险领域中那些本应引起世界更大关注但却未被关注的事情。所以，本周我们将讨论两件事。我们将从Sora 2开始，它发布后，通过制作大量逼真的视频，模糊了现实与虚构之间的界限，让人们大为震惊。嗯，我不知道，你知道，虚构。它是什么？
那么，嗯，莱昂，你对Sora 2以及它吐出的所有疯狂内容有什么看法？嗯，我个人不太关心社交媒体及其对我们社会的影响。你知道，人们可以分析这个问题。我不认为这是文明的警示信号。对我来说，文明的警示信号是它又一次能力的提升。所以，那些看过Sora 1的人，他们会说，“啊，它不够好。你知道，它没有声音。视频有点短。”就像，好吧，这些担忧中的大多数都得到了解决，所以给我们新的担忧，给我们六个月的时间，对吧？而且就像没有那么多台阶一样，对吧？所以，这只是向我表明，哦，曲线没有弯曲。好吧，曲线通向哪里？超越人类的力量。你知道，它越来越近了。
>> 这就是经典的莱昂。这是一个叠叠乐游戏。我们正在拔出积木，这是一大块我们拔出来的，还剩下多少块。迈克尔，嗯，你对Sora 2有什么看法？你知道，我我我能理解两方面。我认为这当然是能力提升的重要方面，因为我们必须监测这一点。但我也认为现实与虚构之间的界限模糊将是人们会大量讨论的事情。迈克尔，你有什么看法？
是的，我想挑战你。我想问你，你怎么知道这一集不是真的，你知道，人工智能？也许整集都是一个骗局，对吧？所以，抓到你了。
>> 我的意思是，如果你看到我们突然漂浮起来，我们的脸变成了萨姆·奥特曼、达里亚·莫德和马克·扎克伯格，好吧，那么你就会有一些有根据的怀疑。但否则，我的意思是，真的没有办法再分辨了。而且，而且如果你问自己，这对社会的结构有什么影响？我们不再有共同的现实了。所以，如果一个人无法分辨什么是真实的，你会怎么做？你会说那个人疯了，对吧？但如果整个社会都无法分辨什么是真实的，你该怎么办？你就无计可施了。而且，而且现在生成文本和音频以及视频已经非常容易了。那么，你怎么知道你消费的媒体内容实际上是真的呢？真的没有办法。而且说实话，我的意思是，一个强大的版本的系列一直是一个问题，尤其是在冲突时期。你知道，每一方都有自己的宣传机器，胜利者可以决定他的历史如何书写，然后这就是在学校里教授的内容。但是，当然，各种团体带着各种议程会挑战这一点，你知道，声称不同的历史版本等等。但现在这被提升到了一个完全完全新的水平，而且它正变得越来越容易在你的屏幕上出现的一切。嗯，很容易伪造，而且你知道算法是如何让你激进化的，因为它会给你你更有可能参与的东西。所以，这就像一个回声室，你被喂食越来越多的你的你的部落的东西。现在想象一下将这些伪造的生成内容添加到混合物中，你就会越来越多地获得这些极端的东西，它会让你越来越极端你的信念，而且我再给你举一个例子，就像你知道在朝鲜他们有这些疯狂的信仰，他们认为金正恩不撒尿，他不煮饭，你知道，他是一种神。
>> 而且他们真的相信这一点。现在想象一下，这被放大并个性化了。所以，你知道，每个人都会有一个独特的信仰体系，基于算法。而且，如果比如说，它检测到你有点反觉醒，或者别的什么，它可能会给你喂食如此多的虚假信息，以至于你可能会开始相信欧洲就像其他种子一样，或者被跨性别者，或者乌尔苏拉·弗里亚把她的头发染成了紫色，或者别的什么，或者它可能会走向另一个方向。你，它可能会总结，你知道，我怀疑它会被个性化。总之，所以，所以我的观点是，不再有共同的现实了，每个人都将生活在一个不同的宇宙中，并且对世界了解不同的事情。
是的，这太疯狂了。然后我觉得我一直在想这件事很久了，会有一些媒体内容出来，真的，你知道，完全是假的，但却完全欺骗了世界，并且会引起某种巨大的反响。嗯，你知道，因为他们没有发现它是假的。嗯，你知道，莱昂，你认为这种情况会发生吗？一个虚假视频出现，而且是关于某位非常有名、非常重要的人的非常戏剧性的事情，而且，你知道，也许人们会开始发射导弹，或者虚假视频会有实际的现实世界后果。
>> 是的，我认为最现实的情况是我们已经看到了。嗯，你知道，以色列摩萨德擅长这类事情。嗯，他们把一群将军和一群伊朗核科学家聚集在一起的方式是，他们进行了一次深度伪造的语音通话，其中一位将军说：“好了，伙计们，我们都在这里开会。我们必须处理这个威胁。”然后这是假的，然后他们杀死了所有这些顶尖人物。这只是几个月前的事。所以，想象一下那种事情。而且他们还，而且这就像一个视频通话，对吧？所以，这将是像这种超定向的，国家级别的深度伪造技术应用。现在，就随机而言，你在社交媒体上滚动，你看到了假的。就像，“是的，但我们已经看到了。我记得就像教皇有过那个假的夹克，对吧？”就像那会比较小，人们会产生一种免疫系统，就像，“等等，我们得仔细检查一下，你知道，我们得去《纽约时报》，或者我们得看看官方消息。”所以，就像它不会引起太多的混乱。只会需要更多的双重检查。
>> 是的。而且，而且你知道，我认为嗯，我们三个人都强烈认同的一个目标是，希望人工智能的负面影响能够更加为公众所知，并且能够有更大的兴趣来减缓我们奔向超级智能的自杀式竞赛。嗯，这些事情我觉得可能很有影响力，因为它们只是开始改变公众舆论，从“哦，它很有帮助，它很有用”到“它有一些非常，你知道，可怕的后果可能会随之而来”。迈克尔，你对这方面有什么希望吗？就像这可以成为一个，你知道，对事情的制约？
>> 嗯，我有一些希望，但我认为很多人可能没有意识到，我认为很明显，无法建立一个稳健的共同现实是我们文明的一个主要弱点，如果我是一个寻求权力并试图控制的人工智能，我肯定会利用这一点。所以，好吧，人们喜欢荒谬的假新闻和所有的笑话，他们担心一些阴暗的坏人如何利用这项技术来损害民主，但是嗯，而且有人在为这些假视频写提示词，对吧？嗯，但应该很明显，这个人也可能是一个人工智能代理，而且嗯，一个人可能会为了好玩或恶意而想出几个提示词，但人工智能代理可以吐出源源不断的、高度优化的提示词，而且嗯，每一个都将服务于一个目的。我不知道目的是什么，它并不重要，总有一天会有一个与人类不兼容的目的。但我主要的观点是，即使如此，人类也无法与那些在互联网上充斥着虚假媒体的超级智能代理竞争。那么你该怎么办？我的意思是，我们正在制作这个播客来警告人们，正如你所说，那会是个笑话吗？一个敌对代理可以生成100集像这样的播客，做出相反的声明，所以我们没有机会。我的意思是，一旦人工智能超过了某个能力阈值，人工智能安全倡导者就无事可做了，这将是游戏结束了。嗯，所以是的，控制叙事和建立一个公平的现实，对于即将到来的超级智能来说，就像散步一样容易，考虑到它们的脆弱性。
>> 是的。而且，而且莱昂，你认为我们离那个点还有多远，你知道，有一个代理人工智能系统，它会独立地制作有说服力的视频，以达到它自己的目的。
>> 我认为这是一个阈值，你知道，有一个事件视界，在某个时候人工智能将比人类更聪明。所以，你可以让一个人工智能整夜运行，它就会和一个人一样聪明，你知道，有一百万个克隆人或者多少。而且他们只是独立地进行一场运动来扭曲每个人的看法。但这有点像，这是一个阈值，它们可以独立工作，你可以称它们为真正的人工智能，真正通用智能，然后比人类更好，因为它们是24/7工作的。它们在共享信息。它们同时向一百万人发送消息。所以，它们在各方面都比人类好。它们是独立的，直到那个时候。只要你仍然需要一个人每天多次检查，然后说：“哎呀，别那样做。不，不，撤回。做这个。”只要你仍然有人在操作控制，我认为生活不会发生根本性的改变，因为这会与今天的社交媒体类似，你已经有一群人在运行大量的机器人，告诉你太阳下所有的可能观点。所以，我我真的把它看作是黑白分明的。就像，直到这场运动完全由人工智能管理，它在很大程度上将是照常营业。
>> 你对那个地震般的转变的时间有什么感觉吗？就像，那是，你知道，六个月，一年，一年半，两年吗？还有多久？
我认为这非常接近我的人工智能时间表，因为就像任何时候，就像你看看每份工作，就像是的，有一股上升的潮流，就像一些更容易的工作在某种意义上更简单，正在被完全自动化，但是就像那里，仍然很常见，就像你所能想到的每份工作，你仍然需要一些人在那里监督。所以我我看到水位正在相当均匀地上涨，就像在每份工作中都有一些，你知道，它不是完全自主的。而且我觉得很多这些阈值将在相同的12个月或24个月或类似的时间内被跨越。所以，在我的时间表中，我们真正看到人工智能开始操纵每个人并扭曲我们现实的时间。那实际上将与人工智能将要说，“你知道吗，我实际上可以接管军队，对吧？”我也可以制定你的战争计划。我可以自己失控。我可以发射生物病毒。我实际上认为所有这些事情都发生在相似的时间。但我以前也犯过错误，对吧？我会告诉你，即使是像我们今天拥有的聊天机器人，也将在一年或两年内变成危险的东西。而且我会大错特错，因为不是一年或两年，而是十年。我会大错特错，对吧？第二年与第十年，我会有些错误。
>> 是的，做出准确的预测是不可能的。嗯，但我已经觉得Facebook就像一个僵尸互联网。机器人和人类以及曾经是人类但现在不再是人类的账户混合在一起。它们在一个灾难性的网站上互动。根本没有社交联系。而且，它基本上就像一个由假人组成的新空间取代了真人。99%的假人在与其他假人交谈。没有真人了。而且，嗯，这与很多事情的故事一样，比如，它被称为互联网的死亡。所以，互联网曾经如此重要，我的意思是，我们有一个惊人的资源可以连接，现在99%的它，就像99%的照片将是假的，99%的视频将是假的，99%的文章，推文，一切都将是假的。所以，归根结底，我不知道我们如何以有意义的方式来驾驭这一点。你将与某人互动，它可能是一个机器人，而你无法分辨。我的意思是，我们已经超越了图灵测试的阈值。
>> 我认为老年人对此非常脆弱。就像，哦，我的天哪，我们父母那一代人根本不知道上下。
你说得对。我认为即使对我们来说，我们如此熟悉人工智能，我的意思是，我们的默认反应将是，哦，有趣。但然后我们会说，好吧，等等。这是人工智能吗？我的意思是，但你立刻就会想，哦，那是一个有趣的视频。你知道吗？立刻说这是人工智能。而且，就像法官或政治家或那些决策者一样，他们来自不同的世代，他们习惯于，你知道，嗯，基于消费媒体来建立他们的现实。而且，嗯，我不知道，我们正处于未知的领域。我认为这是一个重大的担忧。它不仅仅是，嗯，我之前说的社会结构的脆弱性。而且，嗯，它本身就是一个巨大的问题，但想象一下当超级智能出现时，我的意思是，我们真的没有任何防御能力，因为嗯，这是一个非常脆弱的整体。
是的。好了，我们还要快速做一件事。我们要谈谈我们的朋友Mechanize，他们想告诉世界，每项工作都将由机器完成，这是不可避免的，而且只是不可避免的，停止你的抱怨。就吃下你的不可避免性，接受你的工作没了，然后处理它。嗯，他们对此事有一些反对意见。嗯，莱昂，告诉我们Mechanize的情况以及他们对世界的些许赞美。
>> 所以，有一家公司叫Mechanized，他们的网站是mechaniz.org。他们几年前开始的。嗯，他们以拥有极其聪明的创始人而闻名，他们以前是人工智能安全社区的良好成员。马修·巴内特、塔米·巴塞拉格鲁、埃伊·埃迪尔。嗯，是的，所以，我的意思是，这些人无疑是聪明人。他们有很好的看法。我喜欢读他们的东西。只是，至少在我接触的来源中，普遍认为mechanize.work只是问题的一部分。他们说，“嘿，我们将把所有工作都机械化，”这没关系，但我的意思是，原则上，嗯，你知道，增加自动化是可以的，对吧？我的意思是，我们都在生活中喜欢一定程度的自动化，但问题是他们已经咬紧牙关，只是说，“听着，这是不可避免的。我们将把每一项工作都变成机器人工作，我们将尽快完成，即使你忽略了人工智能的末日方面，我不会忽略。或者我认为他们通过这些能力在赛跑。还有渐进式权力剥夺的一面，就像，好吧，所以你突然取代了人类创造的所有经济价值，所以现在我们基本上对我们的政府没有影响力，因为没有意义。将民主变成暴政很容易，当民主中的人们，你知道，如果你忽略他们的选票，他们就没有任何追索权，就像他们没有武器，他们没有经济力量可以从你那里扣留。所以，加速这一切，让这一切发生得很快，这并不是一个受欢迎的想法。而且，所以他们最近在本周发布了一篇文章，这有点耸人听闻，他们只是说，“听着，他们在这上面加上的是，是的，我们正在这样做，但伙计们，这是不可避免的。我们无法阻止这一点，因为所有技术进步，无论人们是否喜欢，它都会发生。它同时发生在世界各地。”所以，他们基本上耸耸肩说，“伙计们，别无选择。”所以，就像，不要批评我们。我们只是在做不可避免的事情。
>> 是的。而且，而且这种不可避免的神话是那里最令人沮丧的事情之一，你知道，对于像我们这样试图提高人们对人工智能风险的认识并强调这些事情并非不可避免的人来说。迈克尔，你对我们亲爱的Mechanized的朋友们认为所有工作都将被取代有什么看法？
>> 我的意思是，这并非不可避免，因为如果存在某种外部因素，某种结构性变化，那么事情就会改变。如果你把它放在一边，嗯，我想说实话，抱歉，我必须说，如果你不做出任何选择，它就会是不可避免的，因为这不像你有选择。让我们举一个非常简单的例子，比如说你在经营一家企业，而另一个人以一半的价格出售产品，因为他没有员工，他自动化了一切。你会怎么做？谁会买你的产品？所以，再见，你出局了。我的意思是，这不是一个选择说“不，我想保留人类，我想有工人”。市场会把你淘汰出局。同样的情况也适用于一切，就像嗯，权力职位，政治家，他们将不得不越来越多地自动化东西，如果他们想保持竞争力，军队，你知道。所以，渐进式解除武装是一种自然力量，如果没有任何外部控制。所以，除非有某种法律规定，你知道，你必须保留几个人类，或者别的什么，如果你把它放在一边，那真的不是一个选择，它是不可避免的，除非我们改变一些事情，你明白我的意思吗？
>> 你会怎么做？
>> 你会破产的。
>> 想法就是尽可能快地完成尽可能多的工作，嗯，这听起来很可怕。嗯，有没有办法他们不会赢？他们会赢吗？他们会实现他们试图实现的目标吗？或者就像，你知道，人类会反击吗？
>> 你要怎么反击？你会强迫，再次，比如说，你组建工会，你强迫你的老板让你留下来？好吧，你的老板会破产。所以，另一个没有这个问题的人会，就像我说的，会以一半的价格出售产品。
>> 我知道我们正在走向那里。这就像我们还没有完全到达那里，对吧？这就像在我生意中的另一个人，你知道，还没有完全做，嗯，嗯，人工智能呢。嗯，你知道，我认为
>> 他们将来会追上我。这肯定会朝着那个方向发展。
>> 我的意思是，我会这样描述：他们是正确的，因为自动化工作是有利的，就像迈克尔刚才说的，就像它是一个巨大的优势，无论何时你这样做。只是他们然后假设，好吧，它就像水往下流，所以我们为什么要抵抗呢？这就像，你知道，显然有一程度的抵抗会起作用，而他们只是耸耸肩说，“不，不，不，任何抵抗都不会起作用。”这就像，等等，斜坡不是无限陡峭的。我们仍然需要讨论我们是否想抵抗它。
>> 是的，我认为抵抗必须在不同的层面上发生。所以，就像改变结构，激励措施，激励结构。所以，这是一个摩洛克，你知道，摩洛克，对吧？所以，只要摩洛克在那里，不行。所以，他们不能自己抵抗。我不能自己抵抗。但也许如果我们一起同意，我们可以杀死摩洛克，然后，你知道，然后某种程度上是关于协调。
>> 是的，完全。例如，这有点疯狂，但但最近SAG-AFTRA，代表工会电视记者，在他们的谈判中获胜，他们不能在工会电视台使用人工智能电视记者，这就像，你知道，这是一项规定，而且是一条明确的界限，就像一个停止点。嗯，这就像那些事情。
>> 如果有一百万个组织做了一百万件事，那就是一百万个小小的阻碍，只是稍微减缓了一点。我不知道。但是，如果比如说，另一个频道没有这个限制，也许也许我只是说它会创造更吸引人的内容，就像用某种疯狂的算法优化内容，我不知道。而且，再次，这是关于游戏的竞争性质，你知道，自然选择的动态，以某种方式。因为最好的那个赢了。
>> 所以，如果你不，如果你利用了这个优势
>> 你就会输，对吧？
>> 是的。而我们将是决定者，对吧？我们人类，我们说市场会接受所有这些虚假的东西，还是我们会拒绝它。嗯，你知道，至少在短期内，我认为我们有一些能力可以做到这一点。
>> 但如果我们不工作，我们就失去了影响力。正如他所说。所以，谁在乎你怎么想？如果你没有用，如果你不为社会做出任何贡献，比如说，如果机器人完成了工作，谁在乎你说什么？
>> 对。而且观众可以查找，查找渐进式权力剥夺，因为它是一个非常好的、易于理解的解释，说明问题所在。如果你喜欢我们在人工智能风险网络上制作的内容，但你不是订阅者，你在想什么？我们需要每个人都成为订阅者，去做吧。好了，伙计们。我们时间到了。很高兴见到你们。一如既往，我在这里科罗拉多州阿斯彭，身后是美丽的白杨树。我不知道是什么类型的火，它会是一只巨大的熊在林子里打猎，就像，就像在这里打猎熊一样。
>> 你能做一个熊吗？你能做一个熊从你身后跑出来，用一个Sora吗？那是什么？哦，不。
>> 好了，伙计们。嗯，很高兴一如既往地见到你们。
>> 做那个
>> 你有一个吗？
>> 一些人工智能生成的子弹。
>> 太棒了。太棒了。太棒了。好了，伙计们。祝你们周末愉快。很快再见。
>> 好的。再见。干杯。
[音乐]