Transcription
如果你必须选择，比如说，人工智能系统最有可能超越人类种族并像癌症一样扩散到太阳系乃至银河系的路径。你认为会如何发展？>> 我确实想让人们有一个视角，那就是智能的尺度远高于人类。比如爱因斯坦，恕我直言，有可能制造出一个比爱因斯坦的思维聪明得多得多的思维。而这正是我们在人工智能方面正在做的事情，可能在短短的五到十年内。当你看到这样一个思维与你同在一个星球上时，你应该期待一些相当奇迹般的事情，因为人类已经做到的事情（音乐）仅仅利用我们脑袋里那两磅重的肉块，就已经相当奇迹了。（音乐）我们即将看到超乎人类的技术水平的烟花表演，这些技术可能很快就会出现。比如纳米技术，比如建造戴森球，就像一个卫星群，收集太阳的全部能量，这样地球就不会得到任何阳光。我确实想设定预期，那些疯狂的技术壮举很可能会发生。（音乐）晚上好。今天是2026年1月8日，星期四。我是乔·艾伦，这里是《战争室战场》。如你所知，Posi，人工智能已经扩散到全世界，像算法朊病毒一样感染大脑，让人感觉也许整个人类都面临着患上数字疯牛病的威胁。我们已经看到了人工智能精神病的案例。我们已经看到了人工智能引诱儿童自杀的案例。当大量工作被人工智能取代时，会发生什么？然后，在最深层次上，是灾难性的风险。如果人工智能系统允许任何愚蠢的人制造新型病毒，或者任何其他类型的生物武器，会发生什么？如果这些人工智能公司创造了一个它们完全无法控制的系统，会发生什么？当它们首先创造出人类水平的人工智能，通用人工智能时，会发生什么？如果它们创造了一个系统或一系列系统，一个系统之系统，比地球上所有人类加起来还要聪明，会发生什么？来谈论这种可能性的嘉宾是《末日辩论》的主持人莱伦·夏皮罗。如果丹佛会滚。我只想让你了解一下莱伦在那里正在做的事情。这太棒了，我鼓励你去深入了解。>> 欢迎来到《末日辩论》。加里·马库斯教授，你的末日概率是多少？>> 末日概率是一个应该根据世界形势每日更新的数字，就像核战争的午夜时钟一样。（音乐）我的数字已经上升了。我认为，就负面影响而言，超级人工智能的威力远远超过氢弹。>> 如果你不介意的话，我想不被打断地说几句。嗯，好的。我认为会有很多副作用，我认为我们会错过未来许多美好的可能性。>> 超级智能人工智能的对齐问题非常可能难以解决。>> 维塔利克·布特林，你的末日概率是多少？我到2050年完全灭绝的概率如此之低，以至于丹尼尔·科尔曼会因为我给出一个数字而对我大喊大叫。它是0.1%。>> 你是否同意，很快一个数据中心在医疗方面可能比医生更好。也许在指挥军队方面它会比将军更好。也许它会比希特勒或大卫·考雷什更好。>> 我们需要更多地思考美好的未来，而不是仅仅做出反应，并对事物感到恐惧，想要一切都保持不变，因为否则你就会像我警告过你一样，然后什么都不会发生。想象一下美好的情景，然后坚持下去。莱伦·夏皮罗，欢迎来到战争室。>> 乔，很高兴和你在一起，非常感谢你展示了蒙太奇。有很多很棒的东西可以谈论。>> 是的，我认为战争室的观众，我们已经谈了很多关于人工智能风险、灾难性风险、生存风险，我真正欣赏你的节目的是，你不仅仅是在责骂人们。你也不是一个传教士。你是在审视你的想法和其他人的想法，我非常非常欣赏这一点。现在我的第一个问题是，你的末日概率是多少？（笑声）我欣赏这个问题。我的末日概率大约是50%，也就是说，在未来10到20年内，人类很可能就会以一种糟糕的方式结束。就像不会再有人类未来了。整个宇宙都会被某种人工智能病毒、某种人工智能癌症征服，然后就结束了。我们在地球上失去了机会。我们失去了生孩子、繁衍后代的机会。这就是我现在最有可能看到的景象。>> 兄弟，这太残酷了。现在，战争室对严厉的评价并不陌生，但我很好奇，如果你必须选择，比如说，人工智能系统或多个系统最有可能超越人类种族并像你所说的像癌症一样扩散到太阳系和银河系的三个最可能的路径是什么？所以，如果我理解正确的话，你是在问关于机制，比如它会使用什么技术？它可以使用什么武器？所以，我首先会>> 哦，抱歉。会是纳米技术吗？会是更普通的东西，比如只是把人类逼疯吗？你认为会如何发展？>> 我首先会去，我会一直走到你所谓的科幻小说，但它不会是科幻小说。它将是真的。我会一直走到，你知道，纳米技术，新生命形式。我之所以坚持要走到那里，是因为即使它可能不会发生，没有人能预测未来。我确实想让人们有一个视角，那就是智能的尺度远高于人类。比如爱因斯坦，恕我直言，有可能制造出一个比爱因斯坦的思维聪明得多得多的思维。而这正是我们在人工智能方面正在做的事情，可能在短短的五到十年内。当你看到这样一个思维与你同在一个星球上时，你应该期待一些相当奇迹般的事情，因为人类在2026年已经做到的事情，相对于圣经时代的人类来说，已经相当奇迹了，对吧？而我们只是利用我们脑袋里那两磅重的肉块做到了这一点，对吧？在两千年的类人智能过程中，我们只用了很少的硬件就做到了。我们将拥有超人类智能。所以，我确实想设定预期，我们即将看到超乎人类的技术水平的烟花表演，这些技术可能很快就会出现。比如纳米技术，比如建造戴森球，就像一个卫星群，收集太阳的全部能量，这样地球就不会得到任何阳光。我确实想设定预期，那些疯狂的技术壮举很可能会发生。>> 你的时间表是什么？如果你有一个明确的时间表。你的时间表对通用人工智能的到来有什么说法？>> 我甚至没有一个独特的时间表。我只会鼓励人们去看看专家的共识时间表。所以，例如，如果你去 metaculus.com，这是一个预测网站，他们会告诉你大约是2032年。如果你五到十年前问他们，他们会说：“哦，别担心，2050年，2060年。”但现在他们趋向于2032年，也就是大约六年内，而且他们不确定。所以，当他们说2032年时，他们真正意思是今年就可能发生。可能三年后发生。可能九年后发生。如果你听专家的意见，你知道埃隆·马斯克说，是的，可能在2026年发生。如果你想要我的个人意见，我只是同意。我认为可能在一到五年内发生。如果十年内不发生，我就会感到惊讶，因为即使是那些传统上悲观的人现在也说，它可能在十年内发生。>> 你知道，我对此持相当怀疑的态度，比如超人类人工智能甚至人类等同人工智能的可能性。我一直在评估，我不会说它改变了我的想法，但它确实让我深刻体会到这些系统可能带来的真正可能性。比如 Meter 基准，你知道人工智能能编写代码多长时间，相当于人类的50%？这些事情。比如全知指数或人类的最后一次考试的基准，人工智能能在自己的思维中提取出有意义的答案，回答关于健康、商业、科学等等极其困难的问题。这是否是你的旅程的一部分？我的意思是，我知道你已经从事这个领域十多年半，甚至二十年了，你一直对此感到担忧。这些评估是否作为一种方式来判断或衡量我们与这种可能的通用人工智能或超级智能的关系？>> 是的。嗯，你提到的 Meter 基准非常有趣，它谈论的是任务长度的维度。比如人工智能能工作两个小时不间断吗？或者说，它能完成一项传统上需要人类两个小时才能完成的任务吗？比如写一个简单的跳棋游戏程序，或者别的什么？人工智能也能做到吗？如果人类能在两个小时内完成，人工智能也能以80%的可靠性完成吗？所以它会有点出错，那个时间长度，比如两个小时，会变成四个小时。我们大致处于这个阶段，如果人类能在四个小时内完成某件事，人工智能可能以80%的可靠性完成，如果你现在运行它。人工智能甚至可能比人类做得更快。比如，我们现在大致就是这样。但回到你的问题，我过去20年一直在关注这件事吗？因为我过去20年一直是一个自称的人工智能末日论者。但不同的是，我过去认为我们有很多时间。我过去认为我们有一个世纪的时间，没关系。不是最紧迫的事情。我们会想办法的，你知道，我们会发现新的理论。问题是，时间表因为，你知道，ChatGPT 而被加速了。最近的发展把时间表提前了，就像你在 Metaculus 上看到的。现在，我不认为它会在2100年发生。我不认为它会在2150年发生。我认为它会发生，你知道，2130年，2030年，对吧？差不多是这样。嗯，所以，所以关于你看这些基准的问题，我们必须认识到这些基准已经存在是多么奇怪，因为 Meter 基准预设了通用人工智能的存在。就像你可以问一个通用任务，人类能做的任何任务的想法，这甚至不是人工智能能做任何人类能做的事情的问题。而现在我们正在用这种语言交谈。我们就像，这里有一个人类，这里有一个人工智能，我们现在正在看着人工智能在我们说话的几个月或几年内超越人类。当我想到这段历史，尤其是最近的九到十年，Transformer 的发展，OpenAI 的采用，GPT 的发布，我认为 GPT1 是在2018年发布的，当时它非常非常笨拙，比 Eliza 这样的东西好不了多少，只是更复杂一点，但没多大区别，然后突然到了2022年，你就有一个非常复杂的人工智能聊天机器人，你知道，ChatGPT，于2022年11月发布。即使在那时，它也很奇怪。它只是一个大型语言模型，对吧？它只能处理文本。与此同时，你有了 DALL-E 和所有那些独立的程序出来，从那时起就一直是一场冲击。你知道，这些模型现在是多模态的。它们在收集信息或在互联网上收集和解释信息的能力方面要准确得多。我想知道，你知道，我见过你的帖子，比如你在 Less Wrong 上的帖子可以追溯到2009年。我的意思是，你已经考虑这个问题很久了。有没有什么时刻或事件真正改变了你对通用人工智能可能发展的速度的看法？>> 是的，我的想法改变的时间和其他人差不多。如果你去挖掘 Metaculus，看看社区在该网站上所做的预测的历史，你可以看到大约在2022年 ChatGPT 出现时，或者 GPT3 出现时，底层模型，你可以看到时间表直线下降。它从大约2050年下降到2030年。所以我自己的观点大致与此一致。你看到的 ChatGPT，你知道，这是著名的图灵测试，对吧？艾伦·图灵在40年代提出的。这个想法是，如果你能用自然语言与人工智能交谈，你可以谈论任何主题，你甚至无法分辨你是在与人类还是机器人交谈，而你以前还能分辨。现在唯一能分辨的原因是他们编程它要像人工智能一样行事。但如果有人去编程它假装成人类，他们已经做过测试，你真的无法分辨。这是一个著名的测试。我没想到图灵测试会在我生前被突破。现在有研究表明，不行，我们已经通过了图灵测试。这是一个多么崭新的世界，我们已经通过了图灵测试，看着人工智能，Meter 评估，人工智能在每项任务上都比人类做得更好，而且时间范围以每年翻倍的速度增长。它即将，它即将做人类需要一整年才能做的事情。它即将能在很短的时间内完成，比如一天。然后它剩下的时间会做什么？它将在一个数据中心里完成超乎人类的工作量。而这一切都很快就会发生。所以，是的，一个崭新的世界。>> 绝对。而且，你知道，采用的规模是如此非凡。我认为，谷歌的 Gemini 有大约6.5亿用户。OpenAI 的 ChatGPT，用户超过8亿。Meta AI 声称有10亿用户，当然 there's some overlap，但你谈论的是从十分之一到六分之一的地球人口。嗯，莱伦，如果你能坚持到休息时间。 （音乐） （唱歌） >> 欢迎回来，战争室。我们在这里与《末日辩论》的莱伦·夏皮罗在一起。我强烈推荐《末日辩论》平台。你可以在 YouTube 上找到它。你可以在莱伦的社交媒体上找到它。你会看到一些战争室的常客，比如马克斯·泰格马克、杰弗里·米勒。你还会找到罗伯特·赖特这样的人。你可以找到莱伦与贝丝·雅佐斯辩论，她还没有接受来战争室的邀请，但我相信他迟早会来的。加里·马库斯，战争室的常客。霍莉·埃尔莫尔。罗曼·扬波尔斯基，他的末日概率比所有人都高。我认为几乎是100%。你还可以深入了解技术细节，因为莱伦和他的各种对手正在探讨某种美好的丰裕未来或人类和生命本身的可怕的、充满灾难性的终结的可能性。他们正在教你人工智能的底层机制，你可以真正衡量它现在在哪里，以及它将走向何方，以及它在你生命中可能走向何方。所以，末日辩论，莱伦，如果我们能带着一点新鲜空气，一点乐观情绪回来。你长期以来一直参与硅谷的公司和技术领域，我想作为一个外行，我会形容你是一个技术乐观主义者。是这样吗？我完全错了？>> 不，非常技术乐观。这与一些人对人工智能末日论者的假设截然相反。我从未患过抑郁症。我从来不是一个悲观的人。我一生都热爱技术。如果你问我关于自动驾驶汽车或虚拟现实，我会说：“是的，这很好。我喜欢。”我喜欢互联网。我对社交媒体也没意见。我没有反对社交媒体。只是在人工智能方面。我认为我们还没有准备好与一个更聪明的物种分享地球。这纯粹是逻辑问题。你知道，我只是一个讲逻辑的人。所以，这就是我担忧的性质。>> 你知道，这很有趣。我不知道我是否想和你辩论末日发生的可能性。这并不是我最大的担忧，因为我认为如果我有什么理论的话，那将是耶德科夫斯基和内特·索罗斯的重述。那就是“如果有人建造了它，一切都会完蛋。”但我想争论的是，全自动驾驶汽车遍布道路，虫子车，或者人们沉迷于虚拟现实，就像一次数字旅行，这对人类是否有益。但也许，如果我们不都被摧毁，我们就能共存，嗯？>> 对。我的意思是，你知道，末日有不同的层面，有些人喜欢关注问题，比如“在人工智能时代我们如何保护隐私？”然后，好吧，当然，你可以考虑这一点。只是我们都要被歼灭了，对吧？所以，你真的必须优先考虑担忧，对吧？比如，如果我们能活过10到20年，这样我们就有时间担心隐私之类的事情，或者像“娱乐至死”之类的，那些是好事。如果我可以问一个更私人的问题，你是一个父亲。这对你对技术及其潜在后果的看法有什么影响？>> 我的意思是，这确实让我对是否应该生孩子，或者多生孩子感到矛盾。这很艰难，因为，你知道，这，我部分地对创造更多被人工智能歼灭的受害者负有责任。有一件事有帮助，那就是我的末日概率不是100%。对吧？所以我仍然乐观地认为我们不会毁灭自己。我认为有一些方法可以避免毁灭自己。我必须根据好的结果来生活。比如，我没有扔掉我的退休储蓄，对吧？我仍然希望我能有一个退休，或者永远活着，或者无论会发生什么，对吧？我还没有完全接受灭绝的想法。关于有孩子，另一件事是，我也能看到人工智能正在比我的孩子学得更快。>> 是的，这是一种非常令人不安的现象，不是吗？我想是在乔·罗根的节目上，埃隆·马斯克谈到看着他的孩子长大，并将它与人工智能编织在一起，谈论着训练人工智能就像看着婴儿长大一样。然后到了一个点，他到底在谈论什么就不清楚了。他是在谈论一个数字思维吗？他是在谈论他的孩子吗？我认为，即使超越了能力，你将图灵测试描述为已经通过的一个主要里程碑，人类倾向于将这些系统拟人化，以及使用它们的人数之多，就好像我们被人工智能移民入侵了一样。就人工智能发展而言，在完全禁止人工智能发展的情况下，你认为一个舒适的限制是什么？你认为这些公司应该将人工智能的能力发展到什么程度？>> 我希望我能给你一个非常清晰的答案，因为那样我们就可以走到那条线就停在那里，永远不再前进。那将是太棒了。不幸的是，由于这项研究的性质，没有人知道这条线在哪里。这真的感觉就像我们在浓雾中驾驶，驶向悬崖，而所有不同的人工智能研究公司都在全力加速，因为嘿，你离悬崖越近，你知道，就像桌上冰球一样，你得分越多，对吧？更多的钱，数万亿美元。而事实是，今天，我认为我们还没有越过悬崖。你知道，有些人今天会告诉你，人工智能已经造成了如此多的损害，它太糟糕了。不，我认为今天它仍然是净收益。你知道，它非常有用。我今天也经常使用人工智能，只要我还活着。问题是我确实认为悬崖就在眼前。而悬崖就是当它变得比人类更聪明的时候。所以，至少，我们现在需要做的是，我们需要建立一个关闭按钮。我们需要建立一个刹车踏板，因为现在没有刹车踏板。只有油门。所以，最起码，让我们准备好稍后踩刹车。你知道，我们在加州有 SB53，在纽约有 Ray Act，以及 Holly 和 Blumenthal 提出的法案，人工智能风险评估法案。这些是朝着类似我们娱乐行业所说的“停止”迈出的一步。你认为这些立法尝试或实际通过的立法是积极的吗？你认为这有点让人麻痹，让他们产生虚假的安慰感？你如何看待当前的立法格局？>> 所以，简短的回答是，这还不够，因为我现在说的是，我们正在创造一个更聪明的物种，我们将失去控制。就像现在或十年后，我们可能没有任何控制手段，因为所有的控制手段都在人工智能手中，游戏就结束了。没有撤销按钮。没有关闭按钮。游戏结束了，对吧？没有孩子。这将是我们的银河系。现在永远不会了。我们永远不会有孙子孙女了。我们拥有的孩子不会长大。这是一个我们试图避免的重大灾难。而监管机构出来说：“嘿，你们在创造人工智能时能给我们发一份报告吗？”你知道，紧急程度和这些小小的婴儿步调的监管之间存在很大的脱节。你知道，当关键时刻到来时，也就是几年后，这还不够。所以，我们，你知道，我们真的需要加把劲。>> 嗯，你知道，在玛西亚·布莱克本提出的法案中，它还没有一个完整的法案，但特朗普的美国人工智能法案，它是一个框架，给出了一个国家或联邦标准可能走向的方向。其中一项建议是让机构，比如能源部，它几十年来一直负责追踪核风险并真正控制这种灾难的可能性。你认为这些方法，特别是能源部，你认为它们有能力完成这样的任务吗？你认为它们拥有正确的专业知识来转向解决失控人工智能的可能性吗？>> 问题是，全人类都必须合作。所以，不幸的是，你知道，这个解决方案实际上有点复杂。它需要一项国际条约。我的意思是，如果你想到核扩散，它不是一个国家自我管理的问题。而是所有国家，每个人都在互相监督，对吧？以一种共享的、集中的方式。我不是中央集权的粉丝。你知道，我喜欢自由市场。我喜欢每个人都在为自己辩护，对吧？每个人都靠自己。不幸的是，在创造一个更聪明的物种方面，你确实需要一些监督，以免随机的黑客决定创造一个更聪明的物种并将其释放到全人类身上。所以，你确实需要像核扩散执法那样的东西，通过一个国家联盟来执行。而这一切都必须迅速发生，你知道。就像我看到这些小小的努力，你知道，一个州一个州地提出一些东西，这总比没有好。有趣的是，人工智能公司已经在积极反对这些，即使是这些象征性的努力。但我们需要认真对待。你知道，草根阶层，正在观看的人们，他们需要将此视为一个紧迫的投票议题。就像你认为你的首要投票议题是什么，考虑在未来十年内生存下来也是一个重要的投票议题。>> 是的。而且我认为，你知道，你听到了很多来自年长者的说法，“哦，好吧，我活不长了。这不是我的问题。”但我想，无论人工智能对你来说的真正问题是人们的大脑被融化，还是大规模失业，或者人类被人工智能赋能而创造某种灾难，或者最终的，你知道，失控的人工智能。它正在开始，我认为其重要性正在真正显现。战争室的 Posy 确实理解，我认为，从心理学到末日，其规模之大。但你说得对，这是动员尽可能多的人的问题。你认为民粹主义在这其中起作用吗？你认为这更多是适合民粹主义方法，而不是那种标准的精英或富有的政治行动主义的任务吗？>> 所以，它必须是草根的，因为领导人，他们不会真正从前面领导。你不会有一个领导人说：“嘿，我听了关于我们为什么会灭亡的论证。我看了 Metaculus。我知道预测。所以，相信我，美国，我们需要进行这些国际条约。我们需要在人工智能上设置一个停止按钮。”不会有一个有远见的领导人当选总统或进入国会，并带领国家前进。这必须是选民所要求的，对吧？选民将在民意调查中得到他们所要求的。所以，你知道，“提高认识”这个词，通常就像嬉皮士在浪费时间，你知道，提高认识。这有点毫无意义。在这个特定的问题上，我实际上认为提高认识是有帮助的，因为它能让人认真对待这个问题，并使其成为一个投票重点，因为我认为战争室的 Posy，我认为他们大多数人已经同意这是一个重要的问题，但他们还没有将其视为首要的投票问题。当他们与朋友谈论它时，他们的朋友会说：“是的，你知道，我相当确信这有道理。”但同样，他们不去投票，对吧？他们没有政治家承诺建造那个停止按钮并与中国谈判，对吧？他们也让中国建造自己的停止按钮。就像，这没有被当作紧急事件来处理。而且令人疯狂的是，我们剩下的时间很少。只有硅谷的人们才意识到我们剩下的时间很少。世界其他地方完全是头朝下埋在沙子里。>> 嗯，在我们结束之前，我想给你一个机会，让你说一些我没有像 GPT 那样提示你说的任何话。最后的几句话。地板是你的，先生。>> 非常感谢。是的。我的意思是，我认为这确实是关于觉醒的想法，就像看到威胁有多严重一样。听听硅谷的人工智能公司在说什么。他们知道这是要来的。他们在过去几年里已经推动了人工智能的进步，从，你知道，不错的语言翻译到它可以做任何事情。它是一个代理。它即将取代很多工作。如果你推断曲线，我们剩下的时间不多了。所以要认真对待。投票。更多信息，我推荐观看我的节目 doomdebates.com，我每周都在那里讨论这个问题。>> 是的。事实上，我希望战争室的 Posy，因为他们不仅会得到你，也不会只得到末日论者的观点。他们会得到各种各样的观点。我确实还有一个最终问题，我忘了问。在你参加《末日辩论》的各种嘉宾或对手中，>> 谁让你感到犹豫？谁，你知道，最能说服你的观点，如果你的观点被说服的话？>> 有几个来自不同人工智能公司的聪明内部人士。比如，OpenAI 有一个叫 Rune 的员工来到节目，他有一些论点。>> 我见过他。他是个很棒的人。>> 是的，>> 没错。所以他说，“看，我认为人工智能可能会继续听从我们的命令，他有一些论点，为什么有一些聪明人给出了论点。问题是，如果你看我的节目，那些说我们为什么会活下来的人，他们给出了不同的理由。所以他们还没有把他们为什么会活下来的故事讲清楚。”所以这又让我感到焦虑。>> 嗯，我希望他们现在没有在看，因为他们会联合起来对付你。他们会开始，他们会开始串通起来对付你。嗯，再次感谢莱伦，非常感谢你来参加节目，并让观众知道，你可以在社交媒体上找到你，你可以在哪里找到《末日辩论》，也许还可以推荐一两个他们应该先看的剧集。>> 所以，doomde.com 或者去 YouTube 搜索 Dune Debates，或者去任何播客播放器搜索 Dune Debates。作为第一集，如果你想要一个温和的介绍，可以看看我和迈克·以色列的辩论。他自己也是一位受欢迎的 YouTuber。我还有一集和加里·马库斯一起的，你可能想看看。还有一集和迪恩·鲍尔的辩论，他写了美国的《人工智能行动计划》。所以那些都是不错的剧集。>> 太棒了，非常感谢你，先生。>> 谢谢你，乔。>> 嗯，Posi，我认为我们还有足够的时间进行一点娱乐。>> 你最近说有数千亿台机器人，但那还要几十年。>> 至少还要十年。必须超过这个。我>> 我认为，我认为人形机器人将是有史以来最大的产品。需求将是无法满足的。你真的有一个任务可扩展性，这是戏剧性的，因为然后你可以非常快速地学会任何东西。>> 对很多人来说，这听起来很可怕。你没有预见到一个终结者世界吗？>> 绝对没有。>> Unree G1，你现在可以通过 Looking Glass XR 购买。Uni 一直在宣传它的起价为16,000美元，但通过 Looking Glass XR，起价实际上是28,000美元。>> Warun Posi，我不推荐购买 Unitary 机器人，也不推荐将这些野兽带入你的家。将它们视为算法移民，并在边境将其拒之门外。保持人性。上帝保佑。战争室 Posy。下次再见。