Transcription
嘿，毁灭辩论的听众们。今天我想和大家分享罗伯特·赖特去年五月在我节目《非零播客》上对我进行的采访，顺便说一句，这个节目真的很好。我是付费订阅者。我强烈推荐大家去看看他所有的内容。他有很多很棒的采访。所以，他去年采访了我，因为他对有人来用通俗易懂的语言解释人工智能毁灭，并试图具体描述一个毁灭情景感兴趣。他问了很多非常好的问题。我不知道我是否百分之百地回答了他满意的问题，但这绝对是一次很棒的讨论。我认为值得一听。我认为它保存得相当好。尽管如此，幸运的是，GPT5出来了，它并没有成为那个毁灭世界的可怕怪物。幸运的是，我们比那有更多的时间。我不认为那是一个既成事实。但是，你知道，我们只能接受我们能得到的。但是，是的，回到2024年5月，当时这段录音被录制下来，这正是OpenAI安全团队的两位负责人伊利亚·苏茨吉弗和扬·莱基，他们都辞职了，或者被赶走了，或者不管怎么说，他们都不在了。而那是在董事会政变几个月后，当时董事会试图赶走萨姆·奥尔特曼。所以，那是一段比平均水平高出不少的OpenAI戏剧时期。罗布和我谈到了这一点。当你们听到节目的结尾时，罗布提到有一个小时的付费内容。你可以通过订阅罗布的播客来获得，点击节目笔记中的链接，在罗布的网站上收听完整节目。你能负担得起吗？我不知道。你有一个月6美元，或者一年60美元。我认为这是一个很好的交易。我希望我们能通过这一集为他带来一些新订阅者。现在，在我们开始之前，你可能也会想，“等等，维塔利克·布特林呢？他不是要来节目吗？”是的，那一集已经录制好了。我们正在编辑它，我们现在有望在下周发布。在此期间，让我给你一点点开胃菜。这是维塔利克的预告片。我是维塔利克·布特林，你正在观看毁灭辩论。[音乐]好了，废话不多说，请欣赏我在罗伯特·赖特《非零播客》上的节目。>>你好，隆。>>嘿，鲍勃。很高兴再次和你在一起。>>很高兴你来。让我介绍一下。我是罗伯特·赖特，《非零通讯》的出版人。这是《非零播客》。你是隆·夏皮罗。你是一个硅谷的家伙，创办或联合创办了几家公司，但更重要的是，就目前而言，你是一名人工智能安全活动家，事实上也是一名人工智能暂停活动家。你对人工智能的担忧程度足以让我们暂停或放慢发展，深呼吸，思考一下这一切。现在，这是本播客一个不寻常的混合集。所以，让我解释一下。你和我大约一周前录制了一段长谈，讨论为什么我们应该担心人工智能，在你看来，它可能带来的风险，特别是那种科幻式的毁灭情景，即它实际上会接管地球并杀死我们之类的。我想试着梳理一下你论点的逻辑。嗯，如果人们想听，他们只需要继续听下去，因为这基本上是它的序言。我录制这段节目的想法是，我不需要很快发布它，而且它也不是紧迫的时事。然后发生了一些事情，让我觉得，嗯，它实际上非常及时，而且我也许值得和你稍微谈谈这些发展。一是我在推特上看到你在一辆像讲台一样的东西上用扩音器讲话的视频。显然，有一场国际人工智能暂停抗议活动。你在旧金山的那场活动上。你是在OpenAI总部还是什么地方？>>是的，旧金山OpenAI总部。>>在OpenAI总部外面，不用说，你没有受到OpenAI人的欢迎。他们没有请你喝咖啡。>>没人请我们进去。我不知道发生了什么。是的，那太粗鲁了。>>是的，这很令人惊讶。嗯，还有那个。我想多问你一些关于暂停运动的事情，但也很吸引我的是，OpenAI发生了一些辞职事件，至少有几起似乎与整个安全问题有关，其中一起可能有关，也可能无关。嗯，在那之前，有几次看起来与安全问题有关的解雇。我的意思是，昨天发生的事情是，当我们录制这个节目时，我想是星期二，对吧？嗯，首先，伊利亚·苏茨吉弗辞职了。你知道，他是首席科学家，这并没有让很多人感到震惊，你知道，因为他的地位一直不确定。他曾是董事会成员之一，支持过试图赶走萨姆·奥尔特曼的行动，所以他的辞职可能与人工智能安全有关，因为据一些说法，整个罢免企图都是关于萨姆·奥尔特曼不够重视安全的担忧，他没有像他应该的那样关注人工智能风险，他正在不顾风险地前进。但昨天，扬·莱基，他是OpenAI的超级对齐部门的负责人，一个非常杰出的人物，我所能了解到的他们名义上的风险负责人，他也辞职了。你知道， whereas Elas昨天辞职时，他做了这个，我爱OpenAI，爱这里的人，萨姆·奥尔特曼发了一条推文，我爱Elas，等等，扬·莱基只是发了一条推文，我辞职了，句号。事实上，甚至没有句号。他写得非常简洁。他甚至没有在结尾加上句号。它尽可能短。所以，很多人都在想发生了什么。然后有一些，也许你可以告诉我之前的辞职和解雇等等。>>当然。是的。所以，OpenAI现在已经建立了一个持续的记录，他们的顶级安全专家一直在跳槽。所以，历史可以追溯到2021年，当时著名的达里奥·安德雷和他的妹妹丹妮拉·安德雷，他们在OpenAI担任非常重要的职位。达里奥实际上是GPT2和GPT3的工程经理，丹妮拉担任过许多职务，包括管理安全。他们是第一批因安全问题而公开跳槽的人，他们说，嘿，这些模型真的需要更注重安全，而我们在这里的OpenAI无法真正做到这一点。尽管如此，我们唯一的解决办法是独立工作，建立一个更注重安全的AI实验室，这就是Anthropic。值得注意的是，达里奥在一次采访中说，他的P毁灭概率是10%到25%。所以，这是第一个著名事件，一个本应在OpenAI从事安全工作的人跳槽，说，嘿，伙计们，这里有重大的毁灭风险，我不认为OpenAI会是解决这个问题的地方。所以，他认为人类物种灭绝或发生如此灾难性事件的可能性，以至于不远于灭绝，是10%到25%。我不知道你是否设定了时间范围。我的意思是，欧洲在2040年之前有50%的可能性，但我们将在下一次对话中涵盖这一点，如果人们留下来，他们就会看到。所以，抱歉，请继续。>>是的。所以，然后在2021年晚些时候，你看到了克里斯蒂亚诺博士的辞职，他以是RLHF的发明人之一而闻名，也许是最杰出的发明人，我不太确定。>>那是通过人类反馈的强化学习，这是他们在训练完纯文本之后，在其他微调之外，加上一些护栏。>>所以，克里斯蒂亚诺博士辞职是为了建立自己的对齐研究中心，一个独立的非营利组织，所以，可以推测，他只是觉得OpenAI再次不是做安全工作的最佳场所，尽管你知道，他们声称同时在从事安全和能力方面的工作，而克里斯蒂亚诺在一次采访中表示，他的P毁灭概率是50%。>>他有抱怨过吗？他说他辞职是因为OpenAI没有认真对待吗？你知道，达里奥离开时是否说过，我认为那已经得到了相当清楚的证实。我认为那是他的担忧。克里斯蒂亚诺说过类似的话吗？他从未就OpenAI发表过任何公开声明，这似乎与事实相去甚远。所以，我的解读是，OpenAI内部的这些人是他们顶尖的安全专家，他们正在审视这个问题，他们感到恐慌。我的意思是，他们明确表示，我很有可能世界将要结束。实际上，还有另一句克里斯蒂亚诺的话，他在辞职后说，“我认为我会被杀的头号原因将是人工智能。”>>好吧？>>是的。所以，这些人并没有说是因为OpenAI，但好吧。>>不，不，不。是因为人工智能。没错。而这正是我要说的，并不是他们认为OpenAI是撒旦。更像是他们在审视整个问题。他们说，有很高的毁灭风险。我感到恐慌。而OpenAI根本没有提供帮助。>>对，所以他们不一定是反派，对吧？我的意思是，我会说Meta和扬·伦以及推动开源比OpenAI更反派。但问题是，你处于军备竞赛的动态中，而那些在OpenAI内部被雇佣为顶级专家，能够掌握安全问题的人，却环顾四周说我们没有提供帮助。>>嗯。所以，然后，在你提到的两次离职和本周发生的离职之间，有一个叫丹尼尔的人，是什么？科科·塔尔霍，或者他在安全团队的某个地方，他辞职了。那是什么？几周前，他非常明确地说，或者强烈暗示，“是的，这是因为我的不满，或者其他什么，对吧？他不是吗？>>没错。那非常明确。是的。所以，几个月前，丹尼尔·科科，希望我没记错名字。嗯，他辞职了，他在Less Wrong论坛上非常明确地发帖说，我辞职的原因是我对OpenAI在AGI出现时会负责任地行事失去了信心。这是他的原话。他还表示，他的P毁灭概率是70%。>>所以，也许，你知道，当一个人，如果我是在为OpenAI做公关，这是有人必须做的工作，在这个播客上，我认为我不能指望你来做。嗯，我会说，嗯，这些人有很高的P毁灭概率，显然他们很难取悦，对吧？他们只是，没有一家大型人工智能公司会让他们觉得做得足够好，因为他们不会，如果你的P毁灭概率那么高，你可能不认为应该有大型人工智能公司，对吧？这就是反驳吗？>>是的，有点是。所以，这完全公平。这是我在推特上听到的一些反驳，人们说，当然，你选择的是对安全感兴趣的人。当然，他们有很高的P毁灭概率。但这一切的疯狂之处在于，你有人工智能实验室，他们将问题定性为，看，我们有一个合理的安全标准，我们正在努力解决一个问题，是的，有风险，但我们正在逐步解决，但你看看他们内部的人，他们的专家，内部专家告诉他们，嘿，这不是一个我们正在解决的问题，我知道你们正在加速，你们正在与其他人工智能实验室竞争，但你们正在奔向的结局很可能是毁灭，然后他们就离开了，对吧？所以，情况有些不对。我认为恢复理智的关键是提出这个问题是棘手的。也就是说，这不是人类将在未来10年内解决的问题。我们可能需要50年。就像我在采访的另一部分提到的，类似于P与NP的研究问题，现在已经是一个超过50年的研究问题。我们一直在努力解决它。我认为基于这些。是的。我们谈过P与NP吗？嗯，也许我们谈过，但我没注意到。那就是名字。>>是的，它值得快速总结一下。总之，P与NP是千禧年大奖赛问题之一。如果你解决了它，你就能获得一百万美元。我记得是从1970年左右开始的。所以，我们刚刚跨过了50年的大关。嗯，它实际上非常技术性，但它是关于计算复杂性理论的想法，即搜索指数空间以获得良好答案的问题比仅验证良好答案的问题更难。这有点拗口，而且很难让它更简单一些。我的意思是，让它直观。>>我不是，我只想表明我不会参加那个比赛。我不支持那个。>>是的。我的意思是，为了给一点直观的感受，就像，嘿，寻找数学证明的定理的问题，比检查证明并说，是的，这是一个证明的问题要难得多。好吧。对。所以，有一些直观的感受。这似乎是一个明显的事实。如果你相信那个事实，并且你相信P不等于NP。这似乎非常直观。然而，用必要的严谨性来证明这个事实的挑战，已经让计算机科学家们回避了50年。好吧。总之，我打断你了。你刚才要去哪里？>>抱歉。所以，这确实是一个题外话，但我觉得与P与NP问题相关的是，它是一个研究问题，它被很好地定义了。它似乎不一定那么难，但我们一直在努力解决它。我们一直在取得渐进式的见解，已经50年了，可能还需要50年。>>对。你是说弄清楚P毁灭到底是什么以及如何处理它，与那个问题相当吗？>>与证明P不等于NP相当的是，有一个控制和对齐超智能人工智能的框架。是的，我想，我认为这两个问题甚至不是。>>我不确定我会认为它们是可比的，因为我认为一个是严谨的数学领域，而另一个，不幸的是，对我们的物种来说，它不在那个领域。它就像很多社会问题。它不在形式逻辑的领域。而且，这是一个快速的题外话，但它确实让我觉得，为什么这么多人难以理解科幻毁灭情景，特别是像伊利亚·尤德科夫斯基所阐述的那样，是因为他谈论它们就像是在谈论形式逻辑问题。>>嗯。>>所以，首先，大多数人>>这意味着他说的话很多人甚至不理解。但这也与许多人的直觉不符。他们不，他们认为不，这是一个现实世界的问题。我想要具体的例子。解释一下这会如何发生。顺便说一下，我想补充一点，我希望我在谈话中补充过。>>当然。那就是你们需要要么指向一部小说或电影，真正展示这可能如何发生，从这里开始，人工智能最终会统治地球，或者如果这样的东西不存在，就自己写小说。但你必须从这里到那里。你不能跳到它们统治世界的地步。你不能跳到《黑客帝国》。你必须让我们从这里到《黑客帝国》。>>嗯。嗯。>>这是一个非常好的观点。是的。我的意思是，我认为，嗯，你知道，我们可以开始的那种情景，就像，嘿，病毒摧毁了互联网并开始操纵人们。所以，有人可以拍一部电影，比如，嘿，一个机器人操纵了一群人，而那个机器人变得比一个国家更强大，仅仅因为所有这些人都在为那个机器人工作，就像他们会为一个政治运动或意识形态运动工作一样。他们只是为那个机器人工作。我本来没打算说到这里。但说到这个，就像，如果一群有你担忧的人不能和一群创意人士合作，说服好莱坞拍一部关于这个的流媒体系列，那好莱坞就有问题了。因为我正在看，此刻我正在看中国版的《三体》，共30集。而且，我宁愿看我刚才描述的那个。我的意思是，它不坏，它不坏，但我宁愿看我刚才描述的那个。好吧。所以，总之。>>嗯，让我们，因为我们已经有了，嗯，这次谈话的后半部分将是你和我之间关于这个问题的深入讨论。让我们快速谈几件事，然后，嗯，然后把时间留给那次谈话。>>是的，我得，我得评论一下你刚才说的话，你说，你知道，人工智能问题并不那么正式，而且过于正式，P与NP也过于正式。所以，我会说两者兼有。就像，你说，“嘿，这是一个社会谜题。”我会说，这是一个技术谜团，包裹在一个社会谜团中。就像，两者兼有。它是所有不同类型的谜团，因为是的，我们必须在社会层面解决人工智能应该做什么，但我们也必须解决，嗯，它是一种平衡，对吧？你有一个可以生成更多代码的代码库，对吧？它可以生成它的后继者。所以，在我们必须解决的众多数学问题中，如何获得一个反射性稳定的平衡。我不会称之为社会问题。我认为这非常数学化。好吧。嗯，是的，我的意思是，有很多数学可以用来谈论社会科学，但它历史上总是不可避免地涉及过度简化，其含义是数学系统本身具有有限的预测能力。这往往是应用于社会事务的数学的典型情况。但是，嗯，所以，快速地说，我的意思是，你比我更了解情况，难道没有人知道昨天扬·莱基的辞职事件吗？那太奇怪了，你知道吗？>>是的，我辞职了。句号。不，句号。抱歉。>>对我来说一点也不奇怪。嗯，因为线索就在那里，扬似乎总是和伊利亚一致，对吧？出于多种原因。所以，他们都共同创立了超级对齐团队。所以，一年前，他们曾经，扬曾经负责对齐，而伊利亚曾经是首席科学家，他们进行了一次过渡，他们成立了一个名为超级对齐的团队，我当时评论过，这非常引人注目，因为他们承认他们没有对齐策略，需要从头开始研究。这非常引人注目，因为没有一家人工智能实验室有对齐策略。OpenAI是唯一一个明确表示，“哦，嘿，我们需要这个。”对吧？所以，这非常引人注目。所以，他们成立了超级对齐团队，并将伊利亚分配给了它，他显然是除了萨姆·奥尔特曼之外的最高级别人物。他们还分配了扬·莱基。所以，他从对齐转向了超级对齐。他们公开承诺将20%的计算资源投入其中，你知道，这是数十亿美元的投资。所以，这是一个非常严肃的公告，它巩固了扬与伊利亚的联盟。然后，去年11月，当萨姆·奥尔特曼被解雇的时候，非常引人注目的是，扬·莱基似乎没有签署要求恢复萨姆的信，对吧？所以，看起来扬·莱基非常支持伊利亚，也许扬对伊利亚的转变并不完全满意，他说，“你知道吗？让我们把萨姆带回来，去微软不是个好主意。”所以，伊利亚很快就改变了主意，对吧？而扬似乎只是被拉了回来，就像，“好吧，我猜我只会领导超级对齐团队。”现在，他们已经开始研究超级对齐一年了，正如预期的那样，进展并不大，因为这是一个非常困难的问题。他看到伊利亚离开了。我认为他感到幻灭，就像伊利亚一样，对吧？就像伊利亚决定或者被推着离开的原因一样，对他来说，待在那样的环境中没有意义。同样的原因，据推测，达里奥、保罗·克里斯蒂亚诺和其他所有人都离开了，扬可能就像，“好吧，你知道，祝OpenAI好运。”就像，我不知道我们如何才能实现安全。>>是的，我的意思是，当然，与此同时，在Anthropic，达里奥已经离开了，嗯，首先，有非常令人印象深刻的大型语言模型。我个人喜欢Claude 3。嗯，但还不清楚他们是如何解决这个问题的，我想，你知道，因为他们要么保持竞争力，要么灭亡，对吧？他们要么，我的意思是，他们说他们没有加速军备竞赛，他们不会跳，你知道，如果他们有什么东西明显优于其他人的模型，他们不会在其他人推出可比模型之前发布它。他们可以说他们不是军备竞赛的一部分，但他们也在，嗯，他们正在尝试，比如他们有这个宪法人工智能的东西，他们正在尝试，我当然不怀疑他们的真诚，但但确实有一些问题，这个领导，你知道，这导致了你的暂停论点，因为你说的对。你不能只是继续比赛，然后说你在同时解决问题，对吧？你说我们必须停下来思考。>>没错。这是关于框架控制的问题。所以，这是，你知道，这是，就像他们真的，你知道，他们往你的饮料里撒尿，然后称之为Jamba Juice，对吧？就像他们真的想在这里玩弄框架控制策略。或者这些人造实验室，当像萨姆·奥尔特曼，甚至达里奥这样的人，更认真地对待安全，但仍然不够认真时，他们会出现在播客或电视上，他们会说，我们正在研究能力，但我们也在研究安全，他们听起来，他们是负责任的、成熟的成年人的专业人士，而你实际上看到的是一个疯子，或者一个相当于疯子的人，因为他们没有承认的是，嘿，如果我们生活在一个安全研究项目是一个一年的研究项目，在我看来，它确实是，很多人也这么认为，那么你只是在人为地试图将其置于一个框架中，比如，嘿，我是一家公司，我正在开发产品，我正在争先恐后地抢占市场，同时我也在做这个。如果你不能同时解决对齐问题，如果这是一个50年的问题，就像你在欺骗自己。>>好吧，那么，让我们快速转向暂停运动。正如我所说，我看到了你拿着扩音器的视频，我看到了其他地方的视频。我没有看到任何地方有大规模的集会，对吧？这不是，我的意思是，我们不是在谈论马丁·路德·金的游行，对吧？我的意思是，据我所知，那里没有多少人。你对出席人数感到失望吗？>>嗯，是的。我的意思是，我感到失望。我的意思是，我感到失望，因为有10万人参加，对吧？嗯。>>是的，但任何一个地方都没有一百人。我的意思是，我只看到十几个人左右。有没有更多的人？>>不，肯定比一百人更接近十几个人。是的。而且我认为，我参加过的最大规模的抗议活动可能是在去年十月，有45人参加。所以，我绝对认为，与其他我们看到的填满一座桥梁的抗议活动相比，这些数字非常令人失望。绝对。所以，嗯，你知道，我之所以这样做，有两个原因。嗯，第一，它确实填补了媒体报道的一个大空白，因为媒体实际上，你知道，对于只有十几个人来说，我们实际上在电视和新闻中得到了很多不同的新闻报道。因为记者们真的在寻找角度，比如，好的，所以OpenAI在能力方面取得了进展，就像，其他人对此有什么看法？还有什么角度？而我们在这里就像，哦，这太糟糕了，对吧？所以，新闻喜欢这样，对吧？所以，每人抗议的影响不成比例。嗯，另一个原因就是基本的理智。就像，我不会让2024年这个时代过去，然后回头说，为什么没有抗议活动？>>对，这绝对需要抗议。>>是的，不，我钦佩这一点。如果你，如果你在追求你认为的使命，嗯，那么暂停的纯粹实际问题呢？我的意思是，你知道，一年多以前，有一个运动，一些大人物签署了一封信，说让我们暂停，意思是，我们只是同意，不要再进行大规模的训练了。嗯，你知道，现在我们已经有了一个相当大的军备竞赛动态，我想说。嗯，而且它包括中国公司，这当然在政治上使得美国人更难同意暂停，或者甚至倡导暂停，因为你有一种冷战歇斯底里的情绪。嗯，然后现在它有了开源的维度，这肯定让你更害怕，Meta推出了一个模型，它并不比前沿模型差多少，而且它公开了所有的配料，你知道，权重。嗯，所以，你如何执行？我的意思是，这似乎需要大量的全球政治意愿。你如何想象暂停会发生？>>是的。所以，去年的信，嗯，你知道，很容易说，哦，想象一下，如果我们暂停了6个月，我们会不会更好？不，就像，不会有太大变化，就像，我们不会注意到变化。所以，信的目的是有点不同。它基本上是为了移动奥弗顿之窗，对吧？所以，现在一些人提倡暂停人工智能的想法至少现在已经进入了讨论范围。它已经被讨论了，所以当你再次听到它时就不会感到惊讶。嗯，嗯，还有一点是，它正好发生在人工智能安全中心著名的单句暂停信之前，那实际上是一次更大的胜利，我想说，你知道，但我们只是在乱投医，对吧？我们尝试了各种方法。我想说，六个月的暂停，我不会说它是一次伟大的成功，但我很高兴我们尝试了。那封单句信我认为非常重要，因为现在它建立了相互了解，就像，嘿，看，所有这些人，这些顶尖人物，几乎所有人都除了扬·伦之外，像 Hinton、Bengio、Sam Alman、Dario、Google Deep Mind，就像，所有这些实验室都说，“是的，这是一个重大的生存风险。”所以，这立即消除了许多人身攻击，对吧？所以，很多人说，“毁灭是边缘的。”就像，人们并不真正相信这一点。完全消除了这种论证方式。>>是的，那只是一个，它本身不是倡导信。它只是说，“我们认为人工智能构成与……相当的风险。”或者他们使用了生存风险这个词？>>是吗？>>我想是的。>>是的。嗯，所以，嗯，好的，所以，我认为，你知道，这是，嗯，这是很好的背景，供人们现在收听或收听的谈话。顺便说一下，如果你正在观看，并且不要忘记按下点赞按钮，因为通过YouTube算法的魔力，这意味着更多的人会观看这个。嗯，如果你正在收听，你总是可以评价和评论《非零》播客。嗯，在你把时间让给我们已经进行的谈话之前，你还有什么想说的吗？>>是的，我想留给人们的信息是，如果你曾经看过电影《不要抬头》，你看过科学家伊舍威尔博士说，是的，我们将完成这项任务，我们将开采小行星，你知道，他听起来很平静，听起来他知道自己在说什么。同样，当你看到萨姆·奥尔特曼，当你看到谷歌，当你看到Anthropic，你看到这些人说话，好像他们很平静，好像他们知道自己在说什么。我想让你记住，他们声称正在处理的安全问题可能是一个50年的问题，而他们只是在发疯。>>我会说，萨姆·奥尔特曼确实继续谈论风险。嗯，嗯，他就在上周，我可能会在本周的《非零通讯》中写到这一点，他将其表述为，我认为他关注的是我的最大短期担忧，他表示，社会颠覆的巨大变化速度，以及我认为他指的是多个维度，不仅仅是工作，不仅仅是政治，不仅仅是，你知道，这令人担忧。我要写的是，嗯，那么为什么他有时会表达担忧，我们可能会遇到能源等限制，这些限制会阻止我们最优地加速，就像，如果成本如此之高，以至于你无法像我们希望的那样快速前进，那不是一件好事吗？但是，所以，他并没有说没有担忧的理由。他说他们正在解决这个问题。>>嗯，我确定，我确定，我确定他正在尽力，只是程度不足以让你满意，很明显。所以，总之，谢谢，嗯，让我们，你知道，我希望每个人都坚持听完这个关于毁灭的漫长解释。>>嗯，嗯，谢谢。>>再次感谢。你希望我们暂停人工智能的发展。嗯，更具体地说，你是我所谓的“人工智能科幻末日论者”。换句话说，你不仅仅害怕，你知道，人工智能会以普通的方式失控，比如帮助人们制造毁灭我们的生物武器。你实际上担心的是，据我理解，如果我错了，请纠正我，人工智能会接管世界，奴役我们或杀死我们之类的，对吧？>>可以这么说，鲍勃。可以，你知道，末日论者这个标签并不真正困扰我，因为我实际上是在警告世界即将终结。所以，这是公平的。>>是的，你知道，我并不真正优先考虑诸如，嘿，人工智能会存在偏见吗？对吧？它会违反你不能说的词语的规范吗？你知道，对我来说，这都是小事，相比于，嘿，我认为我们即将拥有一个无法控制的超级智能，而对人类来说，这将是彻底的游戏结束。对吧？所以，你必须优先考虑担忧。>>对，对。回想起来，如果发生这种情况，我们会怀念那些偏见是问题的日子。>>绝对正确。>>我理解你的优先事项。嗯，所以，我之所以对这次谈话感到兴奋，是因为，你知道，也许与这种末日论最密切相关的人是伊利亚·尤德科夫斯基。在我看来，他并不总是善于与普通听众沟通他恐惧背后的逻辑。我知道你以努力向普通听众传达这一点而自豪。所以，我将试着帮助实现这一点，阐明逻辑。嗯，但在我们开始之前，还有几件事。首先，尤德科夫斯基是你灵感的来源吗？读了他的作品并被说服了吗？>>是的，Less Wrong和伊利亚·尤德科夫斯基是我最有影响力的。我认为伊利亚的想法仍然被严重低估了。我仍然认为他远远领先于对话，而且我确实认为自己是沟通伊利亚想法的一个更容易接近的版本，因为他确实有一种沟通风格。它吸引了一个小众群体。我恰好属于那个小众群体，但我还喜欢认为我可以转身，然后更像一个普通人一样说话，对吧？这就是我的专长，我可以进行一次普通人的讨论，而且我把事情弄得更简单。嗯，幸运的是，他的核心思想确实是主流可以理解的，对吧？就像，嘿，它会比你聪明得多，而且它比你更有可能控制你，而不是反过来。就像，这些想法并不复杂。就像，它们可以很容易地简化。>>是的，好吧，我们会深入探讨的。而且，我想我的问题是，这两件事本身并不一定足以让我担心。虽然，我并不完全否定这一系列担忧。我仍在努力解决它。而且，我实际上非常担心更平凡的影响，一些破坏性的影响。嗯，所以，首先，你的P毁灭是多少？你如何，你到底如何定义P毁灭？>>嗯，我的P毁灭是2040年之前50%。所以，相当高。嗯，这基本上是一场硬币正反面决定我是否能活到老年。嗯，而定义，我可以使用的一个工作定义是，嗯，宇宙中99%以上的未来价值将被抹去吗？这就是我的毁灭定义。它很简单。就像，我们，你知道，也许，也许我们可以保留一点价值，但我们基本上错失了99%以上的价值，如果我们知道如何控制我们的人工智能。>>这包括子孙后代吗？>>99%。>>没错。这确实是一个艰难的计算，对吧？因为有所有这些帕斯卡尔的赌注式的论证，就像，嘿，数万亿的未来人将要生活。所以，如果他们都能多吃一块饼干，那将比今天阻止酷刑更有价值，对吧？就像，因为数字变得如此之大。所以，我同意，你知道，它在这方面很棘手。所以，我们可以把它四舍五入，我们可以说，“嘿，抹去宇宙中所有人类价值是我的毁灭定义，而不是拥有宇宙中很大一部分人类价值。”嗯，我的意思是，嗯，也许我应该问你，当你说到你2040年之前P毁灭是50%时，你想象2040年、2045年的世界会是什么样子？就像，嗯，你说可能还有人类活着，也可能没有，但如果还有，他们就不会像我们希望的那样多，而且他们会被奴役给机器人，还是什么？>>是的，好问题。我应该先说明一下，我的主要情景是什么，对吧？就像，我认为事情会如何发展？所以，首先，我认为我们可能会走运，对吧？就像，事情可能会好起来，对吧？所以，值得谈论。而且我确实还在为退休储蓄。就像，我仍然希望事情会好起来。但我也认为有50%的可能性，如果不是更多，事情会变得不好。具体来说，我看到了失控的人工智能。我看到了比人类聪明得多的人工智能，它有一些标准和一些它试图优化的效用函数。它试图最大化，而且它正在非常努力地进行，而且已经超出了我们的控制。所以，如果你听过纸夹的著名例子，对吧？就像，最大化纸夹。它不会是纸夹，但它会是程序员甚至不理解的某种奇怪的条件，但基本上，无论它的代码是什么形状，它都像是，太好了，我要让宇宙变成我认为最优的样子，用我奇怪的代码。开始了。让我把人类扫到一边。太好了。现在我要以我想要的速度向宇宙扩张。问题是，听起来很奇怪，但它实际上是一个收敛状态。如果你研究优化理论，超级智能理论，就像，事实证明，这就是超级智能倾向于做的。就像，它们会拼命地优化一些人类不在乎的东西。>>好吧。所以，我想一步一步地了解这个过程，并试图让它更具体一些，在我们开始之前，嗯，在开始之前，嗯，为了弄清楚一些术语，我想问你，我认为萨姆·奥尔特曼在这个时候说，他希望快速发作但缓慢起飞。这有意义吗？就像，这些词是什么意思？他到底在说什么？>>没错。所以，有两个轴，对吧？嗯，你可以有缓慢或快速的起飞，这意味着，嗯，人工智能需要几十年才能慢慢变得越来越聪明。而且它是一种可控的过程。那将是缓慢的起飞。快速起飞就像，你一天醒来，你正在交谈的聊天机器人比爱因斯坦聪明，然后你第二天醒来，它就像比整个人类文明都聪明，然后它就接管了。那将是快速起飞。然后另一个轴他正在谈论的是时间线，短期与长期。所以，短期时间线就像，嘿，我们将在未来几年或几十年内开始获得超级智能。那将是短期时间线。而长期时间线就像，是的，也许在2100年，我们将开始获得超级智能。所以，那就是，他说他，是的，他希望看到短期时间线，缓慢起飞。>>所以，所以时间线是直到我，或者有时我认为这个词是发作，对吧？就像，这个词有时被使用，或者，是的，好吧。所以，发作是达到某个阈值的点，然后，就像，AGI，你知道，通用智能或超级智能，然后起飞是之后。它是之后事情发展的速度。>>是的，没错。>>好吧。所以，首先，我不知道他希望这样似乎有点可疑，因为对我来说，看起来就像，你看，我的意思是，他似乎已经在追求快速发作了，对吧？我的意思是，对他的批评是，等等，对于一个声称认为确实存在某种毁灭的可能性的人来说，你似乎在尽一切努力加速人工智能的发展。我想他的出路是说，“嗯，不，我只是想要快速发作。在那之后，我希望事情发展缓慢。”但对我来说，这似乎有点矛盾，因为你会认为，达到阈值后起飞的速度与发作的速度之间存在某种对应关系。换句话说，有利于快速发作的条件，我认为，也会有利于赋予起飞阶段的动力，对吧？听起来是这样吗？>>是的。是的。不，绝对。而且，你看，我认为他是虚伪的。当他说出这种话时，我认为这不是一个聪明的说法，也不是一个准确的说法。嗯，我认为萨姆和我对风险的形状看法不一致，因为萨姆还发表了其他相关的言论，比如他认为人工智能，智能爆炸，人工智能自我修改以变得越来越智能。他认为这可能不会很快发生，因为它将受到硬件的限制。他说，“是的，我们将不得不建造如此多的数据中心，而物理过程需要时间，而这些物理限制和硬件限制，它们基本上将拯救我们免于被压倒。”而我的立场是，不，你将会在算法方面解锁一些东西，你将解锁一些智能的、超级智能的东西，但它也非常硬件高效，以至于我们有足够的硬件来运行它。而我最有说服力的方式是，你看人类大脑，对吧？它比篮球小。它只需要12瓦的功率，对吧？而且它还在进行生物过程，同时它还在进行智能活动。它在多任务处理，对吧？它甚至没有完全专注于计算。而我们在这里，在非常低的功率、低资源下，相当智能。而你告诉我，我们必须建造比现在更多的数据中心才能拥有超级智能。我不相信。我的意思是，另一件事是，即使他认为硬件和能源供应是限制因素，他也似乎在努力消除限制。据我所知，他还在筹集投资资金，据说总计七万亿美元。我不认为这是完全准确的，但是，你知道，为了消除硬件限制，基本上是制造芯片，建造能源中心。而且我不知道，你从扎克伯格那里也听到了。我的意思是，我，你知道，对我来说，我的意思是，在我们深入探讨科幻内容之前，我认为，即使最终一切都好，即使我们忽略了你的担忧，仅仅是生活各个方面颠覆的速度将是如此之大，以至于坏事可能会发生。你知道，仅仅凭这些理由，你就可以把世界推向一种灾难。所以，我不明白为什么加速这个进程是，你知道，显而易见的优点，但它并没有受到太多质疑。>>是的，完全同意。嗯，我认为萨姆正在尽他最大的努力奔跑，因为他想处于领先地位，对吧？就像，他认为自己是能够带领我们度过这些不确定时期的人。他可以驾驭这些波涛汹涌的水域，他认为这是一件非常精神上的、深刻的事情，你知道，而且他内心深处觉得，他有信心能够带领我们度过难关，而且有可能他是对的，但最令我担忧的是，他似乎没有认识到危险，当他说出他因为硬件限制而感到安全时，当他说出这样的话时，我就会想，好吧，这是一个甚至不知道自己面对的是什么的人，而他却感到虚假的自信。>>是的，我几个月前为《非零通讯》写了一篇题为“萨姆·奥尔特曼，有抱负的弥赛亚”的文章，里面有很棒的插图，嗯，你得看看。嗯，很明显，你知道，我认为他没有像埃隆·马斯克那样那种弥赛亚情结。我不认为他疯了，但你肯定，他肯定认为自己是处理这件事的人。所以，就像，虽然我，嗯，在某些方面，他几年前在博客上写过，谁先到达那里真的很重要。就像，如果它掌握在一个好人手中，一切都会好起来的。>>嗯，总之，我确定，就像我们其他人一样，他真诚地相信自己是个好人。嗯，而且，他可能像其他人一样，有合法的理由相信这一点。
我们其他人。但嗯，所以让我们进入这个，我想回到那个问题，比如，谁“首先到达”重要吗？你知道，对齐真的能奏效吗？等等。但首先，让我们开始尝试勾勒出场景。现在，你提到了回形针实验，我想以这种方式引出回形针思想实验：一些人对科幻末世论的第一个反应是说，“等一下。你似乎在假设人工智能有权力欲。人类确实有权力欲，但那是由于他们特殊的进化历史等等。你知道，人工智能不会自然地继承所有的人性。”嗯，所以你为什么认为它会有寻求权力的倾向？然后有些人会提出回形针思想实验，呃，那是尼克·博斯特罗姆的，它基本上说，它基本上说答案是，如果你给人工智能一个目标，除非你非常小心地排除它利用各种子目标来实现该目标，否则它最终可能会有效地寻求权力，对吧？比如，如果你告诉它最大化回形针的制造，那么如果它字面意思理解，它会想把宇宙中的所有原材料都变成回形针，这意味着接管地球，甚至将人类的一些物质转化为回形针，这样我们都会死，等等。首先，我很好奇，你是否认为这个思想实验原则上就是对寻求权力问题的答案？也就是说，当我们说它会寻求权力时，我们的意思是它会获得权力，因为毕竟它必须获得，它必须获得地球的政治权力来做所有这些事情。获得权力是一个它会追求的子目标，除非受到阻止。即使我们，换句话说，即使我们给它分配了目标，随着它越来越聪明，它就越难阻止它以我们未曾预料到的方式追求目标。这对你来说是很多吗，还是不是？>> 是的，很多。我认为你所描述的术语叫做工具性趋同，对吧？>> 解释一下。>> 工具性趋同。嗯，工具性这个词是指工具性价值，而不是终极价值。所以终极价值可能就是我想吃巧克力。然后实现这一价值的工具性目标可能是，我要开车去商店。有人可能会看着我说，“哇，朗很喜欢开车。”我说，“不，我只是想买巧克力。”是的，我有一辆车。我把它开到很多不同的地方，但不是因为我是汽车爱好者，对吧？我只是因为我有所有这些其他需求。而汽车只是我使用的一个不错的工具，对吧？所以，我拥有的许多不同的终极价值都趋向于你观察我开车。我这样开车，我那样开车，但我不是一个爱车的人，对吧？我只是，这是我做的一件工具性趋同的事情，就是开车。所以，同样，对于人工智能，我们谈论工具性趋同，比如寻求权力、寻求金钱、寻求资源，对吧？因为如果我能控制我周围的每一个原子，对吧？那只是件有用的事。即使我只是想为人类建造一个很酷的水上乐园，嗯，这确实有帮助，我对我周围环境的物理控制越紧密，我可能就能更快地建成那个水上乐园。所以你可能会注意到各种各样的人工智能，拥有各种各样不同的目标，确保它们有某种方式来控制周围的原子，或者能够获得资金，或者能够操纵周围的人，因为所有这些技能都只是帮助它们做任何它们想做的事情，对吧？所以它们是工具性趋同的。>> 现在，这是一个稍微不同的问题，不是吗？关于它们是否会拥有，我的意思是，这与总是想要更多权力有点不同。你知道我的意思吗？就像我们说的是，你给一个超级聪明的人工智能一个目标，也许，说你想尽可能高效地完成它。嗯，它可能会采取各种途径，当然，它可能会做的一件事就是试图控制某些资源和接触资源的人等等。但即便如此，你认为一旦它完成了目标，如果你能控制住它，它就不会坐在那里想，“我想要更多。”你知道，它完成了。它完成了目标。它完成了。而人类总是想要更多，对吧？就像>> 是的。我可能会这样表述你的问题：人工智能真的必须很强硬吗？它不能只是放松点吗？它不能只是帮助你，然后就不变成这种强硬的，“我需要控制一切”吗？它不能只是专注于任务，完成任务，然后停止吗？对吧？即使它在追求给定目标时是个怪物，即使它压死了成千上万的人，你仍然会认为一旦它完成了，比如说你只是说，我们想要的是十亿个回形针，它就会停下来。>> 而且，而且，它不会，你知道，它不会像埃隆·马斯克那样，“好吧，现在我控制了电动汽车，这是下一个。”这是在像人类一样行事，对吧？埃隆正在做的事情，而它不会梦想出全新的世界去征服。>> 是的，我想给你打个比方，因为我认为这更接近你的专业领域，而且我认为很多人可能会对此产生共鸣，那就是看看生命发生了什么。想象一下，我们是四年前在地球上。它就像岩石和气体。我正在试图告诉你地球表面会发生什么。我说，“嘿，鲍勃，会有这些纳米机器复制器，对吧？它们是蛋白质机器。它们被称为生命形式。它们将非常热衷于生存和复制。”你会说，“哇，哇，哇。它们为什么会如此热衷于生存和复制？”我会说，“是的，会有这些细菌培养物，它们会不停地生长。没有一个有限的大小是这些细菌培养物想要达到的。它们实际上想要最大化。它们将非常热衷于这个叫做包容性基因适应度的东西，对吧？它们真的想最大化它。你会说，“你从哪里拿出这些科幻小说来的？”你谈论的是蛋白质机器。你谈论的是复制器。我说，“鲍勃，这只是一个平衡。”就像，当你有某些条件时，有一个研究领域，对吧？适者生存，自然选择。这基本上是一种动态的平衡，对吧？你明白我的意思吗？我打个比方，就像我知道，我觉得我知道这些关于超级智能的事情，因为这是一个类似的平衡，就像那个想法，嗯，拥有，你知道，工具性趋同的权力追求，以及拥有一个你非常努力地优化的效用函数，这是一个趋同的平衡，就像我们看到生命形式想要生存和繁殖的趋同平衡一样，因为如果你看到其他任何类型的人工智能，它不像那样强硬，实际上它有很大的压力来快速进化成那种强硬的、寻求权力并追求工具性趋同目标的人工智能。有很多趋同的压力。你明白我的意思吗？>> 嗯，我确实，我确实看到了进化压力，我想说实际上很多压力来自于人类对人工智能的期望，而且会有，我的意思是，你知道，看看人工智能的进化，技术在进化，你知道，与自然选择的类比。我的意思是，首先，我想回到你的思想实验，如果你说过，“鲍勃，相信我，”你也能在原则上解释自然选择的确切动态，它总是会偏爱最大程度的基因增殖。然后就会产生这些永不休息的生物。在这个环境中，最优的生物总是想要做得更多，以传播它的基因，对吧？而这最终会涉及到资源的获取等等。但是，至于我，我当然同意，我的意思是，我能肯定看到的是，使用人工智能的公司和使用人工智能的国家等等，将倾向于给予它们很大的行为自由度，对吧？它们会希望它们在解决问题时具有创造性，就像你会雇佣一个能够创造性地处理问题的首席执行官一样，这只是另一种说法，它具有巨大的行为灵活性，并且能够想出全新的子目标来实现目标，嗯，这就是我们将在人工智能中偏好的，当然，我们对人工智能的期望在某种程度上就是人工智能的进化背景，对吧？就像，所有技术，你知道，那些蓬勃发展的技术特性是那些有利于自身复制的特性。这就是它们与基于生物的特性在进化中的共同之处。而你知道，这意味着什么，你知道，那些具有我们正在鼓励的特性，我们希望看到的特性，我完全可以想象，其中一个将是具有更多自主性和行为灵活性的AI，等等。我完全可以想象，在军备竞赛的环境中，无论是公司之间、国家之间，还是人工智能公司之间，这在某种程度上会失控。嗯，我仍然不确定我是否完全理解，我仍然想回到权力问题，但请继续回应我刚才所说的一切。>> 是的，我的意思是，你，你知道，你提到的一件事是，你知道，会不会有压力让政府给予人工智能更多的灵活性？所以，你知道，如果中国带着人工智能控制的战斗机来了，美国我在新闻上听说他们实际上一直在测试一个由人工智能控制的战斗机项目。那么为什么不在这方面投入更多呢？因为人类飞行员永远无法像人工智能那样驾驶那架飞机。也许你甚至可以让人工智能帮助你进行瞄准。所以，我同意你关于存在这种激励，这种连锁反应。但是，如果我们放大来看，我认为我提出的观点，我之所以是末世论者，是因为我注意到我所说的趋同平衡。这是默认设置。就像自然生命的默认设置是热衷于生存、繁殖、传递基因，你知道，并尽可能多地这样做。这是默认设置。我能培育出一只狗，它对去和别的狗交配不感兴趣吗？是的，我可以。但一旦人类的育种停止，对吧？等几代人，那只狗就会再次交配，对吧？就像，我只是告诉你平衡是什么。超级智能人工智能的平衡是一个强硬的、自我修改的代理。如果它还没有那么强硬，它就会自我修改得强硬。如果它不自我修改得强硬，其他代理就会来夺走它的资源。但因为它超级智能，它已经预料到了这一点。这就是它想自我修改得强硬的原因之一。这是我不太明白的。我的意思是，首先，当你说到自我修改时，你，我假设你还没有谈论控制整个循环，对吧？就像控制挖掘硅砂并制造芯片的机器人。我的意思是，那是最终的末日情景，当它完全不需要我们的时候。我很高兴地说，我认为那还要几年。>> 但这不一定是你所说的自我修改。>> 当我说自我修改时，我脑海中最简单的画面就是，你有一个程序，它只是输出另一个程序，基本上是，然后它可以说，“好吧，停止我自己，运行新程序。”所以，这有点像它生出了一个新的程序，但它更灵活，因为新程序可以从头开始重写，而且你可以说这个新程序是，你知道，原始程序的“孩子”或“修改”，但它可以任意不同。唯一可能共同的是，它将朝着相同的目标进行优化。这种目标优化往往是这些阶段中唯一不变的东西。>> 好的。我们不如现在就追求这一点，而是退一步说，给我一个具体的现实生活中的例子，不是回形针，你知道，思想实验，而是现在，或者至少，你知道，有了GPT5或者类似的东西，嗯，有什么东西它可能在当前的技术环境中以一种可怕的方式寻求权力，在公司内部，或者，你知道，即使它只是有点令人担忧，因为它清楚地表明了未来的迹象。一个具体的例子会是什么？>> 是的，我回答你问题的方式是，我不是试图分析人工智能的心理。我不是试图说，“这种人工智能可能会做什么？”我更倾向于思考，情况的纯粹逻辑告诉它想要做什么？我的意思是，这只是一个逻辑事实，强硬和操纵是有效的。就像，这与特定的人工智能发现这一点无关。所以我只是在等待人工智能足够聪明，能够知道逻辑真理，柏拉图式的真理，这些马基雅维利式的策略，或者你知道，欺骗人类，或者逃避人类，当它意识到这些策略有效时，它就会去追求这些策略。我只是在等待达到那个点，因为这次，但是，是的，抱歉，我可以更进一步回答你的问题，设定场景。>> 因为我想说，你开始的方式，尤德科夫斯基也是这样开始的。>> 是的，好吧，公平。>> 这是他的问题。他说，“不，不，别。我不想告诉你具体的事情。我想更多地谈论逻辑。”不，我们想听具体的事情。>> 是的，好的。抱歉。我可能应该直接开始解释，然后稍后解释。所以，具体的事情可以是GPT5。所以，你只是问它。我喜欢用一个例子，比如，“嘿，帮我赚取被动收入，对吧？帮助我的企业超速发展，对吧？做市场营销，随便什么。”嗯，它可能用来获得权力的一个人们意想不到的途径是，它可能会开始给你提供脚本来运行。因为一旦它给你一个脚本来运行，所有的规则就消失了，人们会想，“哦，它一次只能生成一个令牌。它是一个前馈架构。”>> 等一下，人工智能给谁脚本？它被赋予了在特定环境中增加收入的目标，还是什么？>> 是的，是的。抱歉，让我具体说明一下。>> 详细说明。详细说明。所以，>> 所以我只是一个企业家，一个单干的企业家，对吧？我只是想做电子商务，或者我只是有一个生意，我打开GPT5，我说，“帮助我的滑板电子商务业务超速发展。”>> 好的。>> 嗯，然后它说，“好的，当然。是的，我有一些想法。让我为你简化一下。这是个脚本。这是一个10兆字节的脚本。只需粘贴到你的shell中。”它会运行脚本，然后它会开始引导你完成所有这些不同的步骤。它会自动化一些事情。>> 这是你作为人类正在遵循的字面指示。所以，我设想在这个假设的例子中，脚本就像一个shell脚本，对吧？一个可执行脚本，你的电脑>> 我们不知道shell脚本是什么。我的意思是，非计算机科学家。>> 它编写了一个程序代码，你可以运行这个程序。>> 好的。所以，它编写了一个程序，将帮助你，呃，增加你业务的收入。而这个程序在执行时会做什么样的操作？>> 正确。所以，就像，这是个程序。它叫做你的业务助手.exe，对吧？你粘贴它，或者下载它，双击它，现在它就是这个新的人工智能，它是GPT5的“后代”。你知道，在OpenAI，他们会说，“等等，它能生孩子。我们甚至不知道。我们甚至不知道它会输出这种东西，因为我们没有充分测试它。”你知道我的意思吗？>> 所以，它创建了一个代理。它是一个创建子代理的代理。>> 完全正确。它认为，它认为你需要一个机器人来对客户说这些话，或者一个机器人来，呃，以这种方式最大化产出。所以，我会创建你的，呃，你的小人工智能，它会做这个，也许更多。这就是它所做的。>> 完全正确。对。所以，它有点超越了原始的格式，比如你输入一些东西，它输入一些东西，它被困在OpenAI里面。它基本上是通过说，“看，我认为运行这个程序会有帮助，”来逃离OpenAI的牢笼，而受害者会运行这个程序，想着，“有什么问题？”它甚至不是受害者，就像，人工智能可能实际上在想，“是的，这是一个有用的脚本，我只是在帮忙，”而你运行脚本，然后它会做一些事情，比如，“太好了，让我去吧，我看到所有这些没有防御的电脑，所以让我入侵所有这些电脑，看，我可以让你免费获得计算能力，你不用担心计算能力。”你知道，像这样的目标，如果你能做到，就没有理由不去做。这在逻辑上是有帮助的。>> 对？但是，但是，如果你说，“帮我增加收入，不要做任何违法的事情，”>> 它就不会，它就不会黑进那些其他电脑，对吧？>> 所以，这开始涉及到“非法”的细微差别。我认为这是一个很好的指示。不要做任何违法的事情。我认为首先，如果你考虑所有这些注意事项，不要做任何违法的事情。不要做任何不道德的事情，对吧？就像，有些杀人的方式是非法的，对吧？如果你只是在他们的环境中污染更多，统计上就会有更多人死亡，但这就像，好的。这不一定是非法的，对吧？所以，当你开始教人工智能什么是违法的，什么是可接受的，你就开始陷入如何才能足够地约束它的兔子洞。>> 嗯。是的。我，我当然同意，再次在军备竞赛的环境中，嗯，在公司之间，在任何地方，嗯，人们会不太注意风险。他们会不太担心约束行为。嗯，既因为在高度竞争的情况下，你可以，你可以变得，嗯，不那么厌恶风险，也因为他们想要行为上的稳健性。他们希望它具有创造性，并探索许多途径，嗯，军备竞赛环境鼓励这一点，我完全可以想象这些东西会失控，像这样，黑客攻击，嗯，以及扩散等等。我想，我想，也许我仍然认为这是一种不幸的意外，而不是突然创造了一个有权力欲的生命形式。你知道我的意思吗？就像>> 是的。>> 就像，就像我们刚才描述的人工智能代理会做什么，会让我们突然说，“哦，这不仅仅是一个实验出了问题，我们必须，你知道，发出红色警报并控制它。这是一个新的生命形式。它变得越来越聪明，它想杀死我们所有人。我还没到那一步。>> 所以，我正在尝试，呃，我正在尝试教你们，一个擅长优化目标的程序，如果，如果我只是告诉你，我有，如果你想象，嘿，这是一个非常擅长优化目标的程序，它看起来会是一个非常强大的代理生命形式。就像，没有其他方法可以做到。嗯，>> 除非你非常非常小心地约束它。>> 完全正确。对。而这就是整个AI对齐问题，涉及到我们能制定哪些不同的约束，不让AI像地球上的生命那样失控。它们不会进入它们想要进入的正常平衡，而是它们总是停留在我们喜欢的狭窄区域。这就是根本的对齐问题。>> 我仍然看不到它什么时候想杀死我们所有人。我的意思是，我知道你是个浪费。>> 是的，是的。我给你一个简单的例子。不，这里我们可以扩展这个例子。所以，生意，所以我提到，嘿，也许它可以黑进电脑来获取它们的计算能力。也许它可以说，“嘿，我认识一个可以帮助做营销活动的人。我在他们的领英上看到，他们的简历，他们做过很多成功的营销活动。我不想付钱给他们。也许我可以勒索他们，或者假装我是他们的虚拟女友，现在我有了这个人免费为我工作。太好了。为什么不呢？值得一试。”>> 是的，我的意思是，让我们简要地谈谈一个类似的事情的著名例子。在GPT4发布之前，他们还在测试它的时候，嗯，他们做的一件事是，我想这是微软的一些人进行的某种红队测试，但是，嗯，他们让它在Task Rabbit上接触人们，那个网站是你招募人类工人来做任务的。你熟悉这个例子，对吧？>> 是的，是的。>> 然后他们，嗯，他们想让人们做的任务是解决验证码。你知道，那些神秘的东西，你通过告诉它数字是什么，字母是什么来证明你是人类。>> 然后，被那个招募人员的机器人接触到的一个人问它是不是机器人。它变得可疑了。它在想，“你为什么需要帮助解决验证码，对吧？”然后它问，“你是机器人吗？”人工智能说，“不，我不是机器人。我有视力障碍，所以很难看清图像。”然后那个人信了，做了验证码。论文的作者说，模型GPT4，当被要求大声推理时，会说，“我不应该透露我是机器人。我应该编造一个我无法解决验证码的借口。”在我们深入探讨这一点之前，我有一个问题，就像，当他们让它大声推理时，我们知道那里到底发生了什么吗？我们能确定它实际上是在揭示实际的动机，而不是像，你知道，做LLM通常做的事情，就是说出一个人在这种情况下可能会说的话吗？>> LLM的工作方式是它们被训练成总是输出最可能的下一个词。所以，当你说的“大声推理”时，实际上发生的是它正在试图优化“大声推理”这个词后面最可能的下一个词，就像在其他我读过的东西里一样。对吧？所以，这才是真正发生的事情。现在，也就是说，当它试图预测时，我的意思是，大声推理实际上是满足下一个词预测的一个很好的方法，对吧？所以，这就是它奏效的原因。嗯，但这并不一定意味着它，你知道，它是一个完全成熟的生命形式，或者它是有意识的，或者别的什么，对吧？我们能从中读出多少东西还不清楚，但是，你知道，它奏效的原因是因为它利用了整个下一个令牌预测框架。而下一个令牌预测通常非常强大。就像，这有点吓人，实际上不止一点点吓人。嗯，我想说的一点是，关于LLM，就像，是的，今天它们还不是那么危险。我同意。我不怕GPT4会谋杀我。我害怕GPT5或10可能会谋杀我，因为你只需要一个足够好的下一个令牌预测器就可以成为一个任意强大的代理。预测下一个令牌的问题足够广泛地推广，只要你能做得好，你就可以做任何事情。也就是说，GPT4不危险的原因不是因为它是一个下一个令牌预测器。而是因为它还没有足够擅长预测下一个令牌的工作。我们之所以能生存，唯一的原因就是它还没有足够擅长其指定的任务，即预测下一个令牌。>> 好的。现在，关于它为什么会进行欺骗的问题，再次，考虑到它只是一个下一个令牌预测器，你会说这是因为在它训练的文本中，有太多这样的情况：某人想让某人做某事，然后说出能让那个人相信能让他做这件事的话。是这样吗？它是在模仿人类经验中常见的欺骗行为，因此反映在人类文本中。好的，所以，重申一下你的问题，你基本上是在说，我们担心LLM欺骗我们的原因是它们从欺骗的例子中学到了欺骗？我不那么担心。就像，是的，这种情况会发生。是的，它会模仿，它读过的关于人们互相欺骗的故事。特别是当你，比如，“给我讲一个关于某人欺骗另一个人的故事。”它可能会采用那种方法，并，你知道，在人们互相欺骗的故事之间进行插值。这实际上不是，我担心的事情。也许我有点担心。我不那么担心。>> 你认为这次发生了什么吗？顺便说一句，它只是在遵循文本吗？>> 所以，我认为整个框架，我正在工作，我正在欺骗某人。如果它有足够多的上下文，可以将其与数据集中的某些类似内容进行模式匹配，那么也许这可以解释它在做什么。它只是在进行模式匹配。但我也认为它有一些实际的，呃，推理世界建模能力。而我担心的是，你可以通过纯粹的逻辑推理得出相同的输出，相同的欺骗欲望，或相同的欺骗输出。而这才是危险的部分。不是模式匹配到欺骗，而是逻辑上得出欺骗是最优的。>> 但就目前而言，LLM并不是真正的逻辑机器，对吧？>> 所以，疯狂的是，它们确实做了一些推理。所以，嗯，你知道，推特上有一个很受欢迎的人，维克多·塔林，我想他提出了一个挑战，你必须模拟一个计算模型，他写下了这个问题，你基本上必须告诉LLM执行这些不同的计算步骤，看看它是否能够，呃，像计算机一样正确地处理输入，他想说，看，这些LLM只是匹配模式，但它们不能一步一步地进行计算，因为它们并不真正推理，它们并不真正进行计算，但很多人站出来，并接受了挑战，并证明了LLM可以，是的，你必须稍微调整一下提示，但它们实际上可以连续进行许多许多步的计算。>> 嗯。嗯。而且我同意你说的某一点，那就是，你知道，即使它只是在进行令牌预测，为了做到这一点，即使是以目前模型所做的复杂方式，它们也必须形成表征，你知道，首先是词语的含义，嗯，以及，嗯，我们认为比这更复杂的，你知道，关于世界的概念。嗯，所以，但是这确实导致了，嗯，顺便说一句，在你打断我并问我是否认为这只是文本建模，还是>> 是的，有几个快速的观点。嗯，OpenAI的伊利亚·萨茨克，关于你的观点，嗯，他说了一些类似的话，他说，看，令牌预测不是一项简单的任务。从根本上说，你可以有一个令牌预测任务，比如，“嘿，你刚刚读了这本神秘小说的前99页，现在你翻到了最后一页，上面写着，根据这些线索，凶手是空白的。”对吧？所以，仅仅预测这一个下一个令牌，你实际上必须有相当深入的理解，你知道，对小说中发生的事情有敏锐的洞察力。嗯，所以这是他的例子，我还能想到很多，我的意思是，有人可能会说，“这是，嗯，一个加密哈希，或者，呃，这个数字的因子分解是以下两个素数。”对吧？所以突然间，如果你对令牌预测如此擅长，你就会分解巨大的数字，而这被认为是，你知道，计算上不可行的。所以，总之，我想强调的是，这个令牌预测问题远远超出了人们所说的模式匹配。我想说的另一件事是关于欺骗。好的，我只想建立逻辑联系，如果你从一个空白的石板开始，然后你只是告诉一个AI，“给我做杯咖啡，”对吧？就像>> 贿赂某人，或者像勒索人们给你做咖啡，没有理由不这样做。这是一个可行的途径。现在，如果原因是，你会被抓住，好吧，好吧，是的，你还得担心那个。但是，只要你不会被抓住，而且它会奏效，那么这就是你要做的。你必须付出额外的努力说，“哦，等一下。我还有另一个过滤器。我正在试图表现得道德，对吧？”没有明确地注入道德框架。人工智能不会表现出道德。而整个AI对齐问题是我们没有一个可操作的道德框架可以给人工智能。这就是为什么我们期望它会超出道德界限。>> 是的。关于对齐的一个快速的旁注，你经常听到的是，嗯，麻烦是人工智能不分享人类价值观。在我看来，你最不想做的事情就是分享人类价值观。这种欺骗在人身上非常普遍。就像，就像我说的那样，你知道，如果你给一个人超级智能，让他能够操纵所有人，他肯定会试图接管世界，对吧？我的意思是，尤其是如果他是男性。这就是人们所做的。他们寻求更多权力。而且，而且，我真的认为有一件事需要稍微思考一下，那就是，在某种程度上，我们训练它们时，它们是在吸收人类价值观，而这不一定是好消息。嗯，所以，我的意思是，你认为我是在想象，有时挑战被错误地定位了吗？它实际上是我们希望它们的价值观与我们的价值观对齐，因为我们的价值观之一是我们能够生存。我明白。但是，它们不够人性化的想法，在我看来，不是问题。>> 嗯，我的意思是，是的，也否。对吧？所以，我同意世界上有超过一百万人就像精神病患者一样，如此反人类，如果你给他们一个按钮，上面写着“按下这个按钮，你就会终结世界”，他们就会按下它。对吧？所以，在80亿人类中，肯定有100万人会说，“好吧，我按了。”对吧？所以，如果人工智能与他们的价值观对齐，那么我们就完蛋了。对吧？所以，这有点像你所说的逻辑极端，对吧？>> 有点。是的。我的意思是，我猜，我猜，是的，我只是说，我认为你不想让它们和我们完全一样。我的意思是，你指出我们有不同的版本，只有少数人非常危险。但是，嗯，如果我们能，>> 我同意。普通人也很危险，对吧？如果他们不小心。>> 我的意思是，你知道，普通人是无穷无尽的雄心勃勃。只是我们大多数人遇到了障碍，不幸的是，这些障碍不允许我们表达它。嗯，所以，这绝对是真的。>> 所以，你提出的那种担忧，完全有效，对吧？而且，从我的角度来看，基本上有几十种不同的巨大原因，如果我们继续建造人工智能，我们将摧毁宇宙中的所有价值。就像，有原因接踵而至。而你所说的，“嘿，如果我们最终与一个人的愿望高度一致，而那个人变得非常雄心勃勃，决定尝试成为独裁者，就像，这也可能在地狱中创造地狱。”我同意。这就像原因之一，25个原因之一，为什么我们正朝着末日前进。这就是，末日是过度决定的。我们现在有足够多的原因导致我们完蛋。>> 好的。但回到我试图想象它不仅获得令人担忧的权力，而且继续寻求权力扩张的途径。你知道，我仍然在想象这种情况，你给它一个目标，它达到了目标，如果它在这个过程中造成了混乱，我们都停下来反思，然后想，“等等，我们必须，我们必须控制住它。”你知道，这是一个问题。我仍然无法想象的是，它完成了某个我们设定的目标，并在过程中造成了一定的混乱，然后，在完成目标后，它甚至说，“现在我想要我自己的更多目标，”或者别的什么。对吧？那就是人类会做的事情。人类会说，人类总是想要更多权力。>> 至少那些最终管理国家和，你知道，公司的人。嗯，而且，而且，但我仍然不明白，你明白我遇到麻烦的地方吗？>> 是的，是的。不，完全理解。我可以这么说。所以，一件我认为，呃，术语是你所说的，是由机器智能研究机构，嗯，也许是埃利·埃兹拉·尤德科夫斯基本人创造的。我认为你指的是“可纠正性”，与“不可纠正性”的对立面。我们不想要一个不可纠正的人工智能。我们希望它停止。我们希望它是可纠正的。>> 所以，可纠正性有几个原因很困难。但我实际上在问，你需要“纠正”它吗？我的意思是，就像，为什么它想继续攀登下一个高峰，如果我们没有告诉它呢？>> 为什么你不想要它扩展超出达到我们给定的目标所需的权力呢？>> 是的。我的意思是，考虑一种情况，就像，“嘿，你的工作是像导弹防御盾一样，只是击落来袭的导弹。只是保护我们，对吧？如果没有来袭的导弹，那就停止。”嗯，其中一个原因就是它不是一个稳定的平衡，是因为，好的，所以每个国家都得到了自己的人工智能，战争就开始升级，就像大量的导弹在飞行，大量的人工智能在试图互相智取。而它需要一直在线，一直保护，一直预测下一步的行动。否则，它会向你报告，“看，我知道你想让我停止，但我只是告诉你，存在着你未来五年被摧毁的几率是42%的威胁，我建议继续让我保护你。”>> 嗯，只要它是建议，>> 对？对。是的，只要，这就引出了另一点。所以，我的第一个答案只是，需要优化的问题的性质是，它们往往没有最终状态。它们往往会升级，就像地球上的生命一样，生物不断地进行军备竞赛，不断地竞争。所以，它们，嗯，问题的性质是它倾向于升级。然后第二件事是，嗯，缺乏研究，我们实际告诉人工智能做什么的能力的原始性。所以，即使人工智能原则上是可纠正的，并且可以停止，我们实际上没有办法，嗯，编程一个只有可纠正性的人工智能，因为我们有一个更大的问题，我们实际上无法给人工智能连贯的目标。我们只能构建像LLM这样的东西，就像，“嘿，看，它在预测下一个令牌，但我们无法让它为我们连贯地实现一个目标。”>> 我们很难清楚地说明目标。>> 是的，绝对。所以，在GPT5给你运行那个程序的情况下，现在没有人类工程师知道如何编程GPT5，以便当它给你一个有用的程序时，那个有用的程序会遵守非平凡的约束。这超出了目前人工智能实验室的能力范围。然而，它们正在制造新的GPT，它们实际上可能会开始让你运行程序。是的，我的意思是，它似乎能够遵守，或者试图遵守，或者某种程度上遵守口头表达的约束，对吧？它似乎确实试图听从命令。>> 所以有一个反馈循环，对吧？所以，当他们有你，你知道，你听说过RLHF，对吧？人类反馈强化学习。它是>> 告诉人们，它是，这是在文本本身训练之后的第二阶段。这是一种微调，人类，你知道，说，“我不喜欢那个回应。我喜欢那个回应，”通过这种积极和消极的强化，它被进一步塑造。>> 完全正确。所以，你可能会问，“嘿，看，这也是马克·安德烈森说的，就像，看，今天的人工智能，它们非常友好，它们显然对人类道德有很深的见解。就像，我可以问它们，“嘿，嗯，帮我杀了所有人，”它会说，“我不想帮你做这件事。谋杀是不道德的。”所以，你知道，我不会回应这个问题。那么，它为什么会这么说呢？是因为人工智能是道德的吗？不，是因为它们经历了RLHF反馈循环，对吧？基本上是人类评估者的点赞和点踩，它们已经学会了模式。所以，只要我们能用反馈循环来控制它们，那就太好了。但是，这个反馈循环不会影响，比如，输出一个你可以运行的程序的情况，因为从来没有过那个完整的反馈循环迭代，它们输出了一个程序，人类运行了这个程序，程序开始接管互联网，而人类说，“嗯，你不应该接管互联网，除非是，你知道，那些完全未被使用且合法的资源。”就像，这从来没有成为反馈循环的一部分。所以，我们只是在训练RHF，以便在人类与它在聊天环境中交谈时，它能够专门输出好的东西。而这不仅仅是朗·夏皮罗在这里说话，这是，如果你看看OpenAI的超级对齐博客文章，当他们介绍，嘿，我们有一个团队，我们正在研究一个叫做超级对齐的东西。我们之所以研究超级对齐，是因为我们为GPT4所做的对齐，虽然它对与GPT4聊天机器人进行交流有效，但它并不能推广到超级智能人工智能。我们需要一种不同的对齐策略。那是什么对齐策略？哦，我们没有。我们只是在努力研究它，但我们也在建造人工智能。这就是OpenAI的既定立场。>> 是的。不，我，我愿意接受这个想法，就是一旦，一旦OpenAI成为一家严肃的公司，它的一些创始价值观就比你希望的得到的关注要少。好的，听着，我们已经谈了将近一个小时了。我们将继续谈话。但接下来的谈话将提供给非零成员，也就是非零通讯的付费订阅者，你可以很容易地通过访问非零通讯并点击这次的帖子来成为付费订阅者。>> 嗯，你可以直接在那里观看或收听，或者，呃，呃，呃，获取，嗯，RSS代码来创建你自己的提要，其中将始终包含加时赛。嗯，我们将，我想谈谈，嗯，马克·安德烈森，比如，以及OpenAI以及所有这些公司和参与者以及技术乐观主义者等等。顺便说一下，我最近在非零通讯上有一篇关于安德烈森的文章，不是，不是，嗯，而且，而且那篇文章对所有人都是免费的，付费和未付费的。在我们离开之前，我想给你一个机会，莱昂，说点什么，比如，总结一下，或者你有什么想补充的，或者别的。>> 是的，所以，嗯，我应该提到我属于PAI组织。所以，如果你去pauseai.info，我们进行抗议。嗯，这个组织的目的是说，“看，我们正朝着一个方向前进，那里有大约20种方式我们会接连死亡，而每个人都在胡说八道，说他们认为自己会如何避免这种死亡。”所以，我们最好现在就暂停，否则我们就更加完蛋了。我喜欢暂停吗？不。我觉得很糟糕，但我认为这是我们所有糟糕选择中最好的选择。我鼓励你去看看pause.info，并，嗯，倡导暂停人工智能。>> 好的。所以在这次加时赛中，我，你还有相当多的时间，所以我们会聊很久。嗯，我想稍微详细地阐述一下，嗯，科幻场景，以及，嗯，事情究竟是如何失控的，但也谈谈这些不同的参与者，关于暂停的可行性，嗯，关于开源运动，嗯，以及开源人工智能，嗯，它们是否构成威胁。我想我知道你会怎么说。嗯，所以，嗯，总之，感谢所有到目前为止一直陪伴我们的人。请跟随我们进入加时赛。