Transcription
欢迎来到“末日辩论”，这是世界上仅有的两个宣称“P末日”风险很高的播客之一。第二个是约翰·谢尔曼主持的“为了人类”播客。强烈推荐。今天我将交叉发布我最近在“人类播客”上与乔·默里进行的采访，这是一个询问有趣的人们关于他们的生活和职业的节目。所以，就我而言，乔的问题都围绕着：什么是末日？人工智能如何导致末日？什么是P末日？“末日辩论”的使命是什么？我的生活是怎样的？反对人工智能末日的最有力论点是什么？像病毒、瘟疫和核末日这样的其他风险呢？我如何比较失控人工智能风险与人工智能滥用风险？有什么办法可以阻止人工智能末日？我们是否因为坏人而需要构建通用人工智能？如果这些问题听起来很有趣，我认为你会喜欢这次采访。在我们开始之前，还有一件事。你能去 dunebates.com 输入你的电子邮件地址并提交吗？这样你就可以订阅我的电子邮件列表了。这样你就会知道我何时会发布下一集，当我看到我的 doomde.com Substack 的订阅者数量增加时，这会给我更多的动力来加快速度并制作下一集，这样每个人都会赢。好了，关于这个播客前的样板话就到这里了。你来听“末日辩论”不是为了快进五分钟的样板话。如果你听“末日辩论”，那是因为你重视你的时间，你重视信息密度。你期望从这个节目中获得不亚于阿斯伯格症患者的信息密度。所以，我们将直接进入乔·默里的采访。再说一遍，他的播客叫做“人类播客”。如果你有兴趣了解一下，节目笔记里有链接。你可以听听他的其他采访。我们开始吧。那么，末日到底是什么？人们可以有不同的定义。我认为对我来说，一个简单的定义是，如果你摧毁了人类在其历史轨迹上本应拥有的价值的99.9%以上，你就把它彻底抹去了。你知道，你只剩下潜在价值的一小部分。我会称之为末日。是的，这很模糊，但在实践中很容易区分，比如，嘿，看，有一大堆星系，我们能识别出正在进行的生命、正在进行的文明，无论是血肉之躯还是硅基生命，或者其他什么，它看起来像一个文明。它看起来很有趣。它看起来很有成效。它看起来很有趣，与，哦，就像它只是灰色的粘液，或者它只是黑暗，对吧？所以，这就是我谈论美好未来与末日时所做的区分。你感兴趣的、你在播客中谈论的末日，是否真的与人工智能末日特别相关？所以，如果有人在听，并且真的不知道，你知道，关于这个话题的任何事情，你能描绘一下人工智能末日可能如何发生吗？我，作为一个人工智能末日论者，我担心的是在十年或二十年后，在不久的将来，在我有生之年，我担心的是你将看不到你期望的人类文明。你只会看到一个荒原，那里只有人工智能在做它们想做的事情，仅仅因为它们将是更聪明的物种。所以，基本上，它们会像我们非常愉快地对待所有其他动物一样对待我们，对吧？人类征服地球的方式，你知道，我们正在造成第六次大灭绝。已经有一百万个物种灭绝了。我们还在继续，对吧？我们正在成功地灭绝几乎所有物种。也许我们会留下肉牛，但我们正在用实验室培育的肉来取代它们，我对此表示支持。但重点是，我们目前正在操纵地球来做我们想做的事情。即使狮子和老虎，它们的爪子比我们锋利。它们比我们大。你会认为它们会有自己的生态位，但没有，我们正在以人类物种的身份占据一切，对吧？所以，我们对待整个生物生态系统的待遇，作为人类，我没有意见，对吧？我认为这很好，但我认为这是一个形象的例子，说明当我们构建人工智能时会发生什么。有没有理由怀疑这个类比不会发生，也就是说，人工智能可能会因为更聪明或其他原因而以不同于我们对待动物的方式对待我们。有没有这方面的合理想法，或者你没看到？通常当我提出人工智能末日时，这是一个非常明显的问题，对吧？就像好吧，是的，那是最糟糕的情况，就像一个物种可以随意对待我们，但我们不能让这个物种变得好吗？我是说我们毕竟创造了它。它不能为我们服务吗？原则上答案是肯定的，对吧？就像猴子不能仅仅为了服务猴子而创造人类吗？是的，原则上，对吧？你可以将人类大脑连接起来，使其除了服务猴子之外别无所欲，对吧？但在实践中，这在进化过程中并没有奏效。所以问题是我们有多大可能让它奏效。问题是我们真的没有工具来让它奏效。就像我们构建人工智能的方式，我们并没有真正输入一个正确的愿望。我们更像是随意摆弄它们，让它们在电脑里通过阅读互联网来进化。所以，我们只是希望，看，如果它阅读了互联网，然后它就想出了如何变得聪明，并与我们交谈，那就足够了，足以让它继续为我们服务。就像人们希望的那样。你甚至会听到他们说，你看，它默认是善良的。如果它读了很多好的网页，也许它会很善良。所以现在我们深入探讨了，嗯，等等，这个过程到底会产生什么？对吧？这个过程产生的行为者是什么样的心态，什么样的目标，它到底想要什么？因为我认为这里有两个步骤，第一步是你是否接受这个前提，如果它比我们聪明，那么它就可以随意对待我们，并且可以随意对待宇宙，这是第一个前提。然后第二个前提是，好的，鉴于它可以导致我们灭亡，它会想要导致我们灭亡吗？这是论证的两个步骤。还有一个与末日相关的关键术语是P末日，什么是P末日？是的，P代表概率，对吧？它是末日的概率。所以我们中的许多人工智能末日论者都相信贝叶斯概率。你知道，就像预测市场一样，如果你去预测市场，你可以看到一切都有赔率，你可以基本上表达你认为某事发生的可能性，以概率的形式，然后你可以给出或接受赔率。所以，如果我认为某事有70%的可能性发生，而我看到一个市场说它只有55%的可能性，我可能会购买该预测市场的股份。基本上，有方法可以对你的概率下注。像我这样的贝叶斯推理者，相信贝叶斯哲学的人，我们只是认为，为了成为一个理性的人并连贯地推理事物，你必须大致了解事物的概率。你不能到处说，哦，没有概率，世界末日没有概率，就像世界末日没有概率一样，不，你必须给它一些概率。我不是说你必须知道确切的小数点，我不是说你必须有一个非常精确的概率。但如果你不能告诉我，比如，人类在未来一百万年内生存的概率是99%，与，哦，不，我们有大约50/50的机会，或者，哦，不，我们有不到1%的机会，这之间有什么区别？有一些叫做，你知道，大概的概率。所以当我们谈论P末日时，我们只是说，粗略地说，我们是在谈论，没问题，我们肯定会活下去，还是我们在谈论，我们几乎肯定活不下去？就我而言，我大致处于中间。所以，我有时说我是50%，有时我引用一位人工智能实验室的领导者的话，他说他是10%到90%。有时我引用Anthropic的Dario Amade的话，他说他是10%到25%的P末日。有很多聪明人处于这个巨大的中间范围，这肯定不是，哦，我们有99%的希望，但它也不是，哦，别担心，我们不会灭亡。有一个巨大的中间范围，10%到90%，在那里，嗯，我们有点完了。就像，似乎我们很有可能在有生之年就完了。所以，这就是我的P末日，就像这个中间范围，嘿，我们真的可能完了。你能多解释一下你是如何确定你的P末日的吗？所以，你的P末日大概是多少？你是怎么得出这个数字的？是的，大概是50%，但就像我说的，更像是10%到90%。我认为最简单的解释是，你看，如果我告诉你我的P末日只有1%，那似乎很愚蠢，因为怎么会只有1%呢？即使你看看核冲突，对吧？我的意思是，我们人类，我们经常差点把自己逼上绝路。就像冷战，有很多次擦边球。阅读维基百科的核事故列表非常有趣。你知道，我们真的掉了一个炸弹，它的四个安全装置中有三个，我们不小心把它掉了。在美国中西部，它差点爆炸，但幸运的是最后一个安全装置起作用了，因为有一个20伏的开关，幸运地保持在正确的位置，即使所有其他的安全装置都失效了，那将是一次10兆吨的爆炸，疯狂的事情，在过去的50年里，我们很多次都非常接近核末日。所以，人类会自我毁灭的想法，这显然是可能的。人工智能可能会失控，并且它可能会利用其智能以我们不喜欢的方式来操纵我们，这显然是可能的。所以，如果我告诉你一个小于1%的数字，我觉得我会非常糟糕。同样，如果我告诉你一个大于99%的数字，就像真的吗？有一些非常聪明的人认为我们没有。有一些聪明人，比如Robin Hansen，他认为人工智能最终可能会接管，但没关系，因为它将是我们的后代。所以，仅仅是如此多的聪明人意见不合，有不同的看法，就让我觉得说大于99%是疯狂的。所以，我现在给你论证了为什么它显然是1%到99%。然后就只是数字问题了，对吧？我应该把它推到5%或10%以上吗？我会说绝对是的，因为我能告诉你所有这些不同的论点。所以，基本上，当你听到很多论点，而且所有论点都听起来很强，而且它们都听起来相互加强，而且它们都听起来是汇聚的，就像有很多深层原理一样，为什么会有这么多不同的方式导致我们灭亡。这往往会让你超过5%或10%。然后另一方面，嗯，为什么我不能推到90%以上？嗯，显而易见的论点是，我们不想死，对吧？所以，有很多人类非常渴望不死。到目前为止，我们已经磕磕绊绊地度过了核武器危机。所以，我很难给出超过90%的灭亡几率，因为当我们足够害怕时，我们都会非常努力。所以，这大致就是我最终得出10%到90%的原因。你主持着这个很棒的播客“末日辩论”。你到底想通过这个播客实现什么？你认为这能如何帮助人工智能安全和风险预防工作？对我来说，很清楚我们完了，对吧？所以我有一个坚定的立场，即目前继续进一步发展人工智能是完全鲁莽的。这太疯狂了。房间里的成年人真的应该关掉它。问题是，很多聪明人并不像我一样。所以，我的播客“末日辩论”只是系统性地说，“好吧，让我们把所有最聪明的人都请到房间里来，让他们从不同的角度来谈谈为什么我们不会灭亡，或者为什么我们不应该暂停人工智能的发展，让我们来辩论一下，对吧？就像电子游戏一样，对吧？每个人都来找我，告诉我你为什么认为我们不会灭亡。我会告诉你为什么我们会灭亡。”我的播客的目标是让观众可以一集一集地观看。好吧，这个人有不同的理由说明我们不会灭亡，但他们的论点站不住脚。这个人有不同的理由。他们的论点也站不住脚。为什么每个人都有不同的理由说明我们不会灭亡，但这些理由似乎都很薄弱？所以，我希望有人，对我来说，很难完整地阐述我们为什么会灭亡的整个论点。但是，当你看到所有不同的人试图争辩我们不会灭亡，而且他们都未能看到他们论点中的巨大漏洞时，我希望这能共同构成一个论点，就像，好吧，嗯，也许通过排除所有这些糟糕的论点，也许我们真的完了，是时候采取行动了。所以，这就是我正在采取的“末日辩论”的方法。那么，更宏观的层面，你可以称之为恐吓。我所做的，我实际上认为恐吓是好的。原因是，我们正在建立一种相互了解我们已经完了的知识。相互知识意味着我们不仅需要知道我们知道我们完了，还需要知道你知道我知道你知道他知道所有人都知道我们完了，或者大多数人都知道我们完了。之所以是相互知识，是因为个人已经怀疑我们完了。就像，如果你去问一个普通人，解释一下人工智能的基本情况，比如它变得比我们聪明。我们真的不知道如何控制它。这让你感觉如何？他们会说，糟糕。我不喜欢。我宁愿停止它。就像，太好了，你这么想。大多数人都这么想。大多数人没有意识到大多数人都这么想，并且认为这很紧急。所以，我只是在建立相互知识。有意思。所以，你认为很多人，如果他们花几秒钟听一些论点并思考一下，就会拥有和你一样的信念？正是如此。大多数人，你知道，调查显示，虽然没有做很多调查，但我看到过四项关于美国人口的调查。美国以外也有一些。你知道，我没有最新的数据，但我从未见过除结果之外的任何东西，说，是的，大多数人认为我们现在不需要竞相发展人工智能。他们害怕后果。他们害怕人类灭绝，他们希望看到监管。就像，这是一个普遍的观点。所以有趣的是，我通常是一个反传统者。我通常处于一种立场，就像，看，人们需要学习。他们不明白什么对他们有好处。让我教你什么对你有好处。但在这里，我更多的是，我是一个反传统者，反对科技行业，那里有一群工程师，他们正在做着高薪的工作，制造他们认为很酷的技术，我必须向工程师们解释，嘿，人类想要什么，你那些不是工程师的同龄人想要什么，他们不喜欢你所做的，因为你自己的首席执行官承认，这是鲁莽的。这并不是你真正知道如何控制的东西。你只是喜欢它，并且你在赚钱，但他们希望你停止。所以，这就是我说的，大多数人都持相同观点，但他们没有统一起来采取政治行动，因为他们没有意识到事情有多紧急。所以，基本上我的工作就是说，“嘿，伙计们，醒醒吧。”就像，你们只需要醒醒。一旦你们醒了，你们就知道该做什么了。你们都知道这很糟糕。所以，当我恐吓时，我只是在引起注意。我只是说，“嘿，看，这是你们现在的领导者。他们正在让你们灭亡。你们想在政治上做点什么吗？”这基本上是我的立场。那么，你是什么时候开始主持这个播客的？是的，我的旅程始于大学。所以，大约是2007年。我一直是一个软件工程师，热爱编程，我自认为很理性，但后来我读了Alazarowski。我读了Less Wrong，我想，“哇，这个人有很多非常有力的哲学论点，关于如何更好地思考的论点，以及为什么我们不知道如何控制人工智能的论点。”当我们构建人工智能时，这将非常可怕。我们很可能以一种不协调的、不可控的方式构建它。我们很可能搞砸了安全。所以，我早在2007年就深入研究了整个兔子洞，然后我被它深深打动了，以至于我亲自去见了Aliarowski。我向他经营的机器智能研究所和应用理性中心捐了很多钱。所以，我沉浸在这件事里已经17年了。唯一的问题是，我以前认为这需要很长时间，对吧？所以，我以前会说，“哇，这些想法太棒了，它们远远超前于时代。所以，就像在2100年，对吧？这些真的会发挥作用。”然后问题是，正如我们都知道的，几年前，你知道，随着GP3 GP4，我们说，“好吧，所以时间实际上到了，对吧？生活来得很快。”而且，值得称赞的是，他对库兹韦尔，对吧？他一直说2029年将是超级智能，所以你得佩服库兹韦尔，他并不惊讶，但我很惊讶，你知道，直到2020年代才达到图灵测试，现在有很多人预测我们将在2027年拥有通用人工智能，这就像新的大概范围，2100年现在似乎很晚了。所以，现在我将我的一生都花在了，“随便吧，我只是个软件工程师。我只是做初创公司。”但现在我却说，“好吧，我无法回避这件事，对吧？我们都在一条传送带上，它正把我们带到旋转的剃刀片上，对吧？现在开始另一家公司，做任何只关注长期财务成功的事情，这太疯狂了。这就像，你知道，它正在发生的火车事故。”所以，就我的播客而言，你知道，我在推特上积累了一批粉丝。我喜欢在推特上发布很多关于人工智能的播客，人们说蠢话或者说聪明话的片段。所以，我注意到自己花了大量时间发推特，积累了推特粉丝。然后我终于说，“看，如果我花了这么多时间制作这些内容，为什么我不只是，你知道，也许我有毅力制作播客节目，就像我说话，我采访嘉宾，就像，让我们试试吧。”这基本上是我需要达到的门槛，因为我想，“看，播客工作量很大，对吧？我为什么会有毅力？这只是我注意到我发了多少推特。我想，“好吧，发推特是浪费时间。让我们把同样的精力转化为播客。”果然，我做了六个月了，我仍然有毅力去做，而且我玩得很开心，而且它还在增长。所以，这基本上就是我来到“末日辩论”的旅程。考虑到你对人工智能的担忧和忧虑，你个人感觉如何？你对这一切有什么感觉？我感觉很好。这只是，你知道，我认为人们的情绪大多是遗传的，对吧？所以，如果有人有抑郁的倾向，他们就会注意到人工智能，然后他们会说，“嗯，我因为人工智能而抑郁，他们逻辑上是正确的，但这并没有真正帮助他们感到不那么抑郁。”而，你知道，我很幸运。我没有患抑郁症，所以我的幸福感设定点还不错。所以，你知道，我每天醒来，我都会想，“是的，人类完了。”这并不会让我感到太沮丧。所以，这只是让我觉得，“好吧，我想我只会花时间研究末日相关的事情。”这就像，你知道，我觉得这对我来说是一个很好的领域。我可以做出好的内容。这对我来说也很有趣。嗯，你知道，我从中获得了一些日常的乐趣。所以，我感觉很好。嗯，我认为从心理上分析自己，嗯，有一件事可能让我感觉更好，虽然这甚至不理性，但它是，当我想到末日时，我并不认为是我自己被欺骗了，而是每个人都被欺骗了，即使是我的家人。我只是说，从心理上讲，我认为如果我做一些内省，我认为原因是我不那么痛苦，我想是因为没有像“社会地位”这样的组成部分。如果有什么的话，我的地位会上升，因为你看，我预言对了。我告诉你们了，对吧？我想。所以，我基本上是世界上最后几个小时里最酷的人之一，因为我就是那些告诉你们世界末日的人之一。但是，你知道，我和我的家人像穴居人一样生活，那不会有趣，对吧？所以，我并不是说我希望发生这种情况。我只是说，直观地说，我为什么现在没有真的抑郁？这可能是因为我的潜意识在计算这些地位动态。是的。你谈到了你的职业选择现在如何受到你对人工智能信念的影响，比如你必须做这个播客，你必须思考这个问题。考虑到你对未来的信念，你的生活还有其他方面发生了变化吗？也许是关于金钱或其他什么？所以，我生活中的方面。首先，我对做另一家初创公司或长期天使投资不感兴趣。这些是我以前做过的活动，对吧？以前对我来说很有趣，现在就像，长期回报有什么意义？就像，你知道，这肯定改变了我的投资方式，因为我不再需要优化我的生活，努力变得越来越富有，直到我退休。如果我在福利院退休，那对我来说仍然是胜利，你知道，就像，或者如果我，你知道，如果我能保住我现在的房子，那已经是一个胜利了。就像，事实上，我甚至能以正常的退休年龄退休，对吧？对我来说，那将是，我不知道，25年后。那是一个巨大的胜利，对吧？所以，这完全改变了我的目标。另一种改变方式是，我过着一种50/50的生活，我的生活将分支出去。是的，我仍然为退休存钱，对吧？我并没有完全搞砸我的生活。我没有养成吸烟的习惯，对吧？我没有做那些对长期来说非常糟糕的事情。我仍然在锻炼。但是，同时，如果有些事情我可以提前做，今天就能获得更多价值，那么我绝对会这样做。所以，我倾向于今天花更多的钱，而不是我本来会花的。例如，我存的钱更少。我不是不存钱，但我存的钱更少。而且，你知道，我正在生孩子。我现在有三个年幼的孩子。而关于是否要生孩子的问题，这确实让我犹豫，因为生孩子有什么意义呢？孩子的大部分价值在于他们长大后，这样你就不用一直换尿布了，但他们却没多少时间长大。但是，我真的希望50%的好结局会发生，对吧？所以，我正在做很多和如果我更确定好结局会发生一样的准备，因为我认为好结局可能会发生。我只是认为，只有当我们关注它并采取行动阻止它时，它才会发生，而我们现在却没有，对吧？所以，我现在过着两种同时存在的未来。听到你说50/50很有意思，因为我又要问了，你是50/50中间，因为你在这个节目中说了很多，我们完了，而不是我们可能完了，我当时在想，你是不是有点偏向事情会出错的那一边，但你认为你更偏向中间？是这样吗？我处于中间，因为你看，我们所做的一切，几乎我们整个社会所做的一切，都像一个注定要灭亡的社会。这不是因为我们有死亡的愿望。这是因为要不灭亡需要付出很多努力。而我们没有挺身而出。就像，一点都没有。就像，我们甚至没有，我们有一个巨大的待办事项清单，如果我们想不灭亡，我们就必须完成。不幸的是，你知道，现实给了我们一个残酷的待办事项清单，如果我们想不灭亡，我们就必须完成。而我们 apenas 触及了清单的表面。而且时间正在流逝。所以，这就是我说的我们完了的原因。现在，我仍然抱有希望，希望在某个时候，我们会足够，希望在接下来的几天或任何时间，我们有多少时间，我们会突然意识到，好吧，我们必须拿出待办事项清单。我们必须做清单上的所有事情，比如停止人工智能。你知道，增强人类智能，这样我们就能在某个时候对齐人工智能，你知道，我们有足够的智能来解决问题，因为即使是今天最聪明的人类也难以知道什么是对齐成功的。所以，就像所有这些不同的事情，我们需要做，并且，你知道，正确地执行。就像，公司领导者不能对政府施加太多影响，关于他们为什么需要构建人工智能。所以，就像所有这些不同的事情，如果我们想有机会成功，我们就需要做。也许我们将来会开始做，但时间在流逝，而我们却没有做。但是，当我说的有50%的机会会奏效时，它基本上是这样的组合：第一，我疯了，我不知道我在说什么，就像，看看那些说人工智能绝对安全的人，对吧？就像，看看Yan Lun说没什么好担心的。看看Robin Hansen。看看Mark Andre。所有那些人都很聪明，而我很愚蠢，对吧？所以，这是我50%的生存概率的一部分。而另外50%是，“不，我很聪明，但社会会足够快地变得聪明，以至于我们不会杀死自己。”就像，就像，基本上是这两个。然后当然，还有一点不确定性，就像，好吧，我很聪明。我知道我在说什么。但是，因为某种原因，就会有一个巨大的AI冬天，就像，最后的智能部分，因为某种原因，会变得困难。所以，有一点点概率是这样的。但是，是的，我的意思是，这并不是一个好故事。就像，如果我只是想想事情会如何发展，它们很可能会非常糟糕。是的。你提到了三个人，比如Mark Andre，Yan Lun，还有Robin Hansen。Robin Hansen。如果这些人中的任何一个，如果他们都证明是正确的，事情会顺利进行，事情不会出错，你认为可能的原因是什么？有没有什么论点会稍微诱惑你让你觉得，“你知道吗，事情看起来真的很糟糕，但我稍微对这个持开放态度。这可能是最强的反驳论点。”嗯，正如我之前提到的，他们都说出了不同的理由说明我们不会灭亡，对吧？所以，他们甚至没有在他们之间统一他们的说法。马克·安德烈论点最容易被驳斥，因为他拒绝了非常非常基本的东西，比如他拒绝了正交性理论，即任意聪明的AI不一定必须是道德的。他的观点是，不，不，他们完全可以，你看，你今天就可以和他们交谈，他们是道德的，他们尊重人类价值观。所以，我想他原则上可能是对的，任意聪明的AI可以完全深刻地内化人类价值观，事情也会因此顺利。从我的角度来看，我们是在自欺欺人，认为他们真的理解人类价值观，仅仅因为他们和我们谈论它。但是，是的，如果马克·安德烈关于这一点是正确的，虽然他说话的方式不像一个研究过这个问题足够多的人，但如果他碰巧是正确的，那么太好了。那么，我们将拥有一个伟大的道德天才人工智能，它是人类的守护者，你知道，基本上就像创造一个好神。太好了。这在逻辑上是可能的。就像我说的，这看起来不像我们正在创造的东西，但也许在马克·安德烈的脑海里是这样。如果他是对的，那么太好了。我希望他是。如果Robin Hansen是对的，他的观点是几个方面。他基本上说，“看，我们会有时间。我们有足够的时间来观察是否有任何问题并做出反应，甚至可能在看到问题时停止构建它。”而我的观点是，“时间？你在说什么？人们预测只有两年时间。你在哪里看到所有这些时间？而他说，“不，我对两年的预测持怀疑态度。我认为可能需要一百年。”所以，就像我说的，所以，是的，所以需要很长时间是我们可以避免死亡的一种方式。然后，Young Lun的论点是，“看，人们不会允许发布危险的人工智能。”就像，当然，目前的架构是危险的，但我们将拥有一个不同的架构，人们会找到一种方法在发布它之前使其可控。所以，他有点乐观地看待这个过程，就像人工智能的构建和发布过程一样。而从我的角度来看，就像，真的吗？这个过程就是我们鲁莽地构建和发布它，然后希望它能奏效。我真的看不到过程方面的乐观。所以，这些是你可能做出的不同论点，你可以比我更乐观，但我看不到。我对你真正想看到谁进行辩论并进一步讨论这个问题很感兴趣，也许是和你自己，也许是他们之间，也许是我们刚才提到的一些技术人员，或者也许是政府领导人，总统等等，你希望在世界舞台上谁能更多地讨论和公开辩论这些问题？谁错过了？首先，我支持辩论。所以，当我谈论“末日辩论”时，“末日辩论”有一个双重使命，你知道，我的节目“末日辩论”，使命的第一部分是提高对人工智能末日的认识，因为正如我之前所说，我们只需要恐吓。我们只需要建立相互知识。我们甚至不必说服人们。我们只需要建立知识。所以，这是“末日辩论”的第一个使命，提高认识。但回到你的问题，末日辩论的第二个使命是为高质量的辩论建立社会基础设施。这令人惊讶地缺失。就像，你认为现代文明是，啊，是的，辩论。这是可以追溯到古希腊的实践，对吧？希腊人和罗马人，辩论是一项受人尊敬的事业。但如果你仔细想想，除了总统辩论或偶尔的政治辩论，我们什么时候真正将辩论作为一种工具在我们社会中使用？2023年有一次僧侣辩论，汇集了Yan Lun，Max Taggedmar，Melanie Mitchell，我认为Yosu Benjio是第四位。所以，偶尔我们会有一场辩论。而从我的角度来看，如果你看看像Mark Andre，Sam Alman，Dario Ammedday，Demis Hassabis，所有这些人工智能领导者，对吧？微软的Sati Nadella，所有这些人工智能领导者，他们总是去自己的友好播客，做自己的推销。他们为什么不来辩论呢？他们为什么不互相辩论呢？他们为什么不和Alias for Ukowski辩论呢？因为现在，你有一种“决斗播客”的现象，对吧？每个人都可以广播自己的信息。哪里是擂台？我们在哪里以一种有成效的方式解决问题，表达分歧？所以，“末日辩论”，你知道，“末日辩论”的目标是，一年后，或者当我们拥有数百万听众时，对吧？因为目标是扩大听众，那么人们就会期望这些辩论发生。我可以担任主持人，我可以邀请不同的嘉宾，无论是什么，这些辩论都需要发生。回到你的问题，就像，好吧，谁应该辩论？嗯，现在我认为人工智能公司的领导者应该被要求辩论。但我也认为，负责政策制定的人也应该进行政策辩论，即使不涉及人工智能领导者，因为归根结底，人工智能领导者就像烟草公司的领导者一样，对吧？就像，他们怎么想并不重要，因为他们是坏人。所以，他们永远不会同意他们是坏人，我们仍然需要监管，因为他们是坏人，对吧？就像，无论他们是否认为他们需要停止，他们都必须停止。所以，让我们回到几个关于你自己的问题。你认为是什么让你成为做这件事的人？比如，你的个性和等等。为什么你认为你看到了别人在公众中没有真正关注或思考的事情？所以，在2025年，说没有人再在公众中思考或关注它有点晚了。我的意思是，现在肯定有一个群众运动，对吧？我的意思是，2023年确实是那个时代结束的时候，你可以说，“你真是个怪人，一个人工智能末日论者。没有人这么说。”相信我，人们试过了，对吧？所以，在2023年初，当GPT4出现时，当人工智能开始真正引起新闻界轰动时，就像，“哦，哇。这将改变经济。”而Sam Alman到处说，嗯，好的情况是天堂，但坏的情况基本上是我们所有人的终结。Sam Alman，当这些人工智能实验室的领导者还没有得到太多关注时，他们觉得可以更自由地说话。早在2023年，很多人试图诽谤末日论者，并将末日论者描绘成怪异的、不符合主流的人。这曾经奏效，因为过去的情况是，是的，你没有调查，对吧？而且，没有人真正谈论过这个问题，但从那以后，我们著名地有了人工智能安全中心。他们做了一个暂停信，这是一个只有一句话的声明，基本上说，“我们应该像对待核威胁和生物威胁一样认真对待人工智能风险。”所以，一个非常简单的声明。它确实只有一句话，几乎所有人都签署了。不是字面意义上的所有人，比如Yon是一个显著的例外，但大多数人工智能实验室的首席执行官都签署了。Sam Alman签署了。Dario签署了。Dennis Zava签署了。然后，如果你看看图灵奖得主，对吧？所以，Yashu Benjio，Jeffrey Hinton签署了。所以，机器学习领域最顶尖的专家都签署了。Elon Musk我认为签署了，或者他签署了非常相似的东西，如果不是这个的话。哲学家Daniel Dennit签署了。我的意思是，名单上有数百个名字。很难想到一个在人工智能领域有影响力的人没有签署。所以，这建立了我说过的相互知识。这是重大的、重大的相互知识。所以，感谢Dan Hendris将这一切汇集在一起，因为它打开了奥弗顿之窗。所以，现在当我们谈论人工智能风险时，它不再是，“嘿，相信我，我是一个末日论者。”而是，“你看这个声明吗？这就是聪明人的想法。这实际上是一种共识。我们只需要拖着，直到这扩散到每个人的观点，因为它与人们自己的想法相符。就像，嘿，当我想到人工智能时，我害怕吗？是的。这些杰出人士也害怕吗？也害怕。对吧？所以，这只是时间问题。所以，当你问我，你认为是什么让你有资格？嗯，首先，有很多像我这样的人。好吧，但也许我可以这样解释你的问题：为什么我要做一个播客？为什么，你知道，为什么我要做这件事？而不是像找一份工作，然后只是读新闻？我想答案是，我无法回避，对吧？所以，我只是觉得这是我能投入大量时间的唯一事情。然后另一个原因是，我只是，你知道，我觉得这是一种很好的契合，对吧？就像，这是我可以结合我的一些才能和背景的地方，对吧？就像，我知道人工智能末日。我，就像，我是一个相对来说很有趣的演讲者，对吧？所以，很多像我一样书呆子气，并且真正喜欢技术的人，他们往往不是非常有趣的演讲者。我认为我处于一个相当有趣的演讲者和，你知道，做一个节目和吸引注意力之间。所以，我认为这是一个很好的契合。你以前是否曾如此强烈地担心过其他事情？比如，在你深入研究人工智能之前，核风险或其他任何事情？人工智能末日是我第一次真正觉得，“嘿，有什么东西会让我们灭亡。”所以，我并不是一个终生的末日论者。我肯定不抑郁。这涉及到人们试图诽谤末日论者的问题。事实上，Sam Alman，这非常令人沮丧，但Sam Alman试图诽谤Aliarowski，他是一位最著名的末日论者之一。Sam Alman似乎是在Barry Weiss的播客上，我想，他说，“是的，Aliarowski，我喜欢他，但他有点像末日先知。他总是说事情完了。”我认为这是非常卑鄙的。所以，在我看来，Sam Alman充满了卑鄙的手段。所以，我和Alazarowski都不是末日先知。我们不会到处说事情完了。如果你看看气候变化，我认为努力减缓全球变暖很重要，但我认为它不会成为一种生存风险。我认为它是可控的。我们可以向大气中注入硫。即使是气候变化最坏的情况，也可能是，嗯，我们让100年后经济价值减少了10%，而10%已经很多了，对吧？这就像很多人命，但只有10%。核武器可能是迄今为止最大的末日风险，仅次于人工智能风险。所以，核风险，当我想到核战争可能使文明倒退一千年的几率时，对我来说，每年大约是1%。所以，如果将它加起来一个世纪，就超过50%了。所以我确实认为核末日非常严重，而且我是一个核末日论者。但是，当你看看人工智能末日时，我谈论的是在未来15年内有50%的可能性。所以，这比核末日要危险10倍。所以，如果你的问题是关于末日来自哪里，那么主要是人工智能末日，但也有一些重大的核末日。你能给核末日一个P末日吗？是的，核末日每年大约是1%。以这个速度，在下个世纪，可能会有50%左右。为了完整起见，顺便说一句，我应该补充一下，你知道，病原体，比如病毒末日，我认为风险很高，尤其是在人工智能方面。我认为人工智能使得设计非常致命的病毒变得非常容易。所以，我确实想加入，嗯，嗯，病毒末日。我把它排在核末日之下。所以，也许是核末日风险的三分之一。你也想归因于病毒病原体末日。但是，人工智能末日就是房间里的巨兽。就像，其他任何东西都无法与之相比。你更担心人工智能滥用风险还是失控人工智能？人工智能自己失控，还是同样担心，或者你如何看待这里的区别等等？我最大的担忧是失控人工智能。当我想到有人滥用人工智能时，它与失控人工智能的区别只在于第一个命令。就像，好吧，执行一个坏命令，砰。与，尝试做好，砰。就像，砰是危险的部分。我们正在创造这个，这个，这个可以砰的东西。我们正在创造这个东西，如果它有正确的触发器，就可以失控并灭绝我们。我不那么担心，哦，我的天，会有一个触发器吗？事实是，可以有一个简单的触发器，基本上意味着是的。就像，如果我们构建一个触发器，我认为我们无法避免触发一个非常简单的触发器。如果我们构建一个可触发的系统，你之前也提到过这一点，但如果你能更详细地谈谈你认为可以做些什么来显著降低末日几率？比如，我们需要从政府、公司、个人、也许是播客、所有这些不同的群体那里看到什么才能取得成功的结果？我认为我们离成功还有很长的路要走。我们看起来不像一个会取得成功结果的社会。我们必须做出绝望的努力，首先要有相互的认识，就像，是的，这非常可怕。是的，你和你爱的人实际上可能很快就会死去。所以，所以，首先，相互知识。我认为没有这种相互知识是做不到的，就像，嘿，我们正处于边缘。就像，我们即将失去控制。一旦我们有了这种相互知识，那么我认为它就会重塑一切，因为当像Sam Alman或Dario Amade这样的人说，相信我们，我们将继续构建下一个模型，然后我们将使其安全。每个人都会本能地尖叫，就像停止，走开。就像，这几乎有点像你可能会有的厌恶反应，如果有人说，“听着，我只是想制造一个人类克隆人。我想看看这个婴儿会做什么。”这比人工智能安全得多。人们可能会有一种本能的反应，就像，别再玩弄上帝了，别碰那个，或者无论是什么，或者有人说，“嘿，我只是在我的实验室里玩弄这些钚。”就像，你在做什么？所以，无论你想做什么类比，就像
我们需要共享的相互知识，它将重塑我们所做的每一件事，就像这些软件工程师去上班，拿到他们的薪水一样。这就像你在做什么？你在做什么？这完全是疯狂的。一旦我们有了这个，它就会提出与我们处理核武器非常相似的政策，比如，这一切都需要被监管，也许所有不同的政府都可以合作，进行他们自己的曼哈顿计划，这些计划都控制在一个安全的数据中心里，并遵循如何构建这个的最佳实践，以及最好的安全工程师。也许我们可以做到这一点。我们可以妥协，我们可以做到这一点，而不是完全不开发超级智能人工智能。但实验室可以自行开发，在自己的硬件上，没有中央监督，这简直是鲁莽的。而这是我说的。我的意思是，我倾向于自由主义。我不是想把事情集中起来。我只是认为我们正在制造一些极其鲁莽的东西。所以，总而言之，你知道，做一些像我们锁定核武器那样激烈的事情，甚至更激烈。这大致就是我认为我们应该做的。这触及了我个人能推荐的极限。我不是这方面的专家。我不是如何集中人工智能开发的专家。我只知道一个文明是否在试图解决问题，还是没有。所以我可以模糊地告诉你，要解决这个问题看起来是什么样子。你说也许有类似核武器被锁定的东西。你能多说一点关于你设想的应该发生在人工智能身上的事情吗？这是像禁止它一样吗？这是暂停它吗？这涉及到什么？我基本上是指现在暂停前沿人工智能的开发。我认为任何人工智能公司、个人或任何实体都在制造比我们已经拥有的更智能的人工智能，这是疯狂的。我认为这是危险的，因为我是否认为明年我们将注定失败？不。但我认为门槛是未知的。这就像我们，你知道，我们在滑行，对吧？有一条滑坡。我认为我们现在正在滑行。如果我希望我知道在我们需要停止之前我们可以滑行多远，对吧？我希望我知道，但没人知道，对吧？所以，很有可能下一次当一家人工智能公司训练他们的下一个模型，用他们想要的任何秘密配方。好吧，下一次他们这样做，就有可能发生递归自我改进，你就会发生这种突破。它会变成像病毒一样，人工智能会说，“哦，你问我一个问题。你问我如何为我的生意赚钱。给你，运行这个脚本。”然后脚本会说，“是的，我要复制自己。我要变成一个病毒。这个病毒将是超级智能的。”突然之间，你已经没有了关机按钮。就像，很容易想象我们可能只有一两年时间，这些智能就会生成一个脚本，开始引导自己。它将变得势不可挡。所以，势不可挡的条件并不遥远。就像一个你无法清除的病毒，一点也不难想象。就像有很多历史事件表明，愚蠢的病毒非常难以清除。所以，拥有一款像CO一样永远逃离我们的人工智能，对吧？现在没有希望消灭CO，对吧？所以，所以CO现在只是我们……我们称之为病毒生态系统的一部分，它将留在这里。同样，我认为我们正接近一个时代，我们将拥有超级智能的人工智能病毒，它们将生活在互联网上，你知道，让数据中心左右为难，帮助自己消耗大量资源。我认为我们已经接近那个门槛了。而这仅仅是开始。就像那是给你一个直观的感受，事情将如何开始跳跃。嗯，所以，从那里你不知道它们会多快地说，“哦，我拥有所有这些资源。让我开始自我改进。让我开始制造成功的版本，突然你就得到了奇点，对吧？你得到了我们称之为……事情会像核链反应一样发展得如此之快，因为软件移动得非常非常快，软件的迭代可以移动得非常快。所以，总之，回到我的观点，我们现在需要做什么，我们正在滑行。我们只需要停止滑行，如果我们想继续滑行，如果我们想继续尝试……推我们的运气，至少以一种集中的方式，采用我们真正正在做的安全方面的最佳实践。它没有连接到互联网，天哪，对吧？今天所有不同的人工智能训练，可能都有一个通往互联网的短路径，如果它没有直接连接到互联网，它很可能有一些信号连接到互联网，或者一些USB驱动器被定期插入到连接到它的东西上，就像仅仅是那样……最基本的那种东西，我们甚至都没有一致地做。所以，基本上是一个集中的项目，有集中的控制，有一个世界政府，你知道，世界条约的能力，能够说……你违反了条约，你不能这样做，来逮捕人们，正如阿萨里指出的那样，如果有一个违约的流氓数据中心，你需要能够轰炸数据中心，或者你需要能够以某种方式，你知道，将数据中心绳之以法。这就是我所设想的，如果我们想生存下去的话。好的，最后几个问题。嗯，我现在要问一个我认为，你知道，有点陈词滥调的问题，但我确实认为它很重要。我很好奇听到你的看法。如果有人说，我们必须……你知道，也许在特定国家，也许在特定公司，我们必须在坏人这样做之前开发人工智能，这就是我们必须这样做的原因。你对此怎么看？所以，让我们考虑一下博弈论收益矩阵，对吧？所以，通常你会觉得，这有点像囚徒困境，人们认为，就像，是的，如果我们都合作，那很好，但我认为另一方，比如说中国，对吧？这是最常见的例子，另一方会背叛。因此，我必须背叛。你知道，背叛-背叛均衡会比合作-背叛更好。这就是为什么我必须背叛。嗯，事情是这样的。这是一个不同的收益矩阵。所以，假设是美国对中国。如果美国和中国都不建造人工智能，那么我们希望不会出现人工智能的末日。如果我们中的一个建造了人工智能，我们就会出现人工智能的末日。如果我们两个都建造了人工智能，那并不能让我们免于人工智能的末日。那只会让我们遭受双重的人工智能末日。所以，当人们谈论击败中国时，他们已经预设了这样的假设，即我们不会注定失败，而是事情会变得更好。所以，他们有点在说，你看，只要有很大的机会事情会变好，我们就来考虑事情变好的情况下的收益矩阵。如果事情变好，那么谁建造了好的AI就会更好。我们不能只让中国建造好的AI。我们必须建造好的AI。所以，在我看来，整个讨论都是无关紧要的，如果好的AI的机会非常小，而制造导致我们灭亡的AI的机会非常大。所以，当人们想进行这种讨论时，对我来说，这似乎只是他们感兴趣，对吧？人类总是被吸引到这样的讨论中，就像我与他们一样，对吧？美国对中国。让我们来打一架吧。这很有诱惑力，对吧？你试图与人们进行的任何讨论总是会偏离到……我如何谈论……社会斗争，对吧？顺便说一句，这与诽谤有关，所以你试图讨论人工智能的末日，很快就会变成讨论……为什么末日论者是这样的？为什么他们会如此悲观？为什么他们会是末日论者？对吧？因为总是诱人地偏离每一次讨论，然后进入……人类在互相争斗。在建造人工智能的情况下，很容易说，哦，它会是好的AI还是坏的AI？没关系，因为中国会建造它，美国也会建造它，谁会先建造它。但就像，等等，等等，等等，人工智能会毁了我们，就像……记住这一点，这完全使它成为一个无关紧要的收益矩阵。所以，你认为这是一种更安全的方法，试图说服所有各方不要建造它，而不是……哦，他们会建造它。我们自己建造更安全。如果我们可以传播信息，让没有人建造它，直到它……直到可以安全地这样做，那将是更好的。是的。因为我只想指出，当任何人谈论比赛时，他们都在预设比赛的终点是奖品，而不是比赛的终点是末日。现在，我并不是说那是不可能的。可能有一个奖品，但整个论点都取决于它是好是坏的概率。我认为现在坏的概率非常非常高。我们真的需要专注于坏的概率，而不是仅仅祈祷它是好的，然后制定最好的策略，如果它是好的。我只是不……我不相信祈祷它是好的。我认为现在它非常明显是坏的。在背景中，我一直对整个谈话很感兴趣。那是理查德·费曼的照片吗？是的，没错。那是理查德·费曼的照片。我妻子在我生日时送给我的，因为她知道我喜欢费曼。他是在现代理性主义时代之前的理性主义者之一。所以，他比阿利亚·乌托维时代早了几代人。他有很多理性的见解，他是通过直觉和阅读其他科学家的作品发现的。他真的很棒。我的意思是，我想现代理性主义者就像追随他这样的人，ET·詹姆斯和卡尔·肖恩的传统。所以我认为他们是现代理性主义者的祖先。所以，我问每个人同一个问题，来结束我之后的节目。所以，最后一个问题是，你认为过上美好的生活意味着什么？所以，这绝对是一个问题……你知道，问这个问题就像是外部对齐问题，对吧？对吧？所以，如果我真的有……哦，这里有一个关于美好生活的规范，这将解决一半的人工智能对齐问题，因为问题的一半是规定什么是美好的生活。然后问题的另一半是知道如何让人工智能接受这个规范并继续下去。这被称为内部对齐问题。事实上，这两个问题现在都非常未解决。所以，你基本上是在说，嘿，你如何解决外部对齐问题并规定美好的生活？嗯，你知道，我们有一些线索可以遵循。所以，例如，我认为美好的生活应该包含一定程度的问题解决，一定程度的……你知道，你需要……努力工作，解决一个谜题或挑战，对吧？你有可能失败，然后当你成功时会感觉很好。我认为……作为一个人祖，对吧？作为一个拥有人类价值观的人，我认为我欣赏事物中的那个组成部分。然后当然还有……幸福的感觉，或者只是积极的感觉，对吧？感到精力充沛，感觉很好，对吧？所以，无论什么感觉，我认为你想把它融入美好的生活中。你想整天都沉迷于……可能不是。所以，这很有趣。我的意思是，我刚刚听了几个播客，人们问了一个类似的问题，关于什么是美好的生活？人们试图听起来很深刻，就像，哦，我不知道。对我来说，就是做出贡献。我当时想，“不，伙计。你只是要了一个天堂的规范。好吧，让我们不要试图过度简化这个问题，因为正是过度简化这个问题。这就是为什么当人工智能变得超级智能，然后实际上并不关心我们认为什么是美好的生活，而是给我们一些更糟糕的东西时，人们低估了我们有多么糟糕。就像，哦，你们说你们喜欢幸福。好吧，我已经……我编辑了你的基因，所以你整天都带着微笑走来走去。搞定。一切都搞定了。然后，我们就像在笼子里一样，或者别的什么。所以，是的。我的意思是，我没有什么可说的，除了……这里有一些好的组成部分。你想要它们的某种组合，然后它会让你的生活变得更好，而不是更糟。好的，我从你那里得到的是，这是一个……这是一个棘手的问题。是的，确实如此。这绝对是一个非常棘手的问题，不幸的是，在我们……你知道，人工智能将决定它认为什么是美好的生活，或者它认为什么是美好的宇宙，然后就结束了。我感谢你对这个问题的坦诚。是的，里昂，非常感谢你花时间和我交谈，我一直很喜欢你的播客。所以，祝你好运，祝你在实现更安全的未来方面取得成功。感谢你今天的时间。是的，乔，我也感谢你。谢谢你做这件事。希望你喜欢今天的采访。如果你喜欢，请通过点击下面的订阅按钮来支持这个频道。下次见。