Transcription
那些从事人工智能工作的人认为它可能会杀死所有人。它在历史上几乎完全被当作一个技术问题来处理，但事实并非如此。它实际上是一个治理问题。就好比我们知道如何安全地构建它，但如果我们不能让所有人都这样做，那么[音乐]我们仍然会陷入大麻烦。你知道，我们不需要更多的研究。我们需要的是停止。>>欢迎收听《为了人类与人工智能风险》播客第79集。人工智能的末日是不可避免的。我是约翰·谢尔曼，您的主持人，也是人工智能风险网络的总裁，我们致力于让每个人都能理解人工智能灭绝风险和人工智能的危害。无需技术背景。我是一个在巴尔的摩的父亲。这个播客和这个网络是我为拼死捍卫我的孩子、我的家人以及你们家人的生命所做的努力。我是一名独立记者，我相信专家们的话，他们告诉我们，如果有人制造出超级智能，所有人都会死。专家们，甚至人工智能的首席执行官们，都公开承认我们正在构建的人工智能系统，可能在未来几年内，甚至可能更早地终结地球上的一切生命。他们对这些系统内部发生了什么，或者它们如何工作，一无所知。而且他们也无法可靠地控制这些系统。哦，而且他们把所有的时间和金钱都花在让它们更强大，而不是更安全上。所以，总结一下，它们可以杀死我们。它们无法被控制或理解。而且我们每天都比前一天更不安全。哦，还有一件事。那个无法回头的时刻可能随时到来。人工智能可能最终毁灭人类的原因之一是，有许多聪明人负责拯救我们。虽然他们在研究人工智能风险方面做得相当出色，但不幸的是，他们在让普通人关注和关心方面同样糟糕。讲个小故事。Guardil Now 是我经营的一个非营利组织，用于资助人工智能风险网络和其他人工智能风险传播项目。嗯，凯瑟琳·肯尼迪·汤森是罗伯特·肯尼迪的长女。她是马里兰州的前副州长，现在是 Guardrail Now 的高级顾问。她非常想帮助让世界更安全，并降低人工智能的风险。在最近一次与凯瑟琳的 Zoom 会议中，她给我讲了一个故事，这个故事适用于今天的嘉宾和今天的节目。我认为你会觉得它很有趣。她说，“在肯尼迪家族，在肯尼迪的房子里，和她的叔叔肯尼迪以及他的孩子们一起长大，他们从不谈论一个人有多聪明。聪明从来都不是孩子们被称赞的。聪明也不是他们最看重的东西。在肯尼迪家族，最受珍视、最受赞扬的，即使是孩子们，也是完成事情的能力。我们今天的嘉宾是大卫·克鲁格教授。大卫是人工智能安全专家、研究员和领导者。与旧金山人工智能安全领域中的许多人不同，大卫·克鲁格能够完成事情。大卫是人工智能安全中心在2023年5月发布的22字人工智能风险声明的推动者。该声明写道：“减轻人工智能的灭绝风险，应与大流行病和核战争等社会规模风险一样，成为全球优先事项。”在我看来，这项声明是人工智能安全领域中最重要的事件。它是萨姆·奥特曼和所有人工智能首席执行官的签署的供词，表明他们正在构建的东西可以杀死我们所有人。‘它是否会杀死我们’这个问题随着这项声明而结束。没有这项声明，我认为他们今天仍然会试图逃避和争论这个问题。所以，我与大卫讨论人工智能安全已经好几个月了。嗯，最近他启动了一个新的人工智能安全非营利组织，名为 Evvitable。我喜欢这个名字，因为它用一个词就点出了你经常听到的‘不可避免’的神话。我们可以阻止人类走向人工智能自杀。我们必须这样做。所以，这是我与大卫·克鲁格教授和 Evitable 创始人之间的访谈。欢迎来到《为了人类》，大卫·克鲁格。嗯，很高兴你能来，伙计。我认为你是这个人工智能安全领域中一个非常重要的人物，我们已经谈了一段时间了，我很高兴你能来参加节目。>>是的，非常感谢你的邀请。>>是的，伙计。让我们从谈论你开始的这个新事物开始吧。我认为这是一个很好的起点。嗯，你创办了一个新的人工智能安全非营利组织。它叫做 Evitable。嗯，请继续。告诉我，告诉观众，Evitable 是怎么回事？是的。所以，Evitable 是一个旨在告知和组织公众的组织，基本上是告诉人们人工智能正在发生什么，为什么它如此危险，为什么我们基本上处于危机状态，然后帮助我们找出如何共同努力来阻止它，并防止，你知道，超级智能的发展，这是人工智能公司目前都在竞相追求的。>>当然。嗯，能告诉我一些你的背景吗？我认为对于观众来说，你是在我看来，可能是人工智能安全领域迄今为止最重要的胜利之一，或者说是其中之一，那就是2023年人工智能安全中心的声明，那22个字的声明，减轻人工智能的灭绝风险，应与大流行病和核战争一样，成为全球优先事项。>>是的。>>我明白了。很接近。全球大流行病，但是的，我有时也记不清所有细节。>>是的，就像针对社会规模的风险，比如核战争。>>是的，听起来没错。嗯，是的，实际上，所以 Evitable 专注于人工智能带来的这些社会规模的风险，不仅仅是灭绝，还有更广泛的事情，我应该提到，因为我认为，嗯，你知道，当人们听到人工智能安全时，他们通常会想象像《终结者》那样的，你知道，失控的人工智能类型的场景，我认为这些场景非常，非常重要，而且是非常真实的可能性。我对此非常担心。但我也认为还有很多其他事情应该让人们担心。嗯，包括，你知道，即使我们保持了控制，也许我们都会失业，也许它，你知道，会摧毁我们的社会，我们的民主，集中权力。所以，所有这些风险都足够重大，以至于，你知道，我们真的应该质疑整个项目，我们在这里做什么？这基本上是我们试图组织和告知人们的事情。嗯，但你问我关于我的背景。>>我喜欢这个。>>是的。是的。嗯，让我告诉你，是的，关于我是谁。我是一名人工智能教授。我从2013年开始就涉足这个领域。我之所以涉足人工智能，是因为我听说了深度学习，基本上，你知道，看到了它的发展方向。所以，在那之前，我认为我这辈子都不会实现超人类人工智能。也许几百年都不会。但是一旦我听说了深度学习，我就看到了，你知道，这看起来与我们在人工智能领域所做的一切都大不相同，而且看起来它可能会奏效。所以，当时它是一个非常小的边缘领域。嗯，但你知道，从那时起，它已经发展到接管了整个AI领域，你知道，我可以说它现在正在接管世界，就因为它是LLMs和ChatGPT以及所有驱动着整个你知道的人工智能投资热潮的人工智能系统的核心。嗯，是的，我当时就已经担心了，你知道，这会带来什么后果。所以，当我们在整个社会中开始用人工智能取代人类时会发生什么？嗯，你知道，那些网上说它可能会杀死所有人的说法是怎么回事？我真的很想知道该领域的专家对此有何看法。而且我真的认为，你知道，在我脑海中有三种可能性。我不确定，你知道，哪一种会是事实。一种是他们有非常充分的理由不担心这个问题，我会感到非常安心。我当时就是这么希望的。结果没有。>>嗯，另一种是，也许他们都秘密地希望人工智能接管世界，并且对你知道，人类的终结感到满意，但出于显而易见的原因，他们不想公开说出来。嗯，然后最后一个是，你知道，也许他们根本不知道，根本没想过这个问题。嗯，结果主要是最后一个。我也遇到过一些属于第二种阵营的人，你知道，这当然是，嗯，可怕的，但是，嗯，我认为该领域的绝大多数人只是没有真正考虑过。所以，那时我才决定，你知道，我在这个领域的目标是试图唤醒人们。嗯，所以，是的，2023年，在ChatGPT出来之后，我们看到了人工智能的两位教父，现在是引用次数最多的科学家，杰弗里·辛顿和约书亚·本吉奥。嗯，约书亚·本吉奥，我曾与他共事过，在我攻读硕士和博士学位期间，嗯，那是在，你知道，他在蒙特利尔的团队，他们终于愿意公开表示，这是一个真正的风险，我们需要紧急采取行动。嗯，所以，你知道，这很好，而且早就该这样了。嗯，你知道，我当时与其他研究人员进行了很多谈话，情况也是如此，你知道，人们有点像，“是的，我实际上开始担心这个问题了。我以前认为这不像，你知道，是件值得担心的事情，但现在我感觉到了。”嗯，所以我们意识到，你知道，已经有了足够的担忧，足够的意识，终于可以发布一份公开声明，真正表明，你知道，那些从事人工智能工作的人认为它可能会杀死所有人。就像，你知道，他们对此非常担心。嗯，是的，这就是它的由来。然后我曾在英国政府工作了一段时间。嗯，那并不太顺利，因为我真的，嗯，觉得他们没有做最有效的工作。我真的只想，你知道，把它公之于众，因为我认为很多人仍然没有意识到情况有多糟糕。嗯，你知道，我帮助在那里设立的人工智能安全研究所，现在是人工智能安全及相关领域的全球领先研究机构。所以，这很好。但它仍然是，你知道，我们不需要更多的研究。我们需要的是停止。所以，你知道，这就是我认为每个人都需要知道的。而且>>只是为了强调这一点。我经常说，我们不需要更多的研究来就基本事实达成一致。比如，研究很棒。比如，当它出来并显示出敲诈勒索，并显示出这些东西，这些东西确实是壮观的，引人注目的事情，能够引起人们的共鸣。但即使在那之前，我们也知道情况。比如，我们知道情况。>>是的。>>但是有这么多。但是人工智能安全资金和关注点有多少是用于研究的？比如，嗯，一半以上？>>哦，是的。>>四分之三，还是？>>真的。所以，是的。所以，我也一直在，你知道，与ICF社区互动很长时间，并对它解决问题的方式持批评态度，因为它在历史上几乎完全被当作一个技术问题来处理，但事实并非如此。它实际上是一个治理问题。就好比我们知道如何安全地构建它，但如果我们不能让所有人都这样做，那么我们仍然会陷入大麻烦。嗯，所以，我想说大约在2023年，开始出现向治理和政策的大转变。嗯，你知道，英国人工智能安全研究所就是第一个这样的大例子。当然也有像，你知道，迈尔斯·布伦达奇这样的人，他多年前就在做这类工作了。嗯，我的妹妹格蕾琴在OpenAI工作时，她当时实际上在进行人工智能安全方面的政策研究，如果你相信的话，但嗯>>好吧>>是的，但嗯，所以那是，你知道，第一次有相当一部分资金用于研究以外的事情，但它仍然是一小部分，现在，你知道，我认为这个社区需要相信的下一件事，虽然，你知道，也许他们不相信，因为实际上，它甚至不再掌握在他们手中了，那就是这不仅仅是为精英和政策制定者准备的，你知道，你不能只是在华盛顿对合适的人耳语，然后期待好事发生。我们实际上需要让人们了解情况，并施加政治压力。嗯，我认为那，那可能是唯一能解决这个问题的方法。>>是的。所以，让我们深入探讨一下，因为这是我喜欢思考和谈论的另一个领域。>>是的。>>所以，我实际上在三年前开始研究人工智能之前从未去过旧金山。我现在去过三次了。嗯，我经常和旧金山的人交谈，我觉得我非常了解人工智能安全在旧金山的世界。嗯，那里有很多非常聪明、非常有善意的人，但科技界有一种态度，就是如果你能做科技，你就能做任何事。我认为我们最明显地看到了这一点，当时埃隆·马斯克说，他可以进入政府，在几天内把一切都弄好。你知道，90天后，科技界的王子就被政府吞噬并吐了出来，彻底失败，认为我能做科技，我能做政府。人工智能安全的态度是，我们理解技术，所以我们可以做沟通。我们理解它，所以我们是谈论它的人。对我来说，这是失败的症结所在，这让我抓狂。嗯，你怎么看？>>是的。嗯，我认为不完全是这样。我认为更像是，你知道，与公众交谈听起来有风险。[笑声]你知道，老实说，我认为社区中的许多人，无论他们是否相信这一点，他们经常表现得好像，你知道，那些知情者，你知道，掌握着所有牌，我们只需要把这些牌打好，事情就会顺利。嗯，所以，有点像，你知道，这种想法，也许，你知道，我们可以让我们的家伙，在这种情况下是Antropic，赢得比赛，然后，你知道，这就是我们能希望的最好的事情。嗯，所以，很多事情确实是，你知道，是错误的，而且实际上有点反社会，因为他们不希望，你知道，其他人，你知道，以一种不受控制的方式参与对话。嗯，所以，有一种想法是，公众需要被一点点地，你知道，管理和控制，我们真的需要非常小心地与他们互动。而且，我的意思是，你知道，这其中有一些道理，人们可以，你知道，嗯，产生错误的印象或采取极端行动，但我的意思是，基本上，他们有权知道。而且实际上并没有付出足够的努力来唤醒他们，告诉他们基本事实。>>对。而且，这就是，这就是普遍的观点，对吧？历史上20年都是这样，就是不要让政府介入，他们会搞砸的。不要告诉公众，他们会搞砸的。你知道，旧金山角落里的那几个人，我们会在这件事上做点什么，然后，不要告诉派对上的其他人发生了什么，因为他们可能会过来搞砸。嗯，你知道，这就是为什么我们现在在这里，我们仍然在处理那种态度的残余。>>是的。是的。而且这真的很令人难过和失望，而且，你知道，我有点理解人们为什么会这么想，但我认为很容易预测，你知道，这是人们会发现并会，你知道，会采取行动的事情。所以，这只是，你知道，即使你认为这是最好的方法，这也不是你永远能掌握的事情。你知道，即使你认为这是最好的方法。嗯，现在它已经政治化了。它极具政治性。嗯，正如我们看到的，公司们正在进行的游说活动。所以，你不能，你知道，仅仅通过有理有据的论证和与政客交谈来对抗它。我的意思是，这也是一项很好的工作。而且，你知道，很多政客也需要更好地理解这个问题。但是，你知道，即使他们被说服了，也不清楚他们能否做到需要的事情，而没有，你知道，公众的支持。嗯，你知道，也许唐纳德·特朗普明天就可以说，“哦，是的，人工智能，我实际上意识到它很糟糕，它可能会杀死所有人。让我们关闭它。”这可能会奏效。但是，你知道，你的参议员，你的国会议员，你知道，你需要大量的支持，你知道，他们会被选下去。如果人们不也说，“是的，我们要求这样做。我们不会让这些公司，你知道，决定我们的未来，冒着我们的生命危险，夺走我们的工作。”你知道，>>我认为你是对的。我认为一个人，总统，更有可能在打高尔夫球或者其他什么地方，突然想到，与习近平达成一项人工智能安全条约，是他最想要的和平奖，然后，你知道，他可以真的在第二洞的时候，在第十洞的时候，就已经打了个电话给中国，然后，你知道，事情正在发生。嗯，但对我来说，这比535名民选联邦领导人理解人工智能和就人工智能安全和风险达成任何共识的可能性要大得多。嗯，我在这档节目中讲过很多次这个故事，但我会再说一遍。我请了一位国会议员来节目。我问他，有多少国会议员理解人工智能风险？他是伊利诺伊州的比尔·福斯特，他是国会中唯一的物理学家，他说不到5%的人理解人工智能风险。但他表示，这并不是真正的问题。问题是，不到1%的国会议员对他们判断人工智能的能力有信心。他们从这位技术人员那里得到信息，他们从那位技术人员那里得到信息。很容易就说，“嗯，嗯，我好像不合格，我还是继续做我明白的事情吧。”>>是的，这太糟糕了。我的意思是，这令人失望。我确实认为，我并不认为这很难理解。我认为很多时候，你知道，人们还没有感受到必要性和紧迫性。嗯，所以他们认为他们可以，你知道，不去想它。嗯，我们看到，你知道，越来越多的人发现情况并非如此。而且，你知道，论证并不难。你知道，这确实需要一点投入，但我认为很多人只是，你知道，有一种直觉，就是哦，超级智能，我们为什么要想要那个？听起来很吓人。>>是的。>>是的。我的意思是，我认为我可以，我认为我可以在10秒内把它概括出来。>>嗯。>>人工智能公司正在制造机器，专家们一致认为这些机器具有在短期内杀死我们所有人的潜力。他们不了解它们是如何工作的。他们无法控制它们。而且他们把所有的时间和金钱都花在让它们更强大，而不是更安全上。我们为什么要这样做？>>是的。是的。>>你知道，我认为，我认为它可以，它可以被极大地简化。我，所以，我想谈谈，有很多事情要谈。让我们稍微回顾一下你谈到的参与其他风险的部分。>>嗯。>>因为我认为，这就是我今年关注的焦点，我认为这就是关键。对我来说，变化是，一年前，人工智能的危害还是理论上的。>>嗯。>>人们没有被聊天机器人胁迫自杀。数据中心并没有真正成为像现在这样突出的问题。人们并没有像现在这样真正担心失业。比如，我认为每个人可能都在自己的工作场所看到有人离开，而他们没有被取代。比如，人们不是因为人工智能而被解雇，但人们在离开，而且没有新的招聘。所以，对我来说，这意味着危害已经从理论上的变成了真实的。如果我们想引起人们对这些事情的关注，我们需要在他们所在的地方与他们见面，谈论他们关心的事情，然后再谈论我们关心的事情。>>是的。是的。我猜，嗯，我的意思是，我非常赞同这一点，尽管我认为很多人实际上，你知道，再次，只是需要，你知道，基本的事实，你知道，情况，并且实际上相信它们，你知道，仅仅因为我告诉某人正在发生，你知道，这并不意味着他们会自动相信我。嗯，你知道，还有其他人工智能教授会告诉他们，你知道，基本上是相反的，但有证据，你知道，如果你能让人们花一点时间来研究这个问题，你知道，只是10分钟左右，他们就可以自己检查一下，你知道，有很多非常有知识的人对此感到担忧，而且基本事实是，我们不知道它们是如何工作的。很多人认为我们可以在几年内制造出超人类的东西。这只是公开的，而且很容易验证。嗯，我确实想，你知道，反驳你关于，你知道，这是我们第一次看到危害，你知道，真正出现，因为我认为一直以来，你知道，人工智能的危害一直存在，而且，你知道，不一定像，你知道，但由人工智能领域的其他人记录下来，你知道，包括人工智能伦理社区的人。嗯，我的意思是，我认为最让我震惊的可能是，在澳大利亚和，你知道，丹麦，或者欧洲某个地方，曾发生过一些福利欺诈检测丑闻，我认为这些丑闻毁了很多人的生活，因为他们被不公正地指控，你知道，>>犯下欺诈罪，基本上，而且，你知道，基于，你知道，一个使用非常，你知道，不正确的启发式方法的人工智能系统。而这是一个例子，就是当你有，你知道，这些强大的决策工具，你可以大规模部署时，就会出现这种情况，比如，我们甚至不需要人类来查看这个案例，你知道，就让人工智能来做决定，对吧？>>然后，你知道，然后，然后，我认为也正在发生的是，我们正在失去追索权。如果，如果人工智能对你做出决定，而且是错误的决定，而且你能证明这一点，你能找到一个真正愿意花时间查看你的案件并有权纠正它的人吗？所以，这就是人工智能可以已经拥有并且将越来越多地拥有的那种，你知道，削弱权力的影响，因为我们试图在整个社会中推广和部署它。嗯，你知道，很多时候，就是，它不一定需要好，它只需要便宜。你知道，所以，我认为我们将制造出比人类在所有工作中都做得更好的人工智能，然后每个人都会失业。但首先会有很多情况是，是的，你知道，人工智能有时会搞砸。它有时会搞砸。它不像它取代的人那样好，但它便宜得多。所以，你知道，我们仍然会抢走工作，然后用人工智能取代它们。>>我的意思是，我认为，没有人低估，我们说，你可以随意说，但它正在吞噬所有工作，每一个工作，只是以一种随机的、残酷的顺序，没有人能预测。嗯，你知道，就像，这就是未来五年，对吧？比如，比如，五年后，这些机器不会做你用键盘能做的绝大多数工作，这是不可能的。>>嗯，我不知道。我从来不喜欢，你知道，对未来做出极其自信的预测。我认为在五年内，我们可能都死了，不仅仅是失业。嗯，但，你知道，>>你的死亡时间是？>>什么？什么？你的时间线是，我想，这并不是一个百分比。你什么时候认为我们会，你的时间线是，真正的，你知道，在粉丝身上？我认为，你知道，这一切都假设我们不纠正方向，这显然是我现在正在努力和尝试的事情，但在目前的轨道上，我认为，你知道，我们还有不到五年的时间才能达到人类水平或超人类人工智能，我认为那时，你知道，我们输了，如果我们还没有输的话，很可能，嗯，所以，我认为，你知道，我正在考虑，你知道，我们还有大约五年的时间来采取行动，做些什么。而且，你知道，实际上，当我想到我们如何真正解决这个问题时，我认为我们需要更快地行动，因为，你知道，很多人有时会说，“让我们等到它成为一个，你知道，清晰而迫在眉睫的危险。让我们等到，你知道，人们真的对我说，‘在看到机器人拿着枪在街上游行之前，我不会担心。’”嗯，你知道，或者，“让我们等到它真的，你知道，即将进行递归自我改进，变得超级智能，你知道，完全超出我们的控制和理解，然后让我们试着做点什么。然后让我们试着阻止它。”我就是无法理解为什么人们认为那时会可能。你知道，如果我们想阻止它，越早越好。>>完全同意。而且没有，你知道，没有像，你知道，一个实验室达到了红线，你知道，然后给所有其他实验室打了个紧急电话，然后大家，你知道，同时关闭一切。比如，那不是>>是的。不，我的意思是，实际上，这是一个很好的观点，因为我想，在2024年底，Anthropic 发布了一篇关于对齐欺骗的论文，基本上说，有时人工智能系统会故意与你作对，并隐藏它们正在这样做的事实，因为它们不想被关闭或修改。所以，就像，你知道，科幻小说中的情节，人工智能将使其成为现实。>>是的。而且，而且它非常，你知道，严谨的工作。我认为，你知道，它很好地确立了这一点。在此之前也有一些不太严谨的作品，所以，你知道，人们对此表示怀疑，但我认为这一项很难反驳。嗯，你知道，你可以，你可以挑出一些细节，比如，它并不总是与所有系统都发生那么多，但它已经被证明了。嗯，而且我交谈过的很多人都说，好吧，那将是决定性的证据。比如，当我们有了那个结果，并向世界展示时，人们就会醒悟过来，然后说，“哦，是的，哇，好吧，这是，我们应该停下来。这太疯狂了。”嗯，你知道，据我所知，它对情况几乎没有影响。嗯，你知道，部分原因是研究不是瓶颈，就像我们之前讨论的。它是，它是基本的意识和基本的沟通。嗯，而且部分原因是，它相当技术化，你知道，要真正理解它，是具有挑战性的。它就像一篇100页的论文之类的。嗯，>>是的。>>所以，这仍然是一个非常重要的结果。我认为每个人都应该知道它，并且知道这是一件真实发生的事情。但是，嗯，那不是，你知道，仅仅做研究显然是不够的。所以，当我15岁的时候，我决定我想成为一名电视新闻记者。电视新闻记者可以赢得四项主要的全国性奖项。皮博迪奖、杜邦哥伦比亚奖、全国艾美奖和全国爱德华·阿莫尔·穆罗奖。在我33岁之前，我作为一名地方新闻记者调查切萨皮克湾的污染者，赢得了所有四项奖项。>>记者约翰·谢尔曼将接受皮博迪奖。[掌声]>>约翰·谢尔曼。>>但我于2010年离开了新闻界，当时互联网确实开始从根本上改变新闻业。现在，算法[音乐]决定了我们看到的大部分内容，进而决定了我们思考的大部分内容。这就是为什么我今天如此兴奋地与你谈论 Ground News，它是人工智能风险网络和《为了人类与人工智能风险》播客的创始赞助商。我第一次听说 Ground News 是当我注意到他们赞助了我的许多喜欢的播客时，但坦白说，直到他们联系我赞助这个播客，我才使用过这项服务。[音乐]所以，我试了一下，说实话，我被震撼了。这是一种完全不同的消费新闻的方式。好吧，下一个坦白。在 Ground News 之前，我曾经[音乐]使用 Twitter 来获取所有新闻。我的想法是，嗯，我正在阅读主要出版物，我正在阅读主要作家，所以，你知道，能有多糟糕？嗯，它真的很糟糕。比如，比我想象的要糟糕得多。嗯，你知道，如果你经常看到任何东西，它就会变得正常。但是这些算法会让你昏昏欲睡，嗯，你会失去你的视角。我意识到我正是这样。 [音乐] Ground News 为我揭开了面纱。即使是我，拥有12年的新闻工作经验，它也揭示了不仅是新闻本身，还有新闻的报道方式，而我却看不到。耸人听闻和偏见正在悄悄地绕过我的雷达，而我甚至不知道。Ground News 让我比较头条新闻，并了解出版物的偏见。所以，在我读完文章的任何一个字之前，我都更好地理解了它周围的框架。举个例子，让我们以美国参议院在晚上4点以99比1的投票结果否决了提议的10年期人工智能法律暂停令，这是对大型科技公司历史性的失败为例。Ground News 在一个地方给我提供了270篇文章，[音乐]但它也给我提供了经过提炼的偏见比较。对我来说，我花了很多时间试图思考如何有效地与公众沟通人工智能灭绝风险。 [音乐]所以，这种偏见比较向我展示了左翼是如何围绕环境影响来构建它的，而右翼则是围绕州权来构建它的。这对我来说非常有用，因为我试图形成我的，嗯，观点，并就如何与公众就人工智能灭绝风险进行沟通做出决定。我还非常喜欢一个叫做“盲点”的功能。它向你展示了被一方过度报道的故事。这些是你算法中可能错过但你不知道它们存在的故事。所以，如果你想支持人工智能风险网络，你所能做的最强大的事情[音乐]就是订阅 Ground News 并使用我们的自定义代码。这里有一个二维码。这里是网址。嗯，它是 ground.news/Irisk。他们会知道所有使用[音乐]的人都来自这里。我们必须大力宣传，并让大量订阅者加入 Ground [音乐] News，这非常重要。所以，请去注册。去做吧。你会很高兴你这样做了。Ground News 和人工智能风险网络希望建立长期的关系和伙伴关系。但这取决于一件事。我们的观众实际上订阅了 Ground News。所以，我需要你进入你的手机，你的笔记本电脑，或者任何地方，ground。注册。你将能够极大地支持人工智能风险网络，并获得你一直以来所缺乏的新闻视角。这非常重要。请这样做。好了，现在回到节目。所以，让我，让我给你讲讲，嗯，我目前的变革理论，它可能会再次改变，但你知道，嗯，我相信依赖政府制定新法律和条约，虽然我认为它们会很棒，而且我希望拥有它们，但我不会因为制定了新法律和条约而安然入睡。我不认为这能解决我们的问题。我把目光投向了每个人都在谈论的金融泡沫。你看看，你知道，OpenAI以及他们正在做的事情。你看看数据中心在美国各地推出的方式。嗯，我很好奇你的想法。从人工智能安全的角度来看，如果人工智能金融泡沫破裂会发生什么？比如，这通常意味着什么，对人工智能安全意味着什么？是的。嗯，首先让我说，我认为，我不知道，也许你考虑的是错误的法律和条约。嗯，比如，我认为，我们应该深入探讨，因为>>没错。是的，全力反击。>>是的。我认为我们摆脱困境的方式，或者我现在看到的最可能的方式，嗯，你知道，也许有更好的版本，但人们认为它不会发生，对吧？比如，这就是我们称之为Evitable的原因，因为很多人认为它是不可避免的。嗯，你知道，很多人，那是他们的后备论点，当你让他们承认，是的，实际上，这很糟糕，或者，也许我们应该至少放慢速度。比如，但我们无能为力。你知道，我们可以退出比赛，让中国获胜。你想那样吗？>>是的。>>是的。>>是的。我喜欢这个名字。我喜欢它。>>是的。>>谢谢。是的。嗯，事实上，我认为有一个简单的概念验证，那就是，你知道，人工智能依赖于计算机芯片，非常先进的计算机芯片，具有非常集中的供应链。嗯，你知道，有这么多的钱投入到这个项目中。如果我们能摆脱人工智能芯片，摆脱制造它们的工厂，我认为这基本上，你知道，会使其停滞不前。进步仍然会发生，但我认为这本身就足够了。现在，这是一个很大的要求。嗯，但我认为这是可以进行国际监测和核实的。所以，如果你在考虑一项条约，说我们不制造超级智能，我们会秘密地这样做，但我们不制造它。你知道，我同意这似乎不太有希望，因为我认为，你知道，他们会秘密地这样做，他们会相信，你知道，他们的对手也在秘密地这样做。但是，如果每个人都知道没有人有能力这样做，因为我们不再拥有所有这些超级强大的计算机芯片了，嗯，而且我们不再制造任何新的了。嗯，我认为这实际上，你知道，我们如何才能实现人工智能进步的无限期暂停，并给自己时间。>>我们怎么知道有人不是秘密地制造一些芯片呢？你知道>>是的。是的。我认为，你知道，我认为这更容易核实，基本上，因为，你知道，它现在是高度集中的先进技术。嗯，而且我认为，你知道，我们可以，是的，基本上追踪，嗯，材料，我们也可以，你知道，追踪那些知道如何制造它们的人。嗯，而且我认为，你知道，你实际上可以使用很多相同的验证技术，无论你拥有软件条约还是硬件条约。嗯，这包括间谍活动。嗯，这是我正在努力了解的事情，你知道，这些事情有多有效。嗯，但很多人告诉我，你知道，实际上，如果我们知道他们在制造超级智能，因为我们会有间谍。而且我对此并不确定。但是，我认为，如果你没有芯片，而且你必须，你知道，建立整个，你知道，制造芯片的流程，以及，你知道，建立制造芯片的工厂，以及所有这些，这给了你更多的时间。>>这是一个难题。是的。>>是的。所以，我认为，你知道，如果芯片在那里，我认为有人突然说，“你知道吗，让我们，你知道，制造超级智能，”或者如果你拥有超级智能，但你，你知道，试图以某种方式限制它，所以它不是一个代理人，或者它不是一个太容易让人，你知道，按下开关说，实际上，让我们把它变成一个代理人，并把它放在所有决策的负责人。嗯，但如果他们必须，你知道，建造制造芯片的工厂，制造芯片，我认为你就有更多的机会，你知道，检测到这一点，而且你有更多的时间。>>芯片制造过程中肯定存在一些瓶颈，对吧？比如，我听说过，告诉我这是不是真的，但比如，所有这些芯片中都有一个芯片组件，来自丹麦的一家蔡司工厂？我想>>嗯，所以>>在每一个，你知道，>>类似的东西，也许我，我，我的理解是，你知道，我不是这方面的专家，嗯，只是和很多人谈过，你知道，基本情况，以及那些比我懂得多的人，他们说，是的，事实上，我们可以，你知道，摆脱芯片，这只是，你知道，这在政治上不会发生，你知道，这就是我们发挥作用的地方，但他们说技术上是可能的，但，但，是的，所以ASML在，嗯，在荷兰，是制造制造芯片的机器所必需的。所以，基本上，ASML制造了台湾的TSMC用来制造英伟达（一家美国公司）设计和销售的芯片的机器。嗯，所以，这三家公司基本上都是目前制造所有这些最先进芯片所必需的，而这些芯片是每个人都在争相获取并塞进数据中心的。嗯，所以，实际上，这三家公司中的任何一家，如果它停止运营，都会给整个过程带来巨大的阻碍，这不会完全停滞，但你知道，这会大大减缓速度。>>我的意思是，你谈论的是一个充满挑战的场景。所以，我们有台湾的芯片，有美国公司英伟达。我们有自由的台湾，然后是中国，就在水对面，对台湾有野心，就像普京对乌克兰，以及某些人对某些冰岛国家一样。嗯>>你知道，嗯>>这似乎是当前地缘政治气候下的一个不确定和潜在的失败点。它，嗯，你知道，这是三个非常不同的利益，然后还有美国政府的利益，所有这些都发生在一个非常小的地区，有很少的人在制造非常重要的东西。嗯，真是疯狂，有如此多的利益，如此不同的利益，都集中在这个拼凑起来的生态系统中。>>是的。嗯，是的，我的意思是，如果本来就没有，你知道，所有这些关于台湾的冲突原因，这肯定会是其中之一。嗯，而且，是的，它，嗯，它确实引发了人工智能的地缘政治，我认为这是人们，你知道，经常未能认识到的另一个非常重要的观点，那就是，如果我们继续制造更强大的人工智能系统并竞相，你知道，用它们来赢得比赛，无论这意味着什么，那么问题就是，这样做值得吗，对吧？而且我认为人们提出的论点是，这样做是值得的，因为如果他们不这样做，对美国来说就是一种生存风险，而如果他们输掉比赛，对中国来说就是一种生存风险。所以，你知道，这意味着如果中国输掉了比赛，你知道，他们可能会愿意为此开战，或者如果美国输掉了比赛，他们可能会愿意为此开战，对吧？所以，一旦，一旦像中国这样的国家认识到，或者如果他们开始相信，你知道，超级智能人工智能将是决定性的，你知道，让他们主宰世界的技术，他们绝对不会希望任何人开发它。嗯，所以，你知道，仅仅努力开发它实际上是一件非常不稳定的事情。>>对，我再给你加一个。比如，你知道，他们可能想干预，我认为他们有义务干预，对吧？比如，如果中国认为我们离超级智能还有六个月，而他们离超级智能还有一年，我们姑且这么说。嗯，他们认为，如果他们阻止了岛上的芯片流出，就在他们家门口，他们就能在六个月内阻止我们做这件事。我认为这是一种义务。这是一种选择。这是一种基于他们世界观的要求，去占领台湾，并试图阻止芯片流向美国。比如，他们还能有什么其他选择？>>是的。希望，比如，尝试谈判。但是，是的，>>与那些将制造超级机器人的人谈判，他们将永远让你成为他们的，你知道，永远的下属。是的。所以，一个适当的谈判。是的。好了。所以，这是你我可能有点分歧的地方。让我们谈谈法律和条约。而且，嗯>>再次，我认为法律和条约会很棒，但我认为它们可能更多的是信号而不是解决方案。嗯，我认为它们是整个事情中必需的信号，但我不知道它们是否真的能让我们进入一个更安全的地方。嗯，只是知道极其强大的利益集团有能力围绕法律和条约进行周旋，并找到方法来做他们想做的事情。嗯，我只是看看，你知道，美国政府迄今为止未能以任何有意义的方式监管互联网技术。嗯，就像他们无法掌握一辆100英里/小时的火车。他们怎么能抓住这辆100,000英里/小时的火车？>>嗯，是的。嗯，问题是我们是否会制定法律和条约？然后问题是，如果我们制定了，它们是否有效？>>嗯，而且我认为，你知道，很多时候，比如，当法律或条约有效时，是因为人们已经相信它了，你知道，他们已经希望它成为现实了。>>你知道。所以，比如，我认为，如果，如果我们有一个世界，大多数人都认识到，你知道，风险，他们认识到后果，而且他们，你知道，像我一样担心这件事，或者甚至不像我一样担心，但是，你知道，像我一样担心20%？
可以说，我不认为我们处于一个每个人都希望这些事情成功的境地。你知道，他们会说：“伙计，我真希望这项条约能奏效。我们尽一切努力合作，向我们的对手证明我们没有在制造芯片，我们没有在构建超级智能，因为这必须奏效，你知道，我们在这里别无选择，我们只能让它奏效。”所以我认为那种意愿，嗯，它源于对情况的理解，可以使一项国际条约奏效，但我认为如果它只是一张人们出于某种政治原因签署的纸，你知道，那将行不通。
所以我新想法的一部分是，嗯，需要向公司说明为什么安全是必需的商业理由。所以我很好奇，在这个我们有条约，每个人都相信，你知道，这种升级的，比如说，人工智能灭绝风险从10-20%的突破上升到60-70%的突破的世界里。这是否已经突破到公司的高管层和董事会？或者你是否设想一个世界，当他们试图对政府和人民不安全时，我们能够安全？
嗯，你知道，我得调查一下这个，但我听说，呃，就在几天前，呃，德米斯说，如果能让其他人也暂停，他愿意暂停。我相信达里奥也有点类似。所以，你知道，尽管我认为，嗯，这再次是早该如此了，但我确实认为许多构建这项技术的人对此非常担忧。所以，你知道，我认为很难说，你知道，是否每个人都有那种心态，但我认为很多人至少希望它能慢一点。他们至少希望，你知道，有更多一点时间来测试他们的系统，而不是，你知道，感觉他们必须发布它并竞相构建下一个。我觉得听到他们说，你知道，呃，如果每个人都同意暂停，他们也会同意暂停，这真的很令人鼓舞。我认为，你知道，那些人是科学家，对吧，德米斯是科学家，你知道，达里奥是科学家，这些人来自技术背景。我担心的是投资者和董事会，他们只是在说“冲啊冲啊冲啊冲啊冲啊冲啊冲啊”，我们有钱要赚，我们有，你知道，有一个金融机构，有像真实的时间节点，借来的钱到期了，投资者希望按时收回，呃，我不知道怎么做，嗯，除非那些推动此事的人真正意识到安全问题，并将其作为他们，呃，观点的一部分。我不知道我们如何才能达到一个更好的境地。
这就是愿景，对吧？就像我们通过“不可避免”试图实现的就是一种社会转变，让每个人基本上都理解这一点。你知道，当然总会有分歧。人们变得谨慎，但这应该是默认的观点。就像我希望在10年后，每个人回首往事时会说，还记得10年前我们是如何建造这些可能杀死所有人的东西的吗？我们当时的想法真是太疯狂了。所以我希望它能像过去一样，就像我们，你知道，把奴隶制放在过去一样。我们会说，是的，那太疯狂了。那是一件可怕的事情。我们当时在想什么？你知道，我认为这是可能的，因为我认为这就是现实。你知道，我认为，你知道，我们现在正在做的事情是疯狂的。它没有意义，这只是一个让足够多的人足够快地了解情况的问题。嗯，而且很多时候，你知道，这里有很多转折点，对吧？就像人们甚至不会关注这个问题，嗯，直到，你知道，他们周围的每个人都在谈论它。嗯，而且你知道，这在某种程度上就是学术界发生的事情，就是很难让人们甚至，你知道，花时间思考这些事情，因为它对他们来说听起来太离谱或太科幻了，或者，你知道，嗯，他们只是没有听到足够多的人认真地谈论它。然后一旦人们真正开始花一点时间思考这个问题，很多人很快就变得更加担忧。嗯，所以，你知道，即使是我，我真的认为我们现在正在做的事情几乎不符合任何人的利益。我不认为这符合大多数投资者的利益，大多数在公司工作的人的利益，当然不符合大多数，你知道，那些甚至不会从中受益，只会失去工作的人的利益。我不认为这符合那些也可能失去所有权力的国家领导人的利益。嗯，而且你知道，即使是那些不是人工智能公司本身的公司的首席执行官，他们的整个商业模式，你知道，都岌岌可危。这就是人工智能公司试图，你知道，自动化每个人所做的一切，包括，你知道，你的整个公司，对吧，是的。
所以，嗯，这就是我认为人们能够并且将会意识到的事情，尤其当我们看到现实世界中更多的迹象时。
你认为在就业问题上有什么真正的影响力吗？比如政客们非常关心就业，我们有遍布世界各地的工会作为政治力量，他们非常关心就业。嗯，他们正在制造机器来取代所有的工作。每个人都只是在关键时刻睡着了，你知道，在电脑上打字，没有看到他们的替代者正慢慢地从他们身后赶来。那里有什么真正的施压点吗？比如，我们如何才能把它变成，变成迟来的？你知道，就像，“哦，我失业了。”那，那它就变得真实了。但是有没有什么比这更短的途径，或者我们真的需要让它一下子摧毁大量的就业机会，那才是影响力所在吗？
就像这些问题很难回答，你知道，只是坐在这里，对吧？就像我们必须走出去，努力让它发生，然后看看。
是的。嗯，是的。
所以是的，我的意思是，我知道有些创意工作者失业了，对吧？而且我知道，嗯，你知道，根据斯坦福大学的报告，有些行业，像大学毕业生都在努力找工作。嗯，是的，你知道，我们现在还处于非常早期的阶段，只是在努力建立起来，你知道，招聘人员，获得资金，所有这些事情。但我真的很期待我们能开始做更多具体层面的工作，走出去和人们交谈，你知道，找出哪些人预见到了这一点，哪些人现在正在经历它，你知道。
是的。而且我认为那将会非常，你知道，非常有帮助，信息量很大，而且就是，是的。嗯，非常重要。
是的。[清嗓子]是的。你觉得这个怎么样？我没有合适的心情、语调来谈论这些事情。你也没有合适的心情、语调来谈论这些事情。地球上真的没有人有合适的心情和语调来谈论这些事情，因为人类的身体不是为了处理“没有人再有明天”这种情感冲击而设计的。这就像，你知道，你可以触摸一个100度的东西，你可以触摸一个200度的炉子，你可以触摸一个500度的炉子，但你不能触摸一个500万度的炉子，而这个想法就是一个500万度的炉子。而我认为我们未能向普通人传达这一点的一部分原因是因为他们会说：“所以你是说我们都要死了。在你的表情中给我看看。你有什么地方反映出你所传达信息的紧迫性？如果存在脱节，人们就更容易不相信并推开，因为他们会想，如果那个人相信他所说的，他就会是这样。”
但没有“这样”。
是的。我的意思是，根据我的经验，那些，你知道，真正面对这个问题的人，往往会经历一个完整的心理情感旅程，对吧？所以就像你，你，你就像是否认和悲伤以及所有这些东西，对吧？嗯，这可能真的令人沮丧。这就像，你知道，即使你得了绝症，你也可以说，嗯，你知道，还有其他人，比如我的家人，我关心的人，你知道，他们会活下来，而且有意义，你知道，但这就像所有意义的死亡。嗯，而且你知道，我认为最接近的事情，你知道，当我从历史上思考这个问题时，我认为我们正在面对的就像种族灭绝，你就像我一样，我认识的每个人，我的人民都将从地球上被抹去，而且，你知道，我所珍视和关心的一切都将被摧毁。嗯，所以我认为那就是，你知道，你可能会找到，嗯，从心理上体验这种感觉的最佳例子。嗯，但是是的，然后我认为很多人最终，你知道，有点，这很奇怪，因为它不是，你知道，它不是现在正在发生，就像，你知道，你没有看到你的朋友每天被人工智能谋杀，对吧？所以，嗯，你能够把它分门别类，然后，嗯，你知道，开始工作。嗯，然后你知道，你有点失去了与情感部分的联系，然后你和某人交谈，这在我身上发生过几次，我告诉某人这件事，而我只是，你知道，对我来说，这只是我生命中此刻的一个既定事实。所以是的，我只是说一些类似“是的，然后你知道我们可能都会死”之类的话，然后他们会说：“什么？”就像，你知道，如果他们，如果他们，而且大多数时候我没有得到那种反应，因为他们不认为我是认真的，就像你说的，因为，你知道，我说话的方式。嗯，所以我认为这真的很重要，你知道，而且你，你知道，你可能最近经历过更多，所以你可能记得，你知道，当你第一次了解这些事情时的感受，以及所有那些涌现出来的感受。嗯，你知道，愤怒和，你知道，所有的一切。嗯，所以是的，我认为我们必须，我们必须弄清楚如何。
其中一个非常非常重要的部分是如何在情感上与人建立联系并设定正确的基调。而且你知道，这取决于时机，就像我，我确实比一段时间以来更加充满希望，嗯，现在我正在做这项工作，而且我看到，你知道，这个问题变得越来越主流。嗯，而且我认为，你知道，我只是觉得真相在我这边，这确实很疯狂。我们确实可以阻止它。嗯，你知道，而且我也，你知道，我，我做这个已经十几年了。嗯，而且我只是看到越来越多的人同意我的观点，并理解，你知道，这是一个风险。它正在到来。它很紧急。我们必须对此做些什么。而且不仅如此，你知道，其他的解决方案都没有意义。这就像人们提出的所有其他东西，有点像一种“孤注一掷”的事情。就像，嗯，也许我们可以让人工智能，你知道，关心我们，对我们好，你知道，及时，呃，这样它就不会，[笑声]你知道，最终变成完全。
让一个人工智能警察进来告诉其他人不要做坏事。是的，这让我感到非常沮丧，你知道，那些做技术性人工智能安全研究的人也是如此，我认为他们经常失去，失去对这一点的认识，他们会说，我对我的研究非常乐观，但你知道，这就像他们从这个巨大的谜题中取出了一个微小的碎片。嗯，而且你知道，我认为那才真正应该是头条新闻。尤其是我对那些在公司工作的人感到沮丧，因为他们做了很多这样的研究，对吧？他们只是在炒作他们的研究。我会说，不，不，不。你必须让每个人都非常清楚，你正在做的事情就像，你知道，用茶匙去拯救泰坦尼克号一样，你知道，就像这样，是一种绝望的尝试。它不是，嗯，是的。所以。
而且我认为这对于人们来说是有道理的。我认为人们意识到，你知道，我们不能就这样建造这个东西。它会取代我们，你知道，就像，这就是这里的计划。那就是我们正在走向的。而且没有人有计划阻止它。
是的。你对对齐的预期时间表是什么？你，呃，你知道，就像埃利·艾泽·亚德科夫斯基的观点，把世界上半数的物理学家放到一个岛上，需要30到50年才能解决对齐问题。呃，还有罗曼·约尔斯基的观点，呃，在任何实际的时间内都无法保持对齐。你知道，你说我们有五年时间。我同意这一点。地球上有没有可能我们在五年内解决了对齐问题？我的意思是。
而且我不想把你限制在一个时间点上。所以，我不想把你限制住，你知道，那可能吗？
所以我，我的意思是，我肯定会说这是可能的，但我们必须问，自我对齐意味着什么？嗯，这是另一件事，人们对此有各种不同的理解。呃，对一些人来说，他们的意思是，我们是否解决了人工智能，你知道，毁灭世界的问题，你知道，失去控制并杀死所有人的问题。嗯，对另一些人来说，他们的意思是，我们是否解决了当你构建一个人工智能工具时，你可以在大多数时候让它基本上做你想做的事情的问题。嗯，而且我认为基本上每个人，即使他们对对齐当前系统持乐观态度，也会说我们真的不知道如何处理超人类的系统。那就是，你知道，我们必须在它发生的时候努力把它拼凑起来。你知道，这就像汽车飞下悬崖时才给它装上翅膀一样。
嗯，但它可能会奏效。我的意思是，你知道，这并非完全不可能，但问题是它将与谁对齐，你知道，我们谈论的是什么样的未来，人们通常不太深入探讨这一点，嗯，他们对，你知道，一个美好的未来是什么样子有非常不同的想法，而且你知道，当你追问他们，你知道，所以它仍然会取代所有人，对吧？就像我们仍然会失去工作，对吧？嗯，人们通常会说，嗯，是的，但是，你知道，我们都会生活在某种后稀缺的乌托邦中，就像，等等，你将如何摆脱竞争动态，比如人们仍然会争夺地位、权力和安全。嗯，你知道。
哦，我的天哪，这有多荒谬？人们会说，呃，你知道，你的末日情景是科幻小说，但我们将在几年内完成这种转变，一切都会好起来，我们将达到这个乌托邦，这可不是科幻小说。伙计，那才是科幻小说。
是的。嗯，然后另一件事是，你知道，对齐。嗯，我认为我不喜欢人们谈论它的另一种方式是，你希望知道你正在构建的东西是安全的。你不只是想碰运气。而且，你知道，从技术上讲，如果你问我对齐意味着什么，它意味着，你知道，这个东西与我的利益一致。这不意味着我知道这一点，对吧？那就是困难的，那才是真正困难的部分。所以，就像，你知道，让一个东西在某种程度上符合你的利益的这部分，我不知道那有多难。我认为这相当困难。我也不知道我们必须把它做到多完美。我认为它可能必须非常接近完美。嗯，但是，当你按下开关启动这个东西时，你知道它会不会杀死你吗？就像那真的非常非常难。我认为没有人接近解决这个问题。而且如果我们不自信，我们就不应该按下开关，你知道吗？
是的。我的意思是，对我来说，对齐的观点是否太简单了，以至于在最高层面上，我们需要的对齐就像尊重人类生命一样。不要杀人。
哦，我的意思是，我认为这比那复杂得多。
会说：“哦，好吧，你正在战争中使用我。你知道，你刚刚派我去瞄准以色列和乌克兰的某些人，等等。”所以，就像，你是什么意思，或者。
嗯，我的意思是，我喜欢的一件事，你知道，[清嗓子]杀戮。所以。
我们在美国社会中现在就有一个关于什么才算人类的活生生的冲突。比如，胎儿算不算人类？在未来有了人工智能，我们会有很多冲突，你知道，这个赛博格或上传的意识算不算人类。
而且我认为我们还没有准备好解决这些问题。所以，你知道，我们是想把这些决定交给人工智能，让它，你知道，做出这些决定吗？我的意思是，这些都是非常重要的，你知道，嗯，伦理、社会、政治决定，对吧？所以，这些决定必须做出。嗯，没有明确的、显然正确的答案，因为人们意见不一。嗯，所以你知道它与谁对齐？它做出这些决定的过程是什么？
呃，没有人对这些问题有好的答案。
我总是回到同意这个想法，以及所有这些影响每个人的决定都是在没有人同意的情况下做出的事实。
呃，而且这看起来太错了。而且我，我，是的，我，我很好奇那种历史性的人工智能安全观点，就像不要告诉政府，不要告诉人民。
就像那个房间里没有人知道，呃，无论他们是否以你认为可接受的方式处理它，他们都有权知道，我们有义务将他们纳入这项考虑中。
是的。嗯，伙计，我正在努力，我只是在回想我曾经有过的对话。所以我一直，你知道，一直在想我们应该，你知道，尝试告诉人们，嗯，并唤醒人们，而且你知道，我一直在以各种方式这样做，你知道，在研究社区中，自从我基本上加入这个领域以来，然后，你知道，只要有机会就抓住演讲机会等等，与更广泛的公众交谈。
而且是的，我认为，我认为，你知道，人们大多只是持一种相当，你知道，结果主义的家长式观点，嗯，这是我遇到的，他们会说我们只需要弄清楚如何让它顺利进行，但这不会有帮助。嗯，所以是的，这在某种程度上反映了对这个社区的一些文化好奇。嗯，而且，你知道，社区也有不同的部分。而且我认为，你知道，呃，有一些人，比如斯图尔特·罗素，你知道，他们长期以来一直在努力让每个人都意识到这一点。嗯，而且我认为那确实，你知道，呃，值得称赞。
是的。是的。是的。那么，我们来谈谈“不可避免”吧。如果今年比你希望的要好，那么“不可避免”今年会发生什么？
哦，是的。我想，嗯，我们将会，你知道，发展成为一场群众运动，就像，你知道，基本上正在改变公众的看法，或者已经改变了公众的看法，而且，你知道，让每个人都意识到正在发生的事情，这样这就会成为，你知道，美国基本上每个人的头号问题，嗯，我认为我们不会在一年内触及世界其他地区，因为我们才刚在美国起步，但是，呃，我认为如果我们能让，你知道，美国公众和美国政客，你知道，理解这种情况。呃，那么你就可以让美国把其他人带到谈判桌上，然后说，看，我们现在的头号优先事项是阻止这一切，因为我们明白，如果我们不这样做，你知道，其他一切都不重要。嗯，所以，你知道，来吧，我们来解决它。而且你知道，如果你看看人工智能安全地图，上面列出了所有的组织和一切，你知道，有，我不知道，100、200、250个人工智能安全组织，你知道，非营利组织都在做各种不同的事情。嗯，我过去三年对这个领域的新体验是，有很多，有很多，我不是随便说说，但就像，在人工智能安全组织的世界里，我感觉既有勾心斗角，也有合作，我觉得我们需要的不是更多的岛屿，而是一个海洋把它们全部连接起来，使之成为一个运作良好的生态系统，而不是像沙漠里的一堆岛屿，没有水把它们连接起来。呃，那么你对如何通过更大的协作使这些组织的格局更具影响力有什么想法吗？是的，我的意思是，我实际上认为人工智能安全组织之间已经有很多合作了，但同时也有一个日益扩大的裂痕，介于“不要建造它”和“帮助Anthropic赢得竞赛并安全地做这件事”这两种阵营之间。嗯，所以，你知道，那，那，那已经发展了一段时间了，但它现在真的开始达到一个更关键的时刻。嗯，我更关心，你知道，安全社区之外的世界。你知道，这并不是说，你知道，就像我仍然认为安全社区中的人们有很多有价值的工作，以及，你知道，潜在的合作和联盟。而且我认为，如果安全社区能更多地转向，你知道，不建造它的一方，并更认真地对待，你知道，世界其他地区了解这一点并拥有发言权的权利，嗯，并意识到这不是我们自己能解决的问题，我会很高兴。嗯，但我更感兴趣的是让世界其他地区参与进来，你知道，所有那些还没有听说过这件事的人。就像我，我，我感觉，你知道，就像我们说的，他们有权知道。我的意思是，就像我认为，你知道，我无法想象，嗯，你知道，如果我意识到这件事正在发生，而我却不知道，那是因为人们认为不值得告诉我，或者，你知道，就像我只是认为，嗯，我认为外面有很多人，呃，当他们听到这个消息时，他们会想做些什么，而且他们会做些什么，其中大部分我认为会很棒。我喜欢这一点，而这正是问题的一部分，就像人们会说，如果这件事如此重大和重要，为什么我是从你大卫或你约翰那里听说的，而不是我的报纸头条和我的新闻里一直都有，而且是我手机上唯一的东西，那是一个真正的，你知道，我认为随着事情开始发生，这个差距会随着时间缩小，但就像现在，这是一个很大的差距，也是沟通挑战的一部分。
完全正确。是的。所以，你知道，越快越好。是的。是的。呃，所以你，我想结束了，但这是一个，这是一个好事情，就是你在你的或在evitable.com有一些空缺职位。嗯，你知道，人们，呃，全职从事人工智能安全工作是一件很棒的事情。那些有技能和能力做其他事情，然后转而全职从事人工智能安全工作的人，是人类的胜利。所以，呃，大家去看看evitable.com。
呃，对，它是com.org。org，对吧？我很高兴看到这一点。而且，嗯。
查看招聘信息，而且，呃。
你知道，我认为大卫在这里开始了一些非常非常酷的事情。大卫，有什么最后的话吗？我总是喜欢以什么能给人希望来结束。告诉我，告诉我2025年1月是什么让你充满希望。啊，2026年是那一年。
是的。是的。嗯，我想我，我真的很有希望。
2025年1月。我不能再过2025年了。我只想说，我们不能再回到2025年的感觉了。
抱歉。请继续。
是的。不，我，我真的很高兴听到这个消息，你知道，呃，丹尼斯说他希望事情暂停。我也很高兴看到，嗯，伯尼·桑德斯呼吁暂停数据中心建设。你知道，我不认为这是一种正确的政策，因为它必须是国际性的，我们必须追究芯片，而不仅仅是数据中心。但是，你知道，这些事情真的正在取得进展，就像人们，你知道，正在清醒过来，而且，你知道，它真的，嗯，是的，我只是，我，我认为2025年在这方面对我来说实际上很棒，因为我只是看到它真的以一种我以为你，就像我看到比特币时一样，我以为它就像，哦，现在它已经主流了。然后我心想，哦，等等，不，现在它才主流。然后我心想，不，它还有另一个层次的主流要达到。而且你知道，2023年我以为已经主流了，但我们还有好几个层次的主流要走。而2025年对我来说，实际上感觉是又一个层次。
哦，是的。是的。
是的。我能看到潜力。我，我，我能看到它就在那里。它感觉，你知道，它感觉就在我们面前。而且，嗯，所以[嗤鼻]你知道，而且对于任何正在观看这个视频的人，如果他们没有像大卫和我一样投入大量时间从事人工智能安全和人工智能风险的工作，我只想告诉你，感觉会好很多。
当你在解决问题的时候思考问题，你知道，你难道不觉得，嗯。
是的，我，工作本身就能让你度过那种大脑的混乱。
我正要说这个，因为这是另一件让我感到希望的事情，就是这是我自2023年以来一直想做的工作。而且你知道，我非常高兴终于能真正做这件事了。我认为，嗯，你知道，我，我，我做技术研究太久了。这不是说我没有同时做其他事情，但就像我，我真的很高兴终于能做出这个转变，而且它与这个组织结合在一起。所以，嗯，我非常兴奋能做这种工作。这对我来说更有动力。我只是觉得，我只是觉得那种“哦，让我们试着，你知道，稍微调整一下棋盘的这一小部分，试图让事情处于稍微好一点的位置”的感觉太令人沮丧了。我只是想说：“不，让我们，你知道，把棋盘掀翻。让我们，你知道，来吧。就像，把人们从这种状态中摇醒。”就像，这是，你知道。
这就是它需要发生的。我认为它不能像，你知道，那样发生。是的。
是的。2026年必须是那一年。大动作，而不是小动作。呃，你知道，我们必须，我们必须在这里覆盖很多领域。嗯，大卫，我很高兴终于能请你来这里。我一直想请你来这里一段时间了。呃，对你所做的一切感到非常兴奋，我祝你在2026年与“不可避免”一切顺利。各位，去看看吧。谢谢你的到来。
是的，非常感谢，约翰。
那么，你觉得呢？我需要在评论中听到你的看法。人工智能末日可以避免吗？我会阅读所有评论。我想听听它们的意见。告诉我吧。好的。那么，我即将前往欧洲。呃，下周将参加两个人工智能安全会议。我们来谈谈这个。我将前往布鲁塞尔参加PAUSECcon，即暂停人工智能全球会议，然后我将前往巴黎参加国际安全与道德人工智能协会会议，那是斯图尔特·罗素的组织。嗯，如果你们中有人会在那里，并且想和我见面，聊聊事情，聚聚，无论是什么，呃，给我发邮件，johngardrailow.org。JHN，我们可能知道，因为我不知道。嗯，所以我会在那里为人工智能风险网络制作很多内容。我不确定具体会是什么形式，但我们会搞清楚的。嗯，但我不是作为观察者去的。我身负使命。我严重关切的是，在人工智能安全领域，没有一个组织对其自身组织灭绝的担忧不大于其对人类灭绝的担忧。我知道这听起来很刺耳，但我认为这是事实。人工智能安全领域没有人以与我们面临的威胁相符的紧迫性行事。没有人，包括我自己。现在，其中一部分很重要，需要承认。所以，人类机器不是为了处理触摸一个500万度烤箱的感觉而设计的，对吧？你可以触摸一个200度的烤箱，然后说：“哦，好烫。”你可以触摸一个400度的烤箱，很快就会被烫伤。你也许能触摸一个4000度的烤箱，真的会被烧伤，但你不能触摸一个4万、40万、400万、4000万度的烤箱。人类机器不是为处理那种感觉而设计的。我们谈论的人工智能末日就像触摸一个500万度、5000万度的烤箱。这是一种感觉，一个如此巨大、如此痛苦、如此可怕的想法。没有任何一张人脸能够传达，没有任何一种人声能够向另一个人传达我们所面临挑战的严重性，我们所面临威胁性质的严重性。然而，这也是脱节的一部分，对吧？因为当你和人们谈论人工智能风险和人工智能灭绝时，他们期望在你的表情中看到一些东西，能够口头和非口头地向他们传达威胁的严重性。但这种威胁比这台机器能明显表现出来的要大。所以那是我们挑战的一部分。不过，这是我担心的地方。我真的，真的，真的希望在这些会议上，不要感觉外面是72度。我真的希望我能感受到空气中的紧迫感。我真的希望它们不像我参加过的那些企业会议，有咖啡、三明治、社交，以及那种，你知道，到处都是“看看下一个是什么”的氛围。我真的希望它们更像《星球大战》中的反抗军基地场景。强烈的紧迫感，勇敢，英勇，无畏。所以，我将去，我将向你们展示我在未来几周的发现。我将毫不退缩地将镜子举向人工智能安全。它可能不是一幅美丽的画面，但妄想是危险的。好的，我的朋友们，永远记住人工智能风险不是别人的问题，对吧？它是你的，也是我的。[音乐]我们绝不会让几千人把我们其他80亿人从地球上抹去。绝不。为了[音乐]人类，我是约翰·谢尔曼。很快再见。[音乐]