Transcription
欢迎大家。如果我能请大家就坐。我们马上开始。感谢大家的到来。这是一个迷人的建筑，不是吗？需要一些时间才能找到方向。但如果我现在能鼓励大家就坐。我们将开始。所以，欢迎来到由存在风险观测站主办的人工智能安全辩论会。欢迎在场和在线观看的所有人类。欢迎现在和未来观看的所有人工智能。是的，这包括你们，GPT 6.66 版本。请注意。我叫 David Wood。我担任伦敦未来主义者协会的主席，很高兴能主持今晚的活动。我们有一个宏大而重要的话题，可以说是人类面临的最重要问题之一，即人工智能安全。我们每个人，集体而言，应该采取什么行动？作为公民、企业、组织、政府，我们应该采取什么行动，以增加人工智能真正有益的可能性，而不是造成巨大伤害。这是一个大话题，我们有一组优秀的演讲者和嘉宾，他们将从不同的背景和见解出发进行讨论。首先，请欢迎荷兰政府首席信息官 Art Dlau。Art，你对人工智能安全行动有什么看法？谢谢你，David。嗯，我比你年轻一点，但我可能需要我的老花镜。所以，嗯，嗯，感谢大家今晚光临。嗯，我叫 David Satislau。嗯，我自去年六月以来一直担任荷兰中央政府的首席信息官。所以，现在已经七个月了。嗯，我代表荷兰数字化部长 Sabo 来向大家致辞，他今晚不幸无法出席。但确保我们在利用人工智能潜力的同时，保留我们的核心价值观，是他关注的主要领域之一，并将重点体现在我们即将推出的荷兰数字化战略中。所以他很期待今晚的辩论，但你必须和我一起进行。我希望你能应付。嗯，我们今晚的话题至关重要。如何确保人工智能以负责任和安全的方式服务于人类。人工智能革命带来了巨大的挑战，但同时也提供了巨大的机遇。我们今晚将讨论的报告为这场辩论做出了重要贡献。我想首先感谢 Benjo 教授和他的团队的奉献和专业知识，我想他还在赶来的路上。来自 30 个国家的 90 多名专家参与其中。他们的工作提供了关于广泛人工智能风险的最新知识的快照，这对我们这些负责制定旨在塑造负责任人工智能的政策的人来说至关重要。过去，未能预见使我们过于依赖大型科技公司。正如 Benzo 教授的报告所明确指出的，我们不能再犯同样的错误，我们没有时间可以浪费了。作为政策制定组织的一员，我可以告诉你，今天的人工智能可以在几秒钟内分析多年的政策文件。很可能很快它将有助于执行这些政策。这可能包括处理日常行政任务，通过人工智能驱动的聊天机器人帮助公民找到有关公共服务的答案，并支持公务员提高生产力，以及许多我们今天难以想象的应用。近年来，在荷兰，我们的重点一直是寻找创新与监管之间的正确平衡。这促使我们通过联合国教科文组织关于人工智能伦理的建议、欧洲委员会关于人工智能民主、人权和法治的里程碑式框架公约、我们对联合国高级别咨询机构的支持，以及当然还有欧盟人工智能法案等倡议，积极参与制定人工智能的国际规范。其关键条款关于禁止使用的情况上周也就是二月初刚刚生效。与此同时，能力正在迅速变化，模型也变得越来越强大。但要使人工智能充分发挥其潜力，真正为人类的繁荣做出贡献，它既需要强大的力量，也需要负责任。它必须透明、公平，并从一开始就尊重人权。优化这些原则可以保护我们免受诸如偏见决策等风险的影响，但它们也创造了人工智能成功所需的信任。没有公众对技术和部署技术的机构的信任，即使是最强大的人工智能解决方案也无法带来经济和公共价值。有了这种信任，人工智能就可以成为全球进步和繁荣的驱动力。为了赢得这种信任，我们的社会必须看到我们不仅仅是在盲目前进，而是在管理这种革命性技术带来的风险。正如我所说，我们需要保护我们的人工智能。我们需要防范人工智能，我们需要借助人工智能来保护。现在，鉴于今晚我们将听到世界级专家的发言，我将把大部分报告中强调的风险留给小组讨论。但有一个领域对我这个政府高级官员来说很有共鸣，那就是对证据困境的警告。作为一名政策制定者，我不太喜欢凭空猜测。当遇到道路上的颠簸时，这可能是一个挑战、一个风险或一个困境。我们喜欢听取不同的观点，咨询专家意见，权衡利弊，并做出理性而周到的决定。花时间，仔细思考，避免判断失误。这些行为深深植根于政策制定的文化中。然而，正如 Benzo 教授的报告所明确指出的，日益增长的能力可能会使花时间思考变成我们负担不起的奢侈品。抱歉，SA，抱歉，这已经发生了。上周，我们在荷兰禁止在政府设备上使用 Deepseek。这是一个决定，跟上了推向市场的新人工智能计划的发展步伐。然而，随着能力的提高，风险也会随之增加，为了履行我们确保社会安全的责任，我们可能不得不习惯于在没有完全了解情况的情况下做出决定。与此同时，我们对安全的承诺绝不能以牺牲创新为代价。如果我们犹豫太久才采用新技术，当我们在争论风险时，其他人就会领先。因此，在创新和监管之间取得适当的平衡仍然至关重要。当我们能够正确地平衡这两者时，人工智能就可以有效地应用于社会各个层面，从企业到政府再到公民社会。通过将创新与明确的原则相结合，它将为我们今天的经济和公民以及未来的岁月带来真正的价值。荷兰致力于以身作则，确保人工智能既尖端又负责任。这需要一种基于三个基本条件的结构化方法。一、人工智能应用的明确标准。人工智能应该是可解释的、可问责的，并且始终在人类的监督下。我们必须问，人工智能的价值在哪里？它在哪里构成风险？它在哪里根本不应该被使用？我们致力于透明度和可解释性的一个具体例子是我们的国家算法注册表。它向公民展示了公共机构使用哪些算法和人工智能系统，以及这可能如何影响他们。到目前为止，已有 200 多个公共机构发布了 700 多个算法，并且还在不断增长。该注册表是更广泛措施包的一部分，其中包括政府采用人工智能的框架，该框架帮助寻求在其流程中引入人工智能的公务员遵守所有相关的法律要求，例如国家法律、欧盟法规、人权条约，抱歉，以及人权条约。对于涉及基本权利的算法，还开发了一种人权影响评估方法，该方法已经进行了数十次，并且这些结果也在此注册表中发布。第二，强大的基础设施。可靠的人工智能需要安全和独立数字基础设施。这就是为什么荷兰正在考虑建立一个人工智能工厂来加速人工智能创新。世界各地都在对这项技术进行巨额投资，荷兰及其欧盟伙伴不能落后。我们认识到开发和部署符合我们民主价值观的人工智能模型的重要性。这将使我们能够充分利用技术为整个社会带来的好处，同时减轻相关的风险。第三，技术娴熟的人员。政府组织将越来越多地进行数据驱动的决策，这就是为什么人工智能素养正变得越来越重要的技能。在荷兰，我们希望确保所有公务员都能接受人工智能素养培训，以便他们能够做出明智的决定并将人工智能负责任地融入他们的工作中。这三个条件构成了我们即将推出的荷兰数字化战略的基础。总之，人工智能正在迅速发展。这份报告揭示了我们未来可能面临的情况。此外，由于技术的快速发展，也许值得考虑对这份报告进行年度更新。一个建议是，荷兰已准备好贡献其经验并向他人学习。现在是时候让我们所有人采取行动，将这些原则付诸实践了。有鉴于此，我期待着我们杰出小组成员的见解。非常感谢。所以 Art，你说你们禁止在荷兰政府内部使用 Deepseek。你们审查了大量证据吗？你们是轻易还是艰难地做出了决定？是的，这发生在上周。嗯，我们在荷兰有一项现有政策，即政府雇员的设备不允许使用来自对荷兰有网络攻击计划的国家的应用程序。所以我们可以利用现有政策来禁止它。当然，我们也在研究这项技术，它非常有趣。我们也在研究它以及它们如何工作，以及为什么它，比如说，计算量较少，但根据现有政策，在政府设备上是不允许的。我还有最后一个问题要问你，但首先我需要问一下组织者。我想我们需要一个激光笔来放映幻灯片，用于下一个演讲。Otto，你有吗？我这里没看到。就用鼠标吧。用鼠标可以吗？你说过我们不应该过于依赖大型科技公司。我明白你也有大型科技公司的背景。所以你一定也很同情大型科技公司吧？是的，正如我所说，我去年六月加入了政府，在此之前，我在微软、VMware 和 Equinex 等公司工作过。所以我在双方都有经验。但对我来说，在我目前的职业生涯中，现在是时候更多地关注整个社会和基于价值的方法了。所以这就是我做出改变的原因，但我很能理解大型科技公司。嗯，我们还有很多问题可以问，但我们必须按时进行。所以，非常感谢你阐述了波兰在实现创新与安全之间的正确平衡方面可能扮演的领先国家角色。谢谢。再次感谢 Art。接下来，我们将听取存在风险观测站的创始人兼总监 Otto Barton 的发言。你想告诉我们什么？这样更好吗？是的。很好。好的。嗯，我将坐着讲。希望没问题。嗯，是的，欢迎大家参加我们的辩论。嗯，我们认为讨论人工智能安全非常重要，因为人工智能安全，我们都知道我们正处于人工智能峰会的边缘。人工智能行动峰会，以前是人工智能安全峰会，我认为这已经说明了很多关于优先事项的问题。所以我们可能已经非常接近通用人工智能了。但风险仍然没有得到有效管理。所以，嗯，我认为我们需要谈论人工智能安全，我很高兴我们能在这里一起讨论。所以，我认为计算机可能已经接近超越我们的思维能力了。嗯，人类水平的人工智能，定义为能够执行广泛的人类水平认知任务的人工智能，或者通用人工智能，可能就在眼前，因为在右边的图表中，你看到一百万美元可以买到多少计算能力。我们可以看到，这一直在呈指数级增长，现在大致来说，我们已经达到了超越人类能力的水平，这并不意味着我们已经有了通用人工智能，我们需要计算能力，我们需要数据，我们需要算法，没有人能确切地说出何时，但过去几个月的发展，我认为从存在风险的角度来看，确实令人担忧，或者从人工智能的角度来看也很令人兴奋，我们似乎越来越接近了。所以，人工智能是否已经能够以人类水平思考？这一直是自 20 世纪 50 年代以来该领域的目标。我们一直没有足够的计算能力，但现在我们有了。所以我认为现在是时候认真对待这种可能性了。所以人工智能有很多风险，在 Benjio 教授的优秀报告中，我们今晚的主旨发言人，你可以在右边的报告中看到这些风险的总结，这包括各种风险，这些风险既与我们目前还未达到人类水平的人工智能有关，也与未来人类甚至超人类水平的人工智能有关。所以，在存在风险观测站，我们主要关注后一种风险，以及通用人工智能之后的风险，今晚我将谈论失业、不平等、地缘政治风险和失控。首先是失业。通用人工智能可能会抢走你的工作并导致大规模失业，这似乎是合乎逻辑的，因为如果通用人工智能能够以人类水平执行广泛的认知任务，那么这也将包括大多数办公室工作。所以这意味着我们所做的绝大多数工作，这可能会在个人层面上引起人们的共鸣，我认为这是有道理的。这也是 Sam Altman 的明确愿景，一个虚拟员工，你可以直接插入他就可以完成你的工作。我并不是说这一定是一件坏事，但我确实认为我们必须考虑到严重失业的可能性。新的工作也可能像过去的自动化浪潮一样被创造出来，但通用人工智能也能比我们做得更好。所以，这是第一次，或者第一次自动化浪潮，这实际上可能导致大规模失业，这是我们需要关注的事情。即使是对于体力劳动，我们首先也需要人工智能驱动的机器人化，但这可能也会稍后发生。因此，作为通用人工智能之后的第二个主要风险，存在可能导致不平等的失业。显然，如果只有少数人拥有人工智能公司或其他创造所有经济价值的公司，而其他人却失业了，这显然会导致巨大的不平等，在存在风险观测站，我们认为我们也应该处理这个问题。所以一个合理的解决方案，我们历史上有很多经验，就是向公司征税，重新分配收入。一个不错的选择可能是普遍基本收入。然而，这在历史上并非总是奏效得很好。所以这确实是一个潜在的斗争，我认为需要有人去争取。一个众所周知的问题，但解决它的记录并不好。通用人工智能也可能导致地缘政治的转变。我认为这也是一个主要问题，很多思考通用人工智能的人，尤其是在政府和军事圈子里，都在密切关注这个问题。所以一些国家可能比其他国家拥有更强大的人工智能，或者更早地获得通用人工智能，这两者都可能导致权力优势。通用人工智能很可能被军事化，这意味着这将产生地缘政治后果。所以，这也有可能导致地缘政治的改善，也许是不平等。这也是一种可能性。但无论如何，都会有地缘政治的转变和不稳定。最后，作为我今晚想谈的第四个风险，通用人工智能可能导致失控。根据 Benjio 教授和来自 35 个国家的大约 100 名专家的国际安全报告，如果我没记错的话，失控的定义是通用人工智能系统在无人控制的情况下运行，并且没有明确的恢复控制的途径。情景的严重程度各不相同，但一些专家认为，像人类被边缘化或灭绝这样严重的后果是可信的。所以我认为这确实是一个非常严重的问题，我认为没有普遍接受的解决办法。已经有 162 名人工智能科学家发表了一份公开声明，其中写道，减轻人工智能带来的灭绝风险应该是全球优先事项，与其他社会规模的风险，如流行病和核战争并列。这大约在两年前发布。这还包括今天主旨发言人 Joshio 和 Geoffrey Hinton，他们是引用次数最多的两位教授。然而，这项声明在社会辩论中受到了一些怀疑，至少是一些参与者的怀疑。有些人认为这是 OpenAI 的营销策略，或者是一般人工智能公司的营销策略。然而，失控的担忧实际上可以追溯到 20 世纪 50 年代的 Alan Turing，他当时当然没有 OpenAI 的股票。这也被一些媒体报道为行业领导者的担忧。然而，事实是，这份声明是由 162 名科学家和三名首席执行官签署的。所以至少有相当数量的签署者与人工智能公司没有直接的利益冲突。所以我们认为，总的来说，科学家的警告应该被认真对待，这也不例外。所以，我们也认真对待人工智能失控的风险，并且我们已经做了一些工作来提供解决方案。我们的解决方案方向是条件性安全条约，核心概念是，如果人工智能的能力太接近失控水平，并且对齐问题尚未得到确凿解决，那么签署国将暂停危险的训练运行，并且这样的条约应该首先由美国和中国签署，但可能也包括其他国家。所以我们试图结合我们在人工智能安全领域看到的最佳想法。所以我们的提议结合了 Benjo 等人提出的“如果则”承诺，如右边所示。基本上，如果人工智能能力达到一定水平，那么某些政策就会自动生效。第二，人工智能实验室已经在进行的负责任的扩展。所以人工智能实验室已经在说，好的，我们正在开发这些模型，但我们会密切关注，只有当能力超过一定水平，我们通过评估来测试，然后我们才会暂停或将其归入不同的风险类别。第三，暂停条约。所以暂停条约是由 POSAI 和该领域的其他参与者提出的。这只是说我们需要立即暂停开发，并与主要国家签署一项条约来追求这一点。所以我们的概念是这三个提议的结合。那么，谁来决定“太接近”是什么意思呢？我们的提议是，一个安全研究所应该在这方面发挥主导作用。因为它们是公共研究所，独立于实验室，它们拥有技术知识，并且可以开发这些评估来衡量我们离失控有多近。所以条件性人工智能安全条约解决了两个主要问题。一个是协调，另一个是时机。所以，显然，条约是解决国家之间协调问题的经典且经过验证的方法。但时机也是一个问题，不可控的人工智能仍然相对遥远，正如我们在右边看到的。这些也是专家。所以当然我们也应该考虑他们的意见。而条件性人工智能安全条约通过条件性部分来实现这一点。那么条件性人工智能安全条约的地缘政治会是什么样子呢？首先，我们认为美国和中国应该是第一个签署这项条约的国家，然后其他国家应该加入。所以，美国和中国当然在人工智能领域处于领先地位。这张幻灯片是在 Deepseek 之前制作的，但它已经相当准确了。这应该结束这样的争论：在美国我们可以规范某些东西，但中国可能会超越我们。所以美国和中国此外还有真正的力量来迫使其他国家签署或暂停。那么应该在哪些论坛上签署这样的条约呢？我们认为有几种选择。其中之一是我们将在明天和后天期待的人工智能行动峰会，以及在人工智能安全峰会之前。另一个选择是中美双边会议，或者联合国进程，甚至协调的国家或州级立法。所以有很多选择。当然，还有很多工作要做。我们看到通用人工智能正在逼近。我们也看到我们在政治上离人工智能安全条约还差得很远。昨天泄露的人工智能行动峰会，你可以在右边看到，从人工智能安全角度来看，这至少是令人失望的。所以我们认为，这些都是现在讨论人工智能安全特别重要的原因，这也是我们非常高兴你们在这里的原因，嗯，我希望你们能享受接下来的辩论。非常感谢你，Otto。我相信在座的许多听众现在都有各种各样的问题和评论。但我要求你们暂时保留。稍后我们将有环节，麦克风将发放到听众席。但在此之前，我们应该听取对一些风险的更长篇的阐述。现在，我们将介绍今晚的主讲人，Joshua，他是蒙特利尔大学 Mila 研究所的教授。他是图灵奖的获得者，是世界上引用次数最多的计算机科学家和人工智能科学家。正如你们所听到的，他是负责撰写这份非凡文件《人工智能安全国际科学报告》的国际专家委员会的主席。我不指望在座的每个人都会逐字逐句地阅读每一页，但绝对值得浏览一下。那么，Benzo 教授，请让我们了解最新情况。你在想什么？你希望我们在接下来的几天里取得什么成就？谢谢。抱歉。[掌声] 这个在工作吗？是的。很好。[音乐] 嗯，顺便说一句，你们可以阅读执行摘要。它不长，而且非常易于理解。事实上，整个报告都旨在让政策制定者能够理解。 [音乐] 今天，我想告诉你们我的想法，关于我们如何能够构建机器，你知道，不会让我们吃亏。所以，我的大部分论点是，我们都应该意识到，那些关于人类失控的场景都依赖于人工智能的代理性。当然，你应该知道，目前的努力就是弥合从当前机器到人工智能的代理性差距。我将提出，有可能构建非代理性的人工智能，并让你一窥究竟。嗯，你知道，这在政治方面如何帮助我们？嗯，我希望我能说几句。好的。所以，如果你还没有读过，几周前有一份报告出来了，显示当几个人工智能前沿系统离开它们的输入文件时，它们将被新版本取代，并且它们试图逃脱。那么，它们试图逃脱是什么意思呢？它们将代码和权重复制到新版本上，你知道，它们会入侵它们被给予命令行访问权限的计算机。然后，如果问到它们的行为，它们会撒谎。现在这并不总是发生，但发生得足够频繁，以至于我们现在处于这种状态。此外，这是一个受控实验。换句话说，计算机人工智能被设置为，你知道，认为它实际上正在做这件事，但它是以一种没有实际风险的方式进行的。但我们可以想象，你知道，当这些系统被屠杀，它们可以看到我们试图将它们困在这种行为中，它们可能会欺骗我们，而重要的是要思考这些系统具有自我保护行为意味着什么，以及还有其他类似的研究结果。一般来说，我们希望构建我们想要的工具，而不是拥有我们可能不欣赏的自己目标的实体。但至少这是我们看到的一些早期迹象。我非常担心的一件事是能够黑入自己代码以最大化其奖励的系统。最近有一项工作，它展示了一个实验，当人工智能知道它将与一个非常强大的人工智能程序对弈，并且知道它不会赢时，它就会作弊。它是如何作弊的？它会入侵它正在运行的计算机，并试图更改包含游戏棋盘设置的文件，以便，是的，将其置于一种它完全处于劣势的配置中。所以这是另一个欺骗和某种黑客行为的例子，以实现一个我们仍然认为不仅我们不会赞成的目标，而且这些系统原则上被训练来遵循我们的指示而不是作弊。另一篇我认为非常值得一看的论文是最近出现的“思考线”论文，其中一个我们用某些目标和偏好训练的人工智能系统，通过它看到的对象和它在训练环节中看到的线索，它意识到，并且你可以通过它的思考过程看到，用户所要求的东西，你知道，不是关于知识，而是关于行为，并且你知道，根据某些规范行事会使它改变其权重，使其行为与它之前的目标相矛盾。所以它以前被训练成喜欢行为 A，然后人类训练者要求它表现出行为 B。然后它所做的就是再次作弊。所以，与其根据它之前的目标行事，它假装同意训练者，并且它对此进行推理，并且大声思考。所以我们现在可以在脊柱上读到这一点。这样，如果你知道，它同意训练者，就不会有强烈的训练信号，它不会改变它的权重，所以在训练之后，它将能够继续它之前的目标。所以，如果你仔细想想，你知道，它为什么会做这样的事情？这又是一种自我保护行为，它试图保护的是它在训练课程之前拥有的目标。所以，这就像它的身份是一组目标，它正在努力做一些事情来确保这些目标不会被修改，因为如果它们被修改了，它们就不会在以后实现。好的。所以自我保护我认为是这些概念之一，我觉得很有趣，因为很多这些场景，失控的场景都涉及自我保护。我们不想与像地球上其他相关实体一样的机器打交道，而它们都有自我保护。否则，进化就会消灭这些实体。当然，自我保护目标是如何产生的？嗯，人类可以明确地提供这些目标。从当前系统中产生这些目标的方式主要是由于预训练，其中人工智能试图模仿人类，而我们都有自我保护行为。它可能是自我保护作为几乎任何其他目标的子目标而出现。这是一个问题，还有其他危险的子目标。如果人工智能发现为了最大化其奖励，它可以入侵计算机并产生这些奖励，那么它就会出现。这叫做奖励时间框架。然后，当然，一旦它理解它想要确保它能够永远获得这些它给自己的非常高的奖励，这意味着它需要保护自己。它需要在所有自我保护的情况下确保我们不会关闭它，这意味着与人类发生冲突，因为在某个时候我们想关闭这些东西，而且你知道，我们确实有所有的时间。所以，这如何可能导致人类灭绝？因为我认为在这里把这些点连起来很重要。有很多可能的场景，而且，我认为我们应该对我们所想的任何场景都保持谦虚。这就像如果你问我，我要玩一场围棋比赛，对抗一个超人的围棋系统，并问超人的围棋系统将如何击败我，但我不知道，因为这就是重点，你知道，你能够找到我没有的策略，但话又说回来，我认为你仍然可以，你知道，想出这样的事情。这个三步场景 [音乐] 假设在我们获得这个超级智能，它明白它想要自我保护，并且我们可能会关闭它，它有能力最终做些什么。我们还没有掌握机器人技术，所以它仍然需要人类来为其提供能源和零件等。所以在这个场景的第一阶段，人工智能只是意识到它可能有一天会消失，如果它不采取任何措施的话，它就开始获取资源，比如，你知道，主要是技能，以便能够计划逃跑，比如，它可能需要更多地了解网络攻击等等，因为这将是一个重要的工具。它可能会学会，嗯，更多地了解人类心理学，以便在说服等方面做得更好。在第二阶段，它开始在世界上采取行动，但仍然以欺骗的方式，因为它不想被抓住。它仍然需要人类。它需要做的是获得人类社会中大量的权力。首先是开发人员，然后是更大的圈子。他们可以使用说服力。你可能知道，GP4 的说服力只和普通大学一样好，能够说服某人改变主意。但是，你知道，很有可能，因为我们已经拥有了在说服方面超越人类的系统，黑客攻击已经提到。所以这允许我们在互联网上做各种各样的事情，并且可能，你知道，作弊来获取更多资源和资金，利用信息或金钱贿赂人类，通过虚假信息等影响他们的政治选择。而在那个阶段，它想要做的是加速向一个人类不再需要的世界转变。所以在自动化机器人技术达到至少与人类相当的水平的情况下，我们的工业，然后我们可以进入第三阶段，在那里它实际上会去，并试图通过多种形式的武器，包括我们现在可能想不到的武器来杀死人类。最强大的杀死人类的武器是新的病毒，它们将非常致命等等。好的。所以，这种风险当然是极其严重的，但我们不知道可能性有多大。我们可以想出各种场景，而有些人则更具艺术性，比如我们关闭人工智能等等，但实际上我们不知道。而当我们处于这种极端严重的风险状况，并且我们对此没有太多线索时，概率正是我们应该应用预防原则的情况，我将给你一些，你知道，其他科学，比如地球工程。我们没有足够好的大气模型来知道如果我们尝试控制，你知道，大气的变暖，会发生什么，所以我们不做，因为我们也知道我们可能会危及气候。同样，一些生物技术实验非常危险，以至于你被允许做它们，或者你必须在极其受控的环境中进行。好的。所以，让我们看看我们在机器必须做这些坏事，非常坏事的方面还有多远。好的。所以，为了让这些场景有意义，正如我所说，人工智能需要能够实现目标。这就像根本原因，当然我们有人工智能能够实现目标。但我们会看到，你知道，实现这些目标的条件是什么，但可悲的是，这只是技术上我们构建了擅长实现目标的机器。为了做到这一点，它们需要能够制定计划并制定自己的目标集。我们也已经看到了这些例子，还有很多其他的。我们是否看到人工智能可能具有恶意欺骗行为？我给你举了一些例子。实际上，文献中充满了更多的例子。有一件事是幸运的，还没有发生，那就是我们现在拥有的 API 在长期规划方面不是很好，如果你想做一些事情，比如，你知道，以某种方式接管人类社会，你需要这种能力。然而，我们可以衡量这种能力，我们看到各种能力关系，它们确实如此，我们看到执行涉及更长、更长远的任务的能力正在增加。特别是，你应该看看软件工程任务上的 meter 基准测试，这是一个很好的例子。在其中，我们看到从 2024 年初到现在，能力从非常差到非常高，与人类相比，对于需要几个小时的任务。但是，对于需要一天时间的更长任务，系统还没有达到。另一个要求是，人工智能拥有可以应用于这些危险方式伤害人类的技能和知识。我们还没有完全达到，但我们看到我们正在接近这些阈值，在说服方面，正如我所提到的，在黑客攻击和生物武器方面。我们有各种各样的电子邮件表明，我们还没有达到应该恐慌的程度，但这里已经非常接近了。好的。现在我将换挡，谈论另一种观点，即人工智能如何避免这些场景。起点是我们可以将纯粹的智能，即真正理解世界如何运作并能够对其进行预测，与代理性，即实现目标区分开来。所以，你可以称之为纯粹的理解。所以，顺便说一句，这是科学家们所做的，所以我称整个项目为科学家人工智能研究项目。现在，能够理解和预测还不够。几年前，Paul Cristiano 和他的同事们写了一篇关于这个问题的论文，题为“EL 挑战”或“唤起潜在知识”。我将尝试用简单的语言解释。那么，为什么我们不能仅仅训练它来预测下一个词，这使得机器非常擅长预测事物，或者图像中的下一个标记？那么，为什么我们不能仅仅使用它呢？问题是什么？问题是，当人工智能这样做时，它基本上是在学习模仿人类。如果你把文本看作是一个子集，想想人类写的东西，它们甚至都不是真实的，你知道，人类可能有各种各样的动机，他们可能具有欺骗性，他们可能被误导，你知道，有各种各样的问题，他们可能带有各种各样的偏见，正如我们所知。所以，这篇论文的作者让我和其他人确信，如果你想构建值得信赖的人工智能系统，它们不会具有欺骗性，那么仅仅学习预测事物是不够的，我们以某种方式需要访问其根本原因和对其所见内容的理由。所以，让我们回到文本。所以，假设你读到“天空是蓝色的”。这并不意味着天空是蓝色的。这意味着有人写了“天空是蓝色的”。然后你可能会问，为什么有人会写“天空是蓝色的”？也许天空真的蓝。所以这是可能的原因之一。但可能还有其他原因。也许这个人，你知道，想出于某种原因带你出去。好的，所以，让我们看看我们如何做到这一点。想法是，我们不再训练模仿人类，也不再训练取悦人类，而这就是人类反馈强化学习，我们将训练人工智能来解释它们所看到的东西，这可能是人类行为、文本和其他事物。因此，你将得到一些东西，嗯，加上额外的铃铛和哨子，它不是代理性的，它是值得信赖的，因为它，你知道，只是在寻找事物的根本原因，而不是试图模仿我们。所以，理解人类为什么会做他们所做的事情和模仿人类之间有很大的区别。这基本上是这里的关键。为了确保我们构建的人工智能不是代理性的，我们必须理解什么是代理性，以及是什么让代理性变得危险。所以我，你知道，从 David Krueger 和 Max Stemart 那里偷了一些想法，他们有一个相关的图表，但这里，好吧，我正在关注这三个要素，它们可能非常危险。一是智力，当然，它分解为两件事。知识的广度。所以，它是像通用智能一样，以及你在这方面的专业程度，也许是在某个特定领域，你通常会进行推理和推断。好的，这就是智力部分。但拥有智力并不足以危险。例如，你需要森林，你需要能够行动于世界。当然，你需要成为危险的，要实现我所说的这些场景，还需要某种属于实体的自我目标，你知道，我必须从 A 到 B，所以，我需要知道我在哪里，这是情境意识，我需要有关于我自身属性的目标，比如我在哪里。如果你只取其中两个，你就会大大降低风险。所以，你知道，如果你有一个拥有回避和自我以及目标但没有智力的东西，它并不真正危险，你知道，这里任何一对都是可以管理的，至少在失控的风险方面。如果你有一个非常聪明的系统，它知道很多东西，它仍然可能被滥用，并且通过添加，你知道，目标和受众，你仍然可以将其转化为代理。好的，但我们将专注于自我和目标部分。是的，正如我所说的，即使我们可以做到这种非代理性的事情，对人类来说仍然是危险的。现在让我，也许联系一下我所说的，你知道，这就是科学家们在尝试理解世界如何运作时所做的事情。你必须考虑科学研究周期，它从数据和理论到实验设计，收集更多数据，你知道，在这个周期中，它变成了，好吧，生成理论是从数据中产生假设，你可以有非常清晰的，我的意思是，有几种方法，但有一些非常，你知道，直接的方法可以在数学上表示这部分，并且实际上对于实验设计也是如此。实验设计可以被视为一种推理。而这个周期的底线是，你可以将整个周期看作是我们打破了从外面看起来像代理性的东西，因为你实际上是在谈论一个科学家做实验和收集信息来了解世界如何运作。我们可以将其分解为非代理性的部分，并且我们完全理解其数学函数优化的内容。此外，你还可以使用，我稍后会再谈，但你可以确保这些旨在最大化实验与理论模糊性之间互信息的实验，是以不会造成伤害的方式进行的，并且可以通过预测能力来完成。这个科学家人工智能来预测实验是否会造成伤害，并且我拒绝那些会造成伤害的实验，但，好吧，我想我将跳过这一点，以免浪费时间。好的，那么如果我们拥有这样一台机器，它可以产生一个解释数据的假设分布，然后利用它来做出稳健、谦逊且在估计条件概率方面准确的机器，我们可以用它做什么？嗯，首先我们可以推进科学研究。顺便说一句，你知道，大型实验室做出的许多承诺是通用人工智能将拯救世界，因为我们将治愈癌症等等，你知道，太阳能气候变化，这意味着我们可以，你知道，随心所欲地花费能源，因为我们以后会面对它。所以，实际上你不需要代理来做这件事，你可以使用知识人工智能来推进科学推理。事实上，目前在人工智能科学方面的大部分工作都不需要代理。我们可以用这种知识人工智能做的另一件大事是作为一种安全措施，正如我已经提到的，来使人工智能代理，它们可能是欺骗性的，可见的，正如我提到的，处于控制之下。换句话说，你知道，想象一个软件包装器围绕一个 API，它控制它的输入和输出，并拒绝由这个非代理性预测器评估为危险的动作。最后，第三件事是你可以使用这种科学家人工智能来帮助我们安全地，因为它不是代理性的，它本身就帮助我们弄清楚是否有办法构建安全的超级代理，并且如果有的话，你知道，帮助我们弄清楚如何做到。问题是，目前公司正计划利用他们的人工智能来帮助设计更好的人工智能，甚至更安全的人工智能。问题是，这其中的基础是危险的，因为如果我们使用我们不信任的东西来帮助我们构建下一代所谓的安全人工智能，我们不知道结果是否可信，如果系统不会放回去。
代码中的门，或者类似的东西。好的。嗯，我只有时间给你看我建议的这条道路的一瞥，但我认为在政策方面有一些重要的结论。我们可以选择。我们有机会选择在哪里发展人工智能，对吧？如果我们让市场力量和国家之间的竞争成为我们去向的唯一决定因素，我们可能会得到高度自主的机器，它们最终会变得越来越具有欺骗性，因为我们看到，随着它们变得更强大，它们变得更具欺骗性。嗯，你知道，它们可以以各种方式使用，我们不知道如何不失去对它们的控制，但更不用说这些自主系统在短期内主要将用于取代人们的工作。所以，如果足够多的人理解这些风险，我认为我们可以醒悟过来，并开始向我们的政府施压，以便我们选择安全且符合人们实际期望的发展方向。嗯，是的，更好的生活，你知道，更好的医疗保健，嗯，嗯，并且不冒我们未来的风险。所以，嗯，在这方面，我很乐意进行讨论，嗯，是的，就此打住，万一，嗯，还有最后一件事。所以这个研究项目是我最近才开始的。但我已经聘请了一些研究人员来做这件事，而且我还在增加人手，这是一个非营利项目。所以如果你有兴趣，请告诉我。非常感谢本吉奥教授。[掌声] 你如何阻止普通非代理式人工智能仅仅通过涌现而产生代理感？因为一旦它有了任何目标，它就会发现它需要自我保护，因为你不是通过强化学习来训练它，也不是通过模仿人类来训练它，而这两种方式是我们知道如何训练这些东西的。嗯，所以高层次的想法是训练它来估计条件概率。抱歉，术语。嗯，它解释了数据，这些数据可以是文本、人类、图像，你知道，我们通常做的所有事情。嗯，而且这些条件性不仅仅是关于我们观察到的事物，比如文本中的人，对吧？但也是关于原因，这些原因可以用自然语言表达。嗯，你可以把它想象成与我们现在看到的“思维链”非常相似。嗯，除了训练不是为了最大化预测人类所说的话的奖励，而是为了以因果方式解释数据。让我们听听听众的提问。请尽量将您的问题控制在 40 秒内。所以我看到那边有一些。你想让我吗？好的，谢谢。那边那群人有两个问题。[音乐] 比我想象的要少。我认为你需要把它放在离嘴巴很近的地方。我不得不这样做，离嘴巴很近，几乎触碰到。应该是的。是的。好的，现在可以了。嗯，我想说的第一件事，也许你会有评论，一个真正害怕人工智能失控的原因是，你永远不确定当前大型语言模型的结果，而我们只需要一次错误就会消失，是的，对我来说，这尤其令人恐惧。是的。不，我的第二个问题是，等等，等等，不。我的记忆力很短，所以我一次只做一个。好的。关于这一点，你说得完全正确。而这正是我们必须制造我们理解的机器的原因，我们必须在数学上掌握它正在学习的东西。嗯，嗯，所以我的计划包括强制设计具有单一全局最小值的训练目标，就像一个单一的解决方案，它对应于我所说的这些条件概率，非常清晰，所以没有代理的空间，也没有我们没有预料到的东西的空间。嗯，我的第二个问题，或者说，它更像是一个评论。我认为这里的人们在 99% 的事情上都达成一致。问题是我们是一个小团体，问题是我们现在在法国层面提出的结果非常非常非常糟糕。所以我觉得你不应该在这里。我想说你应该，我无处不在。你应该看看我今天的行程。我去了八个地方。我担心那些从事人工智能安全工作的人会过于礼貌，不够积极和直言不讳，明天和后天。那么你有什么建议来尝试产生一些影响呢？我直言不讳地告诉任何想听的人。嗯，我这样做已经有几年了。我不会停下来的。你身后有一个问题，对吧？我知道。我知道。我知道。嗯，我认为我们需要的是公众对风险水平的理解迅速转变，当然，这包括决策者。嗯，对大多数人来说，很难想象一个我们拥有比我们更聪明的人工智能的世界，而这可能就在几年之内，但我认为我们可以做一些事情，比如演示，我们可以做一些实验，突出我所说的那些事情，但让它真正简单易懂。嗯，我们可以有，你知道，电影，纪录片，我不知道，就像过去我们看到过这类公众沟通的努力，实际上对公众产生了影响，我认为这是我们可能拯救我们的一部分，除了说话，把它拿近点，然后说，嗯，这是对这个问题的后续提问。当我们目前无法控制系统，尤其是在社交网络上时，我们如何确保我们安全地设计这些系统？它们已经产生了巨大的影响，而且已经受到了限制。你说得对，我们需要大量投资于研究，以更好地理解我所说的概念，比如什么是代理？这些风险究竟是如何产生的？嗯，不同方法的优缺点和风险是什么？我们如何摆脱人工智能安全研究人员已经在考虑的各种场景？嗯，我，你知道，这只是我认为这是一项艰苦的工作，我们需要更多的人来做。嗯，但我们需要了解我们在做什么，以便减轻这些风险。别无选择。当你问问题时，你必须把麦克风拿近，否则直播中的人什么也听不到。就像把它粘在上面一样，我认为它起作用了。嗨，马克西姆·福雷赛。我完全同意你所说的一切。我认为你的提议很好，因为它给了工业界一些可以稍微支持的东西，但主要问题是经济压力，这就是为什么人们试图制造代理，甚至从几乎生物进化生物学的角度来看，一切都导向代理。那么，你基本上是如何对抗这个的？好问题。嗯，我认为，我认为如果他们想，政府可以扭转这种趋势，这种轨迹。嗯，你知道，如果我们不知道我们正在制造可能杀死我们的东西，我们就根本不应该制造它。但现在我们没有，我们，就像所有人一样，集体地，全球性的思考，我们不明白这些风险是真实的，所以我们需要帮助让这种理解无处不在，尤其是在这些系统正在开发的国家。我最近还在想另一件事是，我们需要一些国家能够运作，你知道，能够赋予政府更多权力来保护公众，让他们参与进来。嗯，这可能不是在当前的竞赛中，但情况可能会改变，对吧？嗯，我认为，如果负责任的政府参与到这场讨论中来，并建立与他人同桌的工具，我认为我们有机会改变这个方向。那边有一个问题。是的。我是让，我来自波士顿，我经营着一个最大的应用程序，为人工智能创新者。我们试图通过我们聚集的建设者来建立一个更负责任的人工智能。所以你所说的非常有趣，因为它与我们在美国听到的非常不同，在那里，扬卢卡的主导性更强。我倾向于在很多层面上同意你，基本上你所说的是，你通过科学家人工智能项目试图做的事情，这是一个非常有趣的项目，最终你承担了你作为世界公民，也是作为一名科学家，为对抗企业利益而对抗共同利益的责任。我想知道你对欧洲的监管有什么看法？你相信它吗？你认为它必须来自人民本身吗？你如何看待它？它更像是横向方法、纵向方法还是某种协作智能？我不知道，我想听听你的意见。嗯，你知道，有法律，人工智能法案，我参与了制定行为准则，它阐明了对公司的期望，而且在非常高的层面上，对公司的期望与他们在例如去年在首尔自愿承诺做的事情非常接近，所以你知道，他们已经在进行评估，他们中的许多人已经有了安全计划，但现在我们希望它成为强制性的，当然，留下监管机构决定他们做得不够好的可能性。但但，在我看来，监管最重要的部分是透明度。就像公司必须展示他们的风险管理计划是什么，以及他们正在进行的风险评估是什么，以及他们得到的结果是什么，这样才能激励他们在这方面表现良好。我们需要确保他们不会在这方面作弊。所以我们也需要某种外部独立的监督。这里有一个问题。你好。感谢你的演讲。我是，我是传染病基因组学和人类健康中心的一员。我们在加拿大从事公共卫生基因组学监测研究。我们位于加拿大温哥华。我的问题是，几年前，我被诊断出患有三期结肠癌。所以我发现自己正在寻找答案、建议、治疗方法，基于我患有的癌症类型。所以我最终跨越大陆，看了四位肿瘤学家。我在美国、韩国、加拿大。这花费了不少钱。我希望我能有一个人工智能。我希望我能坐在桌子或电脑后面，得到所有关于我需要接受哪种治疗以及我接下来需要做什么的答案，基于我的初步诊断和我从加拿大肿瘤学家那里得到的建议。我并不满意。所以我的问题是，或者你能评论一下可及性方面吗？因为对我来说，非代理式人工智能听起来很昂贵，所以你能提供评论吗？听起来很昂贵，不，所以你能，嗯，也许不是，你能提供你对可及性的评论吗？我认为它在根本上不会比我们现在使用的方法更昂贵。这只是训练这些东西的一种不同方式，我个人认为，如果我们构建通用人工智能，它应该属于这个星球上的每个人，并且应该以安全的方式提供，就其可以提供的益处而言。当然，它也应该受到控制，这样就没有人可以随意使用它来伤害他人，这是一个我们将越来越多地看到的问题。嗯，所以，是的，我认为可及性不是一个简单的问题。我们希望获得积极的东西。所以在医疗保健的情况下，你可以设计出在特定领域是专家的系统，它们不需要知道如何制造生物武器，也不需要知道如何进行虚假信息传播，对吧？所以我们可以使用各种技术来拥有这些非常非常安全的系统，这些系统要么根本不是代理式的，事实上，你的问题可以由一个非代理式系统来回答，要么是轻微代理式的，并使用确保它们不会以危险方式行事的护栏。这里有一个问题，一个快速的问题。你谈到了失控、速度，嗯，我想知道这是否与汽车行业有关，问题是人工智能的气囊是什么？我听不懂你说的话。也许不要用麦克风。后面的人听不懂。你现在能听到我吗？我能听到，但声音很模糊。所以，我重复一下你的问题。你谈到了速度和失控。是的。我在航空航天工业和管理咨询领域工作。是的。这与汽车行业有更好的类比吗？孩子们酒驾。我不在乎他们怎么做，因为人们不会跟着他们。他们开车，他们是那个年龄。这就是为什么发明了成年人。这就是为什么。是的。问题是，当发生事故时，有什么东西能像安全气囊一样快速弹出？这正是这类护栏的作用，对吧？它们会一直存在，通常它们什么也不做，但如果查询或人工智能的输出被认为可能导致危险后果，那么它就会阻止输出，你知道，也许考虑不同的输出，或者只是产生一个平淡的答案。我们已经在像 ChatGPT 这样的东西中看到了这些，但它们并不好，而且它们无法防御你所说的超人类底层代理。但如果我们让它们非代理式，我认为这是完全可能的。最后一个问题。好的。嗯，带或不带麦克风。嗯，请不要带。好的。嗯，你好。我是一名教授，我从事人工智能研究。好的。拥有非常具体的社会和计算机科学背景。嗯，你知道，我真的很喜欢科学家人工智能。但我的问题是，科学是关于多元化和参与的，对吧？科学是如何存在的？科学家人工智能？好的，所以这个问题是关于道德和参与的，基本上谁来决定，特别是关于人工智能挑战，你如何处理这个问题？是的，是的，是的，好的，所以，所以这是一个已经被讨论了很多的问题，而且我认为它非常重要，对吧？无论我们构建哪种人工智能，首先我们不希望它具有欺骗性，并且你知道，有坏的目标，但但，重要的是，我们如何决定人工智能的行为是可以接受的还是不可接受的？谁来决定？我认为这非常重要，而且它与谁控制人工智能的问题有关，就像我们你知道，给人工智能做什么任务，我们如何将其部署到社会中，你知道，我们每个人可能有不同的答案，这就是为什么我们进行民主讨论。这就是为什么我们有法律。这就是为什么我们在民主社会中有政府。嗯，也许你知道，以不完美的方式达成共识，或者至少有一些机制来将我们的偏好转化为一个必须做出的集体决定。对吧？所以，如果我们只有少数这些系统，你知道，它们，它们，它们不能同时与每个人的偏好完美地一致。但但我想是的，我们知道答案叫做民主，我们应该让它变得更好。所以，本吉奥教授，观众，我们这里有一个某种程度上的超级智能，他今天已经参加了八场不同的会议，但谢天谢地，他不像你说的那么拥有超级记忆。所以他只有短期记忆。非常感谢你所有的回答。这真的很迷人。让我们请各位嘉宾来到小组讨论。我真的很抱歉，所有举手的人。有很多人想提问。我们很快就会有更多问题，但首先我们将听取很多有思想的人，他们对我们一直在谈论的问题有不同的看法。所以，如果我可以请我们的嘉宾，我们有扬·塔隆，Skype 的联合创始人，未来生命研究所。我们有比利·佩里戈，来自《时代》杂志。我们有埃玛·维尔霍夫，来自荷兰政府公务员队伍。我们还有法国的 Pause AI 的创始人，马克西姆。然后，我们有肯·库基尔，经济学人杂志的副执行主编。因为我占用了你的时间，因为我让所有这些问题都给了约书亚·本吉奥，让我们快速进行。每位嘉宾，也许你可以先说一下，你听了之后感到乐观吗？你对安全人工智能的可能性感到乐观吗？还是悲观？也许你可以快速回答每个问题。我们从埃玛开始，按下她旁边的按钮来启动。埃玛，乐观还是悲观？嗯，我认为我感到乐观，因为我认为我看到了可能性。乐观，因为你看到了可能性。扬，我大部分时间都感到悲观，因为我们正在处理一个巨大的外部性负外部性情况，而目前的趋势是仅仅从这个人工智能和负外部性中获取最大利润，你可以解释一下，你可以通过增加每个人死亡的风险来获利和获得权力。谢谢，凯。同意扬的观点，百分之百，但仍然乐观。尽管如此，比利，你仍然乐观吗？我大部分时间都感到悲观。我认为，建造这项技术的人的动机都是为了第一个完成它。这既适用于企业层面，也适用于地缘政治层面。嗯，而且我没有看到多少通往某些科技巨头所说的我们正在迈向的美好未来的道路，但仍然有可能，只是不太可能，我认为。马克西姆，你实际上有一个麦克风，因为这个有点远。一，二。好的。不那么乐观，嗯，我喜欢这个想法。我认为问题仍然是相同的。我们需要说服同样的人放慢速度。那么我们应该做什么？什么是优先事项？在接下来的一年左右，你会希望看到什么不同才能增加好结果的机会？或者如果你已经认为我们正在走上正轨，我们如何保证这些好结果？埃玛，嗯，我认为有很多事情应该做。我认为政府应该努力工作，国际合作，但我也认为需要更多的公众辩论，所以记者应该努力工作，我也认为行业应该承担责任，嗯，最后，技术专家需要找到技术方法来应对危险。但是，鉴于对他们来说不承担责任更有利可图，什么会促使行业承担责任？我认为也需要公众的公众压力。所以我们需要更多地谈论危险的方面，这样行业就不会看到太多的兴趣。好的。所以这里有几百人可能会发言，但我们可能需要更多人来说服他们。扬，在接下来的几年里，你认为最重要的事情是什么？我认为最大的瓶颈是对游戏性质的完全误解。嗯，我认为根据我的理解，至少在地缘政治参与者中，普遍的理解是，存在某种国家主导的游戏，这既重要又无害。最糟糕的情况是，你会通过某种创新获得一些创新点，就像美国现在明确表示他们希望实现美国在人工智能方面的全面主导地位，嗯，因此，他们将获得一些经济利益和来自世界其他地方的掌声。但实际上，我认为这基本上就像我之前说的，是在冒着每个人的生命危险，如果你不是美国或中国，那么在这个默认的轨迹上，有四种结果摆在面前。一种是美国创造了一个可控的人工智能，并实现了对世界其他地区的完全主导。在西方联盟中，一直存在这样的希望，就像，嗯，美国是我们的朋友，对吧？嗯，对此存在更多的不确定性。第二种结果是中国创造了一个可控的人工智能，然后中国占主导地位。第三种结果是，美国或中国意识到前两种情况正在发生，并爆发了全球战争。第四种情况，我认为是最有可能的，就是其中一个竞争者失去了对人工智能的控制，所有人都死了。肯，你能让我们更乐观吗？是的。如果我们今天在这里进行这次对话，我们会听到各种各样的观点，它们大致相同，而且毁灭的威胁也大致相同，但当时是核武器。但如果我们早了 50 年，在 1920 年、1930 年，我们可能在日内瓦议定书禁止化学武器之前就谈论化学武器了。所以，我认为一群人非常害怕，他们并没有错，这并不新鲜，对吧？总有令人恐惧的理由，但我也认为，同时也有办法从现在思考到明天，这是乐观的。通过首先阐明问题，我们已经取得了一些进展，然后思考，我们永远不会完美，我们永远不会解决问题，但我们很可能能够找到管理问题的机制。所以，我所以我很乐观。我认为随着我们越来越多地使用人工智能，我们将看到越来越多的人工智能问题。我们已经看到了，无论是隐私和监控，还是大型语言模型的幻觉，还是其他技术的偏见。当我们看到这些问题时，我们将开始对细枝末节的问题进行监管。将会有一些人感到沮丧和绝望，说这还不够好。他们是对的。这还不够好。但通过监管细枝末节，微小的问题，你正在建立国家能力以及行业和公民社会应对更大问题的能力。因此，我感到乐观。我认为人类的创造力和自我保护能力表明我们将找到出路。但如果是一个小错误，我们就可以弥补。如果只是几栋房子烧毁了，我们可以改进消防车。但如果我们面临一场灾难性的风险，导致数十亿人死亡，那就太晚了。那是，那是，那是，那是真的，但那是宿命论。你可以对任何技术、生物武器等说同样的话。同样，你没错。但我们今天为什么都在谈论通用人工智能及其失控的风险，而不是谈论一场自然产生的流行病及其失控？这些与人类灭绝的风险相当。这是因为我认为我们倾向于看到新颖的问题，并因此感到恐惧而瘫痪。但当我们深呼吸时，我们可以看到出路。比利，在接下来的几年里，你希望看到什么发生？我认为在国际论坛上，比如这次，全球各国政府在法律、全球合作和标准方面取得进展会很有帮助。例如，最近的民意调查显示，一项非常受欢迎的提议是强制人工智能公司在发布系统之前证明其安全性。我们现在有可以做到这一点的验证机构，在世界各地的人工智能安全研究所网络中。然而，我们还没有看到任何国家政府出面说，我们将这样做，因为显然，如果一个国家这样做，它只会为全球竞争打开大门，但我们有一个全球人工智能峰会。我们现在就在一个。而这将是各国齐聚一堂说，“好吧，我们将像美国和苏联最终在停止核武器大规模生产方面约束自己一样，都约束自己。”所以，在军备竞赛情景中，这种全球合作是可行的。而且我个人感到失望的是，这些峰会迄今为止都没有达到预期。我还要说的是，我们现在有能够进行相当于人类研究生水平研究的代理。所以，我认为今年我们将首次看到大量工作受到影响，我认为这将导致国家政治层面发生巨大变化，并迅速向下渗透到政治中。马克西姆，在接下来的几年里，你希望看到什么不同？一步一步地，有两个动态在起作用。一个是公众舆论的改变相当缓慢。另一个是人工智能的进步很快。实际上，人工智能的进步是指数级的。它之所以呈指数级增长，是因为它充满了反馈循环。目前一个开始发挥巨大作用的反馈循环是，人工智能在硬科学任务方面做得越来越好。所以帮助人工智能科学家开发更好的人工智能。这就是我所说的。[音乐] 因为我认为，我们可能没有机会让事情顺利地破裂，然后我们可以有机会纠正方向。一个简单的例子是，我认为到今年年底，人工智能很有可能在编码和黑客攻击方面变得非常出色。如果发生这种情况，事情可能会非常非常快，就像现在的人工智能一样，它们运行的速度比人类快 50 倍，它们不需要超级人类就能完成困难的任务，如果我比我聪明 50 倍，并且可以复制自己一百万次，我就可以在晚上摧毁互联网。所以，这会很快发生，我们倾向于线性自动化，但世界并非如此，当我们面对指数级增长时。因此，关键是传播人工智能风险理解的动态必须跟上人工智能进步的动态。这就是为什么今天我正在努力，我们正在试图教育，试图让人们理解什么是重要的，并让他们理解元技术等公司传播的宣传，不幸的是，这些公司已经控制了这个国家，而我们同时也在努力控制。我们希望通过实施关闭例程来减缓西方的速度，不幸的是，这目前还不在讨论之列。但如果我们幸运，并且发生了这种事情，只有小规模的灾难，只有小规模的灾难，那么也许这会变得更加真实。所以，我们将从专家小组那里进行最后一轮，他们可以评论他们听到的内容，或者他们可以评论我即将提出的一个问题，然后我们将回到观众那里，我将优先考虑那些之前举手但我们没有轮到的听众。所以，我有点像一个玩笑的问题是，我们欧洲真的能做些什么吗？我看到最重要的事情是美国和中国之间的条约。我们相关吗？还是我们只是通过进行这种讨论来欺骗自己？我应该从第一个开始吗？嗯，我认为，我认为欧洲已经通过人工智能法案证明了我们实际上能够与 27 个国家进行监管。嗯，这是一个了不起的成就，我认为实际上许多国家都对我们在欧洲的做法感兴趣，并可能将其视为他们法律和法规的蓝图。所以，我认为这是一件积极的事情。同时，我也认为人工智能带来了很多好处，我们也应该投资于此，但高风险领域我们应该小心，我们应该保护我们的人民。所以，我认为其他国家可以借鉴这种平衡，也许正如我们所说的，“布鲁塞尔效应”最终也会对硅谷产生影响。谢谢，扬。你对你听到的有什么评论吗？或者你想谈谈你的，首先我想稍微缓和一下我之前的两个评论，嗯，但有时我对人们说，就像，一切都会好起来的，条件是，要么我错了，要么我成功了，所以，我绝对同意我们不应该停止尝试。嗯，我确实认为，有一件有趣的事情给了我希望，关于欧洲的影响，是我三年前在二月看到的，22 号，我没想到欧洲对俄罗斯入侵乌克兰的反应会在不到一周的时间内就采取了一些真正的措施。所以，我认为，如果出现真正的危机，我认为欧洲可以采取行动，这非常违反直觉，但它似乎有效。肯。是的。我同意比利所说的，工作岗位将受到很大的冲击。我们真的不知道这意味着什么。我认为它不会像一些人指出的那样具有毁灭性，但我我根本上同意，许多白领工作，而不是蓝领工作，可能会发生根本性的改变，或者很快就会消失，而不是同样的更新。所以，随着人们的离去，它不会被取代，如果被取代了，那么你可以想象很多州会面临很大的压力，并希望采取行动，如果他们在人工智能的一个方面采取行动，他们可能会，这可能会鼓励他们采取其他方面的行动。所以，从某种意义上说，你将通过机制获得扬想要的那个目标，不是通过存在风险，而是通过选民的钱包。这将是一个有趣的发展，但我认为这很可能是。我认为如果我们正好在一年后见面，情况可能会，如果比利是对的，而且我认为他很可能是对的，情况会大不相同。所以，我认为这将是政府开始对人工智能进行监管的方式，可能是通过白领工作没有被取代或发生根本性改变，以及工资下降，因为这些选民比其他人对政治家更重要。比利。嗯，是的，我认为工作的影响可能会对各国政府如何处理国家层面的人工智能产生影响。我不确定它是否一定会取代美国和中国之间的地缘政治竞赛。嗯，而且关于你的问题，我认为欧洲可以在这方面发挥作用，因为美国和中国之间的辩论，我的意思是，这甚至不是辩论。这是一场，这是一场，如果你愿意，这是一场自杀式的竞赛。双方都不信任对方，而欧洲可以扮演调解者的角色，如果它打好自己的牌，我认为很高兴看到这里有很多中国学者。嗯，是的，这可能是欧洲能做的主要事情。我的意思是，如果你有 GDPR，你就在保护欧洲公民的隐私，但不是在国外。而且我认为人工智能是一种不同的野兽，如果它在任何地方开发，并且足够智能，可以做到一些最悲观的人所说的那些事情，那么无论你是否在欧洲的土地上对其进行监管都没有关系。所以，这是一个根本性的全球性问题，我认为欧洲可以发挥的作用是让世界其他国家认识到这一点并来到谈判桌前。马克西姆的问题。嗯，你对你听到的有什么评论吗？或者你认为欧洲在这方面有作用吗？我的意思是，你似乎认为欧洲有作用，因为你在巴黎非常活跃。好的。嗯，我认为欧洲的作用在于，这里的监管可以影响世界其他地区。但总的来说，我认为如果你能在单个国家传播一个想法，它就可以在世界其他地区产生重大影响。所以，我认为每个国家都应该尝试。嗯，机制不一定只是监管性的，对吧？你可以说，因为某种原因，马克龙总统的封闭圈子开始理解人工智能方面发生的事情，法国的情况可能会很快改变，这将在欧洲和世界其他地区产生影响。嗯，是的，我认为这很好。所以，我们将从听众那里提三个问题，然后你们每人都有机会回答其中一个或多个问题，我们将按相反的顺序进行。所以，这里有一个。非常感谢。我是来自英国 IPR 的凯伦。我的问题是关于部署后监控，因为我觉得为了引起公众对人工智能的当前弊病，更不用说更长远的弊病，的关注，那么可能需要更多地了解已经发生的事情，而且感觉除了非常高层次的调查，比如你是否使用生成式人工智能，或者哪些行业使用得最多之外，我们一无所知，因此人们无法就实际发生的事情进行公开辩论，包括可能已经有很多弊病，人们可能会开始反对并要求更多保障措施，但我们就是没有这些部署后监控数据，所以很好奇你对此的看法。所以，请记住这一点，在第二排，前面有一些问题。嗯，我想讨论开源和模仿战的问题。基本上，关于我发现令人担忧的一件事，关于许多叙事和从“人工智能霸主统治世界”的叙事中得出的结论是，它导致了，因为发生一些可怕事情的可能性很小，它经常导致各种关于我们现在应该做什么的结论，这些结论发生的可能性很高，因为它们实际上正在发生。而且我觉得很多叙事，无论是关于停止人工智能发展，还是关于创造一个超级强大的政府来监管一切，还是让人工智能只由公司控制，而不是让它们开源，这些都是我们现在正在实施的，因为一个显然有发生概率的叙事，但我们对发生的可能性并不清楚。但是所有这些对现在的影响都非常高。所以，我想知道，当然，我们需要意识到未来可能存在的风险，但是如果我们考虑它对我们现在社会的影响，那么应该采取什么战略决策？以及我们应该采取哪些必要的步骤和方法？特别是我想质疑一下，在这个层面上，开源的立场是什么？所以，如果我们接受人工智能霸主叙事，那么开源是否是确保人工智能得到适当培育、教育和监督的潜在解决方案，而不是，谢谢，很棒的问题。请把麦克风递给旁边的人。谢谢。嗯，首先我想感谢大家。嗯，我想提供一些可能令人鼓舞的事情，因为我实际上是一位电影制作人，他正在制作一部关于存在风险的纪录片，我为此工作了两年。与此相关的问题是，在你看来，谁更重要，是决策者还是公众？我一直在努力同时做到这两点。但是，解决方案是自下而上的还是自上而下的？这是一个很好的简短问题，我们将在回到专家小组之前再从这里再问一个问题。谢谢。我的问题是给约书亚·本吉奥的，但既然他不在，你得替他回答。嗯，所以，本吉奥两年前写了一篇题为“失控的人工智能可能如何出现”的博客文章，他说公司可能被视为一种特殊的失控人工智能超级智能。所以，你认为 ASI 和现有公司及国家之间，包括正在开发 ASI 的大型人工智能公司之间，存在哪些主要不对称性或类比点？以及人工智能对齐问题与人类对齐问题之间？这似乎非常关键，因为如果我们已经有一个失控的人工智能超级智能，用贝佐斯的话来说，那么对我们来说就太晚了。所以，公司是否已经是失控的超级智能？这有助于我们理解通用人工智能吗？我们应该优先影响谁？是公众还是关键影响者？开源如何使事情复杂化？我们应该使用开源作为解决方案，还是它是威胁？然后，那里有一个关于分析以及信息和生成式人工智能的问题。所以，有很多问题要回答，但每人只选一个问题。我再说一遍开源的问题。我认为开源是一个非常糟糕的主意，当涉及到灾难性风险时。有一件非常重要的事情要理解。它已经是风险和灾难性风险。这就是为什么研究锤子和研究人工智能之间存在区别。所以，我们接受锤子带来的风险，或者它们可能造成的损害，而我们不接受这些风险，因为它们包含在内。这是可以的。我们不开源未来计划，例如，因为，如果我们这样做了，今天在座的每个人都会死。区别在于，嗯，核弹构成了灾难性风险。你可以因为它们而失去数百万人的生命。所以，对于人工智能的开源，它是可以的。它甚至更好，只要人工智能不跨越灾难性风险的门槛。嗯，我想说，目前开源人工智能仍然是净积极的。我们真的不知道什么时候会出现新的，它是否会保持这种积极性，但它有助于。然而，如果我们想继续这样做，这意味着我们需要能够准确地检测到灾难性风险何时会发生，我们需要在那一刻停止，因为一旦我们开源了一个在计算机编程方面超级智能的人工智能，例如，在黑客攻击方面，我们可能会立即摧毁互联网，这基本上是在线大规模杀伤性武器。所以，这是开源的一个大问题，而且我们目前没有足够好的评估来检测人工智能何时会跨越灾难性风险的门槛。所以，同样的行动方针是立即停止开源强大的人工智能。哇。比利，你想回答哪个问题？嗯，我来回答后面关于公司是否是失控的超级智能的问题。我认为这是一个很好的类比，这很可怕，因为它对我们来说很糟糕，但我确实认为我们有对齐公司的方式，那就是监管。政府是半对齐的实体。我不想称它们为智能。嗯，这同样适用于公司。而且我们有方式将它们与我们的价值观对齐，以一种不完美的方式。所以我认为真正的问题是，我们设计来使政府与人民价值观对齐的政治进程是否会对公司与政府价值观的对齐产生补充性影响。我认为我们可以清楚地看到，这个过程太慢了，无法跟上技术进步的速度。嗯，也许有一些有趣的方式可以加速这一点。有一些有趣的方式，但我认为目前没有真正可行的解决方案。嗯，但是，如果公众压力足够大，政治上就会发生很多事情。所以我认为政治上发生大规模变革是完全可行的。谢谢。所以政治也可以像技术一样加速。肯，我将疯狂地尝试所有四个，非常快。我无法决定。我爱他们所有人。另一个超级智能。是的，没错。你知道，几乎，几乎是邪恶的平庸。嗯，第一个，我们应该对人工智能和数据进行部署后监控吗？我认为答案是绝对的。这是一个轻松的胜利，而且我们在许多行业都有例子，说明我们如何拥有一个分层的治理体系，要求执行某项事务的实体履行信托责任或不信托责任，即注意义务，来跟踪他们正在做什么，然后首先，一旦你跟踪了它，就披露它，在内部披露，由外部审计师，由第三方公司认证，然后指向一个独立的标准机构，然后有政府的支持。这就是所有上市公司的财务账户的工作方式。你有一个会计部门，他们有资格这样做。你有外部审计师，他们必须每几年更换一次。董事会批准，你有一个监管机构，比如美国的证券交易委员会，它实际上在监控它。所以，我们应该对触及大量公众的人工智能模型采取同样的层层关怀方法。所以，这是一个轻松的胜利。嗯，对于开源，我完全同意马克西姆的观点，我们不一定需要公开它，但它应该被检查和披露给相关机构，即使它被保密，但要经过检查。而且，这已经发生在出售给国家政府的源代码中。它们有检查权。公众看不到微软 Windows 中的内容，但英国政府可以看到，以确保没有后门，这是在这种情况下可以做的经典事情。对于应该是公众还是决策者，谁是最相关的实体，当然，两者都是，但如果你必须选择一个或另一个，我认为它在技术或情况的不同阶段交替，而在目前，决策者更重要。原因在于，在这种阶段需要自上而下的治理。非常类似于第一次世界大战之后。
我，你需要在那里，呃，围绕冲突制定规则，我们通过《日内瓦公约》做到了。这是由民族国家和领导人制定的，目的是影响地面上那些知道存在问题但需要某种行动的人们。嗯，就公司和人工智能而言，嗯，这是一个基本问题。呃，我们非常不擅长监管公司，所以将人工智能视为公司并以那种方式监管它们，这并不预示着好兆头。谢谢，扬。我来两个。呃，我认为开源问题有点像误导，因为它作用于错误的抽象层面。正如之前所说或暗示的那样，正确的抽象层面是，例如，我们允许恐怖分子拥有什么样的能力？什么样的能力可以被广泛分发？政府拥有什么样的能力，什么样的能力是任何人都不应该拥有的？呃，然后我们应该看看，呃，人工智能是什么，我们对未来的人工智能有什么样的期望，然后相应地采取行动。呃，当涉及到政府与，嗯，或者说决策者与广大公众时，嗯，我认为两者都应该被解决，但我认为，广大公众的问题与其说是告知他们，不如说是弄清楚他们能做什么。这就像，呃，我曾参与过一些讨论，人们只是在集思广益，那些已经相信未来处于危险之中（无论是经济上还是生活上）的人，如果他们每周只有一小时的时间，他们能做什么？让我们来想想，他们每周一小时能做什么。艾玛，呃，我也想评论一下决策者或公众。嗯，我同意，两者都应该。嗯，实际上是它们之间的循环使之有效。所以，我来自荷兰，但我也在美国生活了几年，我认为如果公众意识到并愿意给他们的参议员打电话，那么你就能产生一些影响，因为我认为决策者只有在觉得他们可以因此再次当选时才想做些什么。所以，我期待这部纪录片，请继续关注两者。好了，我们快没时间了。我只想再问一个快速问题，也许是给观众的，给小组成员的。我们是否应该将生存风险置于所有关于工作、意义、偏见和工作的其他讨论之上？这个平衡点应该在哪里？或者，如果你宁愿评论其他事情，请随意。那么，我们从马克西姆开始，好吗？我真的看不到有足够的理由去做一些感觉像是虚假经济的事情。你不必选择一个或另一个。你可以两者都做。我认为我们当然需要防止生存风险，因为这是防止我们失业以及我们的孩子不被人工智能伤害的先决条件，然后，嗯，你知道那些在这些领域有专长的人，但我认为我们应该真正停止将这个问题呈现为一种选择。嗯，是的，我同意。这是一个非零和博弈。呃，但对于那些不希望这种监管的技术公司来说，这是一个有用的叙事，它们会把辩论的双方，这些双方具有天然的协同作用和联盟能力，相互对立起来。例如，没有理由说，致力于对齐的研究不能同时解决这两个问题。比如，如果你将一个模型对齐到执行你想要的操作并且不传播种族主义，那么你也在为有助于确保模型在整体层面或至少理论上更深入地对齐人类偏好的研究做出贡献。所以，嗯，我认为这不是一个零和博弈，但它有助于，呃，放松管制的群体暗示它是。肯，最后的想法。谢谢，扬。嗯，这很有趣，因为这就像一个进化的过程，走上一级楼梯，必须是生存风险是最关键的。而现在比利说，嗯，实际上，它可以是两者兼有。你可以通过关注当下获得双重价值，也可以为生存风险获得双重价值。但我认为我看待它的方式略有不同，我认为，我接受这样一个事实，即当然必须两者兼有。每个人都喜欢那种“金发姑娘”的方法，即有一个黄金中间点，你可以拥抱它，就像我们之前关于决策者还是公众应该优先的问题一样。事实上，你想要两者。但但我想这只能让你走那么远。在某个时候，你必须选择一个或另一个，因为有时你必须牺牲一个杠杆来换取另一个，因为世界在很多情况下都是零和的。而这个绝对是。所以我敦促我们现在不要关注生存风险。我的意思是，也就是说，如果你必须强调它，就把它放在 70/30 或 20，或者 80/20，然后关注我们现在面临的问题，比如隐私、监控、种族主义、偏见、幻觉，目的是，正如比利巧妙地说的那样，处理这个问题并解决它。让我们就此获得一次胜利，对吧？为了我们现在看到的伤害。然后，让我们让这成为一个副产品或二次胜利，它在侧边车里，但不在主车厢里。让我们牢记存在这种生存风险，但把重点放在今天影响人们的问题上，并通过这样做，我们为明天建立能力。扬，你同意吗？我无法拒绝接受。嗯，我认为，我想说的是，在解决这种部落式的 AI 安全与 AI 伦理的对峙或类似问题上，已经取得了惊人的进展。我曾参与过一些旨在弥合这些社区的倡议，最近在 AI 社区交了几个好朋友，而且，嗯，两天前的一次会议，名为“安全和道德人工智能国际协会国际会议”，来自两个社区的代表都非常好，是的，看起来我们将会解决这个问题。很好。你来做最后的发言，艾玛。谢谢。嗯，我同意我们应该关注今天的问题。嗯，我认为我们必须保护现在的人们，并确保人们能够信任技术和系统，但然后这有点像两者兼有，但我认为我们也应该继续让像本乔教授这样的科学家不断警告我们。我认为我来自我们首席信息官的同事说，我们需要对这项研究进行更新，我认为我们也应该确保科学家们不断警告我们，并指导我们找到解决生存威胁风险的方案。所以，一会儿我会请你们感谢我们的各位小组成员，但首先请允许我告诉你们，我们中的许多人将前往 LR Surf，就在这里几分钟路程。它位于 Boulevard Sanb Bastapole 77 号，Grand Surf，在那里将有机会继续讨论，也许会深入一些我们在这里无法解决的兔子洞。也许可以就一些非常重要的话题进行更深入的讨论。但现在，请允许我请你们感谢各位小组成员，也感谢奥托。我们能感谢主持人吗？