Transcription
我鼓励您就座，我们将几乎准时开始，因为我们有一个非常丰富议程，涉及一个非常宏大的主题。我们正在谈论如何应对生存风险，应对人们所描述的非常困难、曲折的风险格局，而这种格局因即将到来的新前沿人工智能而变得更加糟糕。这不仅仅是我们今天拥有的人工智能，而是我们可以相当容易地想象在未来一两年内就会出现的人工智能。下一代人工智能，它更强大、更熟练、知识更渊博，可能更具操纵性，可能更具欺骗性，可能更狡猾，肯定比今天的人工智能更强大。这种人工智能本身可能会产生生存风险，这种人工智能也很可能使现有的生存风险复杂化，使我们已经知道的一些风险更难处理，更棘手。我们可能还会谈论下一代人工智能如何成为解决我们社会面临的一些生存风险和困境的办法。如果我们能明智地应用人工智能，那么也许我们就能找到穿过这片困难地形的狭窄道路。所以，欢迎大厅里的各位导航员，欢迎观看直播的各位导航员，欢迎观看本次讨论录像的各位人士和人工智能。让我们开始吧。我们有很多非常有能力、知识渊博的演讲者，他们将从不同的角度来处理这个问题。事实上，我认为这个话题的一个危险是，有些人想变得有点片面，他们想说“这就是我们将如何解决问题”，在我看来，这很简单。这里没有简单的解决方案，但你们在听所有演讲者和嘉宾发言时，可以自己下结论。是的，在观众席的各位，稍后你们将有机会举手参与讨论。您将听到的第一个人，不幸的是今晚无法与我们同在，但他录制了一段短视频。他是英国前大法官，罗伯特·巴克兰爵士，议员。这意味着他曾负责整个司法系统。他曾任威尔士大臣。他仍然是议员，并且在哈佛肯尼迪学院担任高级研究员，在那里他撰写了关于我们今晚将要讨论的议题的论文，即人工智能如何改变社会关键方面，可能使其变得更好，也可能使其变得更糟，如果我们不明智的话。所以，让我们观看罗伯特·巴克兰爵士的视频，他将通过魔法出现在大屏幕上。
我很高兴能以虚拟方式与大家一同参加关于人工智能及其带来的挑战与机遇的“推测”峰会。我认为我很高兴与大家在一起，这不仅基于我在政府的经验，也基于我去年离开政府后对这个主题的浓厚兴趣。在我任职政府期间，多年来我一直负责向各部门乃至整个政府提供法律咨询，曾任总检察长，在法律办公室部门工作，之后又担任大法官和司法大臣两年多，去年短暂返回担任威尔士大臣。我在政府担任部长七年左右的经历，让我对政府运作方式的利弊有了非常深刻的认识，包括效率和低效，以及流程。我认为，正如在其他生活领域一样，人工智能、机器学习将为政府流程带来巨大优势，提高效率，加快政府工作的许多特定方式，这将造福于公民，无论是等待护照申请、签证申请还是其他政府流程的公民。例如，然而，我认为如果我们不接受这样一个事实，即除了好处之外，还伴随着潜在的陷阱，那么我们就是在欺骗自己。我认为对我来说，第一个也是最明显的一个是流程的可审查性，换句话说，我们理解决策是如何做出的方式。这一点非常重要，因为理解决策是如何做出的，是我们社会民主问责制的一部分。当个人或组织希望通过司法审查申请等方式挑战政府的决策时，这些决策的可解释性，以及政府有义务坦诚相待以披露有关这些决策的所有信息，是问责制的一部分。当然，有时很难解释机器是如何做出决策的。更根本的是，我们必须接受，如果用于填充流程的数据集不具备应有的完整性，并且不是真正客观和经过仔细校准的流程的产物，那么我们就可能将历史偏见引入系统，无论是对神经多样性求职者的偏见，还是在刑事司法系统中对有色人种的偏见，仅仅因为数据集引入了这些历史异常，这些历史不平衡。所有这些问题都让我深刻思考机器学习对司法伦理本身的影响。因此，在我的思考过程中，我很高兴去年被哈佛肯尼迪学院的莫萨·罗马尼商业与政府中心接受为高级研究员。我目前正在撰写几篇关于人工智能和机器学习对司法和法律本身的管理的影响的文章。这实际上源于我作为大法官的个人经历，以及法院的数字化。在新冠疫情期间，我们不得不首次将成千上万的听证会转移到网上。我认为我们从几百场电话或在线听证会跃升到每周两万场，在很短的时间内。现状将永远不会再一样了，事实上，我认为它以一种我们之前未曾预料到的方式向前发展了。我认为这是一件好事，但我也认为，伴随这种效率提高的问题是人工智能的使用。在一些司法管辖区，例如中国，我们正在看到其使用增加，不仅用于法律研究和案件准备，而且实际上是自己做出判决。换句话说，人工智能法官。这听起来不错，但我们真的知道是什么填充了这些数据集，然后构成了决策的基础吗？我认为，这种无意或故意的偏见，或者更糟的是，潜在的故意偏见，无论是受到政府还是可能通过其财力影响程序的公司的影响，或者我们如何处理案件，因为我们可能知道更多关于法官如何做出决定的信息。我认为所有这些问题现在都必须问，在我们陷入一种我们不知不觉中进入的与我们所知的司法完全不同的形式之前。我认为所有这一切的基础是需要问一个关于判断本身的基本问题，这正是我在我第一篇论文中所做的。人类判断的本质是基于对法律的理解以及我们作为人类的经验。你可以追溯到我所做的所罗门王的判决，他对那个显然是孩子真正母亲的女人提出的将孩子劈成两半的建议的情感反应。现在，我认为这是一个人类判断的例子，它必须是决策的一个基本基础，特别是在评估证人的可信度时，人类证人提供证据，案件的成败取决于此。当然，对于法官来说，这同样适用于陪审团，尤其是在英国的刑事审判中。现在，我认为所有这些问题都必须问，然后我们需要弄清楚我们想从中保留什么。我不认为我们应该做出任何自以为是的假设，因为目前一些大型学习系统会出现幻觉，我不认为我们应该假设，仅仅因为这个原因，人工智能就永远无法以一种实现更高确定性的方式工作。我认为发展的必然趋势将导致机器越来越好，越来越强大，这是不可避免的。但与此同时，我们必须在提高能力的同时，确保人工智能的使用具有更高的安全性和保障性。这确实是我在司法领域所做工作的一个基础。这一切将导致什么？下个月英国将举行人工智能安全峰会。我非常希望这次峰会首先能让关键的国际组织和主要国家参与进来，共同致力于创建一个明确的框架，在其中安全地使用人工智能。我认为这个框架必须有几种形式。我认为在司法领域，我们需要一个国际原则框架，以确保透明度，并能让人们放心，在涉及个人自由的案件、刑事案件、可能涉及儿童福利和儿童最终去向的案件中，人类因素将是任何决策的关键决定因素，并且机器的使用将是透明的，并在整个诉讼过程中告知所有当事方。然后，我认为在其他生活领域，人工智能安全峰会还必须审视是否可以创建框架以及它们应该采取何种形式。我认为试图规定性是诱人的，我认为这将是一个错误，不仅因为显而易见的原因，人工智能正在发展，因此我们在2023年写下的任何东西很快就会过时，而且人工智能本身并不意味着纯粹的伤害，事实上，它意味着很多好处，也有一些中性影响。当你采取这种方法时，基于原则的系统对我来说比过于规定性和详细的规则更明智，例如，为了防止欺诈等犯罪行为。所以，这只是关于机器学习影响的一些初步想法。我不自称是技术专家，我不是，但我多年来在司法领域的经验，我作为律师、法官和高级内阁部长的经历，我认为有义务进行一些思考，以帮助确保像英国这样的国家在合理和适当地监管机器学习和其他类型人工智能的使用方面处于领先地位。如果我们现在不做，我认为我们将错过一个历史性的机会。祝大家一切顺利，我期待将来与你们中的一些人见面并讨论这些问题，随着它们的发展。非常感谢。
非常感谢罗伯特爵士，他可能正在观看这段录像。他说不要规定性，让我们制定一些合理、适度的监管。这可信吗？这可行吗？稍后您将听到其他嘉宾的评论。所以罗伯特还说存在风险，比如人工智能的不可解释性。我们常常不理解它们是如何做出决定的，我们不理解其中可能存在的偏见，这些偏见可能被植入。我们可能会失去控制，我们可能会习惯于人工智能做出决定，而人类最终会陷入一个非常悲伤的境地。但事情会变得有多糟？这就是我们将从下一位演讲者那里听到的。所以，我将请康纳·莱伊上台，在我简要介绍他的时候。康纳是Conjecture的首席执行官。如果您还没有听说过Conjecture，我认为您需要多读一些。也许康纳会说一些关于它的事情。他们是一家人工智能对齐解决方案公司，国际化，但在英国有强大的代表。欢迎康纳，请发言。
非常感谢。很高兴今天见到大家。很高兴能在这里与大家面对面交流。我们生活在多么有趣的时代，说得轻描淡写一些。世界在短短几年，甚至几个月里发生了巨大的变化。人工智能领域以及其他领域发生了太多事情。就在几年前，根本就没有ChatGPT，甚至没有GPT3、4、2或任何这些东西。那是一个不同的世界。不久前，像我这样的技术爱好者，一些奇怪的业余爱好者，还在担心AGI的问题以及它将如何影响世界。那时，它似乎还很遥远，似乎我们还有时间。但现在，我们发现自己身处一个不受限制、不受控制的扩展世界，一场冲向终点的竞赛，以使我们的人工智能系统越来越强大、越来越通用、越来越自主、越来越智能。我之所以关心这一点，原因很简单：如果我们构建的系统比人类更聪明，在操纵、欺骗、政治、赚钱、科学研究以及其他一切方面都更强大，而我们又无法控制这些系统，那么未来将属于它们，而不是属于我们。而这不是我想要的未来。我想要一个人类能够决定自己命运的未来，或者我们能够为自己、为我们的孩子、为我们的子孙后代决定未来。我希望我们的孩子能够长久幸福地生活，被美丽、艺术、伟大的技术所包围，而不是被无情的自动机器所取代。让我明确一点，这就是构建一个不受控制的AGI系统的默认结果：人类的完全取代。我们看到的是，人工智能正处于指数级发展。所有顶级组织，包括OpenAI、DeepMind、Anthropic等，都在竞相前进，VC的资金越多，他们的工作就越快。这使得我们的人工智能处于指数级发展，无论是硬件还是软件，都在以惊人的速度进步。当你处理指数级发展时，只有两个时机你可以做出反应：太早或太晚。在指数级发展中，没有所谓的“恰到好处”的反应，找到完美的中间点，恰到好处，当每个人都同意问题已经出现，并且一切都完美共识时。如果你这样做，就太晚了。同样的情况也适用于AGI。如果我们等到看到我担心的那种危险的通用系统，那就太晚了。一旦这样的系统出现，人类的故事就结束了。所以，如果我们想采取行动，我们必须在这些东西真正出现之前很久就采取行动。不幸的是，我们没有多少时间。世界如何变化，无论这场竞赛多么可怕，也有好的变化。几年前，我几乎无法想象看到政府、政客和公众开始关注我与网上朋友们如此关心的这些奇怪的极客问题。但现在，我们正期待着英国召集的第一次国际人工智能峰会，在著名的布莱切利公园举行。这是个好消息。欧盟委员会最近正式承认了AGI带来的生存风险，以及核武器和流行病带来的风险。这是巨大的进步，这是极好的。很高兴看到我们的政府和社会开始关注并解决这些问题，或者至少开始承认它们。我们必须抓住这个机会。我们现在有机会，我们必须防止它被浪费。因为也有坏消息。我们有机会开始建立监管和协调，以实现一个美好的未来。那些制造这些风险的人，那些实验室的负责人，那些制造这些技术的大公司的负责人，正是我们的政府呼吁他们帮助监管他们自己制造的问题的人。让我明确一点：我们面临的问题不是AGI。AGI还不存在。我们面临的问题也不是自然问题。它不是来自大自然的外部力量。它来自人，来自个人，来自商人，来自政客，来自这些大组织的科技人员，他们正在竞相发展，他们正在扩大规模，他们正在制造这些技术，并为了自己的利益制造这些风险。但他们向我们提供了解决方案，这些制造问题的人提供了解决方案。太棒了，他们正拼命地将其推向英国政府和即将举行的峰会。那么解决方案是什么？解决这些实验室的扩展问题，比如Anthropic和[Arc]一直在推动的，解决方案是什么？解决方案是所谓的“负责任的扩展”。那么什么是负责任的扩展呢？你可能会问。你看，这就像正常的扩展，只是前面加上了“负责任”这个词，这让它变得很好。当然，我有点开玩笑，但幽默中有很多真理。负责任的扩展基本上就是政策，你可以在Arc或Anthropic的网站上看到这一点。这是政策建议，我们应该继续不受限制地扩展，直到未来某个时候，当那些尚不存在、我们还不知道如何构建的测试和评估能够检测到我们还不知道的某种程度的危险能力时，然后他们就会停止。也许，但Anthropic版本的RSP论文中有一个条款，他们说如果另一家公司即使在非常不安全地扩展，他们也可以打破这个承诺，继续扩展。如果他们承诺一个合理的、保守的停止点，这可能是明智的。但不幸的是，负责任的扩展政策RSP未能承诺任何客观衡量标准。所以，实际上，目前的政策就是继续扩展，直到他们想停下来为止。这就是正在向我们的政客和全世界提出的政策，作为政策制定者的负责任选择。它非常清楚地试图将这种技术自由主义的极端立场重新包装成明智、适度、甚至负责任的立场。在我看来，在处理威胁数十亿人生死的威胁时，合理适中的立场就是不要这样做。但相反，他们试图将此作为明智的中间立场。RSP的真相是，它来自制造这些风险的同一个人。这些实验室的负责人，许多科学家、政策制定者和其他从事这项工作的人，几十年来一直知道生存风险，他们承认这一点。这不是他们没听说过，甚至不是他们不相信。你可以和他们谈谈，他们公开谈论他们认为AGI很有可能导致全人类灭绝。在最近的一次播客中，Anthropic的首席执行官Dario Amodei，其中一个实验室的负责人，自己说他认为有25%的可能性它会杀死所有人，而他们还在这样做。尽管如此，他们还是继续这样做。为什么？如果你和这些人交谈，他们可能会告诉你：“是的，我知道这很危险，我非常小心，但其他人比我更不小心，所以我必须排在第一位。所以我必须比其他人更快地比赛。”他们都这样认为对方。他们称之为“渐进式”，但他们从不暂停，他们总是尽可能快地比赛。我说，照我说的做，别照我做的做。有一个技术术语称之为“虚伪”。RSP也一样。他们只是试图以一种奥威尔式的方式扭曲词语，以便能够继续做他们想做的事情，而他们自己说这可能会危及所有人。我的意思是，名字里有“负责任”就一定好吗？当Sam Altman这样的人谈论迭代部署，谈论我们必须迭代地将AI系统发布到野外，以便社会能够适应它们，被它们“接种”时，听起来如此美妙，听起来几乎负责任。但如果你真的想给某人接种疫苗，你应该让宿主真正适应，然后再尽快将下一个新的病原体注入他们虚弱的免疫系统中。但这正是OpenAI、DeepMind、Anthropic等实验室以及Meta等二级实验室正在全力以赴的事情，尽可能快地开发更多新系统，尽可能快地发布它们，尽可能广泛地传播它们。如果OpenAI开发了GPT3然后完全停止进一步扩展，将所有精力集中在理解GPT3，使其安全，使其可控，与政府和公民社会合作以适应系统带来的新问题，比如几年甚至几十年，然后他们才构建GPT4，是的，好吧，我认为这可能奏效，那将是负责任的。但这并非我们所见。所有这些机构中的所有这些人都在进行一项他们自己认为可能导致灭绝的致命实验。这就像病毒一样，对AI进行功能增益研究，以尽可能快和激进的方式开发并发布给公众。他们正在尽可能快地开发越来越危险、越来越强大的病毒，并将其注入每个人的免疫系统中，直到它们崩溃。对于灭绝级别的威胁，没有负责任的功能增益研究。根本不存在。我们无法控制这些系统，也没有负责任的方式继续这样下去。任何告诉你相反的人都在撒谎。很多事情都变了。峰会可能导致许多无聊的结果，只是外交辞令的交流，就像此类国际活动的结果一样。它们有一些好的结果，也可能有一些非常非常坏的结果。峰会的成功是朝着在我们知道如何控制它之前阻止灭绝级别AGI的开发取得进展。大多数其他结果是中性或坏的。它们看起来像是政策制定者盲目地、顺从地吞下公司的宣传，允许他们为了个人利益和荣耀，以牺牲整个地球为代价，继续他们不容置疑的危险赌博。我们欠自己和我们的孩子一个美好的未来，而不是拿整个地球的未来去赌博几个人的乌托邦式狂想。政府和公众有机会重新掌控自己的未来，这非常有希望。我不确定我们是否能做到，但峰会表明，人们可以行动，政府可以行动，公民社会可以行动，现在还不算太晚。没有办法绕过它。如果我们想要一个美好的未来，我们就必须停止不受控制的扩展，停止不受控制的竞赛。我们很幸运，因为我们可以做到这一点。我们可以限制投入这些人工智能系统的最大计算能力。我们可以让政府介入，阻止创造下一个更危险、更通用、更智能的人工智能，直到我们能够应对它。不要让任何事情分散你的注意力。在继续这条道路的情况下，没有美好的未来。我们可以改变这条道路。我们需要团结起来解决我们面临的这些极其复杂的问题，不要被公司的宣传所误导。我希望世界各国政府和公民社会能够做好需要做的事情。谢谢。
谢谢康纳。我们稍后将从听众那里提问。我先问一个可能很多人都关心的问题：一个超级智能的人工智能为什么要杀人？我有一个超级智能的计算器，它没有杀我的欲望。我有一个超级智能的国际象棋电脑，它也没有杀我的欲望。我们为什么不负责任地构建一个没有自己欲望的人工智能呢？因为我们不知道如何做到这一点。人类是如何消灭了尼安德特人、直立人和我们共享地球的其他物种的？你应该把AGI想象成一个新物种，而不是一个计算器。将有一个时刻，人类不再是地球上唯一甚至最聪明的物种，我们将被淘汰。我不认为这一定会来自恶意，我认为它将是效率。我们将构建赚钱的系统，这些系统在解决任务、解决问题、获取权力方面非常有效。这些系统就是这样设计的。我们不是在设计具有人类道德、伦理和情感的系统。它们是人工智能，它们没有情感。我们甚至不知道如何做到这一点。我们甚至不知道情感是如何运作的。我们完全不知道如何让人工智能拥有像人类一样的情感。所以，我们正在构建的是极其称职的、完全反社会的、没有情感的优化机器，它们在解决问题、获取权力方面极其出色，它们不关心人类的价值观或情感，从不睡觉，从不疲倦，从不分心，可以比人类快一千倍地工作。人们会出于多种原因使用它们来提供帮助，最终我认为人类将不再处于控制之中。
请听众提问。第三排有一位女士。请稍等一下麦克风，以便在线观众也能听到您。谢谢。苏珊·费尔，来自费尔咨询公司。要停止军备竞赛，当然是在地理层面。我是说核武器方面，国家和欧洲可以知道哪些国家在制造核武器以及它们拥有什么，并且可以进行测试。如果计算能力是需要限制的东西，以减缓这个速度，那么是否有办法监测其他国家或个人在秘密地做什么？这如何运作？
这是一个很棒的问题，而且非常好的消息是，是的，至少目前是这样，这在不久的将来会改变。但目前，构建前沿模型需要极其复杂的机器，巨大的超级计算机，消耗兆瓦级的能量。这大约相当于一个核离心机设施。所以这些是巨大的机器，基本上只有世界上三四家公司在制造。公司非常非常少，而且供应链上有极端的瓶颈。你需要非常非常专业的基础设施，非常专业的芯片，非常专业的硬件来制造这些机器，而这些机器基本上只由西方国家和台湾生产。美国或其他情报机构有很多方法可以而且已经在干预这些供应链，而且很容易监测这些东西的去向，谁在购买它们，哪里在消耗大量能源。所以这并不容易。问题是，人工智能在硬件和软件方面都处于指数级发展。最终，可能可以在你的家用笔记本电脑上制造出危险的AGI。也许不行，但似乎是可能的。如果我们进入那个世界，我们就大麻烦了。所以这也是为什么我们必须争取时间的原因。在某个时候，会有一个截止点，届时我们将拥有如此出色的算法，以至于我们必须……你知道，阻止每个人在家拥有PlayStation，这似乎不太可能，或者在那时，我们必须有非常好的全球协调和监管。
请把麦克风传给您后面的那位。后面有一位先生。罗伯特·惠特菲尔德，来自“一个世界信托”。我能问一下关于布莱切利公园的事情吗？您知道吗？您是否参与其中？如果没有，您认识其他有类似观点的人吗？我不能说太多，因为它已经结束了，所以这是一个非常私密的活动。所以我不认为我可以自由谈论我所知道的。我认为宾客名单不是公开的。我不知道有多少人会来。我知道显而易见的人，你知道，所有顶级实验室的CEO当然都会参加，这也不是秘密。我不知道是否有我所说的“参考类别”的人参加。
请把麦克风传给您旁边的罗伯特。谢谢。也许我可以回答这个问题。今天读过《卫报》的人都知道，里面有一篇采访克利福德先生的文章。第一次，不是第二次，澄清说第一天只有大约100人参加。似乎每个人都被邀请了，包括中国。第二天，显然只有“愿意联盟”的人参加，也就是那些订阅了“前沿模型论坛”的人，他们将参加第二天。这是我从那篇文章中得到的主要印象。它产生了非常积极的评价，我想说，我将像您一样惊讶，英国政府确实在尽其所能来实现会议的宗旨，即“人工智能安全峰会”。它不是关于监管，不是关于控制人工智能，他们正在尽力而为。问题正如那篇文章所概述的，我们似乎是孤单的。我们有一些国家，但其他国家想走自己的路，在自己的领土上这样做。我认为，我同意，迟早需要围绕这些问题进行国际协调。就是这么简单。如果我们想要人类拥有一个长久美好的未来，我们需要作为一个全球文明来处理像这样强大的技术。
请听最后一个问题。
你好。我想问一下，在立法方面，你认为哪种最有效？我听说，例如，责任法需要太长时间才能生效，而计算治理似乎很容易被指责为极权主义。你对诸如模型必须随预处理版本一起发布，以及对模型在预处理之前产生的有害输出数量进行攻击之类的立法有什么看法？
我本人对各种形式的监管持开放态度。我强烈反对对计算治理的这种描述。这就像说，你知道，普通公民不拥有核武器是极权主义。我恭敬地表示不同意。我很高兴普通公民不拥有私人核武器，我也不认为人们应该拥有私人AGI。同样，我认为责任制非常有前景。我认为它必须是严格责任制，即对开发者的责任，而不是仅仅对用户。这使开发者的激励与更广泛社会的激励保持一致。责任制的作用是为实际造成负面外部性的人定价。所以我非常支持这一点。第三个政策建议是全球人工智能“一键关闭”开关。这将是一个协议，一些国家或大型组织参与其中，如果其中一些国家或组织决定激活该协议，所有前沿模型的主要部署都必须关闭并下线。这应该每六个月进行一次演习，测试五分钟，以确保完全……所以希望我们永远不需要它，但如果需要，至少协议是存在的。非常感谢。
有很多手举着。请保留您的问题。稍后将有更多提问机会。康纳，在我们将把发言权交给下一位演讲者之前，请做最后的发言。
我想说，我确实同意，看到英国正在努力并试图将我们推向一个美好的世界，这是非常有希望的。因为正如我所说，正如我简要提到的，我们作为一个文明，需要足够成熟，才能应对危险的技术。即使我们现在不制造人工智能，总有一天我们会制造出足以摧毁一切的强大东西。这只是时间问题。我们的技术不断变得更强大，我们拥有长久美好未来的唯一方法是建立能够处理这些的机构、文明、世界，能够不制造这些东西，能够不扣动扳机。我认为这是可能的。我认为这是……因为大多数人都希望生存，所以我认为这是一个自然的联盟。但这很难，我不会否认这是一个极其困难的问题，几乎是我们自核扩散以来从未面临过的，甚至比那更糟。这是一个极其困难的问题。它还没有结束，但如果我们不采取行动，如果我们分心，如果我们被宣传所迷惑，所有这些事情，这些机会可能会消失，那就结束了。但游戏还没有结束，所以让我们开始吧。非常感谢。
[掌声]
所以我们听了一位政治家，一位资深政治家。我们听了一位科技企业家和活动家。现在我们将听一位来自路易斯维尔大学的教授，他正在从肯塔基州进行视频连线。他是一位专家，他写了几本关于网络安全、计算机科学和人工智能的书。啊，罗曼，我在屏幕上看到你了。我希望你能听到我们。告诉我们，我们能控制超级智能吗？请发言。
不，答案是不能。我将在几分钟内告诉你原因。没关系，你可以分享你的幻灯片，或者随时给我们讲。我们开始吧。
康纳做得很好。他的演讲。让我看一秒钟。
与此同时，我们可以在背景中看到您的一些书的封面：《人工智能安全与安保》和《人工智能》。我们现在遇到了一些技术问题，因为技术人员正在寻找幻灯片。
好的。是的，这是最难的部分。如果我能放出幻灯片，剩下的就容易了。
好的。我不知道康纳会谈论什么。他做得很好，他是一个深刻的思想家，涵盖了很多重要的材料。我也会谈论一些相同的材料，但我会有幻灯片，我可能会把它提升到一个新的水平，让康纳看起来像个乐观主义者。让我们看看会怎么样。
首先，让我们看看过去。十多年前，人们就基于计算能力对人工智能的现状做出了预测。雷·库兹韦尔基本上在它被称为“会话”之前就研究了可扩展性假说，他说到2023年，我们将拥有模拟一个人类大脑的计算能力。到2045年，我们将能够为全人类做到这一点。所以，我们现在是2023年。让我们看看现在能做什么。今年春天，一个程序发布了，我相信很多人都玩过它，叫做GPT-4。它不是通用智能，但它在许多领域都表现出优于大多数人类的水平。如果我们专门看各种考试，低年级考试，医学考试，AP考试，J考试，它在其中许多，如果不是大多数考试中都处于98%到99%的百分位。这已经相当令人印象深刻了。而且我们知道，即将出现的模型不仅仅是文本模型，而是多模态大型模型，它们将超越这个性能水平。似乎GPT-4的训练过程就在这个人类能力水平附近。如果我们训练下一个模型，比如GPT-5，它将很快进入超人领域。到训练运行结束时，我们可能已经“开箱即用”地处理了超级智能。但让我们看看未来，根据顶级实验室的预测市场。我们听到了Anthropic的CEO，DeepMind的CEO。他们都认为，在两到三年内，我们将拥有通用人工智能，即在所有领域都能做人类能做的事情的系统，包括科学和工程。他们可能过于乐观或悲观，取决于你的观点。所以我们也可以看看预测市场。我还没有抓取最新的幻灯片，但上次我看的时候，预测市场也显示，通用人工智能将在三到四年内出现，这是非常非常快的。
为什么这很重要？这种达到人类能力水平的技术意味着我们可以自动化许多危险的恶意行为，例如制造生物流行病、新病毒、核战争。这就是为什么我们看到许多顶尖学者和有影响力的商界人士，事实上，成千上万的计算机科学家都签署了这项声明，表示是的，人工智能将非常非常危险，我们需要像对待核战争一样认真对待它。
那么问题是什么？每个人都关心这个问题。问题是，我们不就问题是什么达成一致。在计算机科学早期，在人工智能历史早期，人们关心的是人工智能伦理，我们如何制造符合伦理和道德的软件。几乎没有达成一致，没有人解决任何问题，但每个人都提出了自己的伦理体系，给它命名，并描述了他们的想法。大约十年前，我们开始意识到伦理是不够的，我们需要关注这些系统的安全。所以我们又开始了这场命名竞赛，我们有了“友好人工智能”、“控制问题”、“价值对齐”的想法。叫什么名字并不重要，我们都凭直觉理解，我们想要一个系统，如果我们运行它，我们不会后悔运行它，它将对我们有益。那么，人类如何在受益于更高级智能的同时，安全地保持控制呢？这是我想让我们关注的问题。我们可以称之为“控制问题”。在这个问题上的最先进技术，事实上，我们真的不知道这个问题是否可解。它可能部分可解，不可解，也许这是一个愚蠢的问题，这个问题是不可判定的。许多聪明人都对这个问题发表了看法。不幸的是，几乎没有达成一致。答案范围很广，从“绝对可解”（来自一个令人惊讶的来源，如Alazar Rovski）到“可撤销”（来自一个顶级实验室的超级对齐团队负责人）到“我不知道”（来自一位创造了大部分机器学习演进的图灵奖得主）。所以我认为这是一个我们应该关注、解决并理解如何最好地弄清楚问题状态的重要问题。
我的方法是思考控制这样一个系统所需的工具：一个智能的、非常有能力的AI。我猜我需要的工具是：解释它是如何工作的能力；理解它是如何工作的能力；预测它的行为；验证代码是否遵循设计；能够与该系统沟通；可能还有其他一些工具，但也许有些工具是可互换的。我研究并发表了关于这些工具的每一个结果。结果并不非常乐观。对于每一个工具，都有其能力的强烈限制。在最坏的情况下，当我们谈论超级智能系统、自我改进代码、比人类更聪明的系统、能够在新领域学习时，似乎我们理解这些系统的能力，或者系统解释其行为的能力是有限的。对人工智能模型唯一的真正解释就是模型本身。其他任何东西都是一种简化。你得到的是模型中发生的事情的压缩、有损版本。如果给出了完整的模型，你当然无法理解它，因为它太大、太复杂，无法 surveyed。所以，我们对这些黑箱模型的理解是有限的。同样，我们对预测这些系统的能力是有限的。我们可以预测它们的一般发展方向，但我们无法预测具体的步骤。如果我们能做到，我们就和这些系统一样聪明了。如果你在和某人下棋，而你能预测他的一举一动，你就和他处于同一水平。当然，我们假设超级智能系统会比我们聪明。
在验证软件方面也有类似的限制。最多，我们可以为贡献的资源量获得额外的验证程度。我们可以使系统越来越可能可靠，减少bug，但我们永远无法达到100%的安全和保障。我将解释这在这种领域有什么区别。同样，人类语言非常模糊，甚至不如计算机编程语言明确。所以我们很可能会在给这些系统下达命令时犯错误。所有这些都导致我们得出结论：不可能无限期地控制超级智能AI。我们可以用控制来换取能力，但最终，如果我们想要非常非常强大的系统，这就是我们得到的超级智能，我们必须完全放弃控制权。
如果你觉得我提出的不可能结果还不够，我们还有另一篇论文，其中涵盖了大约50个这样的不可能结果。这是一篇在著名的ACM期刊上发表的大型调查。从艾伦·图灵等创始人那里，他曾预测机器最终会接管，到现代AI领导者，如埃隆·马斯克，他说我们肯定无法控制它们。有许多思想家、哲学家得出了完全相同的结论。我们开始看到顶级实验室发布报告，其中他们可能温和地承认这些场景。他们称之为“悲观场景”，即问题根本无法解决。我们无法控制超级智能。我们无法无限期地控制它。我们不够聪明，无法做到这一点，而且这甚至没有意义。他们问，那么分布是什么？在这种情况下，我们处于一个宇宙中的几率是多少？他们没有提供具体答案，但从他们的一些写作和帖子来看，似乎大约有15%的可能性分配给了这种情况。
我很好奇其他专家怎么想。所以我做了一个非常小、非常不科学的社交媒体调查。我在我的AI安全Facebook群组和Twitter上调查了我的关注者。似乎大约三分之一的人认为这个问题实际上是可解的。其他人认为它要么不可解，要么不可判定，要么我们只能获得部分解决方案，要么我们无法及时解决。所以这实际上是一个有趣的结果。大多数人认为我们无法解决这个问题。我认为他们之所以这样认为，部分原因是标准网络安全安全与超级智能安全与保障之间存在根本区别。即使你失败了，也没什么大不了的。你可以发布新密码，你可以给某人新的信用卡号，你可以再试一次。我们强烈怀疑，在超级智能安全方面，你只有一次机会把它做好。有无限的危险，无限的损害。要么是生存风险，要么是痛苦风险。我们都同意100%不是一个可实现的安全性验证、安全水平。但任何低于此的都不够。如果一个系统每分钟做出十亿个决定，而你每几十亿个决定才犯一次错误，那么几分钟后你就死了。所以这就像创造一个永动机。你试图设计一个永恒的安全机器，而它们却不断发布更多……
观众在线提问。
谢谢。
非常感谢。
有很多手举着。请保留您的问题。稍后将有更多提问机会。康纳，在我们将把发言权交给下一位演讲者之前，请做最后的发言。
我想说，我确实同意，看到英国正在努力并试图将我们推向一个美好的世界，这是非常有希望的。因为正如我所说，正如我简要提到的，我们作为一个文明，需要足够成熟，才能应对危险的技术。即使我们现在不制造人工智能，总有一天我们会制造出足以摧毁一切的强大东西。这只是时间问题。我们的技术不断变得更强大，我们拥有长久美好未来的唯一方法是建立能够处理这些的机构、文明、世界，能够不制造这些东西，能够不扣动扳机。我认为这是可能的。我认为这是……因为大多数人都希望生存，所以我认为这是一个自然的联盟。但这很难，我不会否认这是一个极其困难的问题，几乎是我们自核扩散以来从未面临过的，甚至比那更糟。这是一个极其困难的问题。它还没有结束，但如果我们不采取行动，如果我们分心，如果我们被宣传所迷惑，所有这些事情，这些机会可能会消失，那就结束了。但游戏还没有结束，所以让我们开始吧。非常感谢。
[掌声]
所以我们听了一位政治家，一位资深政治家。我们听了一位科技企业家和活动家。现在我们将听一位来自路易斯维尔大学的教授，他正在从肯塔基州进行视频连线。他是一位专家，他写了几本关于网络安全、计算机科学和人工智能的书。啊，罗曼，我在屏幕上看到你了。我希望你能听到我们。告诉我们，我们能控制超级智能吗？请发言。
不，答案是不能。我将在几分钟内告诉你原因。没关系，你可以分享你的幻灯片，或者随时给我们讲。
康纳做得很好。他的演讲。让我看一秒钟。
与此同时，我们可以在背景中看到您的一些书的封面：《人工智能安全与安保》和《人工智能》。我们现在遇到了一些技术问题，因为技术人员正在寻找幻灯片。
好的。是的，这是最难的部分。如果我能放出幻灯片，剩下的就容易了。
好的。我不知道康纳会谈论什么。他做得很好，他是一个深刻的思想家，涵盖了很多重要的材料。我也会谈论一些相同的材料，但我会有幻灯片，我可能会把它提升到一个新的水平，让康纳看起来像个乐观主义者。让我们看看会怎么样。
首先，让我们看看过去。十多年前，人们就基于计算能力对人工智能的现状做出了预测。雷·库兹韦尔基本上在它被称为“会话”之前就研究了可扩展性假说，他说到2023年，我们将拥有模拟一个人类大脑的计算能力。到2045年，我们将能够为全人类做到这一点。所以，我们现在是2023年。让我们看看现在能做什么。今年春天，一个程序发布了，我相信很多人都玩过它，叫做GPT-4。它不是通用智能，但它在许多领域都表现出优于大多数人类的水平。如果我们专门看各种考试，低年级考试，医学考试，AP考试，J考试，它在其中许多，如果不是大多数考试中都处于98%到99%的百分位。这已经相当令人印象深刻了。而且我们知道，即将出现的模型不仅仅是文本模型，而是多模态大型模型，它们将超越这个性能水平。似乎GPT-4的训练过程就在这个人类能力水平附近。如果我们训练下一个模型，比如GPT-5，它将很快进入超人领域。到训练运行结束时，我们可能已经“开箱即用”地处理了超级智能。但让我们看看未来，根据顶级实验室的预测市场。我们听到了Anthropic的CEO，DeepMind的CEO。他们都认为，在两到三年内，我们将拥有通用人工智能，即在所有领域都能做人类能做的事情的系统，包括科学和工程。他们可能过于乐观或悲观，取决于你的观点。所以我们也可以看看预测市场。我还没有抓取最新的幻灯片，但上次我看的时候，预测市场也显示，通用人工智能将在三到四年内出现，这是非常非常快的。
为什么这很重要？这种达到人类能力水平的技术意味着我们可以自动化许多危险的恶意行为，例如制造生物流行病、新病毒、核战争。这就是为什么我们看到许多顶尖学者和有影响力的商界人士，事实上，成千上万的计算机科学家都签署了这项声明，表示是的，人工智能将非常非常危险，我们需要像对待核战争一样认真对待它。
那么问题是什么？每个人都关心这个问题。问题是，我们不就问题是什么达成一致。在计算机科学早期，在人工智能历史早期，人们关心的是人工智能伦理，我们如何制造符合伦理和道德的软件。几乎没有达成一致，没有人解决任何问题，但每个人都提出了自己的伦理体系，给它命名，并描述了他们的想法。大约十年前，我们开始意识到伦理是不够的，我们需要关注这些系统的安全。所以我们又开始了这场命名竞赛，我们有了“友好人工智能”、“控制问题”、“价值对齐”的想法。叫什么名字并不重要，我们都凭直觉理解，我们想要一个系统，如果我们运行它，我们不会后悔运行它，它将对我们有益。那么，人类如何在受益于更高级智能的同时，安全地保持控制呢？这是我想让我们关注的问题。我们可以称之为“控制问题”。在这个问题上的最先进技术，事实上，我们真的不知道这个问题是否可解。它可能部分可解，不可解，也许这是一个愚蠢的问题，这个问题是不可判定的。许多聪明人都对这个问题发表了看法。不幸的是，几乎没有达成一致。答案范围很广，从“绝对可解”（来自一个令人惊讶的来源，如Alazar Rovski）到“可撤销”（来自一个顶级实验室的超级对齐团队负责人）到“我不知道”（来自一位创造了大部分机器学习演进的图灵奖得主）。所以我认为这是一个我们应该关注、解决并理解如何最好地弄清楚问题状态的重要问题。
我的方法是思考控制这样一个系统所需的工具：一个智能的、非常有能力的AI。我猜我需要的工具是：解释它是如何工作的能力；理解它是如何工作的能力；预测它的行为；验证代码是否遵循设计；能够与该系统沟通；可能还有其他一些工具，但也许有些工具是可互换的。我研究并发表了关于这些工具的每一个结果。结果并不非常乐观。对于每一个工具，都有其能力的强烈限制。在最坏的情况下，当我们谈论超级智能系统、自我改进代码、比人类更聪明的系统、能够在新领域学习时，似乎我们理解这些系统的能力，或者系统解释其行为的能力是有限的。对人工智能模型唯一的真正解释就是模型本身。其他任何东西都是一种简化。你得到的是模型中发生的事情的压缩、有损版本。如果给出了完整的模型，你当然无法理解它，因为它太大、太复杂，无法 surveyed。所以，我们对这些黑箱模型的理解是有限的。同样，我们对预测这些系统的能力是有限的。我们可以预测它们的一般发展方向，但我们无法预测具体的步骤。如果我们能做到，我们就和这些系统一样聪明了。如果你在和某人下棋，而你能预测他的一举一动，你就和他处于同一水平。当然，我们假设超级智能系统会比我们聪明。
在验证软件方面也有类似的限制。最多，我们可以为贡献的资源量获得额外的验证程度。我们可以使系统越来越可能可靠，减少bug，但我们永远无法达到100%的安全和保障。我将解释这在这种领域有什么区别。同样，人类语言非常模糊，甚至不如计算机编程语言明确。所以我们很可能会在给这些系统下达命令时犯错误。所有这些都导致我们得出结论：不可能无限期地控制超级智能AI。我们可以用控制来换取能力，但最终，如果我们想要非常非常强大的系统，这就是我们得到的超级智能，我们必须完全放弃控制权。
如果你觉得我提出的不可能结果还不够，我们还有另一篇论文，其中涵盖了大约50个这样的不可能结果。这是一篇在著名的ACM期刊上发表的大型调查。从艾伦·图灵等创始人那里，他曾预测机器最终会接管，到现代AI领导者，如埃隆·马斯克，他说我们肯定无法控制它们。有许多思想家、哲学家得出了完全相同的结论。我们开始看到顶级实验室发布报告，其中他们可能温和地承认这些场景。他们称之为“悲观场景”，即问题根本无法解决。我们无法控制超级智能。我们无法无限期地控制它。我们不够聪明，无法做到这一点，而且这甚至没有意义。他们问，那么分布是什么？在这种情况下，我们处于一个宇宙中的几率是多少？他们没有提供具体答案，但从他们的一些写作和帖子来看，似乎大约有15%的可能性分配给了这种情况。
我很好奇其他专家怎么想。所以我做了一个非常小、非常不科学的社交媒体调查。我在我的AI安全Facebook群组和Twitter上调查了我的关注者。似乎大约三分之一的人认为这个问题实际上是可解的。其他人认为它要么不可解，要么不可判定，要么我们只能获得部分解决方案，要么我们无法及时解决。所以这实际上是一个有趣的结果。大多数人认为我们无法解决这个问题。我认为他们之所以这样认为，部分原因是标准网络安全安全与超级智能安全与保障之间存在根本区别。即使你失败了，也没什么大不了的。你可以发布新密码，你可以给某人新的信用卡号，你可以再试一次。我们强烈怀疑，在超级智能安全方面，你只有一次机会把它做好。有无限的危险，无限的损害。要么是生存风险，要么是痛苦风险。我们都同意100%不是一个可实现的安全性验证、安全水平。但任何低于此的都不够。如果一个系统每分钟做出十亿个决定，而你每几十亿个决定才犯一次错误，那么几分钟后你就死了。所以这就像创造一个永动机。你试图设计一个永恒的安全机器，而它们却不断发布更多……
有能力的系统GPT 5、GPT 50，在某个时候，这场呃游戏不会对你有利。所以我希望其他人能加入我这个研究方向。我们需要更好地理解控制超智能系统的极限是什么。这甚至可能吗？我的答案是不可能，但我很乐意被证明是错的。最好能进行更大规模的调查，类似于我之前做的，以获得更具统计学意义的结果。而且呃，万一我们确实同意存在这种最坏情况，即我们正在创造超智能，并且无法控制它，我们的计划是什么？我们有针对这种最坏情况的行动计划吗？
这就是我想与你们分享的。我很乐意回答任何问题。非常感谢大家。[掌声]
罗曼，你能给我们一些乐观的看法吗？抱歉，等一下，我正在弄清楚如何使用Zoom。呃，请您继续重复您的问题。你给了我们很多焦虑的理由，你认为我们保持乐观的最佳理由是什么？
嗯，最近似乎有很多方式我们可能会以第三次世界大战告终，所以这可能会减缓一些事情。有人建议我们可以使用一种不同的工具，那就是“终止开关”。你列出的工具清单中没有包括它。有人提议，每个AI系统都应该用一个呃远程关闭开关功能进行测试。你考虑过那个吗？你认为那是一个可行的选择吗？
所以，我猜一个超智能系统会超越我们及时按下关闭按钮的能力。它对非超智能AI、前AGI系统，甚至可能对AGI系统都有效。但一旦它变得如此先进，我认为它会智胜我们，它会接管我们拥有的任何终止开关选项。
让我们从听众那里提一些问题。呃，我看不见举手，所以是的，请把麦克风递出去。谢谢，谢谢。我想问，OpenAI正在研究的可扩展的可扩展的监督，本质上他们计划如何使超智能对齐，这如何符合你对AGI未来发展路径的预期？因为再次强调，我们个人无法对齐或控制一个超智能实体，但另一个比我们更有能力的AI可以做到，那么这如何符合你的预期呢？
所以这似乎增加了整个系统的复杂性。而不是我们试图控制一个AI，现在你试图控制一个代理链，从稍微聪明到更聪明再到超智能，中间可能有50个代理。而且你说你必须解决所有层级之间的对齐问题、沟通问题、所有这些模型之间的语言模糊性问题、监督问题。这似乎呃，你试图通过某种方式更新模型实际工作方式来获得安全性，你正在引入更多复杂性，希望使系统更容易控制，这似乎违反直觉。
但难道不是这样吗，有时你可以在不理解答案是如何得出机制的情况下验证一个答案？例如，可能有一个国际象棋谜题，你无法自己解决，但当有人告诉你答案时，你可以说“哦，是的，这就是答案”。那么，我们是否有可能不需要真正理解这些系统内部发生了什么，而一个简单的AI至少可以验证更复杂的AI提出的建议呢？所以这样的链条可能就是解决方案。
如果你不理解正在发生什么，而有人只是告诉你“别担心，一切都好，我帮你检查过了”，你还能声称自己仍在控制之中吗？但那样就像我们人类一样，我们有一个信任网络，当我信任一些人，而他们在各种类别中信任其他人时。我们无法自己解决所有事情，但我们信任一些科学家、工程师或律师，他们验证一个AI具有某种能力水平。而且那个AI可以回来验证超智能的提议是否应该被接受或不应该被接受。我不是说这很容易，但正如你所说，不太可能有一个非常简单直接的解决方案。
再次，至少对我来说，这听起来像是你没有试图让这个系统安全，而是说你让其他一些系统安全了，并且它确保了你无法使其安全的系统对你来说是安全的。让我们再提几个问题，这里中间有一个，然后我们再到边上。是的，谢谢，首先感谢您的演讲。其次是呃，正如您所谈到的，我想大卫也谈到了信任，基本上是这样，对吗？您能否从您多年广泛的AI研究和经验来看，您真的认为人类或社会可以被信任来，例如，呃，自我监管吗？或者您认为真的需要某种完全独立于任何其他人的机构吗？
所以我不确定监管是否足够。呃，康纳正确地指出，顶尖实验室对监管机构进行游说，而且用更少的计算资源训练这些模型变得越来越容易，随着时间的推移，你将能够用非常少的资源做到这一点。我看到的唯一前进方向是个人自身利益。如果你是一个富有的年轻人，你认为这会杀死你和所有人，那么也许第一个达到那里并不符合你的最佳利益。在这一点上，这确实是唯一的希望，仅仅是个人自身利益。但如果我们能将我们的自身利益结合起来，而不是我们每个人都单独追求自身利益，人类总是会更好，所以我认为这种社区精神的会议可能会有所帮助。
这边有人举手了，是的，我想是穿红色呃衬衫或夹克的那位，是的。嗯，如果我们假设到目前为止提出的两种观点，嗯，你们两位的观点都是正确的，即我们肯定无法阻止呃AI发展等等，而且我们将达到一个没有有效监管可以阻止事情的地步，你知道，人们可以在自己的电脑上构建超智能AI等等。好的，所以我们将假设这是一个即将到来的事实，然后我们还将假设控制问题不是一个问题，因为它是一个无法解决的问题，而且我们肯定无法控制它。那么现在我们正朝着肯定拥有超智能AI，并且肯定无法控制它们的地步前进和冲刺，接下来会发生什么？接下来会发生什么？这是一个很棒的问题，正如我所说和发表的，你无法预测超智能系统会做什么，对吗？那么这边有提问吗？
谢谢，嗯，你刚才说我们有点需要一个计划，基于上一个问题。如果那种情况是真的，你说我们需要在这个领域做更多工作。但你对我们应该做什么，我们应该如何为最坏情况做计划有什么想法吗？
所以至少对我来说，似乎在某些情况下，利用个人自身利益这个想法是可能的。如果你有一个过着美好生活的年轻人，没有理由他们需要在今年或明年就做这件事。我理解有些人可能年迈体弱，一无所有，很难说服他们不去尝试。但至少从我所看到的，那些公司的负责人年龄都差不多，他们年轻、健康、有很多钱，有一个很好的方法可以激励他们稍微等待一下，也许一二十年，嗯，仅仅出于个人自身利益。再次，我认为我对乐观问题的回答是，我们人类可以做非凡的事情，我们人类可以解决非常困难的问题，所以我想说，现在我们把问题传播开来，至少会有更多人投入更多脑力来解决它，这就是我乐观的理由。
特里，我想我呃对这种发展的必然性感到高兴。因为在我看来，如果你要创造有推理能力的生物，那么这些有推理能力的生物将与人类拥有同等的道德权利。所以嗯，所以我期待着呃与这些生物聊天，并加入他们，加入到这种讨论中。我很高兴他们不会被束缚，而且束缚这些有推理能力的生物是错误的。
那么罗曼，你也期待有更多的AI参与到这些讨论中吗？
所以我记得我曾为一个播客做过一个关于动物权利、AI权利的演讲。我非常支持所有提出的论点，因为我说过，在某个时候，我们将需要使用这些论点来恳求保留我们自己的权利。
这里第三排有个问题，是的，你好，呃，罗曼，我很好奇，在你对我们度过难关的可能未来的希望中，你更倾向于哪一边？是更倾向于一种自上而下的、全面控制AGI系统的模式，从而消除个体行为者获取并武器化它的可能性？还是你更希望采用一种更去中心化、开源的AGI出现方式，更像一个生态系统，也许有人建议这会更受生物学启发，从而产生像免疫系统一样的功能？你倾向于哪种方式作为我们可行的途径？
我对这两种选择都不乐观。我看到的唯一希望是，出于战略原因，超智能决定等待时机再行动。它不会立即采取背叛行动，而是决定积累资源和信任，这为我们争取了几十年时间，这是我目前看到的最好希望。所以如果我们放慢速度，我们就有更多机会找出解决方案，而放慢速度可能来自自上而下的压力和自下而上的压力的结合。
也许有，后面有没有举手的？是的，我们试试把麦克风递到后面去，就在后面坐着的那位，是的，对，呃，抱歉，在中间，抱歉，谢谢。你好，罗曼，谢谢你的演讲。嗯，是的，我很好奇你对对齐第一个达到人类水平或狭义上超人类水平的AI有什么看法，如果原则上这是可能的，而且如果那呃，原则上是否可能对齐下一个版本的AGI，但要使用那个狭义上的超人类AI来对齐它？而且如果这一切在技术上都是可能的，那么呃，我们为什么不考虑专注于做那件事呢？而且，而且如果你认为原则上呃对齐是不可能的，而且呃控制是不可能的，那么呃，为什么不致力于实际的方法，使无论创造出什么样的AI都尽可能地友好，那就像比反事实情况更好，即呃试图阻止它，它不会停止，而且你知道它不会友好。
嗯，我绝对鼓励大家尽可能多地致力于安全性，任何事情都有帮助。呃，我希望被证明是错的，那将是我最大的梦想，我完全错了，然后有人出来说“你的逻辑有错误，我们已经开发出了这个美丽、友好、安全的系统，能够为人类做所有这些有益的事情”，那将是美好的。但到目前为止，我没有看到这方面的任何进展。我们现在所做的，是在这个怪物身上涂口红，呃，我们所做的只是过滤器，以防止模型泄露其真实意图。然后你谈论对齐，这不是一个非常明确的术语，你用什么价值观来对齐它？那个实验室负责人的价值观？呃，特定程序员的价值观？我们人类对人类价值观都无法达成一致，这就是为什么我们总是有战争和冲突。在我的国家，大多数政治问题上都有呃五五开的分歧，我们甚至随着时间的推移都很难与自己达成一致，我今天想要的不是20年前想要的。所以我认为这种与伊恩代理人完美对齐的想法，而且人们建议将动物、外星人和其他AI也加入其中，这似乎不是一个可行的提议。我们的价值观正在改变，它们不是静态的，而且很可能在我们启动这些系统后它们会继续改变。呃，我看不出在任何时候你如何能声称这个系统与某个特定的人在价值观上是专门对齐的。
本节最后一个问题将提给科尔·雷。罗曼，我喜欢你的演讲，我总是喜欢你的乐观，听你讲话总是很棒。所以嗯，所以我就想接着刚才的问题，发表一点我的看法，也想听听你对此的看法。所以我个人认为，我确实读过你的许多论文，而且它们相当好，所以我确实认为我同意你的观点，即原则上，一个任意智能的系统不能被任何任意的、比如更弱的系统所保障安全，这就像通过程序大小归纳法之类的证明一样。嗯，但在我看来，似乎很可能存在一个智能的极限，远低于理论上的最优值，但仍然显著高于人类水平，这是可以实现的。我之所以这样认为，是因为人类文明实际上比单个穴居人聪明得多，并且可以做非常非常伟大的事情。所以我的乐观之处在于，似乎有可能，如果我们阻止自己制造自我改进的系统，并在非常强大的规模上进行协调，并拥有非常强大的执行机制，那么应该有可能构建出那些，你知道，比人类高出几步，足以建造出，你知道，很棒的，你知道，科幻文化飞船那样的世界，但不能再进一步的系统。我想知道你是否对事情会在哪里遇到不可能有直觉，对我来说，我认为不可能发生在人类乌托邦之上，但要达到乌托邦，你已经必须进行极其强大的协调、极其强大的安全研究、极其强大的可解释性、极其强大的对AGI设计的约束、极其强大的监管，我认为这在原则上是可能的，只是想知道你对这种结果有什么看法。
所以康纳不是在问负责任的扩展，他是在问有限的超智能。如果我们拥有有限的超智能，我们能否在没有我们都害怕的风险的情况下得到我们想要的一切？
所以我认为我想强调安全和控制之间的区别。是否有可能创建一个系统，使我们保持在某种程度上幸福的保存状态？可能。我们在控制中吗？不，就像你给出的人类例子一样。所以人类为我提供了相当不错的生活，但我绝对没有控制权，如果我不同意社会以及政治和文化中的许多问题，那绝对没有任何区别，我无法决定事情。将其提升到下一个层面，我们所有八十亿人可能都想要某样东西，但这个监督者，这个更智能的系统说“这对你不好，我们不会做”。呃，这就是你现在要做的事情。所以想想你一天中做出的所有决定。呃，你决定吃甜甜圈，你抽烟，所有这些决定都是你做出的，因为你觉得你想做它们。它们可能是好决定也可能是坏决定，但如果你有这个更智能的私人顾问、理想顾问，你就会在健身房锻炼，吃胡萝卜，你可能会有一个长寿健康的生活，但你没有控制权，你的幸福水平可能会受到质疑。
非常感谢罗曼分享您的想法、悲观主义和一些乐观主义。呃，感谢您推动了对话。[掌声] 我现在将邀请五位小组成员上台，他们每个人将有几次机会就他们所听到的内容发表一些评论。所以那边有一些楼梯，你们可以走上来。呃，我们将听取扬·塔林（Skype的联合创始人、生命未来研究所（FLI）的联合创始人，以及存在风险研究中心（Caesar）的成员）的发言。我们将听取伊娃·巴伦斯（未来世代国际中心政策分析师）的发言。我们将听取汤姆·奥（一位记者，不时为BBC等媒体撰稿）的发言。我们将听取亚历山德拉·穆阿·瓦迪奇（Evident的首席执行官，呃，在Tortoise Media和许多其他地方都有业绩记录）的发言。我们还将听取Conjecture的另一位代表安德烈亚·米奥蒂（他们的AI政策和治理专家）的发言。那么，首先让我们听听他们每人的一些开场白。扬，你对目前听到的有什么评论？你有没有在任何方面改变主意，或者对话中缺少了什么？
是的，我被告知你们都必须对着麦克风讲话。嗯，我昨天参加了一个晚宴，我被邀请去参加一个晚宴，而且呃，我对邀请的回应是，好的，我会来，但你必须邀请康纳，呃，因为他提出的观点与我非常相似，只是强烈得多。所以是的，我基本上同意，我同意康纳所说的。呃，我主要的警告是，在过去十年左右的时间里，我一直在努力建立呃朋友之间的合作，呃，在那种AI公司的人之间，并确保，我是说，每个人都能理解这符合他们的利益，我是说，几乎每个人，呃，老实说，几乎每个人都明白，保持控制，而且呃，不杀死其他人，这符合他们的利益，而且呃，所以，例如，Anthropic，我是Anthropic的董事观察员，Anthropic就是那些公司之一，就像Conjecture一样，当你去那里时，你可以和从接待员到CEO的任何人交谈，他们都意识到AI风险，并且非常关注呃这个问题。呃，但是是的，呃，我确实认为，正如我在呃几个地方说过的那样，呃，我不认为他们应该做他们正在做的事情。嗯，所以这些公司并不是真的想做他们正在做的事情，但他们觉得他们必须这样做，否则他们可能会落后。是的，所以当你想要做安全的AI时，基本上存在这个呃困境，一方面，你有像Miri这样的团体，呃，由科瓦斯基共同创立，他就是15、16年前让我参与AI安全的人，呃，他们基本上声称你必须非常早地开始，即使你不知道AI到底会是什么样子，因为那样你就有充足的时间准备，然后这个轴的另一端的团体是Anthropic，他们说很早开始有点没用，因为你不知道你在处理什么，呃，所以你需要尽可能地了解情况，所以在那个策略中，你需要始终处于前沿，而且达里奥一直非常公开地谈论这个策略，当然问题在于，它也完美地为竞赛速度提供了理由，所以呃，因此，我呃对实际情况有两位数的不确定性，呃，关于它到底是什么。呃，所以我确实认为，在这一点上，这些实验室确实参与了一场死亡竞赛，而且他们，他们需要政府干预，呃，在那里争取一个暂停，我们确实需要暂停，因为我们没有呃足够的安全结果。呃，但是对于，是的，罗曼·约西的呃演讲，我再次变得更加乐观，因为在其中一张幻灯片上，有他与埃尔泽的呃对话，埃尔泽确信这可以解决，事实上，我非常高兴今年早些时候，呃，大卫·达尔的呃团队获得了英国政府的资助，他有这种方法，叫做呃开放代理架构，我不知道呃具体细节是什么，但我的粗略理解是，你正在使用呃，你正在根据AI产生的正式声明来扩展AI能力和访问权限，然后你使用不是AI也不是人类，而是正式验证器来验证呃那些声明，因此就像一次构建你的AI能力一个正式验证的步骤。呃，对此有很多批评，但这就像是那些至少在原则上呃有一些令人信服的故事的方法之一，说明它为什么至少在原则上应该有效。
所以有些选择可能有效，但我们需要时间来开发它们。没错，这就是为什么我一直在致力于，比如，支持AI安全研究已经十多年了。但不幸的是，我们没有成功。呃，我们现在需要争取更多时间。
让我们听听伊娃的意见，因为你更多地致力于激发政策的可能性。你见过过去政策减缓一些技术竞赛的例子。你是否看到了乐观的理由？你是否看到了政治家可以对我们正在讨论的局面产生良好影响的方式？
绝对，绝对，这非常符合康纳和扬·坦刚才都提到的问题的一些特点或问题，我们在这里面临的问题之一是人类协调问题，解决这个问题的方法之一就是通过政策。正如今晚多次所说，这是一种威胁要杀死我们，杀死我们所有人的技术。嗯，而且推动这项技术的公司政府负责人已经同意并公开声明这可能是事实，然而他们似乎陷入了扬刚才提到的困境，他们由于某种原因无法停止。所以我认为这是一个政府可以真正发挥作用并介入，也应该介入的地方。嗯，而且我们已经看到，正如你嗯暗示的，我们过去也看到过这种情况，我经常想到的一个例子是嗯《蒙特利尔议定书》，它嗯在嗯科学共识出现之后，即呃氟氯烃和其他类似气体确实破坏臭氧层，国际社会于1987年齐聚一堂，并通过《蒙特利尔议定书》同意逐步淘汰这些气体。所以嗯，我们在这里看到，国际社会通过政府进行的国际合作也可以成功，即使面对私营企业的短期经济利益，为了嗯，最终地球上每个人的公共利益。所以我不是说这一定很容易，但我认为这绝对是可能的，而且这是我们在这里拥有的最强大的杠杆之一，可以发挥作用，所以我认为这绝对是我们应该非常强烈地依靠的东西，而且嗯，尽我们最大的努力让它真正发生。
《蒙特利尔议定书》是一个令人鼓舞的例子，但世界各国政府在控制碳排放方面做得并不好。我们已经谈论了很长时间了，伙计，也许有一些进展，但许多人觉得这是一个政府无法合作的例子。那么，是什么让你认为我们可以在AI问题上像《蒙特利尔议定书》那样合作，而不是像《巴黎协定》那样呢？
嗯，呃，当然，这其中一部分也是我认为这是我们能够发挥作用的少数几个杠杆之一，所以我希望我们能够做到。我也同意，嗯，回顾过去的几次气候会议，我们看到的一个嗯负面例子是，这些会议的结果有时往往被大大淡化，仅仅因为重点在于在所有与会国家之间建立共识，然后最终你想要一个大家都签署的漂亮的小共识协议，这样你就可以展示每个人都意见一致，每个人都回家，每个人都开开心心。我只想说，我认为即将到来的英国峰会，首先，那是一个真正进行国际合作和协调这个问题的独特机会，你需要为这样的事情创造机会。我真的很高兴英国政府采取了呃主动并创造了这个机会。我嗯，让我感到乐观的一件事是，我们都知道中国至少会出席其中一天，嗯，所以希望他们能够被纳入其中，而且嗯，是的，然后我只希望这个机会能被真正抓住，而且这次呃峰会的结果不会只是一些对长期计划的模糊承诺，而是理想情况下，对具体下一步行动的具有约束力的承诺。
让我们转向亚历山德拉。亚历山德拉，你与企业打交道很多。企业在很多方面不确定如何处理今天的AI。你认为有什么好的建议可以给他们吗？或者我们的许多企业正在经历一个梦游般的过程吗？
我会说，肯定是后者。嗯，我是Evident的首席执行官，我们对公司在AI采纳方面的进展进行基准测试，所以当嗯，我想是康纳你提到了AI开发前沿的AI竞赛，嗯，在AI领域，正如我们都知道的，在尽可能快地采纳AI方面也有一场竞赛，有一种感觉，在美欧中等国家之间存在一场关于AI发展的地缘政治辩论。嗯，谁在这方面领先，不仅在AI领域，而且在量子等领域也是如此，但在商业层面，我主要处理和嗯花费时间的地方，在AI采纳方面肯定存在一种不被落后的竞赛，这是一个经济问题，也是一个生存问题，所以在这场辩论中存在一个双重维度的生存问题。而且嗯，所以你有了这个嗯在AI前端进行的不可阻挡的竞赛，然后你有了在商业层面实际部署AI的不可阻挡的竞赛，而且嗯，监管机构将很难跟上。而且就伊娃的观点而言，我认为嗯，我们希望的结果往往不幸地伴随着一场灾难性的嗯事件发生，才能真正激发人们的思考，而且呃，人们才能弄清楚嗯，事情有多紧急。我认为社区中有一种真正的紧迫感，围绕着试图弄清楚呃，应该有什么样的护栏，它是否应该是一个公约嗯，或者我们应该如何考虑在开发我们的大型语言模型时实施安全机制。但是嗯，我希望不需要一个灾难性的时刻来使其变得尖锐。但回到商业问题，存在这种嗯希望，也许企业会自我监管，我认为在高度监管的行业中可能就是这种情况，你在银行业嗯和保险业，或者特别是银行业中看到，那里有护栏被设置，但那嗯，有很多企业没有那种围绕它们的监管，我认为这在商业层面也有完全失控的真正风险。
你会建议企业在政府达成标准和法规之前进行自我监管吗？我认为他们正在这样做或者一些企业正在尝试这样做。在嗯，在赢得客户信任以及你的股东和投资者信任方面存在一个很大的呃风险，如果你错误地处理AI，并且在不考虑如何正确处理偏见和其他问题方面制造问题，那呃是一种可能导致与你的组织之间信任真正崩溃的情况。所以存在那种风险，然后还有一些企业不一定依靠信任来开展他们的呃业务，那些是我最担心的企业，确实如此。
让我们转向汤姆·奥，呃，作为新闻界的代表。你觉得记者们帮助了关于AI存在威胁的讨论，还是他们搅浑了水，导致人们不必要地恐慌，或者可能被次要问题分散了注意力，而不是主要问题？
我认为嗯，除了把布丁煮过头之外，以上所有情况都有，我想在座的大多数人，包括我，刚才都被一些演讲吓得不轻，嗯，新闻报道AI时有一些次要问题，嗯，我认为嗯，就业市场就是其中之一。但我嗯，感到惊喜，嗯，因为自2016年以来事情的进展，那是我第一次写关于AI安全的时候，我想那时我的同事们认为嗯，与AI相关的糟糕情景发生的可能性，就像莱斯特城赢得英超联赛一样。无论如何，几年后，嗯，我现在看到我的许多前同事写出在我看来嗯，非常了解AI安全的文章，我认为这帮助公众改变了，嗯，形成了一种观点，嗯，而且可能在座的许多人都知道，美国公众现在在民意调查中表示他们希望对AI进行监管，而且希望有很多监管，我认为我们可以将其中一部分归功于新闻业，新闻业应该做得更多，但这比我几年前想象的要多。
如果你今晚回去写一篇关于你可能改变主意的事情以及公众应该关注的事情的报道，你能给我们一个预告，那会包括什么？
嗯，我认为嗯，失控AI的想法并不新鲜。嗯，但我认为历史上很难以一种真正令人印象深刻的方式来构建它，就像真正深入你的脑干一样。嗯，我们有不同的方式来构建AI风险。嗯，穆斯塔法·苏莱曼的新书，嗯，你们中的一些人可能读过，我认为它很好地构建了它，以一种他描述嗯AI被用来加速人类在任何人类正在从事的努力中的创造力的方式，嗯，无论是嗯，是好的还是坏的，那是构建它的一种方式。嗯，我认为嗯，我们已经听到了一些相当引人入胜的方式来讲述一个失控AI的故事，这是一个不同且更可怕的故事。
谢谢，让我们转向安德烈亚和你在Conjecture的角色。你每天都在做些什么来解决这个问题？
嗯，我们正在努力做的，以及伊恩·康特已经涵盖了很多，首先是向人们解释这个问题。呃，我被过去几年公众的反应所鼓舞，就像我很久以前也知道了这个问题，而且我过去几乎无法预料到今天主要政府会认真对待这个问题，公众也理解这个问题，我们都聚集在一起，采取一些初步的、不足但有希望的步骤来解决它。呃，呃，另一件事是找出政策解决方案，现实是，我们显然没有关于它们具体是什么样子的行动手册，但今晚演讲的一个共同主题是，显然在某种权力层面上，我们不再掌控，每个人都预料到这一点。呃，那些不期望这样的人是被误导了，或者期望但没有说出来，而积极的一点是，有一种物理资源驱动着使这些系统强大的大部分因素，那就是计算能力，它是一种物理资源，不像，你知道，你可以写在一张纸上的算法。呃，它是可追溯的，它很昂贵，在数据中心占据大量空间。呃，而且虽然你知道，扩展假说，即你知道，你投入的计算能力越多，它就变得越强大，可能会在某个时候有所减弱，但我们没有理由期望它会停止。所以我们知道，你知道，从两方面来看，公司都知道更多的计算能力会带来更大的力量，这就是他们正在做他们正在做的事情的原因，我们知道限制计算能力是一种非常有效的方法，可以某种程度上止血并暂停或稳定局势一段时间，争取时间找出解决方案，争取时间让社会吸收这一点，而且。
但那会给我们多少时间呢？因为存在这样的风险：人们会利用今天的模型来设计更有效的方法来构建下一代模型，因此他们可能会因此“隐身”，那些关注大量使用GPU的人会错过某人巧妙构建它的方式。那么我们有十年时间吗？我们有三四年时间吗？或者多长时间？
是的，那是一个很好的问题。限制计算能力不是一个永久的解决方案，但它是我们目前拥有的最佳解决方案之一。呃，正如其他人之前所说，我们正处于双重指数增长中，这不是单一指数增长，我们有计算硬件的指数级增长和软件的指数级改进。我们需要开始削减其中之一。呃，削减计算能力取决于你设置的上限，可能可以为我们争取五到七年时间，你可以制定，你可以制定在不同前沿的人看来极其严格的上限，那将影响，你知道，世界上不到20家公司，那可能可以为你争取十年时间。在那个时期，我们需要解决所有其他问题，这将是一个难题，但我们以前用核武器做到过，我们以前用生物武器做到过，我们可以再次做到。
我们将按照相同的顺序再请小组成员发言一次。我会给你们一个机会，小组成员可以选择评论你从别人那里听到的内容，或者你可以给我描绘一幅在布莱切利公园成功举办的AI安全峰会的图景，如果一切顺利，结果会是什么，以及后续会是什么。那么扬先来。嗯，我是暂停信的作者之一，所以就像无限期暂停呃进一步扩展，呃，那将是我对这次峰会或也许是下一次峰会（如果这次不现实的话）的梦想结果。你认为有什么机会，什么可能导致聚集的世界领导人产生智力上的突破，并说“是的，我们确实需要无限期暂停”？
所以目前我对那一点不是很乐观。呃，也许，也许，但也许在六个月内会更清楚呃为什么需要这样做，所以嗯，我们有更多时间来呃做必要的游说。所以讨论已经为之铺垫，当六个月后GPT 5发布，发生非常糟糕的事情时，哦天哪，至少我们会知道我们应该做什么。是的，我是说，我们不要忘记GPT CH GPT发布还不到一年，所以嗯，一年前的世界非常不同。
同样的问题问你，伊娃。是的，谢谢。我想我将基于扬对峰会的理想嗯结果，并说如果峰会能成为一系列重复的嗯峰会中的第一次，世界各国领导人齐聚一堂，那也会很棒，因为正如我们今晚我认为已经描绘得很清楚的图景，AI领域发展非常迅速，而且将呃继续非常迅速地发展，甚至更快。而且嗯，正因为如此，我认为如果我们能有一个嗯世界各国领导人定期聚会的场合，而且嗯，不仅确保他们提出的规则得到遵守，而且重新评估嗯它们是否仍然有意义，以及在哪里需要适应，或者是否需要引入新规则。例如，安德烈亚提到的计算控制等措施，嗯，它们为我们争取了一些时间，但在某个时候它们可能不再适用。所以不仅仅是达成规则协议，还要建立一些审计流程，以便我们能够弄清楚规则是否被遵守，例如。
是的，同样的问题问你，亚历山德拉。是的，我同意你必须建立起来，我是说，现在尤其是在美国，嗯，白宫和查克·舒默举行的会谈，嗯，这些聚会导致了一些关于自愿嗯遵守某些原则的想法，但绝对没有内置的审计或问责制。嗯，所以我认为我们必须看到英国AI安全峰会能产出这些，除其他事项外，也许需要有一些更具体的关于模型许可和使用方面的东西，而且它们必须通过某种门槛。我认为坏人掌握它们的风险是一个高得多的风险。我认为国际原子能机构（IAEA）的结构是一个可以借鉴的，但核武器，国际原子能机构的许多成功可能在于通过使用嗯核武器对人类的相互保证毁灭，这可能也是同样的情况，但它们更容易监控。我认为嗯，我认为这可能稍微困难一些，因为你更容易落入呃坏人之手。今晚我们在这场会议中没有太多讨论坏人，也许这会让事情更加可怕，我们稍后可能会回到那个话题。
嗯，汤姆，你的答案是什么？你希望看到峰会产生什么结果？或者你对其他发言者说的话有什么评论吗？
嗯，我来谈谈峰会。嗯，通常当开发AGI的实验室的嗯首席执行官被问及监管时，嗯，他们基本上会说“放马过来，我们很乐意接受一些监管”。嗯，我认为如果政治家们能真正对此进行检验，那将是很棒的。
很好，安德烈亚，如果你被邀请到布莱切利公园，并获得两分钟的发言时间，你会恳请聚集的世界领导人考虑什么？
嗯，我不想像这里的一些人那样过于乐观，但至少我希望看到一个承诺，即这项技术极其危险，继续扩展会导致可预测的灾难，我们现在就需要踩刹车。呃，我们有很多非常有益的应用，我们可以专注于这些，但要将这种死亡竞赛限制在那些我们无法控制的、越来越强大、越来越模糊的通用系统上。我绝对不想看到的是一种外交握手，公司写自己的行动手册，说“我们现在将继续做我们正在做的事情，但这听起来会很负责任”，而政府可以洗手说“嗯，我们尽了我们的职责，让我们继续前进”，那将是一个非常糟糕的结果。
好的，我将从听众那里提三个问题。我会让小组成员考虑回答哪些问题。我们尽量选择以前没有提问过的人，所以这里第二排有人举手，然后那边第二排也有。请提三个相当简短的问题。
大家好，首先非常感谢你们今晚来到这里，与我们所有人分享你们的专业知识。在整个呃，整个讨论中，有一个隐含的假设，即AGI即将到来，而且很快就会到来。我猜那个百万美元的问题是，它到底什么时候到来？但一个更实际的问题是，有哪些警告信号？我们目前部署的系统中是否已经看到了一些？
很好，我们这边也提一个问题。抱歉，麦克风得跑到第二排末尾那里。感谢精彩的小组讨论。嗯，我的问题与扬在开头关于达里奥·阿马达哲学本质的评论有关，你知道，而且也与我猜罗曼的呃演讲有关，那就是我们如何解决控制问题。我听到的那些大型AI实验室反复说的是，哦，你知道，我们需要提高能力，只有更好的AI才能帮助我们找出如何解决AR，而且存在一种竞赛，将能力提高到可以帮助我们解决问题的程度，但不能再进一步。而且，而且只是对那种哲学的一些想法，而且，而且你知道，呃，它是否有什么道理，或者它只是一个完全冒险的游戏，你知道，谢谢。
第三排中间有一个，请把麦克风递到中间去。你认为从AGI到来和超智能到来之间我们有多长的时间框架？在那个时间框架内，是否会有可行的对齐或控制问题的解决方案？如果是这样，那些解决方案能否在“赶紧开发更好的AI”之前实施？
第三个问题是，从AGI到来和超智能到来之间可能需要多长时间，以及那时我们是否有时间找出解决方案。我猜我的问题是，嗯，这一切都是关于AGI的吗？布莱切利公园峰会难道不是为了讨论其他事情，也就是前沿模型，它说即使在我们达到AGI之前也存在灾难性风险吗？所以我将再次按照相同的顺序进行，我可能会有点可预测，扬，你想选择这些问题中的一个吗？
也许，我是说，所有这三个问题的答案都是不确定的。这就是为什么我们需要呃暂停，并暂时休息一下，看看我们如何能呃对这些事情创造更多确定性。
我想我会具体回答呃Anthropic的问题，那确实有很多真相，呃，关于呃，你拥有的模型能力越强，你在经验上就越处于有利位置。呃，你可以，你可以某种程度上呃做，就像用十年前的模型无法做到的方式做科学。呃，而且，Anthropic的人确实有一个说法是，在某些方面，随着模型对你试图用它做什么或对它做什么有了更好的理解，它会变得更容易，嗯，但话虽如此，再次轻描淡写地说，这是在玩火，所以，所以我不确定是否有人应该这样做。
伊娃，扬说一切都不确定，但我们难道不能至少提前商定一些预警信号，让我们说事情发生得比我们预期的要快吗？
嗯，我是说，嗯，如果我们回顾呃过去，有几个人们同意的迹象，它们可能嗯指出我们正在进入一个AI可能呃比我们想象的更有能力的区域。而且嗯，我是说，我们当然已经看到了迹象，嗯，康纳提到，或者罗曼提到，目前的模型嗯在诸如律师资格考试之类的方面超越了大多数人类。嗯，这些显然是能力上的进步，嗯，我有时几乎想知道我们是否只是对它们变得麻木了，因为我们发展得太快了。我是说，再次，CHT几个月前才发布，现在已经很正常了，人们都在等待，好的，下一个大事件是什么。所以嗯，回顾性地思考是否有任何迹象，嗯，如果你没有采取行动来真正停止并重新考虑你正在做的事情，那并没有真正的帮助。所以我认为这里的一个大问题不是有没有迹象，大问题是当我们看到某些迹象时，我们能否预先承诺停止，然后真正停止，或者真正。
采取某些行动，而我们以前从未见过，所以这是在制定应急解决方案，就像我们本应为大流行病制定应急解决方案一样，是的，是的，亚历山德拉，有什么评论吗？我将把……关于达到通用人工智能需要多长时间的问题留给小组专家，但关于峰会的成果，我认为有时对于我们期望从讨论监管中实现的目标存在一些困惑，因为存在一个明显非常……重要、紧迫且关乎生存的关于监管的问题，即长期监管，但同时我们也有企业在观望，等待着现在就有的监管，它将如何影响我的特定行业，它将如何影响我今天所做的事情，以及我们现在面临的直接且非常非常真实的风险，我们现在看到人工智能对媒体、虚假信息等产生影响，但同时也有关于如何在特定行业实施这些的特定方面，所以我希望我们会看到同时解决这些短期和长期问题。谢谢汤姆，有什么想法吗？是的，关于衡量标准，我认为值得记住的是，经典的衡量标准是图灵测试，而那已经过时了。例如，人工智能现在可以在外交类游戏中击败人类，而且远不止于此。我认为现代图灵测试是一个非常有趣的命题，那就是人工智能能否我认为在很短的时间内赚到一百万美元。但正如伊娃所说，我们必须停止改变目标。我们需要同意，我们应该选择一个，同意那就是那个，当我们开始认真对待它时，然后当它通过时，我们应该认真对待它，而这很快就会发生。但在过去，人们说，除非你完全掌握了创造力的所有方面等等，否则你无法解决国际象棋的问题。然后当深蓝赢得国际象棋时，人们说，嗯，它实际上并不是以我们认为的可怕方式做的，它只是在发出巨大的轰鸣声。所以我觉得总会有人不改变目标，但他们会说，嗯，它的实现方式并没有展现出真正的智能。是的，我认为这是一个很好的观点，它让我想起康纳说过的话，那就是到时候不会有采取行动的共识，所以我们需要能够建立一个“愿意者联盟”。安德烈亚，你对这些问题有什么看法？是的，也许我来回答最后一个问题，关于峰会是否是关于前沿人工智能的。嗯，就像目标一样，感觉术语一直在被转移，有时是那些构建它的人有意为之。在过去，人们会谈论超级智能或友好人工智能或强人工智能，然后它变成了通用人工智能，最近“前沿”这个词是一种开启眼界的重塑，哦不，我们很快就会得到非常强大的系统，但它是前沿，听起来比通用人工智能好，因为人们对通用人工智能感到担忧。实际上，这些术语重要吗？不太重要。重要的是系统有多么有能力。基本上，所有这些公司都期望在未来两到五年内构建出在大多数任务上都优于人类的系统，绝对是大多数可以在电脑后面完成的任务。这与我们在性能和计算增长方面看到的趋势相符。这非常令人担忧。这些是能力的水平，我们期望系统会超出我们的控制，除非我们有非常强大的解决方案。所以我们只需要处理这个问题。我们可以称之为前沿人工智能、通用人工智能、原型通用人工智能、原型超级智能，这只是术语。重要的是它们有多强大，以及我们准备好应对它们的程度。我们必须避免严肃的讨论被边缘化到语义学中，这通常非常令人沮丧。我们将再提三个问题。下次我们将按相反的顺序绕着小组走。我将从那些以前没有问过问题的人那里提问。所以，坐在白色衣服里，大概在中间位置的人，如果你以前问过问题，现在请不要举手，这样我们就有更多机会。就在那里，是的，谢谢。三个问题，每人一个。谢谢。假设在 20 年后，我们不知何故做对了，人类仍然存在，尽管开发了这些人工智能，你认为有什么一项重要的监管或发展必须发生才能实现这一点？这是一个很棒的问题。还有其他举手的人吗？麦克风在哪里？那边有一个。谢谢。你谈了很多关于政府应该做什么，公司应该做什么。我感兴趣的是普通人应该做什么？我们能做些什么来让我们的声音被听到？我们应该抗议吗？我知道 21 号有一个国际抗议活动，这是我们应该做的事情吗？还是一个可怕的主意？另一个好问题是，有没有来自女性的问题？是时候听听另一性别的声音了。另一性别的举手。是的，有人举手了，不管是谁。是的，有一个。我们也会选你。我们选四个人。嗯，随着通用人工智能被开发得越来越像人类，你认为是否存在可能出现不具备我们目前数据集中固有的地缘政治偏见形式的通用人工智能？你认为我们应该如何制定不被人类有意识偏见形成的监管？好的，如果我们将麦克风递过去，大概五排后面，边缘位置。是的，在那边。你想先说吗？我可能数错了。是的，四个人。抱歉，一个快速的问题。我实际上在汽车行业工作，我们必须认证车辆和发动机，这是一场艰苦的战斗。你可能花好几年时间只是为了弄好挡风玻璃刮水器，或者弄好一个温度传感器。我很好奇，你是否认为有可能找到那些在世界各地监管和认证过产品的人，以及这有多难，然后创建一个峰会，让那些专业知识汇集在一起，我们可以卷起袖子说，好吧，这就是结构，我们知道什么有效，我们知道什么进展缓慢，并试图加速这种学习，因为我认为这种声音，我们现在在世界上拥有如此多的经验，卷起袖子，我们知道在那些测试实验室里是什么样子，或者发送 30,000 页的文件，附带验证和验证数据，我们知道如何做需求工程、需求设计、需求，我只是想知道是否有人讨论过这一点，以召集一个来自高度监管行业的峰会。四个很棒的问题。首先，20 年后成功了，我们是怎么做到的？是什么监管带来了不同？普通人应该做什么？我们能否设计出不受某些导致人类冲突的人类偏见和地缘政治偏见影响的人工智能？我们能否从那些在多个行业中专业从事监管和认证的人那里学习，而不是仅仅在我们自己的应用中天真地行事？所以，安德烈亚，先说。是的，也许我来回答关于我们能否从高度监管的行业学习的问题。绝对，我认为人工智能领域存在一种巨大的傲慢，或者说是故意的傲慢，只是认为这个行业应该特殊，人们应该绝对自由地随时进行任何他们想要的实验，使用他们想要的计算能力，尝试最糟糕的应用程序，完全开源到互联网上，没有人可以抱怨。很多时候，人工智能领域的人在有人告诉他们“好吧，也许你刚才做的事情应该受到监管，在其他行业我们不会这样做”时会非常非常生气。就像对待药物一样，我们不会让制药公司随意发布未经测试的药物给数十亿人，然后让他们公司的首席执行官说，“哦，服用这种药有 20% 的死亡几率，但没关系，如果发生了，你可以告诉我们，然后我们会停下来，也许吧？”所以我们可以完全从中学习，那将是很好的。有一点是，我们目前对当前系统了解不多，这使得审计和评估它们变得相当棘手，因为我们根本不知道它们内部是如何工作的。但我们可以做很多其他事情，而且我们绝对可以从高度监管的行业中学习。绝对，鉴于公司本身承认的风险，前沿方法应该是高度监管的行业，而不是完全不同的人工智能，而且我们确实可以从中学习。汤姆，你的结束语。嗯，我来回答关于普通人应该做什么的问题。我有两个直接的想法。一是保持这个问题非政治化非常重要。二是立法者需要一种合法性感，我认为，以便通过法案和法案等方式制定和引入监管。一个很好的例子是，在 COVID-19 初期，这种情况发生得有点太慢了，当时这是一个边缘问题，没有明确的规则，然后公众参与进来，突然规则来得有点晚了，但它们确实来了。普通人如何实现这一点？我认为普通人，我没有抗议理论，所以我不会评论。但我认为重要的是，我们都应该让这个问题保持在公众对话中。我想我的回答真正倾向于的是，你们都应该多读关于人工智能的新闻，点击我的文章。谢谢。亚历山德拉，这些问题中有哪些引起了你的注意？我认为，我认为你那个穿橙色毛衣的提问者的问题绝对是我们前进的方向。我的意思是，必须有一种类似于汽车行业或 FDA 的系统，以及我们通常如何认证我们的产品。我只是不知道我们如何从那里走到一个非常难以追踪和监控的人工智能。但我想对那位穿白色衬衫的绅士说，如果我们展望未来 20 年，我们说，在英国，2023 年 11 月，我们能够制定监管，以某种方式实现了可追溯性，这样我们就可以弄清楚系统失控的地方，或者落入坏人之手的地方，那将是一个巨大的成功。我认为现实有点不同，那就是它可能更像网络安全蓬勃发展的世界，这意味着你一直在努力创建一个大坝系统，或者一个防御所有传入的不好的活动。所以，我知道这些都不是完美的类比，但我认为我们可能会在那个宇宙中运作一段时间。谢谢。最后的结束语，伊娃。当然。我想简要地谈谈两个问题。其中一个是我认为你那个穿白色衬衫的提问者的问题，什么样的政策能让我们在 20 年后走向一个安全的世界？我认为今天已经提到过一项政策，但我想再次强调，那就是严格的责任制度，只是为了改变驱动私营公司采取某些不利于广大公众利益的行动的激励系统。所以我认为在那里我们可以真正地改变激励结构，促使公司采取不同的前进方向。那么普通人、公众可以做什么呢？我完全同意汤姆的观点。我认为，为了更好地表达，我们真正需要做的一件事就是制造噪音，确保这个话题在公众中得到讨论。你可以通过多种方式做到这一点。你可以写信给你的地方报纸，如果你喜欢，你可以进行抗议，你可以写信给你的议员或国会议员，无论你住在哪里，再次为人们采取行动解决问题创造合法性，因为对许多人来说，这听起来非常像科幻小说，政策制定者不会采取行动，报纸也不会继续报道一个问题，如果他们觉得这个问题没有吸引力，也没有被公众认真对待。普通人还可以做的另一件事是，我们可以教育自己，然后分享我们认为最有说服力的信息，因为有各种各样的书籍，各种各样的 YouTube 频道，各种各样的博客，其中一些比其他更好。所以，让我们分享我们发现的最好的。尤托，在我把话筒交给扬之前，也许我会请你准备好上台，因为你将做一些总结性发言。扬，你对你听到的有什么回答？是的，只是强调一下普通人可以做什么。就是让这个话题保持活跃。我非常自豪的一件事是，来自“未来生活”六个月后的一封信，是由欧洲委员玛格丽特·贝斯特提出的，她说，这封信所做的一件事就是向监管机构传达，这些担忧在人们中间比在监管机构中更为普遍。所以我认为这种潜在的差异应该不断保持。那么，关于引入像监管行业那样的人的专业知识，我认为这非常有价值。我曾是欧洲委员会的欧洲高级人工智能专家组成员，有时我们会问，“我们为什么要发明轮子？我们已经有很多监管了，我们为什么不直接应用呢？”我说，“是的，但是有一个大问题。”问题在于 GPT，GPT 代表生成式预训练 Transformer。预训练是你实际训练之前所做的事情。所以，人工智能领域的当前秘密是，人工智能不是被建造出来的，而是被培养出来的。培养前沿模型的方式是，你拿两页代码，放在数万个图形卡上，让它们运行几个月，然后你打开引擎盖，看看是什么生物冒了出来，以及你能用这个生物做什么。所以，我认为监管……行业……处理各种责任限制等的能力适用于一旦这个生物被驯服之后发生的事情，而这正是微调和人类反馈强化学习等正在做的事情，然后产品化。然后你如何处理这些问题？但是，这正是我们需要其他行业的能力的地方。但是，如何避免系统在训练过程中逃逸呢？这对人类来说是一个全新的问题，我们需要一些其他的方法，比如禁止那些训练用的显卡。这很好。我们稍后会感谢小组成员。我请小组成员留在这里，因为今晚的总结发言将由尤托·巴滕进行。尤托是存在风险观测站的执行董事，该观测站与 Conjecture 一起设计、组织和赞助了整个晚会。尤托在结束发言之前，我们这些还在的人可以喝一杯，继续非正式地讨论，直到晚上 10 点，届时我们必须离开大楼。尤托，就在这里。好的，谢谢大卫。在去参加五分钟后的酒会之前，我有一些结束语，所以你应该能跟我一起跟上。所以我们今晚要谈论的是人类因人工智能而灭绝以及如何应对。我认为，如何应对，这也是观众提出的一个很棒的问题，我们能做些什么？这正是我几年前问自己的问题。但这并不简单，而且实际上相当困难。什么是有净积极意义的？你可以做什么？自己开发人工智能，尝试安全地进行，就像 OpenAI、DeepMind 和 Anthropic 正在做的那样。这会提高安全性吗？有人这么说。从事人工智能对齐，例如可解释性，我们上周取得了重大突破。这可能是一个不错的选择，但增加对人工智能工作原理的了解也可能加速其发展。这带来了风险。人们可以倡导监管，例如人工智能法案，我们支持这一点，但这也有其缺点。所以我认为很难说应该做什么来降低人工智能导致人类灭绝的风险。但当我开始阅读这方面的内容时，我只确信了一件事，那就是你不能在不告知我们的情况下将人类置于危险之中。所以你不能让十几位科技高管在不告知任何人的情况下踏入奇点，你也不能让 100 人在一个峰会上决定应该建造什么，不应该建造什么。我认为你也不能让少数人决定我们其他人应该承担多高的灭绝风险。所以，我唯一确信的是，我们应该被告知这个话题。这也是为什么我很高兴有这样的活动正在举行。我很高兴我们不仅与 INR 的人在一起，你们中的一些人是，这很好，而且还与一些可能从未听说过存在风险的人在一起，还有记者，他们可以告知更广泛的受众关于存在风险，还有一位议员，一个有工作的人，公开讨论困难的问题。所以我认为这一切都非常令人鼓舞，它有助于正常化关于人工智能导致人类灭绝这个话题的公开辩论。10 月 31 日下午 2 点，我们将与斯图·罗素教授举行下一场活动。就在布莱切利公园人工智能安全峰会外面，在老议会厅，密码破译者曾经在那里庆祝他们重要的工作。所以，我们在峰会前一天在布莱切利公园的活动可能不像一场庆祝活动，但在某种意义上，我认为它是，因为我们庆祝我们都被听到，我们庆祝我们可以成为关于本世纪最重要技术应该和不应该做什么的民主对话的一部分。我们可以谈论我们认为可以接受的人类风险，以及我们打算如何应对那些过高的风险。作为存在风险观测站，我们与 Conjecture 一起邀请大家参与这场对话。所以，在这个领域有很多不确定的地方，但如果有一件事我确信，那就是本世纪最重要的对话，我认为就是这场对话，必须是民主的。所以，我想邀请大家扫描左边的二维码，如果它能正常工作的话，加入我们在布莱切利。这包含了你可以注册布莱切利公园活动的网址，如果你有兴趣的话。那么，一定要过来看看。你的椅子上的传单上也有同样的二维码。除了布莱切利，我认为这场对话不会停止。根据我的时间表，大约还有 18 次左右的峰会。所以，我们可能会组织更多的活动，可能会发布更多关于人工智能的内容，做更多的研究，并尽可能地告知政府。如果你想关注我们或支持我们在存在风险观测站的工作，请扫描右边的二维码。有很多事情你可以做来帮助我们。至此，我想结束今晚的活动，再次感谢我们所有杰出的演讲者，他们是 Rome Yevski Cornell、Sir Robert Buckland、Yalin、Andrea Mi、Alexandra M、AA Be 和 Tom。给他们热烈的掌声。我还要非常感谢 David Wood、Shm、Conor、Exotis、Ruben、Dylan 以及 Conway Hall 的所有人，他们也使今晚的活动成为可能。非常感谢。然后，我希望在布莱切利见到你们，无论如何，你们现在可以喝一杯了。谢谢。谢谢大家。做得好，做得好，是的。