Transcription
[音乐] 所以在上一场会议中，当我们都非常乐观的时候，在某些情况下，我们变得如此兴奋，感觉有点像科幻小说，尽管我确信许多与会者会争辩说，这实际上是建立在坚实的科学基础上的。如果你特别是在喝了一两杯之后遇到我，你也会听到我变得非常兴奋地谈论太空探索和做各种各样的事情，这些事情听起来绝对像科幻小说，除非你是一名天体物理学家。现在，在我们去吃晚饭之前，我们将把话题拉回到一个非常具体的问题：我们现在应该做什么？什么将有助于实现所有这些了不起的事情，并避免沿途的任何陷阱？即人工智能方面的技术研究，可以帮助我们解决这些问题。在此次会议之前，我们举办了一个非常技术性的研讨会。如果你参加了，请举手，我们在那里详细讨论了在过去两年里，由这个资助计划资助的受助者所取得的许多进展。感谢埃隆·马斯克和开放慈善项目，发生了许多令人兴奋的事情。我认为莫萨里非常简洁地总结了这一点，他说，当人工智能安全研究变得无聊时，你就知道事情正朝着正确的方向发展。当演讲中有充满方程和矩阵的幻灯片时，它就变得无聊了。所以，事不宜迟，我要问你们每个人，不要害怕在这里稍微深入一点，但你们觉得现在，而不是在20年后，什么样技术性的、具体的研究才真正有用，并且能够帮助实现这些目标？肖恩，你想先说吗？嗯，我认为目前一个非常有趣且重要的话题是理解神经网络和其他机器学习系统内部的表征。很多人已经表达过这个想法了，所以这 hardly 是新的，但我认为这将在近期、中期和长期内都具有相关性，并且我认为出于许多原因，它将非常非常重要。另一个话题，在近期不是那么重要，但我认为它非常非常有趣，是“线控”（wireheading）的想法，即一个强大的强化学习代理可能会访问它的奖励机制或它自己的部分源代码或其他类似的东西，并且可能会采取行动来修改它，而不是实现你认为你已经内置到其中的目标。我认为这是一个可行的理论问题，我知道有不少人正在研究它，但我认为理解这一点，以及哪些系统可能“线控”或不太可能“线控”，以及如何、何时等等，我认为这将是一个非常有趣的问题，而且从长远来看，它可能会变得相当重要。我认为有一点我想说的是，许多人对你可以为安全工作做什么有一个崇高的想法，或者有很多奇思妙想。我想说的是，目前安全工作的状态是，如果你有一个黑箱，它可能是一个函数优化器，或者是一个你假设具有相当大能力的黑箱，你是否能够利用这个黑箱来，你知道，编程一个机器人手臂，将一个草莓放在盘子上，然后什么都不做？如果你能拿一个任意能力的盒子，让它把一个草莓放在盘子上，然后什么都不做，那么你就解决了。这是我们今天在完全通用的情况下不知道如何做的事情。当然，我们可以编程机器人手臂来放草莓，但是，拿到一个任意能力的盒子，我的意思是，即使只是说，你知道，我们想要一个任意能力的系统，它会按下这个开关，然后关闭，这充满了许多技术问题，许多技术挑战。如果你知道，没有明显的“关闭”边界，斯蒂芬·蒙德罗在这里会告诉你，如果你不小心写了一些激励系统创建子代理以确保草莓放在盘子上的目标，那么你知道，你可以陷入这些兔子洞。所以我想说，目前对我来说有趣的技术安全工作，集中在这些非常小的玩具问题上，真正理解这些玩具问题，你在其中将能力视为一个黑箱，你说，让我们假设我们有一个高度有能力的人工智能系统，我们将如何解决这个或那个玩具问题。我认为有很多这样的问题，其中许多你可以在作者署名的论文中找到。好了，在我把话筒交给理查德之前，我在研讨会上再次被一种感觉所打动，即一个新的子领域正在诞生，并且充满了迷人的问题，人工智能安全研究，它当然涵盖了从现在对近期问题非常有用的事情到更长远的事情。所以，理查德，专注于与人类水平或更高水平的人工智能相关的事情，你觉得有哪些真正令人兴奋的领域？如果你要点出一个真正令人兴奋的领域，你会选择什么？是的，所以我想说，能够找到连接自上而下的价值规范和自下而上的价值学习之间的桥梁，这是一种我还没有看到太多的研究方向，如果我们能有更多这样的研究就好了。这与德米斯早些时候谈到的关于符号和语义的接地学习非常相关。然后我们可以从潜在的偏好聚合，到诸如逆强化学习的高级版本，实际上能够连接这些。很好，达里奥，在你告诉我们你最喜欢的领域之前，你在研讨会上也说了一些非常有趣的话，关于你如何看待长期研究目标与短期研究目标和安全相关联。你想先谈谈吗？当然，实际上，我所说的很多内容都包含在肖恩·莱克今天早些时候的演讲中，我认为有几个原因，这非常重要，也是我最期待的，是寻找一种综合理论，将人工智能长期可能出现的问题与人工智能短期可能出现的问题联系起来。所以，你知道，我第一次对安全话题感兴趣，例如通过阅读尼克·博斯特罗姆的书，我对那本书的反应是，书中描绘的场景既 plausibly 又模糊。我真的可以相信这些问题在某个时候会发生，它们可能真的会威胁到人类。但是，我发现这个问题有几个令人不快的特点。一是，因为我们从未构建过超级智能系统，我们不知道如何实证地研究一个系统是安全还是不安全的。所以我们被困在漫长的理论推理链中。二是，这是我们只有一次机会的事情，所以再次，很难获得反馈循环并进行实证研究。因此，将它与人工智能研究的其他部分联系起来，以及实际取得进展，都非常有价值，将短期问题与长期问题联系起来。所以，我将提到几件我特别兴奋的事情，尽管有很多。一是，尼克书中的一个担忧是，一个具有错误目标函数的强大代理可能对人类非常不利。但这同样发生在我们今天拥有的代理中。事实上，这是强化学习中一个非常常见的失败模式。所以，更好地理解这种情况何时发生，以及寻找基于学习奖励函数或从模仿中学习或使用迁移学习来学习奖励函数的强化学习的修改版本，是我觉得非常有趣的事情。二是，人工智能安全社区很少提及的事情是安全探索。这是这样的想法：如果你是一个强化学习代理，并且你正在学习，也许你的目标函数是好的，当你完全学会做你想做的事情时，你会为你的预期目的做有益的事情。但在你学习的过程中，你可能会做一些破坏性的事情。所以，如果你是一个机器人直升机在学习，你可能会在学会一个好的策略之前就坠毁并摧毁自己。我认为，这方面的长期版本，类似于内特谈论的，当一个人工智能修改它自己的内部状态和代码时，即使你能 kind of 信任它在完全学会那个过程时会做什么，它也可能做一些导致它脱轨的事情。很难研究那种今天任何系统都无法做到的极端未来场景。但我认为推动安全探索可以帮助我们思考那个话题。所以，这是几个领域。很好，你想补充点什么吗？嗯，我认为，从安全的角度来看，为人工智能代理指定目标函数，特别是强化学习者的奖励函数，是一个非常具有挑战性的问题，因为这涉及到构建常识，而这非常困难。而且有很多子问题，我认为今天研究它们非常有意义，比如肖恩提到的“线控”，以及如何构建避免“线控”的系统，并避免在你的目标规范中找到某种漏洞，从而仅仅给予它无限奖励，而没有真正实现你想要的东西。我认为，要弄清楚如何构建不落入这种陷阱的代理，将相当棘手。指定目标函数的另一个重要部分是构建能够避免负面副作用的代理，这是达里奥在具体问题论文中经常谈论的事情。我认为，当我思考我们如何让代理避免负面副作用时，你就必须能够很好地指定基线是什么，所以，什么是没有副作用的状态，你必须弄清楚如何衡量副作用。我认为，将这些东西形式化将是一个挑战，而且它将是指定目标函数的重要组成部分。很好，你呢？是的，鉴于我们已经听到了许多关于如何确保我们构建的人工智能系统不会有害、不会恶意的好主意和想法，我想分享一些我认为我们可以最大化人工智能对社会效益的方法。当然，我们已经听说了人工智能的一些非常令人兴奋的应用，比如在医疗保健或自动驾驶领域，这些应用有可能拯救成千上万甚至数百万人的生命。但我的观点是，还有更广泛的问题，非常重要的问题，也许没有得到足够的关注，因为从事这些问题的经济激励不那么强。我想到的是环境问题或发展问题，如贫困、粮食安全或气候变化。我坚信，其中许多问题都可以通过人工智能技术得到更好的解决。而且有一些非常具体的问题，我们可以利用我们现在拥有的狭义人工智能来解决。举几个具体的例子，我想到了汤姆正在做的关于利用强化学习来寻找更好的自然资源管理方法或环境保育方法的工作，或者利用机器学习来构建更好的气候模型。还有我们一直在做的关于利用人工智能和机器学习技术来解决与贫困和粮食安全相关的问题的工作。我认为对这类问题日益增长的兴趣，但存在许多技术挑战和问题，我认为在这些领域看到更多工作将是很好的。很好，斯图尔特，我们在开幕式上已经听到了你的一些令人兴奋的未来方向。你想补充一些你感到兴奋的事情吗？我们还有多少时间？嗯，实际上，我认为最有益的事情可能是停止将我们所做的事情视为安全或伦理，或者某种将要叠加在真正的东西之上的东西，即人工智能。而是将其视为良好人工智能系统设计的内在部分，就像一座好的桥梁的设计中不会倒塌一样。它不是土木工程中的两个独立学科，只有一个学科，那就是不会倒塌的桥梁。所以，这将是一个进步。我一直在想那些关于强化学习者道德待遇的人，我为那些强化学习者感到难过，他们有时会得到负面奖励，这可能使他们遭受巨大的痛苦。然后我想，好吧，我们有一个塑造定理，它允许我们在状态空间上添加任意势函数，然后我们可以将所有这些奖励推到正区域，它们将表现得完全一样，发生的事情也完全一样，但强化学习代理不会遭受痛苦。所以，我认为我们已经解决了“油门问题”。但这当然表明，我们给强化学习代理的这些数字并不是像对人类或动物那样真正的奖励。它们只是信息。我前几天在演讲中提到的一个事情是，如果你只是将强化信号视为信息而不是奖励，那么就没有“线控”问题，因为根本没有动力去破坏你的信息来源，而这是你获得实际奖励的唯一途径，那就是通过行动来优化真正的隐藏奖励函数。所以我希望我能发表一篇关于这个结果的论文，人们可以停止担心“线控”，至少对于人工智能系统来说是这样。对人类来说，这仍然是一个问题。我只想再提一件事，你知道，所以，对于那些在研讨会上，达里奥，是你展示了那个快艇的东西，对吧？所以，他们有一个快艇赛车游戏，强化学习的快艇设计了一个令人难以置信的策略，这比根据得分函数完成比赛要好得多。它只是在一个非常小的圈子里来回飞驰，撞到各种东西，但通过某些地方收集积分，在那里你可以获得额外的积分。所以我认为，这表明我们真正受益的是模拟环境，在这些环境中，当人工智能被错误指定时，会发生坏事。因为我们真的需要更多的例子来说明可能出错的事情，以帮助我们了解我们应该走向何方，以及我们应该解决什么问题。我们可以解决很多想象中的事情，特别是来自对问题的口头描述和对任意智能代理的口头描述的想象中的事情，当你在编码时，它们实际上会蒸发。你想补充点关于你的快艇的事情吗？是的，我的意思是，我没有在之前说的话中提到这一点，因为我不想宣传我的组织开发的软件工具，但是，你知道，我们开发 OpenAI Universe 的原因之一，它有很多目的，实际上是为了创造斯图尔特所讨论的那种东西，你知道，如果我们有一个广泛的环境，我们可以在一个环境中训练人工智能，然后在类似的环境中测试它，看看可能会出错的地方，或者给它访问广泛的事物，那么我认为更丰富的环境实际上使展示这些问题变得容易得多，然后，在展示了这些问题之后，尝试解决它们。是的，我发现这非常令人鼓舞，达里奥，你所做的也是如此，因为即使你知道你不想搞砸我们的宇宙，如果你只有一次机会，好吧，如果你有模拟宇宙，你真的可以像传统的科学方法一样，一遍又一遍地进行实验。现在，既然我们有幸拥有如此跨学科的观众，我的下一个问题不是科学问题，而是社会学问题。你提到了关于谈论这类研究的社会学问题，以及我们所有人是如何研究的。我很好奇，在过去的几年里，你是否觉得这种禁忌有所消退？你觉得情况差不多一样，还是你看到任何迹象表明它正在逐渐消失？哦，我绝对认为它已经大大减少了。我想，我不知道，我认为这是一个令人惊讶的领域进展的结合，很多人，你知道，在过去的五年里发生的事情比很多人预期的要多得多，所以有一种更强的乐观情绪。你在 icml 和 nips 等会议上看到的人数爆炸式增长中看到了这一点。我认为另一件事是，你知道，就 DeepMind 而言，当我们刚开始的时候，我们只有五个人左右，我们说我们要创办一家公司，我们认为我们有机会在几十年内构建一个人工智能，我们没有多少声誉。现在我们已经证明我们可以做好人工智能研究，我想人们会更认真地对待我们。所以，这是这些事情的某种结合，但它只是关于与人交谈的轶事证据，嗯，我想这也是我听别人讨论这些话题。我记得很多年前，人们真的不会谈论这些话题，但在会议上，我听到很多人现在都在谈论这些事情。有人想在这一点上与肖恩意见不合，或者分享任何类似的经历吗？嗯，我仍然认为存在制度阻力。我认为人工智能领域有一个老派观点，认为任何提及风险都是反人工智能的，是叛国行为，需要抵制。我们只能谈论人工智能可以做的所有好事。正如我在演讲中提到的，我认为这是一个非常错误的观点，可能会导致更糟糕的结果。我真的鼓励公开、激烈、健康的辩论。我只是在等待另一方说一些真正明智的话，这样我们就可以进行辩论了。达里奥，所以，我想补充一点，我的意思是，我同意肖恩和斯图尔特所说的，我认为在过去一年左右的时间里，在这方面取得了很大的进展，而且仍然有一些进展要做。我认为我们可能处于一个阶段，你知道，在我们之前，我们处于一个阶段，你知道，仅仅向人们解释问题，也许讨论一些可以解决的事情是限制因素，但现在我实际上看到很多人在这样做。而且我认为肖恩可能在他的演讲中也提到了这一点，但我认为，让关于这些主题的论文进入 icml 和 nips 等著名会议，我认为这既能验证我们自己所做工作的价值，又能使其在整个领域合法化，而这可能就是目前的限制因素。太好了，我认为现在是向观众开放提问的完美时机。所以，让我们看看，扬，首先，你想站起来吗？扬·农恩，斯图尔特刚刚要求一些反驳意见，所以我要试一试。好的，嗯，在上一场会议的演讲中，有几件事被提到了，我认为需要用更理性的方式思考。第一件事是，有很多灾难情景依赖于这样一个想法，即某个实体将想出人工智能的解决方案，然后对其他人来说就结束了。这完全是荒谬的，科学根本不是这样运作的，这个社区的组织方式也不是这样。如果说有什么不同的话，那就是这个社区在过去三年里比以往任何时候都更加开放。所以，如果我们正在经历一个相变，那么它就是从封闭到开放的相变，而不是反过来。你知道，每当一项技术出现时，仅仅是它的存在就会导致其他不属于其起源的实体在几个月内创造出它。今天没有一个在人工智能领域工作的实体，在任何主题上比其他实体先进超过大约六个月。所以，不会是一个实体获胜，然后就结束了。这根本不会发生。它将同时发生在许多不同的地方。另一件事是，人工智能，无论是否超级智能，都将非常容易运行。它需要运行在一个大计算机上，需要供电，需要维护。而且你知道，它最终会失效。而且你知道，无论它有多么超级智能，你知道，如果它没有所有能够修复自己的手段，它就不会持续很长时间。其次，如果存在另一个具有同样先进技术的人工智能系统，其唯一目的是摧毁第一个系统，那么它将以同样的方式获胜。我们可以很容易地被鳄鱼杀死，它们并不像我们聪明。我们可以被水母杀死，它们甚至没有大脑，或者被病毒杀死。所以，你不必很聪明就能摧毁一个超级聪明的实体，如果你唯一的目的是这样做，你就会赢。我认为，尼克·博斯特罗姆描述的那种情景，或者他提出的问题，人工智能是否像核武器一样，进攻比防御容易得多？我认为，对于人工智能来说，情况并非如此。我认为，防御人工智能比用人工智能攻击容易得多。你知道，我们已经拥有危险的自主武器，而我们拥有的最危险的自主武器实际上已经被法律禁止了，根据最近由美国签署的国际条约，它们是地雷。地雷是危险的自主武器，不是因为它们聪明，而是因为它们愚蠢。这就是为什么它们被法律禁止。它们造成了很大的损害，但是，你知道，几十年后人们终于清醒了。有一个问题，让斯图尔特有机会对他提出的所有观点做出回应，在他还记得所有观点的时候。你想快速回应吗？天哪，嗯，所以，我想，第一个问题是，会有相互的，会有相互保证的毁灭。因为一旦有一个人工智能系统，就会有另一个。我的意思是，可以说，美国在任何人之前开发了核武器。实际上花了好长时间，而且不是俄罗斯人自己开发的，他们不得不被真正地给予了。而且，所以，你认为如果 Facebook 开发了，比如说，超级智能人工智能，不会有人被 Google 招募去告诉他们怎么做吗？我的意思是，这和核弹发生的事情完全一样。有人的存在，花了四年时间，在这段时间里，事实上，美国国内存在巨大的制度压力，要求在俄罗斯人开发之前就轰炸他们，以建立完全的统治地位。所以，你知道，所以，我一点也不被我们的历史所安抚，我也不认为这些我们无法理解的超级智能人工智能系统都会互相杀死，并且不会给我们带来任何问题。所以，让我简单提一下自主武器的事情。我的意思是，是的，地雷是迄今为止最危险的自主武器。这是因为在我们的大部分历史中，我们还没有足够好的人工智能来做任何比爆炸更重要的事情。但现在我们有了。所以，想象一下，一千万架飞行的地雷，每架上面都有一个人的名字，飞往纽约。这是一个相当可怕的设想，而且完全有可能用今天的技术实现。我们几乎没有时间进行这次会议了，而且我确实想给其他举手的人一个机会。但我非常鼓励你，扬和斯图尔特，今晚在晚餐时坐在一起，因为我可以保证你们两人都会有一场非常激动人心和有趣的讨论。所以，让我们看看，谁是下一个？站起来，我是伊恩·古德费洛，来自 OpenAI。我想评论一下肖恩的演讲，并为其中一个已识别的问题提供一个部分解决方案。他引用了安德鲁的话，他说许多研究人员现在不知道如何处理具体和可操作的事情。他说，处理未来的超级智能控制问题现在不够具体和可操作。我处理这个问题的一个方法是研究与控制现有模型相关的问题。特别是，我研究了很多关于对抗性样本的问题，我们希望让物体识别算法理解一辆公共汽车的图像就是一辆公共汽车，而且很容易找到方法，你可以拍一张公共汽车的图像，然后让系统说它是一只鸵鸟。所以我认为我们现在研究的这些技术，如何防止这些问题，将来可能会扩展，而且现在人们可以处理这些问题。很好，你想从谁那里得到答案？肖恩，是的，这有点像我之前说的，关于试图连接近期、中期和长期问题。而且我认为，在近期有很多事情，比如理解表征和能够检查表征，在未来将继续很重要，并且可能以非常有用的方式为我们提供信息。所以，无论如何，如果你能把一些人可能认为是长期问题，并提出相关的近期问题，这可能是一个非常有益的研究途径，而且也可能让人们对一些长期问题持开放态度，因为正如你指出的，它们会显得更容易解决。达里奥，是的，我的意思是，我实际上会赞同伊恩关于对抗性样本的评论。我认为，关于对抗性样本的一件事是，它涉及到思考一个对手如何能让一个神经网络，或者一个包含神经网络的策略，做一些你不想让它做的事情。当我们担心控制问题时，我们担心一个系统可能会自主地做一些我们不想让它做的事情。我认为这两件事是相关的，因为在这两种情况下，你都担心某件事可能做的最坏的事情。我认为它们不是同一个问题，但我认为我们应该更多地思考这些问题之间的联系。这是伊恩自己有时提出的一个观点，我认为应该强调。维亚，你有什么快速评论吗？还是达里奥已经说了？看起来你好像……我认为，嗯，我有一个关于扬·农恩问题的快速评论。实际上，我认为我对“让人工智能唯一目的是关闭原始人工智能”的提议解决方案仍然有点悲观。我认为，如果你看看那些可能杀死人类的危险动物的例子，比如鳄鱼或老虎，我认为我们也可能注意到，是的，那些危险的动物确实存在，但我们房间里没有它们，我们大多把它们关在动物园里，因为我们知道它们很危险。所以我认为，如果一个通用人工智能（AGI）意识到某种试图关闭它的系统，它就会有某种激励措施来把它关在某种动物园里。所以，我认为我们可能需要提出更多的解决方案。好的，这里的工作人员为我们准备了非常美味的晚餐，我们不想让它变得太冷，所以我们将进行最后一个问题。肖恩，你举着手的时间最长了。嗨，我是肖恩，来自剑桥的卓越风险研究中心和未来智能中心。我的问题是受到有机会在一个令人兴奋的中心工作，在那里我可以为来自广泛学科的许多人设置研讨会和讨论小组的启发。我的问题是，在两年后，你希望谁在这里，而现在却不在？就专业知识来源、学科、目前在社区中代表性不足的事情而言，我们可能需要更多，或者可能以我们未曾预料到的方式解决这些问题。谢谢。内特，是的，我想说，这次会议涵盖了非常广泛的主题。昨天侧重于经济影响，今天侧重于更长期的影响，明天将侧重于法律，也侧重于伦理，如果我没记错的话。我不确定我是否记对了日程安排。我想说，我真正兴奋的是，也许在两年后，也许在其他地方，有一个更侧重于实际进行技术工作的研讨会或会议。我们早些时候有一个研讨会，侧重于报告技术工作，那很棒。但我真的希望看到一个侧重于在有大量兴趣和才华横溢的人在场的这段时间内，我们可以完成什么工作的研讨会。在这些类型的活动中，我认为这里的人与那里的人的区别在于，更多的是该领域的顶尖人物。我怀疑这里的深度学习人数比该领域的构成比例要少。所以，是的，只是让很多人才聚集在一起，解决具体的技术问题。很好，你将得到最后的发言权。维亚，嗯，我想简要地说，我认为有更多从事安全工作的人会很好，他们可以提供安全视角来解决对抗性样本和其他我们面临的安全方面的对抗性挑战。很好，那么，让我们给我们的全体成员热烈的掌声。[音乐]