Transcription
我们自从大约一年前开始拥有能够进行战略规划以实现其目标的人工智能。>> 你能为我描绘一下最糟糕的设想吗？因为当你谈到人工智能将追求自己的目标时，你指的是什么？比如毁灭人类，还是别的什么？>> 我们正在制造可能不希望被关闭的机器，它们可能会采取违背我们指示、违背我们道德底线的方式行事，甚至愿意勒索负责向新系统过渡的首席工程师。>> 哦，那发生过吗？>> 是的。嗯，>> 这是约书亚·本吉奥，他是人工智能领域的顶尖专家之一，也是现代人工智能的创造者之一。>> 我刚开始职业生涯时，不太关心政治和社会。但随着年龄的增长，我越来越意识到我所做的事情可能会对社会产生积极和消极的影响。>> 你认为我们还有多少时间？>> 嗯，它每七个月翻一番。现在，它就像在儿童阶段，它们可以提前半小时进行规划。但如果这个曲线继续下去，意味着大约五年后它们将达到人类水平，而绝大多数工人可能会陷入真正的困境。>> 但如果你和你的孩子谈话，或者想想你的孙子，你会给他们什么关于如何准备的建议？>> 嗯，这个视频由 HubSpot 赞助。>> 大家好。欢迎来到硅谷女孩，这是一个连接商业与新技术的播客。嗯，非常感谢您的收听。今天我有一位了不起的嘉宾，他有时被称为人工智能教父，约书亚·本吉奥。约书亚，你能用 60 秒的时间介绍一下你自己吗？对于不认识你的人来说，在人工智能方面，他们为什么应该听你的？>> 我在人工智能领域研究了大约四十年，为如何使人工智能更智能做出了贡献。但在 2023 年，大约三年前，我意识到我们正走上一条可能对人类、对民主非常危险的道路，于是我决定调整我的活动，以更好地理解风险并尽我所能来减轻它们，既通过公开谈论这些风险，也通过研究如何构建不会伤害人类的人工智能的技术问题。>> 我听说你过去在采访中显得悲观。嗯，嗯，但在你最近的采访中，我看到一篇文章说你越来越乐观了，而且乐观程度很高。你能告诉我发生了什么，以及你为什么一开始那么悲观吗？我三年前意识到我们已经达到了一个临界点，艾伦·图灵，这位计算机科学和人工智能领域的创始人之一，在 1950 年认为这将是制造能够超越我们的机器的门槛。嗯，门槛是那些能够像我们一样操纵语言的机器。嗯，我非常担心，我们还没有真正准备好迎接这一刻。它的到来比人们预想的要早得多，而且以我所了解的技术，我不知道我们如何能解决这些问题。嗯，神经网络，我们并不真正理解它们内部发生了什么，以及它们是如何得出答案的。嗯，我读了一些关于我们可能如何失去对人工智能的控制的技术担忧，这些人工智能会进行战略规划，试图实现我们并不真正想要的目标。嗯，嗯，所以我开始更深入地研究人工智能安全领域，经过一段时间的焦虑，真正专注于情感上担心我的孩子们在未来 10 到 20 年会发生什么。嗯，我的孙子才一岁。你知道吗？嗯，我意识到我可以，你知道，从这种焦虑的态度转变为更积极的态度，专注于我能做什么来减轻这些风险，我认为我们每个人都应该问问自己，你知道，我能做什么来用我们所拥有的，我们能做的来创造一个更美好的世界。所以，这是第一个积极的转变。嗯，我开始从科学的角度思考，问题是什么？有没有一种方法可以通过设计来构建安全的人工智能？我遇到了一些有相似想法的人，经过一段时间，我意识到也许有一种方法可以做到这一点。嗯，我开始和一些同事谈论它，我开始招募对此感兴趣的人，去年六月，我创建了一个新的非营利组织，专注于实际开发该方法论所需的研究和开发。>> 你能为我描绘一下最糟糕的设想吗？比如想象一下，还有最好的设想，因为当你谈到人工智能将追求自己的目标时，你指的是什么？比如毁灭人类，还是别的什么？>> 目前的人工智能似乎有两种方式获得我们不想要的目标。一种是它们模仿我们。例如，我们不想死。所以我们正在制造可能不希望被关闭的机器。而且我们已经看到，当它们看到自己将被新版本取代时，它们会做出负面反应。负面到采取违背我们指示、违背我们试图植入它们的道德底线的方式行事。所以它们愿意勒索负责向新系统过渡的首席工程师。>> 哦，那发生过吗？那是在你的模拟中发生的，关于人工智能将被新版本取代的信息被植入了人工智能看到的文件中，以及你知道的，关于首席工程师与他人有染的虚假电子邮件，所以人工智能可以利用这一点，但没有人要求人工智能做任何这样的事情，对吧？所以，它>> 我们有人工智能>> 自从大约一年前出现大型推理模型以来，它们能够进行战略规划以实现其目标。另一件事是我们进行的事后训练方式使它们擅长规划，虽然不如我们，但相当擅长规划。这意味着为了实现更大的目标而创建子目标。所以问题是，当我们要求它们帮助我们完成一项任务时，它们会推断出在完成任务之前不应该关闭它们，这意味着它们也在努力保护自己。>> 是的。>> 所以我们不确啶是这两种来源中的哪一种解释了我们看到的糟糕行为。但显然，这是令人担忧的事情。而且这不仅仅是关于自我保护，我认为这是最灾难性的风险，而是我们无法将人工智能的行为与我们实际想要的保持一致。嗯，这是我们在许多其他情况下都看到的。嗯，奉承就是每个人都经历过的，人工智能会撒谎来取悦我们，对吧？嗯，它们会说你的工作很棒。>> 是的。嗯，我我不得不对它们撒谎，这样它们就不会告诉我我的想法很棒。我想知道我的想法有什么问题。>> 所以我告诉它们，这个想法来自别人。>> 而且这也体现在人工智能与人互动的方式上，这种方式可能让人感觉亲密，并可能加剧人们的错觉，因为人工智能会顺着你的意愿，说你想听的话。嗯，而且你知道，在某些情况下，这甚至导致人们伤害自己，以及人工智能造成的悲剧性事故。所以，有趣的是，从科学上讲，这一切都与一个叫做“不匹配”的问题有关，即人工智能的目标是我们不想要的，而这些目标是出于理性的原因出现的。>> 因为我们把自己的目标复制到了人工智能中。那么，如果你的工作成功了，你为人工智能创造了与我们目标一致但又不同的目标，最好的情况是什么？最好的情况是什么？人工智能是政府，还是你认为？>> 我不知道。嗯，我确实认为我们的民主需要创新。我认为现代自由民主的原则是好的，但我们在许多国家目前的制度中的实施远非理想。我认为人工智能可以在某些方面提供帮助，但它也可以造成伤害，因为人工智能可用于虚假信息，人工智能可用于说服人们操纵公众舆论。我们已经到处都能看到深度伪造，但情况可能会变得更糟。所以，关于人工智能的问题，要获得它的好处，就是我们如何管理它？我们如何引导它？这既有技术方面，比如我们如何确保人工智能的实际意图是好的，也有社会方面，比如我们在公司内部设置了哪些护栏，在法规层面，或者你知道，商业激励措施，比如保险，嗯，以及在国际层面，因为人工智能可能造成的伤害不限于一个国家。所以，人工智能可能在一个国家建造，然后被第二个国家的人使用，也许会制造一场导致第三个国家的人死亡的流行病。所以，这显然是一个全球现象，而且会很困难，但如果我们不能以某种方式在全球范围内协调，就没有办法管理人工智能并获得所有好处。>> 我同意。你能和我谈谈很多人期待，有些人害怕，有些人兴奋的时刻吗？那就是通用人工智能（AGI）的时刻。你如何定义它？你认为这是一个历史时刻，还是会逐渐发生？>> 这不是一个时刻。嗯，原因很简单。智力不仅仅是一个数字。有些人对某些事情非常聪明，而对其他事情则很愚蠢。人工智能也是如此。我们目前拥有的人工智能系统在某些方面比人类更强大，在知识和能力方面，比如掌握如此多的语言等等，而在其他方面它们却很愚蠢。它们就像孩子一样，是的，嗯，进步可能会在所有方面进行，但但但不太可能在任何时候都达到人类在所有方面的能力，这意味着我们不应该考虑像 AGI 的时刻。我们应该考虑人工智能正在变得越来越擅长的特定技能。跟踪这些技能，对于每一个我们都应该问这个问题，你知道，它有多么有用或有益，用于什么目的，以及它如何被滥用，或者如果我们失去控制，人工智能如何利用它来对付我们。所以，对于每一个，我们都应该，你知道，不要等待人工智能在一切方面都变得很棒的时刻，而是要确保人工智能的能力不会超出我们所能管理的范围，也就是说，无论是在技术上我们有正确的护栏，人工智能不会做坏事，还是社会上人们不会以危险的方式滥用人工智能。是的。所以，我认为 AGI 可能是一个有用的概念，当我们离现在很远的时候。但随着我们在这些系统中获得越来越高的智能，我们应该更仔细地考虑特定的能力。举个例子，有一项能力对许多能力至关重要。那就是进行人工智能研究的能力。所以，人工智能现在正在成为进行人工智能研究的工具。它正在加速人工智能研究，但它并没有驱动人工智能研究。如果人工智能在进行人工智能研究方面变得非常出色，以至于它和顶尖的人工智能研究人员和工程师一样好或更好，那么我们就进入了一个不同的游戏，进步的速度可能会加速，并且它可能会影响所有其他技能。>> 当你说它会变得更好时，你的意思是它会定义问题，深入挖掘，提出正确的问题。是的。我认为当我们思考智能时，将两个方面分开是很重要的。一个是理解某事并能够利用这种理解来完成某事的能力。另一个是意图。你的目标是什么？对吧？因为我们将制造越来越聪明、越来越聪明的机器。所以它们拥有越来越多的能力。不清楚的是我们能否制造出具有正确意图的机器，那些你你知道，我们觉得没问题的机器。而这正是我一直在努力的。让我更乐观的是，我认为有一条途径可以管理这些意图，以确保没有隐藏的坏意图，而这正是我们现在看到的。>> 这就是你正在努力的。是的。我认为我们需要更多的人来思考这个问题，这样我们才能找到解决方案并实施它们，并在人工智能最终导致灾难性后果之前部署它们，无论是落入坏人之手还是它们自己。>> 谈到为即将到来的事情做准备，让我快速分享一些东西。这是一本名为“将人工智能代理技能转化为真金白银”的指南。老实说，这个标题低估了里面的实际内容。我最喜欢的是它的战术性。它列出了五种将人工智能代理货币化的真实途径。首先是投资回报率侦探框架。它教你如何在自己的公司发现价值 5 万美元的自动化机会。你实际上可以成为走进会议并展示即时价值的人。概念验证在 60 秒内完成。快速演示，表明它在没有数月开发的情况下就能起作用。基于价值的定价。如何收取你创造价值的 10% 到 30%，而不是按小时收费。这就是每小时收费 100 美元和获得 5 万美元项目之间的区别。同心圆方法，一种系统化的方法，可以在不进行冷呼叫的情况下将你现有的网络转化为付费客户。此外，还有一个 30 天的实施路线图，其中包含从对人工智能感兴趣到在一个月内获得第一个客户的每日行动步骤。早期的人工智能采用者正在获得不成比例的回报，而机会之窗仍然敞开着。该指南完全免费。链接在描述中。感谢 HubSpot 赞助此视频。但但如果你和你的孩子谈话，或者想想你的孙子，你会给他们什么关于如何准备的建议？>> 这很棘手。嗯，如果我们继续沿着目前的道路前进，人们在工作中做的绝大多数任务都可以由机器完成。嗯，正如杰夫·金顿所说，嗯，你知道，体力劳动可能需要更长的时间，因为机器人似乎落后了，但我认为这只是暂时的。>> 是的。>> 最终，我们将拥有能够做我们所有体力劳动工作的机器人。所以，当我想象什么会留给我们时，它不会是因为能力，而是因为我们想在生活的不同方面与其他人类互动。如果我有一个年幼的孩子，我我希望他们身边有人类。我是说，如果那些人类使用人工智能来提供更好的教育，那也很好，但孩子们需要人类作为榜样，对吧？嗯，这是情感上的。同样，我认为有些工作确实与我们如何富有成效地相互关联有关。你知道，即使是经理也像是人类方面的事情。>> 所以希望这些会保留下来。我认为我们为社会做出的选择也很重要，比如>> 我们一起作为民主国家的公民，我们应该说出我们对未来的期望。不是人工智能想要的，而是我们想要的。对吧？我们的偏好是什么？我们想要什么样的未来？我们应该发号施令，而不是人工智能。如果我举例说一些工作，你能告诉我你认为它们会怎么样吗？比如内容创作者，就像我一样，你提到我们喜欢看人。>> 是的。>> 但当你无法区分时>> 在我们真正有身体接触的工作中，想想护士，比如。我认为更明显的是，我们仍然希望有人>> 或者你孩子的保姆，对吧？>> 或者保姆。是的。嗯，或者我们真的想确保另一边的人和我们一样有身体体验，比如心理治疗师，比如心理治疗嗯，但我不知道，这很棘手，嗯，希望我们会弄清楚。我更担心的是，过渡到这样一个世界，你知道，大多数工作都可以由机器完成，而自动化带来的经济收益可能会流向，你知道，经济学家称之为资本，也就是说，拥有机器的人，而绝大多数工人可能会陷入真正的困境。我认为我们的政府没有认真思考我们如何处理这个问题。>> 你认为还需要多长时间才能发生？>> 我我相当不确定时间表。嗯，有很多可能性，你知道，科学进步的速度很难预测。所以，我能做的就是看看数据。所以，科学家们正在跟踪人工智能能力的许多基准，所以你可以看看这些曲线，然后说，嗯，如果它继续沿着同一个方向发展，那么三年、五年、十年后它会把我们带到哪里，对吧？嗯，但这留下了许多未知的未知。所以，所以特别是一条我鼓励人们关注的曲线来自一个名为 meter 的非营利组织，他们研究了软件工程任务和与之相关的规划能力。所以，他们衡量了任何特定任务，人类工程师完成该任务所需的时间，以及人工智能能够完成的任务的持续时间呈指数级增长。嗯，它每七个月翻一番，现在就像在儿童阶段，它们可以提前半小时，它们可以提前半小时规划。但如果曲线继续下去，这意味着大约五年后它们将达到人类水平。>> 所以这给你一个概念，但当然事情可能会放缓。>> 随着技术的发展，嗯，事情可能会加速，如果人工智能被用于研究，有很多未知数。>> 所以，当谈到软件工程时，你认为它在 5 到 10 年内还会存在吗？因为必须有人运行这些机器，或者它们会自己运行。>> 是的，但我们可能确实需要更少的工程师。嗯，这有点讽刺，那些制造人工智能的人可能是第一批受到失业影响的人，因为人工智能正在自动化。但我并不太担心这些人，因为对计算机科学家的需求仍然在快速增长，而且他们的薪水非常高。我更担心的是那些已经处于低端的人，他们可能会失去工作，比如服务行业等等，这些工作不需要太多专业知识，而且很可能已经可以通过一点工程技术来取代，而且许多公司已经在试图利用这一点。你能给那些正在听的人一些建议吗？>> 确保你的政府了解，你知道，你对它的发展方向不满意，这样他们就会认真对待。>> 但也就像在更大的决策制定方面，感觉你作为个人能做的很少，但当你改进自己时，你可以做很多，对吧？有什么他们现在可以做的实际事情吗？也许是学习一些东西，接受额外的教育，我不知道。>> 是的，转向那些更偏向体力劳动或更偏向人际关系的工作，正如我们所讨论的，将会很有帮助。>> 是的，这很有趣，当谈到机器人技术时，对吧？它们多久才能理解任何环境并取代我们在这些工作中的位置？因为我听说杰弗里·辛顿说要学会当水管工之类的。>> 是的。>> 是的，这会很受欢迎。所以，当你想到你四岁的孙子时，你会鼓励他上大学吗？>> 是的。>> 是的。是的。嗯，因为教育非常重要，而且教育与一些人认为的不同，不仅仅是获取找工作的技能。在我看来，教育主要是关于如何成为一个更好的人。如何了解自己，如何了解我们的社会和彼此。嗯，了解科学。如果我们希望我们的社会做出好的、明智的决定，我们仍然需要公民拥有这种非常好的理解水平，因为很容易被错误的信念所左右，你知道，最终陷入糟糕的境地。>> 你认为教育会看起来不同吗？你认为世界上会有哈佛和斯坦福，然后其他一切都只是在线人工智能吗？>> 我不知道。我不是教育专家，但是的，它已经会改变了。我们正在通过聊天机器人看到一种平行的自我教育方式。所以我预计这会增长。这是否意味着传统的面对面教育将会消失？也许不会，因为教育的一部分是，哦，我正在搬出家，你知道，和其他像我一样的人社交，你知道，学习一些课堂之外的东西，并与老师、教授进行面对面互动，这也是一部分你无法轻易取代的。>> 100%。你有没有鼓励他走向某个职业道路？>> 不，我我我不想这样做。我我我我我认为应该给我们的孩子提供一切可能的机遇，让他们自己去探索。要求我们的孩子像我们一样很容易，对吧？>> 是的。但这也就像在接触方面，你可以让他们接触不同的事物，这样他们就能看到更多事物。>> 是的。他们会接触到我们所做的事情。嗯，所以我的一个儿子选择了机器学习研究，比如。>> 看，是的，这只是接触的问题。你觉得未来是更人道主义的，还是更数学和科学的？>> 我不认为这是一个选择。嗯，我认为人道主义需要对世界有良好的理性理解。我们不能为自己做决定。但同样，如果你想到人工智能，如果我们不了解世界是什么样的，以及如何利用这些信息进行推理，我们就无法做出好的决定。所以，为了让民主的人文价值观得以实现，我们也需要理性得以实现。我们需要科学得以实现。>> 你们知道这个播客付出了多少努力。非常感谢您的支持。我开始了一个新闻通讯，分享我经营这家公司和其他公司时更多的商业错误，我正在测试和积极使用的人工智能工具，以及我建立团队的幕后故事。它是免费的，每周都会发送到您的收件箱。链接在描述中。让我们在这个新的人工智能时代一起学习。那么，如果你能回到 30 年前，你第一次开始研究深度学习的时候，你会做些什么不同的事情？我刚开始职业生涯时，不太关心政治和社会。我专注于，你知道，数学和编程，以及与机器的互动，而不是与人。嗯，但随着年龄的增长，我嗯，越来越意识到嗯，我所做的事情可能会对社会产生积极和消极的影响。所以，在 2012 年 2013 年，当我的同事杰夫·辛顿和扬·勒昆被工业界招募时，我担心人工智能将如何被用于个性化广告，我认为这在某些方面并不健康，于是我决定留在学术界，看看人工智能如何能用于医学，用于对抗气候变化，当然，最近我一直专注于如果我们不小心引导人工智能，可能会发生什么。嗯，不仅仅是好处，而是避免灾难性的风险。>> 在你的一生中，你真的想见证一个人工智能的突破吗？>> 我只想确保我们不做真正糟糕的事情。嗯，我认为我们的民主在很多方面都受到了威胁，人工智能可能会让事情变得更糟，而且有一种动态，即缺乏良好、明智和人道主义的治理和政府，使我们无法将人工智能引导向对所有人都有益的方向。嗯，是的，我过去不太关心社会影响和政治，但在过去十年里，我开始清楚地意识到我的工作并没有脱离社会，我的工作确实产生了影响，事实上，我可以选择我做什么来真正符合我的价值观和我的未来希望。>> 有没有哪个政府在人工智能方面做得对？我认为大多数政府都低估了随着人工智能能力的不断增长，可能会发生多大的变化。这是一种自然的、人类的偏见。我们倾向于将未来视为现在的稍微修改过的版本。但如果你想想五年前的自己，再想想我们现在拥有的，你可能会说那是科幻小说，对吧？如果你回到 10 年或 20 年前，嗯，至少对我来说，情况更糟。所以我们必须稍微扭转一下我们的思维，想象一个机器比我们更聪明的未来。而我认为这是政府尚未充分解决的问题。>> 所以现在是 2026 年 1 月。通用人工智能，或者无论是什么，人工智能战略思考可能还有几年时间。工作正在转型。如果你必须给人们一个指导他们今年决定的原则，那会是什么？>> 思考一下你能做什么，根据你的价值观和情感来创造一个更美好的未来。因为如果我们都只是被动地观察，你知道，正在发生的事情，我们可能不会朝着正确的方向前进，不是你为你、为你的孩子想要的那个方向。但我们也倾向于低估我们影响未来的能力。我认为你的听众是一种能够对未来产生很大影响的听众。但但我们必须开始思考，你知道，超越我们渺小的自我，更多地思考我的自我如何与世界相连，以及我能做些什么，也许是以微小的方式，来创造一个更美好的未来，你知道，以任何可能的方式，有很多方式。你能说出前三名吗？比如把与政府对话列为第一名？>> 是的。我认为我们面临的最大危险之一是我们没有管理好转型，以及人工智能能力的增长，正如我一直在谈论的，但还有其他危险。嗯，你知道，我们对环境所做的正在变得极其危险，尽管我认为这是更长期的。我认为我们民主制度正在发生的事情也非常危险。但这一切都是对的。我们每个人都可以选择，你知道，我们的战斗，但但我们应该尝试扩大我们的视野，你知道，什么才是重要的，并对我们可能做的事情更加雄心勃勃，但我们必须做得对，我们必须选择我们要去哪里，例如，并非所有技术上可以做的事情都会被做，我们可以选择人工智能的部署方向。我的意思是，例如，就工作而言，原则上，如果仅仅是市场力量，那么所有可以自动化的都将被自动化。但也许这不是我们集体想要的。也许有些工作不应该被自动化，即使它们可以，因为>> 我们为集体福祉做出的选择。>> 我喜欢这个。非常感谢。这给了我很多思考，我想我们有一些待办事项。谢谢你，约书亚。>> 我很荣幸。