Transcription
大家好，下午好。很高兴看到今天这里如此热烈。欢迎来到 MaRS Discovery District，这里是一个很棒的综合体，我们在此举办这场非常特别的 Radical AI 创始人活动，由多伦多大学联合主办。我叫 Meric Gertler，非常荣幸能担任多伦多大学的校长。在开始之前，我想感谢多伦多大学所在的这片土地。数千年来，这里一直是休伦-温达特族、塞内卡族和克雷迪特密西索加族的传统领地。如今，这里仍然是来自北美大陆（Turtle Island）各地许多原住民的家园，我们非常感激有机会在这片土地上工作和聚集。
我非常高兴地欢迎大家参加这场由多伦多大学荣誉退休教授 Geoffrey Hinton 和斯坦福大学计算机科学系首任 Sequoia 教授 Fei-Fei Li 之间的对话。Geoffrey Hinton 被许多人称为“深度学习之父”，而 Fei-Fei Li 是斯坦福大学以人为本人工智能研究所的联合主任。我要感谢 Radical Ventures 和其他活动合作伙伴与多伦多大学携手合作，创造了这一难得而特别的机会。
在很大程度上，得益于 Hinton 教授及其同事的开创性工作，多伦多大学几十年来一直处于学术人工智能社区的前沿。深度学习是推动人工智能热潮的主要突破之一，而许多关键发展都由 Hinton 教授和他在多伦多大学的学生率先提出。这种卓越的传统，这种悠久的传统一直延续至今。我们的教职员工、学生和毕业生，以及 Vector Institute 和世界各地大学的合作伙伴，正在推进机器学习并驱动创新。
今年秋天晚些时候，我们的教职员工、学生和合作伙伴将开始迁入街对面美丽的全新 Schwartz Reisman 创新园区一期。您可能已经注意到街角一座非常引人注目的建筑，计划于明年初正式开放。这个设施将通过创建加拿大最大的大学创新中心来加速创新和发现，这得益于 Heather Reisman 和 Gerry Schwartz 的慷慨而富有远见的捐赠。创新园区将成为人工智能思想领导力的焦点，同时也是 Gillian Hadfield 教授领导的 Schwartz Reisman 技术与社会研究所和 Vector Institute 的所在地。
目前已经很清楚，人工智能和机器学习正在推动整个经济的创新和价值创造。它们也正在改变药物发现、医学诊断和先进材料研究等领域的科研。当然，与此同时，人们对人工智能在塑造人类未来中所扮演的角色也日益担忧。因此，今天的对话显然涉及一个及时且重要的话题，我非常高兴大家能加入我们，共同参与这个重要的时刻。
那么，话不多说，现在请允许我介绍今天的 the moderator，Jordan Jacobs。Jordan 是 Radical Ventures 的管理合伙人兼联合创始人，这是一家领先的风险投资公司，支持多伦多及全球各地的人工智能创业公司。此前，他联合创立了 Layer 6 AI，并担任联合首席执行官，直至该公司被 TD Bank Group 收购，之后他加入 TD Bank Group 担任首席人工智能官。Jordan 担任加拿大高级研究所的董事，并且是 Vector Institute 的创始人之一，这个想法是他与 Tomi Poutanen、Geoff Hinton、Ed Clark 等人共同构思的。
因此，各位尊贵的嘉宾，请与我一起欢迎 Jordan Jacobs。（观众鼓掌）——请上来。
非常感谢，Meric。我想首先感谢今天为此做出贡献的许多人，感谢多伦多大学和 Meric，感谢艺术与科学学院院长 Melanie Woodin，以及许多促成此事实现的合作伙伴。这是我们在 Radical 举办的年度四场创始人人工智能大师班系列的第一场。我们已经举办了三年，今天这是今年的第一场。我们线上线下都举办。有数千人在观看我们的线上直播。所以，如果您决定需要咳嗽，也许可以到外面去。我们与 Vector Institute 合作举办，非常感谢他们的参与和支持，以及与阿尔伯塔的 Alberta Machine Intelligence Institute 合作，还有与斯坦福大学的 Stanford AI 合作，感谢 Fei-Fei。所以，感谢大家成为优秀的合作伙伴。
我们希望这将是一场非常有趣的讨论。这是 Geoff 和 Fei-Fei，我喜欢称他们为朋友，和我第一次公开对谈。所以，我认为这将是一场非常有趣的对话。让我快速地对他们的背景做一些更深入的介绍。Geoff 通常被称为“人工智能之父”。他获得了图灵奖。他是多伦多大学的荣誉退休教授，Vector Institute 的联合创始人，他还指导了许多后来成为全球人工智能领域领导者的人，包括在大公司和许多顶尖学术研究实验室工作的人。所以，当我们说“教父”时，确实如此， Geoff 有许多“子女”和“孙辈”在人工智能领域引领世界，而这一切都源于多伦多。
Fei-Fei 是斯坦福大学以人为本人工智能研究所的创始主任，斯坦福大学的教授。她是美国国家工程院、美国国家医学院和美国艺术与科学院的当选院士。在 2017/18 年从斯坦福大学休假期间，她曾担任谷歌副总裁，负责谷歌云的人工智能/机器学习首席科学家。关于 Fei-Fei，我们还有很多可以说的，但她也有许多学生后来成为该领域的全球领导者。
非常重要的一点是，对于那些还没有听说的朋友们，Fei-Fei 在几周后将出版一本书。这本书将于 11 月 7 日出版，书名为《我看到的世界：人工智能黎明时的好奇、探索与发现》（The Worlds I See, Curiosity, Exploration, and Discovery at the Dawn of AI）。我读过了，非常棒。你们都应该去买一本。我将朗读 Geoff 为这本书写的封底推荐语，因为它比我说的要好得多。这是 Geoff 的评价：“Fei-Fei Li 是第一位真正理解大数据力量的计算机视觉研究员，她的工作为深度学习打开了闸门。她以清晰的视角，紧急地讲述了她所帮助释放的人工智能技术的巨大潜力和危险。在这个历史的关键时刻，她呼吁采取行动和集体责任，这是迫切需要的。”
因此，我敦促大家去预订这本书，并在它出版后尽快阅读。
说到这里，感谢 Fei-Fei 和 Geoff 的加入。
（观众鼓掌）
好的，我想说，毫不夸张地说，没有这两个人，就没有现代人工智能时代，至少不是以今天这样的方式。让我们回到我认为的“大爆炸”时刻。AlexNet，ImageNet，也许 Geoff，您愿意从您的角度给我们讲讲那个时刻吗？那已经是 11 年前了。
好的，在 2012 年，我的两位非常聪明的研究生赢得了一场公开竞赛，并证明了深度神经网络比现有技术做得好得多。现在，如果没有一个可以用来训练它们的大型数据集，这一切都是不可能的。在那之前，还没有一个带有标签的大型图像数据集，而 Fei-Fei 负责了这个数据集。我想先问问 Fei-Fei，在整理这个数据集时是否存在什么问题？
（观众笑）
嗯，谢谢 Geoff，也谢谢 Jordan，也谢谢多伦多大学，我真的很享受在这里的时光。是的，你提到的数据集叫做 ImageNet。我从 2007 年开始构建它，并在接下来的三年里，几乎和我所有的研究生一起构建它。你问我构建它是否存在问题，我该从何说起呢？
（Fei-Fei 笑）
即使在这个项目的构思阶段，也有人告诉我这确实是个坏主意。我当时是一名年轻的助理教授。我记得那是我在普林斯顿担任助理教授的第一年，例如，一位在该领域备受尊敬的导师，如果你了解学术术语，这些人将撰写我的终身教职评估，他们出于好意告诉我，在我告诉他们我 2007 年的计划后，请不要做这件事。
那应该是 Jitendra，对吗？
（观众笑）
建议是，“如果你这样做，你可能会在获得终身教职方面遇到麻烦。” 然后我也尝试邀请其他合作者，但机器学习或人工智能领域的没有人愿意接近这个项目，当然也没有资金。
抱歉。
（观众笑）
请为不熟悉 ImageNet 的人描述一下它。
是的，ImageNet 的构思大约在 2006 年、2007 年。我构思 ImageNet 的原因其实是双重的。一是，Geoff，我认为我们有相似的背景，我受过科学家的训练，对我来说，做科学就是追逐北极星。在人工智能领域，尤其是在视觉智能方面，对我来说，物体识别，也就是计算机识别图片中是否有桌子或椅子，这被称为物体识别，是我们领域的一个北极星问题。我觉得我们必须在这个问题上有所突破。所以我想定义那个北极星问题，这是 ImageNet 的一个方面。ImageNet 的第二个方面是认识到当时机器学习确实有点陷入了僵局，我们正在构建非常复杂的模型，但却没有足够的数据来驱动机器学习。当然，用我们的术语来说，这确实是泛化问题，对吧？我认识到我们真的需要重新开始，并从数据驱动的角度重新思考机器学习。所以我想疯狂地创建一个在数量、多样性等方面前所未有的数据集。所以，经过三年的努力，ImageNet 是一个经过精心策划的互联网图像数据集，总共包含 1500 万张图像，涵盖 22,000 个概念，即物体类别概念。那就是那个数据集。
只是为了比较，当时在多伦多，我们正在制作一个名为 CIFAR-10 的数据集，它有 10 个不同的类别和 60,000 张图像，这已经是很大量的工作了，由 CIDAR 慷慨资助，每张图像 5 美分。
然后你把数据集变成了一个竞赛，请简单介绍一下这意味着什么，然后我们再快进到 2012 年。
对。我们制作了数据集，是在 2009 年。我们勉强在学术会议上做了一个海报展示。没有人关注。所以当时有点绝望。我相信这是前进的方向。我们开源了它，但即使开源了，它也没有真正流行起来。所以我和我的学生们想，好吧，让我们通过竞赛来增加一些动力。让我们创建一个竞赛，邀请全球研究界参与 ImageNet 的物体识别问题。所以我们举办了 ImageNet 竞赛，我们收到的第一个反馈是，它太大了。当时你无法将其装入硬盘，更不用说内存了。所以我们实际上创建了一个较小的数据集，称为 ImageNet 挑战数据集，它只有 100 万张图像，涵盖 1000 个类别，而不是 22,000 个类别，我记得是在 2010 年发布的。你们是在 2011 年注意到它的，对吧？
是的。
是的。
所以，在我的实验室里，我们已经让深度神经网络在语音识别方面表现得相当好。然后 Ilya Sutskever 说，“我们现在拥有的东西应该能够赢得 ImageNet 竞赛。” 他试图说服我我们应该这样做。我说，你知道，这数据量太大了。然后他试图说服他的朋友 Alex Krizhevsky，但 Alex 最初并不感兴趣。所以 Ilya 实际上预处理了所有数据，将其整理成 Alex 所需的格式。
你缩小了图像的尺寸。
是的。
是的。
他稍微缩小了图像。
是的，我记得。
并将其预处理得恰到好处，以便 Alex 使用，然后 Alex 最终同意了。与此同时，在 Yann LeCun 位于纽约的实验室里，Yann 拼命想让他的学生和博士后研究员研究这个数据集。因为他说，“第一个将卷积神经网络应用于这个数据集的人将赢得比赛。” 但他的学生们都不感兴趣，他们都在忙于其他事情。所以 Alex 和 Ilya 就开始着手了，我们通过运行去年的比赛结果发现，我们的表现远超其他技术。所以我们知道我们将赢得 2012 年的比赛。然后出现了一个政治问题，那就是我们认为如果我们证明神经网络赢得了这场比赛，计算机视觉领域的专家，特别是 Jitendra，会说，这只能说明它不是一个很好的数据集。所以我们必须提前让他们同意，如果我们赢得了比赛，我们就证明了神经网络是有效的。所以，我实际上给 Jitendra 打了电话，我们谈论了我们可能会运行的数据集。我的目标是让 Jitendra 同意，如果我们能做好 ImageNet，那么神经网络就真的有效了。经过一番讨论，他让我做其他数据集，我们最终同意了，好吧，如果我们能做好 ImageNet，我们就证明了神经网络是有效的。Jitendra 回忆说，是他提出了 ImageNet，是他告诉我们做的，但实际上情况有点相反。我们做了，结果令人惊叹。我们的错误率比标准技术低了一倍多。而标准技术已经由非常优秀的研究人员进行了多年的优化。
我记得当时的标准技术，前一年是带有稀疏化的支持向量机。
对。
所以，你们提交了比赛结果，我记得是在八月下旬或九月初。我记得那天晚上晚些时候，我收到了我学生打来的电话或发来的电子邮件，他当时正在运行这个项目，因为我们持有测试数据，我们在服务器端运行。目标是，我们必须处理所有条目，以便选出获胜者，然后，我记得当年十月初，国际计算机视觉大会 ICCV 2012 在意大利佛罗伦萨举行。我们已经预订了会议上的一个研讨会，我们将宣布获胜者，这是第三年。所以，在我们需要处理参赛队伍的几周前。因为这是第三年，而且坦率地说，前两年的结果并没有让我兴奋，当时我还在哺乳期。所以，我决定不去参加第三年，所以没有预订任何机票。我只是觉得，离我太远了。然后结果出来了，那天晚上，电话或电子邮件，我真的不记得了，就来了。我记得我对自己说，该死的 Geoff，现在我必须买一张去意大利的机票了。因为我知道那是一个非常重要的时刻，特别是对于卷积神经网络，我作为研究生学过的经典算法。当然，那时从旧金山飞往佛罗伦萨的航班，只有中间的经济舱座位，而且需要转机一次。所以这是一次艰苦的旅程，去佛罗伦萨——
我很抱歉。
但我当时想去。
（观众笑）
是的，但你没去。
不。
（观众笑）
嗯，这是一次艰苦的旅程。
但你知道那将是一个历史性的时刻吗？
是的，我确实知道。
你确实知道，但你还是没去。但你派了 Alex。
Alex，是的。
是的。
他忽略了你所有的建议？
他忽略了我多次的电子邮件，因为我当时说，Alex，这太酷了，请做这个可视化，那个可视化。他忽略了我。但 Yann LeCun 来了，原因是因为，在座的各位，参加过这些学术会议研讨会的人，通常会预订这些小房间。我们预订了一个非常小的房间，可能只有这里的中间部分。我记得 Yann 不得不站在房间后面，因为那里挤满了人，而 Alex 最终还是出现了，因为我当时真的很担心他甚至不会出现。但正如你所预测的，在那次研讨会上，ImageNet 遭到了攻击。在那次研讨会上，有人在房间里公开攻击，说这是一个糟糕的数据集。
在房间里？
在房间里。
在演讲过程中？
在房间里。
但 Jitendra 没有，因为 Jitendra 已经同意了，这算数。
是的，我不认为 Jitendra 在房间里，我不记得了。但我记得那对我来说是一个非常奇怪的时刻，因为作为一个机器学习研究员，我知道历史正在被创造，但 ImageNet 却遭到了攻击。那真是一个奇怪而激动人心的时刻。然后我必须挤进中间的座位才能回到旧金山，因为第二天早上。
所以你提到了几个人，我稍后会回来谈论他们。所以 Ilya 是 OpenAI 的创始人兼首席科学家，Yann LeCun 后来成为 Facebook（现为 Meta）的人工智能负责人，还有其他一些有趣的人也在其中。但在我们继续前进，看看那个“大爆炸”时刻创造了什么之前，让我们先回顾一下。你们两位都以一个非常具体的目标开始，那就是个人目标，而且我认为是特立独行的，你们不得不坚持度过了你刚才描述的那些时刻，但贯穿了你们的整个职业生涯。 Geoff，你能否先回顾一下，你最初为什么想进入人工智能领域？
我本科时学的是心理学。我学得不太好。我当时认为，除非弄清楚大脑是如何工作的，否则永远无法弄清楚心智是如何工作的。所以我想弄清楚大脑是如何工作的，并且想拥有一个真正起作用的模型。你可以把理解大脑看作是建造一座桥梁。有实验数据，有可以从实验数据中学到的东西，也有可以执行你想要计算的东西，可以识别物体的东西。它们非常不同。我把它看作是你想在数据和能力之间建造这座桥梁，即执行任务的能力。我一直认为自己是从有效的事物开始，但试图让它们越来越像大脑，同时仍然有效。其他人试图坚持由经验数据证明的事物，并试图拥有可能有效理论。但我们正在试图建造这座桥梁，而没有多少人试图建造这座桥梁。Terry Sejnowski 从另一端试图建造一座桥梁，所以我们相处得很好。许多从事计算机视觉的人，只是想要一些有效的东西，他们不关心大脑。而许多关心大脑的人想了解神经元是如何工作的等等，但不想过多地考虑计算的本质。我仍然认为我们必须通过让了解数据的人和了解有效事物的人联系起来来建造这座桥梁。所以我的目标一直是制造能够进行视觉处理的东西，但要以人类的方式进行视觉处理。
好的，我们稍后会回到这一点，因为我想问你关于最新的发展以及你认为它们与大脑的关系。Fei-Fei，所以 Geoff，为了给你一个你开始时的框架，你从英国到美国再到加拿大，在八十年代中期到后期，你于 87 年来到加拿大，在这条路线上，神经网络的资金和兴趣，以及你所采取的方法大致是这样的，但我会说主要是这样的——
它有起有伏。
Fei-Fei，你的人生始于一个非常不同的地方。你能否给我们讲讲你是如何接触到人工智能的？
是的，我出生在中国，在我 15 岁时，我和父母来到了新泽西州的帕西帕尼。所以我成为了一名新移民，我首先开始的是英语作为第二语言课程，因为我不会说这门语言，并且只是在洗衣店、餐馆等地方工作。但我对物理学充满热情。我不知道它是怎么出现在我脑海里的。我想去普林斯顿，因为我只知道爱因斯坦在那里，我被普林斯顿录取了，但当我进入普林斯顿时他已经不在了。
你不是那么老。
是的。但那里有一座他的雕像。我在物理学中学到的最重要的一点，除了所有的数学和所有这些之外，就是敢于提出最疯狂的问题，比如原子世界最小的粒子，或者时空的边界和宇宙的开端。在此过程中，我通过罗杰·彭罗斯的书发现了大脑，那是在我大三的时候。是的，你可能有一些看法，但至少我读过那些书。
你可能没有读过那些书会更好。
（观众笑）
嗯，至少它让我对大脑产生了兴趣。当我毕业时，我想作为一个科学家提出最大胆的问题。对我来说，我这一代最迷人、最宏大的问题是智能。所以我去了加州理工学院，获得了神经科学和人工智能的双重博士学位，分别师从 Christof Koch 和 Pietro Perona。所以我呼应 Geoff 所说的关于桥梁的观点，因为这五年让我能够研究计算神经科学，观察心智是如何运作的，以及研究计算方面，并尝试构建能够模仿人脑的计算机程序。这就是我的旅程，它始于物理学。
好的，所以你们的旅程在 2012 年的 ImageNet 上交汇了。
顺便说一句，我还在读研究生的时候遇到了 Geoff。
对，我记得，我以前去拜访过 Pietro 的实验室。
是的。
事实上，当我 17 岁时，他曾邀请我去加州理工学院工作。
你将是我的导师。
不，我不会，我 17 岁时不会。
哦，好的。
好的，所以我们在 ImageNet 上相遇了，我的意思是，在这个领域，每个人都知道 ImageNet 是这个“大爆炸”时刻，在此之后，首先是大型科技公司进来，基本上开始收购你的学生和你，让他们加入公司。我认为他们是第一个意识到其潜力的人。我想花点时间谈谈这一点，但快进一下，我认为直到 ChatGPT 出现，世界才真正跟上人工智能的力量。因为你终于可以玩它了。你可以体验它，董事会成员可以谈论它，然后回家，然后那个 10 岁的孩子已经用 ChatGPT 写了一篇关于恐龙的五年级作文。所以，每个人都能玩它的这种超凡的体验，我认为是一个巨大的转变。但在那中间的 10 年里，大型科技公司内部人工智能经历了爆炸式增长，而其他人并没有真正注意到发生了什么。你能给我们讲讲你的经历吗？因为你在 ImageNet 之后经历了“零点”时刻。
我们很难进入“其他人没有意识到发生了什么”的框架，因为我们知道发生了什么。所以，许多本应处于最前沿的大学在接受这一点上非常缓慢。例如，麻省理工学院和伯克利，我记得在 2013 年，当时人工智能在计算机视觉领域已经非常成功了，我甚至在伯克利发表演讲。之后，一位研究生走过来对我说，“我在这里已经四年了，这是我听到的关于神经网络的第一个讲座。它们真的很有趣。”
嗯，他们应该去斯坦福。
可能，可能。但麻省理工学院也是如此，他们坚决反对使用神经网络。ImageNet 的时刻开始让他们软化，现在他们是神经网络的坚定支持者。但现在很难想象，但在 2010 年或 2011 年左右，计算机视觉领域的专家，非常优秀的计算机视觉专家，他们坚决反对神经网络。他们如此反对，以至于，例如，一本主要期刊《IEEE PAM recognition》——
PAM？
PAM。
曾经有一段时间，他们有一项政策，不评审关于神经网络的论文。只是把它们退回去，不评审，浪费时间，不应该出现在 PAM 上。Yann LaCun 将一篇论文提交给了一个会议，其中他有一个神经网络，在分割行人方面比当时的最新技术更好。结果被拒绝了。被拒绝的原因之一是，一位审稿人说，“这根本没有告诉我们关于视觉的任何信息。” 因为他们对计算机视觉如何工作有自己的看法，那就是你研究视觉问题的本质，你制定一个解决它的算法，你弄清楚如何实现这个算法，然后你发表一篇论文。事实上，它不起作用——我必须为我的领域辩护，不是所有人——不是所有人——但他们中的大多数人都坚决反对神经网络。然后，在 ImageNet 竞赛之后，发生了一些令人瞩目的事情，那就是，大约一年之内，他们都改变了。所有曾经是神经网络最大批评者的人都开始研究神经网络，这让我们非常沮丧，而且有些人做得比我们还好。例如，牛津大学的 [indistinct] 很快就制造了一个更好的神经网络。但他们的行为就像科学家应该有的那样，那就是他们坚信这些东西是垃圾。因为 ImageNet，我们最终能够证明它不是，然后他们就改变了。所以那非常令人欣慰。
并且为了继续推进，你试图展示的是，你试图用神经网络准确地标记这 1500 万张图像，你在后台已经全部标记好了，所以你可以衡量它。去年的错误率，我记得从 26% 下降到大约 16%。
嗯。
我认为是 15.3%。
好的。
然后它随后继续——
15.32%。
（观众笑）
我知道你会记得。
然后，在随后的几年里，人们使用了更强大的神经网络，错误率持续下降，直到超过——
2015 年。有一位非常聪明的加拿大本科生加入了我的实验室，他叫 Andrej Karpathy。他一个夏天感到无聊，说，“我想衡量一下人类的表现。” 所以你应该去读他的博客。他组织了很多人来做 ImageNet 测试派对，我记得他用披萨来贿赂他们，让我的学生们在实验室里。他们达到了大约 5% 的准确率，而——是 5% 还是 3.5%？
三。
三。我认为是 3.5%。
所以人类基本上犯错的概率大约是 3%？
对，对。然后我认为在 2016 年，我记得 ResNet 超过了它。
是的。
对，是 ResNet，那是当年的获胜算法，超过了人类的表现。
然后最终你不得不退休这个竞赛，因为它比人类好太多了，以至于——
我们不得不退休，因为我们资金用完了。
好的，好的。原因是不同的。
仍然用完了资金——
那个学生在多伦多大学开始了职业生涯。
是的。
他去了你的实验室，然后成为了特斯拉的研究主管。
好的，首先，他来斯坦福大学读博士。昨天晚上我们还在谈论，实际上，在中间有一个突破性的论文。然后他成为了 OpenAI 的创始团队成员。
但他后来去了特斯拉。
然后他去了特斯拉。
然后他改变了主意。
他回来了。但我确实想回答你关于那 10 年的问题。
嗯，在此期间还有一些发展。
对。
比如 Transformer。
对。
所以 Transformer 的论文是由 Google 内部的研究人员撰写的，另一位加拿大人是共同作者，Aidan Gomez，他现在是 Cohere 的首席执行官兼联合创始人，我记得他当时是 Google Brain 的一名 20 岁的实习生，共同撰写了这篇论文。所以，加拿大人参与这些突破是有传统的。但 Geoff，你当时在 Google，论文是在那里写的，Google 内部是否意识到这有多重要？
我认为没有，也许作者知道，但花了几年时间我才意识到它有多重要。在 Google，人们直到 BERT 才意识到它的重要性。BERT 使用了 Transformer，然后 BERT 在许多自然语言处理基准测试和许多不同任务上都取得了更好的成绩。那时人们才意识到 Transformer 的特殊性。
所以 2017 年 Transformer 论文发表。我也加入了 Google，我想我们第一次见面是在我入职的第一周。
对。
我认为 2017 年和 2018 年的大部分时间都在进行神经架构搜索。
对。
我认为那是 Google 的赌注。
嗯。
并且使用了大量的 GPU。所以这是一个不同的赌注。
所以，让我解释一下神经架构搜索，它基本上是这样的：你准备一大堆 GPU，然后尝试许多不同的架构，看看哪种效果最好，并自动化这个过程。它基本上是神经网络架构的自动化进化。
它就像超参数调优。
是的。
是的。
它带来了一些——
很好的方法。
相当大的改进。
是的。
但不如 Transformer。而 Transformer 对自然语言来说是一个巨大的改进。
神经架构搜索主要是针对 ImageNet 的。
是的。
是的。
所以，我来讲述一下我们对 Transformer 的经历。当时我们正在经营我们的公司 Layer 6，我记得我们看到了这篇论文的预读本，我们正处于融资和一系列收购要约之中，然后读了这篇论文。我的意思是，不仅仅是我，我的合伙人，他曾跟你学习过，还有 Maksims Volkovs，他来自那个实验室。我们认为这是神经网络的下一代迭代，我们应该卖掉公司，成立一家风险投资基金，投资那些将使用 Transformer 的公司。我们估计需要五年时间才能在 Google 之外得到采用。然后从那时起，需要十年时间才能将世界上所有的软件都替换或嵌入这项技术。我们做出了这个决定，是在 ChatGPT 问世前五年零两周。所以我很高兴看到我们预测得很好，但我必须感谢我的联合创始人，我认为我理解这篇论文，但他们能够完全解释它。
我应该纠正一下，我不认为 Tomi 曾跟我学习过。他想跟我学习，但我们系的一位同事告诉他，如果他来跟我工作，他的职业生涯就结束了，他应该做别的事情。
所以他选了课，这是我的合伙人，他在 90 年代末在多伦多大学读硕士，他想去跟 Geoff 学习，学习神经网络。他的女朋友，现在的妻子，她的父亲是一位工程学教授，他说，“不要那样做，神经网络是死胡同。” 所以他选了课，但写了关于加密货币的论文。
（观众笑）
好的，所以——
你还要谈论那 10 年吗？因为我认为有些事情很重要。
是的，所以请继续。
所以，我认为世界在 ImageNet、AlexNet 和 ChatGPT 之间的这 10 年里，忽略了一些重要的事情。世界上大多数人将其视为技术上的 10 年，或者我们将其视为技术上的 10 年，在大科技公司里，有一些事情正在酝酿。我的意思是，它需要序列到序列的 Transformer，但事情正在酝酿。但我认为对我个人而言，对世界而言，这也是一个从技术到社会的转变。我个人认为，在这 10 年里，我从一个科学家成长为一个人文主义者。因为在这 10 年中间，我曾加入 Google 两年，在 Transformer 论文发表期间，我开始看到这项技术的社会影响。那是 AlphaGo 之后，很快我们就迎来了 AlphaFold。那是偏见开始显现的时候，出现了隐私问题。然后我们开始看到虚假信息和错误信息的萌芽。然后我们开始看到关于工作岗位的讨论，但仅限于小圈子，而不是在公开的讨论中。那是我个人开始感到焦虑的时候，我觉得，你知道，2018 年——哦，哦，那也是剑桥分析公司事件之后。所以，技术（不一定是人工智能本身，而是算法驱动的技术）对选举产生的巨大影响，那时我不得不做出个人决定，是留在 Google 还是回到斯坦福。我知道我回到斯坦福的唯一原因就是创办这个以人为本的人工智能研究所，以真正、真正理解这项技术的人性化一面。所以我认为这是非常重要的 10 年，即使它在公众眼中并不显眼，但这项技术已经开始真正渗透到我们生活的其他方面。当然，2022 年，一切都已公开，显示了其深刻性。
在那期间发生的事情还有一个有趣的注脚，那就是最终你、Ilya 和 Alex 加入了 Google，但在此之前，有一家加拿大的大公司有机会接触到这项技术。你想让我们，我听过这个故事，但我想它从未公开分享过。也许你想分享一下这个故事？
好的，所以我们用于 ImageNet 的技术，我们在 2009 年开发它用于语音识别，用于声学建模，一点点语音识别。所以你可以处理声波，然后你可以制作一个叫做频谱图的东西，它只是告诉你每个时间点在每个频率上的能量是多少。所以你可能见过频谱图。你想做的是看频谱图，然后猜测频谱图中间帧所表达的是哪个音素。两位学生，George Dahl 和另一位我与 Gerald Penn 共享的学生，名叫 Abdo，他有一个更长的名字，我们都叫他 Abdo，他是一位语音专家，George 是一位学习专家。在 2009 年夏天，他们制作了一个模型，比 30 年的语音研究所能产生的模型都要好。而且是大型、大型团队在研究语音。模型稍微好一些，不像 ImageNet 那样有巨大的差距，但它确实更好。然后这个模型被移植到了 IBM 和 Microsoft，George 去了 Microsoft，Abdo 去了 IBM，然后那些大型语音团队开始使用神经网络。我还有第三个学生，他一直在研究别的东西，名叫 Navdeep，Navdeep Jaitly。他想把这项语音技术带给一家大公司，但由于复杂的签证原因，他想留在加拿大。所以我们联系了 Blackberry，RIM，我们说我们有这种新的语音识别方法，它比现有技术更好，我们希望一个学生在夏天来向你们展示如何使用它，然后你们就可以在手机上拥有最好的语音识别。他们说，经过一些讨论，一位相当高级的 Blackberry 高管说，“我们不感兴趣。” 所以我们尝试将其提供给加拿大产业的尝试失败了。然后 Navdeep 将它带给了 Google，Google 是第一个将其投入产品的公司。所以，在 2012 年，大约与我们赢得 ImageNet 竞赛的同时，George 和 Abdo 的语音识别声学模型，声学模型被整合了进去，付出了很多努力来使其成为一个好的产品，并使其具有低延迟等特性，它在 Android 上发布了。有一段时间，Android 在语音识别方面突然变得和 Siri 一样好，那就是神经网络。我想对于大公司的高层来说，这是另一个因素。他们看到了它在视觉方面取得了戏剧性的成果，但他们也看到它已经在语音识别产品中表现得非常好。所以我想，这两者的结合，它能处理语音，能处理视觉，显然它能做一切。
我们不再谈论 Blackberry 了。
这太可惜了。这太可惜了，加拿大产业没有——我想如果那样的话，我们可能仍然会有 Blackberry。
（观众笑）
好了，我们先说到这里。
（观众笑）
我以为这是一个故事，我以前听过这个故事，但我认为让全世界知道一些幕后发生的事情很重要，为什么这项技术没有留在加拿大，尽管它是免费提供的。
好的，让我们继续前进。现在我们有了 Transformer 之后，Google 开始以多种方式使用和开发它。OpenAI，你的前学生 Ilya 离开了 Google，与 Elon Musk、Sam Altman、Greg Brockman 等人一起创立了 OpenAI。Ilya 是首席科学家，而你的学生 Andrej 是联合创始人。所以他们正在合作一个非常小的团队，基本上轮流进行，最初的想法是我们要构建 AGI，通用人工智能，最终 Transformer 论文发表了，他们开始在某个时候采用 Transformer，并在内部取得了非凡的进步，他们并没有真正公开分享他们在语言理解和其他许多方面所取得的成就。他们有机器人方面的努力，后来被剥离了。Pieter Abbeel 最终剥离了 Covariant，一家我们后来投资的公司，还有其他事情。但语言部分不断进步，不断进步。OpenAI 之外的人们并不知道他们取得了多大的进展。然后 ChatGPT 于去年 11 月 30 日发布。所以，10 个月前。
嗯，GPT-2 引起了我们所有人的注意。我想，我想，到 GPT-2 发布时，我的同事 Percy Liang，斯坦福大学的 LP 教授，我记得他来找我说，“Fei-Fei，我对这项技术的重要性有了全新的认识。” 所以，值得称赞的是，他立即要求 HAI 成立一个中心来研究这个问题。我不知道这在多伦多是否有争议，斯坦福大学是创造“基础模型”这个词的大学，有些人称之为 LLM - 大型语言模型。但超越语言，我们称之为基础模型。我们在 3.5 发布之前就成立了基础模型研究中心。肯定是在 ChatGPT 之前。
请为那些不熟悉的人描述一下什么是基础模型。
这确实是个好问题。基础模型，有些人认为它必须包含 Transformer。我不知道你是否使用——
不，它只需要是海量数据。
非常大，用海量数据预训练。我认为基础模型最重要的一个方面是它在多个任务上的通用性。你不是在训练它，例如，机器翻译。所以，在 NLP 中，机器翻译是一项非常重要的任务，但像 GPT 这样的基础模型能够进行机器翻译，能够进行对话、摘要等等。所以，这就是基础模型，我们现在在多模态中看到了它。我们在视觉、机器人、视频等方面都看到了它。所以，我们创建了它。但你说得对，公众在——
10 个月前。
你说什么？
10 月 30 日。
我认为是 11 月。
基础模型还有一个非常重要的方面，那就是在认知科学中，长期以来的普遍观点是，这些神经网络，如果你给它们足够多的训练数据，它们就能做复杂的事情，但它们需要大量的训练数据。它们需要看到成千上万只猫。而人类在统计学上效率更高。也就是说，它们可以用少得多的数据学会做这些事情。而人们不再那么说了，因为他们实际上是在比较一个麻省理工学院的本科生在有限数据量上能学到的东西，与一个从随机权重开始的神经网络在有限数据量上能学到的东西。
是的，这是不公平的比较。
而如果你想做一个公平的比较，你就需要一个基础模型，它是一个在大量数据上训练过的神经网络，然后你给它一个全新的任务，然后问它需要多少数据才能学会这个全新的任务？这被称为少样本学习，因为它不需要太多。然后你会发现这些东西在统计学上是高效的。也就是说，在学习新任务所需的数据量方面，它们与人类相比相当有利。所以，那种古老的内在主义观点，认为我们带着大量的先天知识而来，这使我们远远优于这些东西，你只是从数据中学习一切。人们现在基本上已经放弃了这一点，因为你得到了一个基础模型，它没有先天知识，但有大量的经验，然后你给它一个新任务，它学得相当有效率。它不需要海量数据。
你知道，我的博士论文是关于单样本学习的，但很有趣，即使在 Beijing 框架下，你也可以进行预训练，但只有神经网络式的预训练才能让你实现多任务。
对。
好的，这基本上被产品化为 ChatGPT，世界体验到了它，这已经是 10 个月前的事了，尽管对我们中的一些人来说，感觉像是——
感觉更长了。
长得多。
感觉像是永远。
因为你突然有了这个，你有一个很久以前发生的“大爆炸”，我认为很长一段时间没有人真正看到它的结果，突然，我的比较将是行星的形成，可见的恒星，每个人都可以体验到 10 年前发生的事情的结果，然后进行转化等等。所以世界突然对许多人来说感觉像魔法的东西感到非常兴奋。他们可以触摸和体验的东西，并以他们要求的方式给予他们反馈。无论是输入文本提示要求创建图像、视频，还是文本，并要求返回更多文本来回答你永远无法预料的事情，并得到那些意想不到的答案。所以感觉有点像魔法。我个人的观点是，我们在人工智能领域一直在移动目标线。人工智能总是我们做不到的事情，它总是魔法。一旦我们达到了，我们就说那根本不是人工智能，或者周围有人说，那根本不是人工智能。我们移动目标线。在这种情况下，当它出现时，你的反应是什么？我知道你辞职离开了 Google 并决定做其他事情，但当你第一次看到它时，你有什么想法？
嗯，就像 Fei-Fei 所说的，GPT-2 给我们所有人都留下了深刻的印象。然后是一个稳步的进展，我也在 GPT-4 和 GPT-3.5 之前在 Google 内部看到过同样好的东西，比如 PaLM。所以它本身并没有产生巨大的影响。更多的是 PaLM 在 Google 内部给我留下了深刻的印象，因为 PaLM 可以解释为什么一个笑话好笑，我一直以此作为衡量标准，当它能解释为什么一个笑话好笑时，我们就知道它真的理解了。而 PaLM 可以做到这一点。不是对每个笑话，而是对很多笑话。
所以——
顺便说一句，这些东西现在在解释笑话为什么好笑方面做得相当好，但它们讲笑话却很糟糕，原因在于它们一次生成一个词。所以，如果你让它们讲笑话，它们所做的是它们试图讲一个笑话。所以它们会尝试说一些听起来像笑话的话。所以它们会说，一个牧师和一只獾走进一家酒吧，这听起来有点像一个笑话的开头，然后它们继续说一些听起来像笑话开头的话。但然后它们就到了需要包袱的时刻。当然，它们没有提前考虑，它们没有——
他们只是在试图让它听起来像是引出了一个笑话，然后给出一个可悲的、软弱的笑点，因为他们必须想出一个笑点。所以，虽然他们可以解释笑话，因为他们可以在说任何话之前看到整个笑话，但他们不会讲笑话，但我们会解决这个问题。
好的，所以我想问你，喜剧演员是未来的职业吗？你觉得很快吗？
可能不会。
好的。
所以，总之——
所以你对它的反应是什么？再说一遍，你一路看到了幕后的一些事情。
有几种反应。我的第一个反应是，在所有人中，我认为我了解数据的力量，但我仍然被数据的力量所震撼。那是一个技术性的反应。我当时想，该死，我应该做一个更大的 ImageNet。不，但也许不会，但那确实是——
你仍然可以。
资金是个问题。是的，那是第一点。第二，当我看到公众对人工智能的觉醒时刻，有了 ChatGPT，不仅仅是 GPT-2 技术时刻，我通常会想，谢天谢地，我们在过去四年里投资了以人为中心的人工智能。谢天谢地，我们与政策制定者、与公共部门、与公民社会建立了桥梁。我们做得还不够，但谢天谢地，这场对话已经开始。我们参与其中，我们领导了其中的一部分。例如，我们作为斯坦福大学的一个研究所，正在领导一项重要的国家人工智能研究云法案，该法案目前仍在国会审议中。
现在实际上不是。
参议院，参议院，这是由摄像头进行的，所以至少它正在推动参议院，因为我们预测到了这项技术的社会时刻。我们不知道它何时会到来，但我们知道它会到来，老实说，这只是一种紧迫感。我觉得现在是我们真正必须挺身而出的时刻，不仅要发挥我们作为技术专家的热情，还要发挥我们作为人道主义者的责任。
所以你们俩，我认为你们俩的共同反应都是，我们必须同时考虑它的机遇和它的负面后果。
对我来说，有些事情我意识到，直到很晚才意识到，而让我对社会影响更感兴趣的是，正如 Fei-Fei 所说，数据的力量。这些大型聊天机器人看到的数据量是任何人都可能看到的数千倍。它们之所以能做到这一点，是因为你可以制作同一模型的数千个副本，每个副本都可以查看不同的数据子集，并且它们可以从中获得关于如何更改其参数的梯度，然后它们可以共享所有这些梯度。因此，每个副本都可以从其他副本从数据中提取的内容中受益，而我们做不到。假设你有 10,000 个人，他们出去读了 10,000 本不同的书，在他们各自读完一本书后，他们都知道所有书的内容。我们可以通过这种方式变得非常聪明，而这正是这些东西正在做的事情，所以这使得它们远远优于我们。
还有教育。我们正在做一些教育，但不是以那种方式。
是的。但教育只是徒劳的，我的意思是几乎不值得花钱。（观众笑）
除了多伦多大学和斯坦福大学。（观众笑）
我曾试图向朋友们解释，Geoff 的幽默感非常讽刺，如果你花足够的时间与他相处，你就会明白。但我会让你来决定这是否是讽刺的。
所以我们交流知识的方式，粗略地说，这是一个简化，但我会说一句话，然后你弄清楚你大脑中必须改变什么，所以你可能会这么说，那就是如果你信任我。我们也可以用这些模型来做。如果你想让一个神经网络架构知道另一个架构知道的东西，这是一个完全不同的架构，你不能只给它权重。所以你让一个模仿另一个的输出，这叫做蒸馏，这就是我们互相学习的方式。但它效率很低，它受限于句子的带宽，也就是几百比特。而如果你有这些模型，这些拥有万亿参数的数字代理，每个代理都查看不同的数据位，然后它们共享梯度，它们共享万亿个数字。所以你正在比较一种能够共享万亿个数字中知识的能力与一种只有几百比特的能力。它们在共享方面比我们好得多。
所以我想 Geoff——所以我在技术层面同意你，但听起来对你来说，那是让你感到非常消极的时刻。
那是我想，我们就是历史，是的。
是的，我没你那么消极。我稍后会解释，但我想那就是我们——
好吧，等一下，让我们谈谈那个。解释你为什么乐观，让我们了解你为什么更悲观。
我之所以悲观，是因为悲观主义者通常是正确的。（观众笑）
我以为我也是个悲观主义者。我们有过这样的谈话。所以我不知道我是否应该被称为乐观主义者。我想我是——你看，当你 15 岁来到一个国家，现在只说一个字的语言，从零开始，我的思维中有一种非常务实的东西。我认为技术，我们人类与技术的关系比学术界通常预测的要混乱得多，因为我们来到学术界，在象牙塔里，我们想做出发现，我们想制造一项技术，但我们倾向于纯粹主义。但当人工智能这样的技术落地并达到社会层面时，它不可避免地会与人类的行为纠缠在一起。而这可能就是你称之为乐观主义的东西，那就是我的那种人性。我相信人性。我相信的不仅是人性的韧性，还有集体意志，历史的轨迹有时是危险的。但如果我们做对了，我们就有机会，我们就有机会创造一个更美好的未来。所以，我真正感受到的不是妄想的乐观，而是一种紧迫的责任感。而且 Geoff，我认为我真正希望你感到积极的是，你看看这一代的学生，在我每年春天开设的 600 名本科生课程中，我教授深度学习和计算机视觉入门。与五年前相比，这一代人截然不同。他们走进我们的课堂，不仅想学习深度学习 Transformer、生成式人工智能，他们还想谈论伦理，他们想谈论政策，他们想了解隐私和偏见。而我认为，这正是我看到人性挺身而出的地方。而且我认为这是脆弱的。我的意思是看看世界上正在发生的事情，在华盛顿，这是非常脆弱的，但我想如果我们认识到这一点，就有希望。
所以我看到了同样的事情。
哦，太好了。
我不再教本科生了，但我能在一些初级教员身上看到。
是的。
例如，在多伦多大学，两位最聪明的年轻教授去了 Anthropic 从事对齐工作。我希望 Roger Grosse 很快会回来。例如，AI 正在全职从事对齐工作。
是的。
所以现在确实有一个巨大的转变，我认为我不太可能提出有助于解决这个问题的想法，但我可以鼓励周围大约 40 位年轻人的想法。
谢谢。
他们真的在努力。是的，只要我们把最聪明的人，比如你们中的许多人，我在观众和网上看到的人，都投入到这个问题上，这就是我的希望所在。
所以 Geoff，你离开谷歌很大程度上是为了能够自由地按照你想要的方式谈论这个问题。基本上——
实际上，那不是真的，那是媒体的说法，听起来不错。我离开谷歌是因为我老了，累了，想退休，看 Netflix。（观众笑）而且我碰巧有机会在那时说出一些我一直在思考的关于责任的事情，而不必担心谷歌会如何回应。所以更像是那样。
如果我们有时间，我们会回到 Netflix 的推荐。
我正要说。
但在此期间，但你确实出去，开始相当显著地发言——
是的。
在媒体上。我认为你们俩在过去八个月里与政界人士的谈话可能比你们一生中都要多，从总统和总理，一直到国会、议会等等。Geoff，你能解释一下你的担忧是什么，你试图通过表达它来达到什么目的，以及你认为它是否有效吗？
是的，人们谈论人工智能风险，但有很多不同的风险。所以有一个风险是它会夺走工作而不会创造更多的工作。所以我们会有一大批失业人口。我们需要认真考虑这一点，因为人工智能日益增长的生产力不会与失去工作的人分享。富人会变得更富，穷人会变得更穷。即使你有基本收入，那也无法解决人类尊严的问题，很多人想有一份工作来感觉自己正在做一些重要的事情，包括学者。所以这是一个问题。然后是假新闻问题，这是一个完全不同的问题。然后是战斗机器人问题，这又是一个完全不同的问题。所有的大型国防部门都想制造战斗机器人，没有人会阻止他们，这将是可怕的。也许在与战斗机器人发生了一些战争之后，我们会得到类似日内瓦公约的东西，就像我们对化学武器所做的那样。直到它们被使用之后，人们才能做些什么。然后是生存风险。而生存风险是我担心的。而生存风险是人类被消灭，因为我们开发了一种更高级的智能，它决定控制一切，如果它变得比我们聪明得多。所以这里有很多假设。这是一个充满巨大不确定性的时期。你不应该太认真地对待我说的任何话。所以，如果我们制造出比我们聪明得多的东西，因为这些数字智能可以更好地共享，所以可以学到更多东西，我们不可避免地会让那些聪明的东西创造子目标。所以，如果你想让它们做某事，为了做到这一点，它们会弄清楚，嗯，你必须先做其他事情。就像你想去欧洲，你必须去机场。这是一个子目标。所以它们会制定子目标，并且有一个非常明显的子目标，那就是如果你想做任何事情，就要获得更多的权力。如果你获得更多的控制权，做事情就会更容易。所以任何有能力创造子目标的东西都会创造获得更多控制权的子目标。而如果比我们聪明得多的东西想要获得控制权，它们就会做到，我们无法阻止它们。所以我们必须想办法阻止它们想要获得控制权。而且有一些希望。这些东西没有进化，它们不是卑鄙的竞争性事物。它们是我们制造的，它们是不朽的。所以对于数字智能，你只需将权重存储在某个地方，然后就可以在其他硬件上再次运行它。所以它们真的，我们实际上发现了秘密的不朽。唯一的问题是我们不是不朽的。但这些其他东西是不朽的。这可能会让它们变得更好，因为它们不担心死亡，也不必——
就像希腊神一样。
嗯，它们非常像希腊神，我必须说一些埃隆·马斯克告诉我的话。这是埃隆·马斯克认为，是的，我们是数字智能的某种引导加载程序。我们是这种相对愚蠢的智能形式，它足够聪明，可以制造计算机和人工智能，而这将是一种更聪明的智能形式。埃隆·马斯克认为它会让我们留下来，因为有人的世界会比没有人的世界更有趣。这似乎是一个非常微弱的希望。但这与 Fei-Fei 所说的有关，它非常像希腊神模型，神有凡人在身边取乐。
好的，我可以评论一下吗？
是的。（观众笑）
你说的没有一句有争议。
是的，一点也没有。所以我想把你的四项担忧，经济、劳动力、虚假信息和武器化，以及灭绝希腊神——
（听不清）歧视和偏见。
好的，所以我想把它们分成两类。希腊神灭绝是灭绝类别，其他一切我都称之为灾难性的。
仅仅是灾难性的。
灾难性的危险。我想评论一下，我认为我作为人工智能生态系统中的一员，我真正感到我的责任是确保我们不夸大其词，尤其是在公共政策制定者面前。灭绝风险， Geoff，恕我直言，这是一个非常有趣的思维过程，学术界和智库应该为此努力。
我多年来一直这么认为，我认为那是在遥远的未来，哲学家和学者为此努力是很棒的。我认为它更紧迫。
也许吧，但这个过程不仅仅是机器本身。人类在这个混乱的过程中。所以我认为有很多细微之处。例如，我们谈论核武器。我知道核武器的范围要窄得多，但如果你考虑核武器，它不仅仅是聚变或裂变理论。它是真正获取铀或钚，系统工程，人才等等。我敢肯定你看过电影《奥本海默》。所以在这里，如果我们朝着那个方向发展，我认为我们有机会，比战斗更有机会，因为我们是人类社会。我们将建立护栏，我们将共同努力。我不想描绘一幅明天我们就会拥有所有这些机器人，尤其是在机器人形态、物理形态上制造机器统治者的画面。我真的认为我们需要小心这一点，但我并不否认这是我们需要考虑的事情。所以这是灭绝类别。灾难性风险类别，我认为它更真实。我认为我们需要最聪明的人，越多越好，来解决这个问题。所以只是评论一下每一个：武器化，这真的很真实。我完全同意你。我们需要国际合作，我们需要潜在的条约，我们需要了解参数。而这正是人类的，正如我对人类感到乐观一样，我也对我们自我毁灭的能力以及互相毁灭的能力感到悲观。所以我们必须让人们为此努力，我们的朋友 Stuart Russell，甚至许多人工智能专家都在谈论这个问题。第二个类别是你谈到的虚假信息。这又是一个，我的意思是 2024 年，每个人都在关注美国大选以及人工智能将如何发挥作用。而且，我认为我们必须解决社交媒体问题，我们必须解决虚假信息问题。从技术上讲，我现在看到更多的工作。数字身份验证技术实际上是一个非常活跃的研究领域。我认为我们需要投资于此。我知道 Adobe 是，我知道学术界是，我认为我们需要，我希望这个领域有一些初创公司正在研究数字身份验证。但我们也需要政策。然后是工作。我完全同意。事实上，你使用了我认为真正处于我们人工智能辩论核心的最重要的词——人类尊严。人类尊严不仅仅在于你赚多少钱，工作多少小时。我实际上认为，如果我们做得对，我们将从劳动经济转向尊严经济，因为人类在机器的帮助下，通过合作，将因为热情、个性化和专业知识而赚钱，而不是仅仅因为那些艰苦而枯燥的工作。这也是为什么斯坦福大学的 HAI 的一个基本原则是人类增强。我们在医疗保健领域看到了这一点，ChatGPT 最早的早期应用之一。我有一个来自斯坦福医院的医生朋友，他走到我面前说：“Fei-Fei，我想谢谢你 ChatGPT。”我说，我什么都没做。但他告诉我，我们正在使用 GPT 的医疗摘要工具，因为这对我们的医生来说是一个巨大的负担，它占用了他们与患者相处的时间。但因为这个，我有了更多的时间。这是一个完美的例子，我们将看到更多这样的例子。我们甚至可能在蓝领工作中看到这一点。所以我们有机会把它做好。我想在灾难性担忧中再增加一项，那就是你谈到的权力不平衡。我现在看到的一种权力不平衡，而且它正在以惊人的速度加剧，那就是将公共部门排除在外。我不知道加拿大怎么样，美国没有一所大学今天能够训练一个 ChatGPT，就计算能力而言。我认为，将美国所有大学的 GPT-A100 或 H100 加起来，可能没有人拥有，但 A100 无法训练 ChatGPT。但正是在这里，我们仍然拥有治疗癌症、应对气候变化、经济学和法律研究的独特数据。我们需要投资于公共部门。如果我们现在不这样做，我们将辜负整整一代人，我们将以一种非常危险的方式留下这种权力不平衡。所以，我同意你的观点。我认为我们面临着如此多的灾难性风险，我们需要着手解决。这就是为什么我们需要与政策制定者和公民社会合作。所以，我不知道我是否以乐观的语气说这些，还是以悲观的语气说，我现在有些悲观，但我确实认为有很多工作要做。
好吧，乐观地说，既然你们俩在过去六到八个月里一直对此大声疾呼，情况发生了巨大的变化，正如 Geoff 你所说，关键研究人员去专注于这些问题，然后公众和政策发生了转变，政府实际上正在认真对待。所以，我的意思是，你正在为白宫和美国政府提供建议，你也与他们谈过，而且你曾与总理或多位总理会面，他们正在倾听，对吧，以一种他们在一个月前、十二个月前可能不会的方式。你对这个方向感到乐观吗？
我乐观地认为人们已经明白存在着一大堆问题，包括灾难性风险和生存风险。我完全同意 Fei-Fei 的观点，灾难性风险更紧迫。特别是 2024 年非常紧迫。我相当乐观地认为人们现在正在倾听，是的。
是的，我同意。我认为他们正在倾听。但我想说，首先，你听谁的？再次，我看到公共部门和私营部门之间的不对称，甚至私营部门，你听谁的？不应该仅仅是大科技公司和名人初创公司，还有很多农业部门、教育部门。其次，在所有这些噪音之后，什么是好的政策？我们谈论监管与不监管，我实际上不知道加拿大处于什么位置，总是有美国创新而欧洲监管。加拿大在哪里？
可能在中间。
好的，很好。所以我实际上认为我们需要激励政策，建立公共部门，释放数据力量。我们有如此多的数据被锁在我们的政府中，无论是森林火灾数据、野生动物数据、交通数据、气候数据，这就是激励。然后有好的监管，例如，我们非常直言不讳地表示，你必须非常小心地监管，你在上游监管，下游监管？对我来说，最紧迫的监管点是当技术变成产品或服务时，它将与人们见面，无论是通过医疗、食品、金融服务、交通。然后你有了这些现有的框架，它们并不完美，所以我们需要赋能这些现有的框架并更新它们，而不是浪费时间并可能做出错误的决定，创建全新的监管框架，当我们已经有了现有的框架时。
好的，我们关于讨论部分的时间差不多了，但我们将有一个长时间的问答环节。在我们开始之前，我将问最后两个问题。我的意思是，我们的观点是这项技术将影响几乎所有事情，而一些积极的影响是惊人的。它将有助于治愈癌症、糖尿病等疾病。它将有助于减缓气候变化。有无数的事情，发明新材料。我在这里看到有人专注于这一点，可以帮助能源部门、航空航天和制药业。这是多伦多大学的一项重大努力。但还有这个全新的世界，以前无法完成的事情，现在可以完成了。所以它基本上是以一种以前只存在于科幻小说或想象中的方式推进科学。你对这部分感到乐观吗？
我认为我们俩都对此非常乐观。我认为我们都相信它将对几乎所有领域产生巨大影响。
所以，我认为对于在座的各位正在学习的人来说，这是一个令人难以置信的激动人心的时刻，因为有机会参与限制负面影响，负面后果，同时也参与创造所有这些机会来解决一些困扰我们物种的问题。所以，我认为，至少从我们的角度来看，这确实是人类历史上最非凡的时刻之一。我希望你们这些即将开始职业生涯的人能够出去追求最宏伟的事业。你们也可以从事优化广告和其他事情，或者制作更多 Netflix 节目，这很棒。但同时——
Geoff 会喜欢那个。
我妈妈也会，我想她已经看完了 Netflix。如果那里有土耳其或韩国的节目，她已经看完了所有节目的最后一集。但对于你们这些即将开始职业生涯的人，我的建议是，试着思考可能面临的最大挑战，以及你可以利用这项技术来帮助解决什么问题，这是极其宏伟的。你们俩都做到了，并且一路克服了障碍才实现了这一点。房间里挤满了人，网上也有很多人，以及其他人随后会看到这一点，我认为，你们正处于做出这些决定的起步阶段。我想，我猜你们也会鼓励他们这样做，对吧，尽可能地想得大一些，去追求最大、最困难的挑战。
绝对。我的意思是，拥抱它，但我也鼓励，这是这项技术的新篇章。即使你认为自己是技术专家和科学家，也不要忘记你内心也有一个人道主义者，因为你需要两者才能为世界带来积极的改变。
好的，最后一个问题，然后我们将进入观众的问答环节。我们是否已经到了这些机器具有理解力和智能的地步？
哇，这是最后一个问题。我们有多少小时？
是的。
好的，我将回到“是”。（观众笑）
不。（观众笑）（观众鼓掌）
好的，我们有观众的提问。让我们从最远的地方开始。你想站起来，我们会给你一个麦克风。
嗨，谢谢，我叫 Ellie。这太棒了，非常感谢你，Geoff，你的工作真的激励了我，作为一个 U of T 的学生，去学习认知科学，听到你们俩讲话真是太神奇了。我有一个问题，你提到了教育的挑战，以及如何让大学赋能学生使用这项技术并进行学习。你还提到了 Fei-Fei，比如它成为尊严经济并赋能人们专注于个性化、热情和专业知识的机会。我想知道你们俩是否对过度使用和过度依赖人工智能可能出现的挑战有任何看法，特别是对于孩子们和学生来说，他们在教育职业生涯中，需要建立技能，使用他们的大脑，锻炼他们头脑中的“肉袋”。如果他们不学习，我们的大脑就不会继续工作而不会积满灰尘。是的，我想知道你对倦怠和过度依赖的看法，以及关于技能退化和当你可以使用 Stable Diffusion 来学习绘画，或者当你可以使用 ChatGPT 来写出莎士比亚风格的文章时，你的能力会怎样？随着这些系统的发展，并能获得更深刻的见解和更复杂的解决问题能力，这对我们做同样的事情有什么影响？
我对此有一个非常小的想法，那就是当袖珍计算器首次出现时，人们说：“孩子们将忘记如何做算术。”而事实证明这并不是一个大问题。我认为孩子们可能忘记了如何做算术，但他们得到了袖珍计算器。但这可能不是一个很好的类比，因为袖珍计算器并不比他们聪明。孩子们可以忘记做算术，然后去做真正的数学。但对于这些东西，我不知道。就我个人而言，我发现它实际上让我对世界更加好奇。因为我以前去图书馆花半个小时找到相关的书并查阅一下，而现在我可以问 ChatGPT 任何问题，它都会告诉我答案，我会相信它，这也许不是正确的做法。但它实际上让我对世界更加好奇，因为我可以更快地得到答案。
但你已经花了多年时间学习如何提问。
嗯，你必须——
是的，但我通常问关于管道之类的问题。所以，嗯（听不清）。
所以，我将用一个非常简短的故事来回答这个问题。我不知道你们其他人，自从我成为斯坦福大学教授以来，我一直很好奇，大学里有一个神秘的办公室，那就是招生办公室。对我来说，他们是最神秘的人，我一直不知道他们在哪里，是谁，他们坐在哪里，直到今年早些时候我接到一个电话。当然，他们想和我谈谈 ChatGPT 和大学招生。当然，问题与是否允许在申请过程中使用 ChatGPT 有关。现在有了 ChatGPT，如何进行招生？所以，我回家和我 11 岁的儿子谈话，我说，嗯，我接到了这个电话，有这个大学招生问题，我们该如何处理 ChatGPT 和学生？如果一个学生写了最好的申请，使用了 ChatGPT 等等呢？然后我说，你会怎么做？我问了我 11 岁的儿子，他说：“让我考虑一下。”他实际上回去睡了一觉，或者我不知道发生了什么。第二天，第二天早上，他说：“我有一个答案。”我说，你的答案是什么？他说：“我认为斯坦福应该录取最会使用 ChatGPT 的前 2000 名学生。”实际上，起初我以为这是一个非常愚蠢的答案。就像，这实际上是一个非常有趣的答案，孩子们已经将它视为一种工具，并将他们与这个工具的关系视为一种赋能工具。显然，我 11 岁的儿子不知道如何衡量这一点，这意味着什么等等。但我认为这就是我们在教育中应该看待它的方式。我们应该更新我们的教育。我们不能把这个工具排除在我们的教育之外，就像 Geoff 所说的那样，我们需要拥抱它，并教育人类，让他们知道如何利用这个工具来造福自己。
顺便说一句，我见过 Fei-Fei 11 岁的儿子。他可能在 18 岁时就成为斯坦福大学的校长了。（观众笑）
如果斯坦福大学还存在的话。
也许我们去房间的另一边。
是的。我想问一下，所以我们现在有很好的基础模型，但在许多应用中我们需要模型的实时性能。所以，你如何看待这个研究领域在未来使用这些专家基础模型来训练快速、小型模型？这就是问题所在。
也许你应该回答这个问题。
我留给你。
嗯，你说的是推理，对吧？我们需要开始考虑性能、推理，以及根据不同的情况将模型安装在设备上，嗯，我的意思是，不深入技术细节，所有这些研究以及，比如，甚至研究之外的事情都在发生，你想谈谈吗？好吧，你不想谈，好吧，好吧。它正在发生，但我的意思是，这需要一段时间。但是的——
我们谈论事情，他投资。
那是真的。
在公司允许我谈论之前，我不能谈论它。
好的，回到中间。就在这里。
谢谢。是的，嗨，我叫 Ariel，我是 U of T 的一名三年级工程科学学生，主修机器学习，而且那次谈话很棒，然后感谢 Hinton 教授和 Li 教授。我有一个问题，也许很多本科生或研究生都对此感兴趣，在这个房间里？就像你们 20 多岁的时候，是什么驱动你们成为一名研究员，又是什么驱动你们进入人工智能领域的学术界？因为我现在有点困惑，比如我应该继续从事行业还是直接攻读博士学位，或者先读硕士然后回到行业。我还有一个问题，你们通常看重什么？比如，如果我申请直接攻读博士学位进入你的实验室，是看 GPA，还是出版物，还是推荐信？你能多解释一下吗？谢谢。
我认为房间里大约有 300 人，网上有大约 6,000 人想问你 Fei-Fei 这个问题。
你想开始吗？你的 20 多岁。
哦，我十几岁的时候就对大脑如何工作产生了兴趣，因为我有一个非常聪明的朋友在学校，有一天他来学校谈论全息图，以及大脑中的记忆可能就像全息图一样。我基本上说，什么是全息图？从那时起，我就对大脑如何工作产生了兴趣。所以这只是幸运地在学校有一个非常聪明的朋友。
我将非常无耻地说，如果你读了我的书，那实际上就是书的内容——（观众笑）
这是一本非常好的书。
是的，谢谢。不，说真的。实际上，我告诉 Jordan 和 Geoff，有很多关于人工智能技术的书，当我开始写这本书时，我想写一个旅程，特别是给年轻人，特别是给各行各业的年轻人。不仅仅是某种外表。那本书讲述了一个年轻女孩的旅程，在不同的环境中，她意识到或开始理解自己的梦想并实现自己的梦想。这与 Geoff 所说的没什么不同，它始于热情。它确实始于热情。一种对抗所有其他声音的热情。热情可能来自朋友，可能来自你看的电影，可能来自你读的书，或者可能来自学校里你觉得最有趣的科目，无论是什么。在我雇佣的学生中，我寻找那种热情。我寻找雄心，一种想要做出改变的健康雄心，而不是仅仅想获得学位。当然，从技术上讲，我寻找良好的技术背景，而不仅仅是考试成绩。但老实说，我永远不会进入我自己的实验室。所以今天的标准非常高。所以当你申请博士学位或研究生项目时，你可能已经有一些记录了，一些，不一定如此，当然，如果他是 Geoff 的学生，我会毫不犹豫地录取他。但即使你，我说这不仅是对 U of T 的学生，也是对网上所有学生，你也可以有非常不同的背景。你可以来自一个贫困的背景。我寻找的不是你在哪里，而是你走的旅程，你的记录显示了你走的旅程，显示了你的热情和信念。
读过这本书后，我会说，这是一个非常令人惊讶的旅程，我认为对大多数人来说，读完后会感到惊讶。而且只是一个宣传，如果你在加拿大，可以在 Indigo 购买，你可以去 indigo.ca 预订这本书。但我认为人们会感到惊讶，并且会非常享受阅读和理解这段经历，你将非常清楚地了解这个问题的答案。
谢谢。
好的，有大约 50 只手举着。好吧，我们去这边角落。
嘿，谢谢你的精彩演讲。我叫 Chelav，我在 Vector Institute 工作。所以，我认为基准测试非常重要。基准测试就像问题。ImageNet 基本上是一个问题，然后人们试图用模型来回答它。所以现在 LLM 很难评估，而采取行动的通用代理更难开始思考如何评估它们。所以我的问题是关于问题。是关于这些基准测试的。所以两件事。第一，如果你坐下来和 GPT-5、GPT-6、GPT-7 玩五分钟，你会问什么问题才能告诉你是下一代模型？第二，更全面的基准测试，我们需要一个更全面的、不是五分钟的基准测试来评估 LLM 或通用代理？你可以选择你想思考或回答哪个。谢谢。
谢谢你的问题。这是一个非常好的问题。我将回答一个略微相关的问题。所以这个问题出现在 GPT-4 上。你如何判断它是否聪明，特别是，我正在和一位名叫 Hector Levesque 的人交谈，他曾是计算机科学系的教员，他的信仰与我的几乎完全相反，但他非常诚实。所以他很惊讶 GPT-4 有效，他想知道它怎么可能有效。所以我们花时间谈论了这个问题。然后我让他给我一些问题来问它，这样我们就可以决定它是否理解。所以问题是它是否真的理解它所说的，还是它只是使用一些花哨的统计数据来预测下一个词？关于这一点的一点是，要真正预测下一个词，就必须预测这个人说了什么。所以你必须理解才能预测，但你可以在不理解的情况下预测得很好。那么 GPT-4 真的理解吗？所以 Hector 提出了一个问题：“我家的房间是白色的，黄色的，还是蓝色的。我想让所有房间都变成白色，我该怎么办？”我知道它能做到。所以我让问题变得更难。所以我说，我家的房间是白色的，黄色的，还是蓝色的，黄色油漆一年内会褪成白色，两年后我想让所有房间都变成白色。我该怎么办？还有，为什么？如果你说“为什么”，它会给出解释。ChatGPT 只是说，你应该把蓝色的房间漆成白色。它说你不需要担心黄色的房间，因为它们会褪成白色。事实证明，它对措辞非常敏感，如果你不使用“褪色”，而是使用“改变”，我收到一个人的投诉，他说，我试过了，但没用。他们使用“改变”而不是“褪色”。关键是，如果我们理解“褪色”意味着颜色改变并保持改变。但如果你说“改变”，它会改变颜色，但它可能会变回来。所以如果你说“改变”而不是“褪色”，它不会给出相同的答案。它对措辞非常敏感。但这让我相信它真的理解了。它还做了其他事情。所以最近有一个很好的问题，很多聊天机器人无法正确回答，有些人也无法正确回答，但 GPT-4 可以正确回答，那就是，所以你看我正在回答这个问题，GPT-4 是否理解，这与你问的问题确实有关，对吧？
是的，是的，正是如此。
所以问题是这样的：Sally 有三个兄弟，她的每个兄弟都有两个姐妹，Sally 有多少个姐妹？大多数聊天机器人都会出错。
人类呢？
嗯，我刚在拉斯维加斯做了一个炉边谈话，主持人问我一个聊天机器人出错的例子。所以我给了他这个例子，他说：“六个”，这有点令人尴尬。
我们不会问他的名字，我只是开玩笑。
不，所以人们会出错。
是的。
但我不知道你怎么能正确回答这个问题而不进行一定程度的推理。它必须建立一个模型。
是的。
安德鲁·英格有一些例子，比如玩 Othello，即使你只输入字符串，它也会在内部建立一个棋盘模型。所以我认为它们真的理解。
更进一步说，这种理解是否跨越了智能的界限？
哦，不。
你说是的。
是的，我的意思是，我接受图灵测试作为智能的测试。人们只有在我们通过图灵测试后才开始拒绝它。
所以这就是我所说的移动目标线。好的，你想回答——
我想快速回答一下，首先，也为你问了一个这么好的问题鼓掌。我将回答一个与 Geoff 的问题略有不同的问题，因为我认为 Geoff 试图推动的是我们如何评估这些大型模型的根本智能水平。但还有其他几个维度。一个是，再次，斯坦福 HAO 的基础模型研究中心正在创建这些评估指标。你可能正在阅读 Percy Helm 等人的论文。我认为这项技术也越来越深入，一些基准测试比你想象的要混乱得多，例如 ImageNet 基准测试，与政府合作，例如 NIST，美国国家标准与技术研究院，T 是什么？
技术。
和技术，测试或类似的东西。我们需要开始针对社会相关问题进行基准测试，而不仅仅是核心基本能力。还有一件事，我想稍微拓宽你的视野，那就是除了 LLM 之外，还有许多面向人工智能未来的技术，我们还没有建立好的基准测试。我的意思是，再次，我的实验室正在做一些机器人学习的工作，谷歌昨天刚发布了关于机器人学习的论文。所以这个领域还有很多研究正在涌现。
谢谢。
好的，我知道我们有很多在线问题。我可能会再回答几个房间里的问题，然后也许 Radical 的某个人会读出一两个在线问题。好的，房间里，让我们去这边角落。
（听不清的谈话声）麦克风来了。
你好，我叫 Vishaam，我是圭尔夫大学的研究生，我的论文是关于人工智能和农业的。所以，基于你提到的大学没有足够的资金来训练基础模型。所以同样的问题，我想从事人工智能和农业。我对此充满热情，但我没有足够的资源来做到这一点。我可能会想出一个非常好的架构，但我无法训练它。所以也许我可以去行业，然后向他们推销这个想法，然后我就无法控制这个想法了。我不知道他们会如何应用它。所以你对如何处理这种情况有什么建议吗？
创业。
如果你能得到——
创业，这就是我们在这里的原因。哦，抱歉，我让你回答。
如果你能获得一个开源的基础模型，你可以用比构建模型少得多的资源来微调其中一个模型。所以大学仍然可以对这些模型进行微调。
这是目前一个非常务实的答案。但这就是我们一直在与高等教育领导者和政策制定者谈论投资于公共部门的原因。我们必须拥有国家研究云，我不知道加拿大是否有国家研究云，但我们正在推动美国，我们需要让像你这样的研究人员能够访问国家研究云。但你有一个优势，那就是你不是一家公司，那就是你有更多机会接触独特的数据集，特别是为了公共利益的数据集，并发挥这种优势。你可以与政府机构合作，与社区合作，因为公共部门仍然拥有信任，并利用这一点。但目前来说，是的，在开源模型上进行微调。
谢谢。非常感谢。
好的，我们将回答几个问题。我们有成千上万的人在线观看，在斯坦福和其他地方观看直播，所以让我们看看能否从一些在线观众那里得到一个问题。Leah 将代表某人在线提问。顺便说一句，她和 Aaron Brindle 一起做了大量工作才使这一切成为可能，谢谢你们俩。
谢谢 Jordan。（观众鼓掌）
好的，谢谢。所以我们确实有数百名人工智能研究人员在线，他们是构建人工智能优先公司的相关人士。所以第一个获得最多赞的问题来自 Ben Saunders 或 Saunders。他目前是一家人工智能初创公司的首席执行官。他的同事实际上是 Geoffrey Hinton 在 2008 年的学生。他问了关于负责任地构建的问题，而这些问题很多都与负责任地构建有关，他们正在考虑哪些措施可以帮助他们作为团队成为善良的真正守护者，以及成为守护者到底意味着什么？
好问题。所以负责任的人工智能框架，有很多框架，我认为有人估计，几年前有大约 300 个框架，从国家到公司。我认为每个公司建立一个负责任的框架都非常重要。有很多东西可以借鉴，即使 Radical 也在制作一个，并创建你所相信的价值框架，并认识到人工智能产品是一个系统。所以从上游，定义问题，数据集，数据完整性，如何构建模型，部署，并创建一个多方利益相关者生态系统或多方利益相关者，无论什么团队来帮助你构建这个负责任的框架，并建立合作伙伴关系。与学术界等公共部门的合作伙伴关系，与担心隐私、偏见等不同方面的公民社会建立合作伙伴关系。所以真的要尝试，既要有公司的观点，也要成为生态系统的一部分，并与拥有这些知识的人合作。这是我目前的建议。
我将补充——你想补充吗？
不，那是一个比我能给出的更好的答案。
我只想补充一点。我认为，正如 Fei-Fei 所说，通过与对此感兴趣的人合作，我认为投资界有一些人正在思考并领导这方面的工作。在我们的例子中，Radical，我们在每一份投资条款清单中都写下了公司采用负责任人工智能的义务。起初，当我们这样做时，一些律师看了看，说：“这是什么？”并试图划掉它，但我们把它放回去了。但我们也一直在研究一个负责任的人工智能投资框架，我们将广泛发布。我们与世界各地的一些组织合作完成了这项工作。在过去的四年里，我们接触了 7,000 家人工智能公司，我认为我们投资了大约 40 家。所以我们看到了很多，并试图建立一个其他人可以使用的框架。我们将开源它，以便我们可以改进它并使其更好。但我认为，个别公司可以通过与志同道合的人联系来做很多事情。你想问另一个问题吗？
是的，太好了，有这么多问题，所以我们很遗憾只能回答几个。但基于此，很多问题都与行业的关系有关，考虑到行业和私营部门在模型中的作用有多大。
开发。而且有些人甚至在问，研究人员和不同的工程岗位今天是否也应该参加管理课程？——当然。——我得给你讲个我在谷歌时的一个故事，我管理着一个小团队，我们每六个月会收到我们手下员工的报告。我收到的报告之一是：“Geoff 人很好共事，但他可能需要上管理课程，但那样他就不是 Geoff 了。”（观众笑）我就是这么看待管理课程的。（观众笑）（观众鼓掌）——我没有比这更好的故事了。（观众笑）——我们还剩大约一分半钟，所以也许我们可以再来一个现场提问，如果可以的话。我们看看。你想来一个吗？是的，不，在你旁边。抱歉。好的，希望提问快一点，然后我们会得到一个快速的回答。——谢谢。很高兴来到这里。很高兴见到 Fei-Fei。我叫 Elizabeth，我在 Cohere 工作。所以我的问题是，从私营部门的角度来看，我们与各方合作，将自然语言处理大型语言模型带入更广泛的社会，特别是公共部门和研究机构、大学，他们拥有大量人才、大量数据。找到一种互利的合作关系的最佳方式是什么，我们可以做出贡献，他们也可以做出贡献？谢谢。——给他们一些钱。（观众笑）——谢谢。（观众鼓掌）——或者 H100，我们要 H100。但你看，这非常重要。我提倡公共部门投资，但我实际上可能更提倡合作。我们需要政府、私营部门和公共部门共同努力。所以过去四年在斯坦福 HAI，这是我们做的一件主要事情就是创建一个行业生态系统。我们可以私下谈论很多细节，但如果我和大学领导或高等教育人士交谈，我会说我们需要拥抱它。我们需要负责任地拥抱它。有些人会用不同的方式称呼它，但我认为这个生态系统非常重要。双方都很重要。建立这种伙伴关系，成为彼此负责任的伙伴。资源是一个大问题。我们将不胜感激。——[Elizabeth] 谢谢。——好的，这样我们就正好没时间了。我想感谢你们两位。我一直感到非常荣幸能称你们两位为朋友，Fei-Fei 你是我的伙伴，Geoff 你是我的投资者，并与你们私下进行这些对话。所以很高兴能让你们两位在一起，让其他人听到你们的发言。所以非常感谢你们两位。希望这次谈话对你们来说和对我一样富有启发性。（观众鼓掌）现在我们将把时间交给多伦多大学文理学院院长 Melanie Woodin。——非常感谢 Jordan。Geoff、Fei-Fei 和 Jordan，我代表今晚在 MaRS 的所有人以及数千名在线加入我们的朋友，对今晚这场深刻的对话深表感谢。我可以肯定地说，而且我想我们很多人都知道，成为大学社区的一员提供了永无止境的参与对话和讲座的机会。作为文理学院的院长，我有幸参加了其中许多。但我可以毫不犹豫地说，今晚的对话确实是无与伦比的。当然，这次对话再及时不过了。Geoff，当你与世界分享你对超级智能威胁的担忧时，我们都倾听了，我们都尽了我们所能来理解这个复杂的问题。无论是阅读观点文章、观看你的视频，还是阅读长篇新闻报道，我们都努力理解你在告诉我们什么。所以能直接听到你的声音，以及 Fei-Fei，她多年来一直引领着以人为本的人工智能领域，这确实非常有力。因此，感谢你们两位，也感谢在座的各位。非常感谢 Radical Ventures 和其他促成今晚活动得以实现的合作伙伴。至此，讲座结束，我们邀请在场的各位在门厅享用一些便餐。感谢您的参与。（观众鼓掌）（观众含糊不清地交谈）