Transcription
以下是与 Andrew 的对话，他是人工智能和技术领域最具影响力的教育家、研究人员、创新者和领导者之一。他联合创办了 Coursera 和 Google Brain，推出了 Deep Learning AI、Landing AI 和 AI Fund，并曾担任百度首席科学家。作为斯坦福大学教授，他通过 Coursera 和 Deep Learning AI，帮助教育和启发了包括我在内的数百万学生。这是人工智能播客。如果您喜欢，请在 YouTube 上订阅，在 Apple Podcasts 上给予五星好评，并在 Patreon 上支持我们。您也可以在 Twitter 上与我联系，我的推特是 Lex Friedman，拼写是 Fri D ma n。
像往常一样，我将用一两分钟的广告时间，中间绝不会插入广告，以免打断对话的流畅性。我希望这对您来说是可行的，并且不会影响收听体验。本节目由 Cash App 呈现，这是 App Store 中排名第一的金融应用程序。下载时，请使用代码 podcast。Cash App 可以让您向朋友汇款、购买比特币，并以低至一美元的价格投资股票市场。经纪服务由 Square 的子公司 Cash App Investing 提供，并且是 FINRA 和 SIPC 的成员。由于 Cash App 允许您购买比特币，我想借此机会提及，在货币历史的背景下，加密货币非常迷人。我推荐《金钱的起源》这本书，它很好地讲述了这段历史。
账簿上的借贷记账法始于 30,000 多年前。美元创建于 200 多年前。而比特币，第一个去中心化加密货币，则在十多年前发布。因此，考虑到这段历史，加密货币仍处于发展的早期阶段，但它仍然旨在，并且很可能重新定义货币的本质。所以，如果您从 App Store 或 Google Play 下载 Cash App 并使用代码 podcast，您将获得 10 美元。Cash App 还将向我最喜欢的组织之一捐赠 10 美元，该组织致力于在全球范围内推进机器人技术和 STEM 教育，为年轻人服务。
现在，这是我和 Andrew Ng 的对话。
您在斯坦福大学教授的机器学习课程，以及后来您联合创办的 Coursera 课程，教育和启发了数百万人。那么，我想问您，在您年轻的时候，是什么样的人或什么样的想法激发您进入计算机科学和机器学习领域？您是什么时候第一次爱上这个领域的？
换个说法，我在香港和新加坡长大，五六岁的时候就开始学习编程。当时我正在学习 BASIC 编程语言，他们会给你一些代码，然后告诉你把这些代码输入你的电脑。所以，我把这些代码输入我的电脑，然后通过所有这些打字，我就可以玩一些非常简单的射击游戏，这些游戏是我自己在我老旧的电脑上实现的。所以，作为一个小孩子，我觉得非常着迷，我竟然能写出代码，虽然只是把书上的代码复制到我的电脑上，然后就能玩这些很酷的电子游戏了。
另一个对我来说很重要的时刻是，我十几岁的时候，我父亲因为是医生，正在阅读关于专家系统和神经网络的书籍。所以，他让我读了其中一些书，我觉得这真的很酷，你可以写一个开始表现出智能的计算机。我还记得高中时在新加坡实习，我做了很多复印工作，我是一名办公室助理。我工作的亮点是，我可以使用碎纸机。所以，十几岁的我心想，男孩，这复印工作太多了，要是我们能写软件，造个机器人来自动化这一切就好了，也许我就可以做点别的事情了。所以，我想我之后的大部分工作都围绕着自动化这个主题。
即使是我今天思考机器学习的方式，我们非常擅长编写学习算法，它们可以自动化人们可以做的事情。甚至推出第一个大规模开放在线课程（MOOC），后来导致了 Coursera 的诞生。我试图自动化我在校园里教学过程中可以自动化的部分，让它更具影响力，让一个老师，一个教育者，产生更大的影响。是的，我觉得，我在斯坦福大学教机器学习，当时一年大约有 400 名学生。我发现自己每年都在拍摄完全相同的视频，讲着同样的笑话，在同一个房间里。我想，我为什么要这样做呢？我可以直接用去年的视频，然后我就可以花时间与学生建立更深厚的联系。所以，这个思考过程导致了我们推出的第一个 MOOC。
那么，您在斯坦福大学亲自教授数千人，后来又在线上教授数百万人，您早期在斯坦福大学教学的经历中，有什么特别的回忆吗？
关于在线教学，很多人不知道的是，很多视频都是在晚上 10 点到凌晨 3 点之间拍摄的。很多时候，我们正在观看第一个 MOOC，我们的课程已经有 10 万人注册了，但我们才刚刚开始编写代码，还没有真正拍摄视频。所以，这给了我们很大的压力，有 10 万人等着我们制作内容。很多个星期五、星期六，我会和朋友们出去吃饭，然后我想，好了，我现在要回家，还是去办公室拍视频？而想到能帮助 10 万人学习机器学习，这让我觉得，好吧，我要去我的办公室，去录音棚。我会调整我的罗技网络摄像头，调整我的 Wacom 数位板，确保我的领夹麦克风是开着的，然后我经常要到凌晨 2 点或 3 点才开始录制。我想我很幸运，它并没有显示出是在深夜录制的，但能够创作内容来帮助这么多人学习机器学习，这真的很有启发性。
当您和一两个朋友用罗技网络摄像头录制，然后在凌晨一两点独自回家时，知道这些内容最终会触及成千上万甚至数百万人的时候，您是什么感觉？这是一种满足感，一种坚持不懈的感觉吗？
我觉得这很谦卑。我当时并没有过多地考虑我所做的事情。我想，我们从早期就做对了一件事，我告诉我的整个团队，首要任务是为学习者做最好的事情，为学生做最好的事情。所以，当我走进录音棚时，我脑子里想的只有，我能说些什么？我该如何设计我的幻灯片，准备好图画，以便尽可能清晰地向学习者解释这些概念？
我觉得，我有时会看到一些讲师，他们会说，“嘿，让我们来谈谈我的工作吧，也许我教你们我的研究，有人会引用我的论文几次。” 我认为，我们推出第一个 MOOC，以及后来建立 Coursera 时，我们做对的一件事是，确立了那个基石原则：让我们只为学习者做最好的事情，然后忘记其他一切。我认为，这确实是这个运动兴起的一个指导原则。
您想象中的学习者群体尽可能广泛，尽可能全球化，所以您真的想接触到尽可能多对机器学习和人工智能感兴趣的人。您真的想帮助任何对机器学习感兴趣的人进入这个领域。我觉得，有时人们会问我，“嘿，你为什么花这么多时间解释梯度下降？” 我的回答是，如果我看看我认为他们需要学习的东西，我认为拥有良好的基础理解，回归基本原理，将使他们能够更好地建立长期的职业生涯。所以，您一直试图根据这一原则做出决定。
您在当时向狭义人工智能社区和全世界揭示的一件事是，真正对人工智能感兴趣的人数远远超出了我们的想象。通过您教授课程以及它的受欢迎程度，表明哇，这不仅仅是一个小众群体，而是更大范围的。有开发者，有来自世界各地的人，来自……我是俄罗斯人，所以俄罗斯的每个人都对此非常感兴趣。有数百万的程序员对机器学习感兴趣，印度、中国、南美洲，各地都有数百万对机器学习感兴趣的人。您对这个感兴趣的人数有多大的感知？
我认为这个数字随着时间的推移一直在增长。我认为，有些事情可能看起来是突然出现的，但它是逐步建立起来的，这需要很多年。所有那些一夜成名的成功，都花了数年时间才能实现。我第一次涉足这种教育是在我们拍摄斯坦福课程并将视频上传到 YouTube 的时候，然后还有一些其他的事情，比如上传整个课程等等。但基本上，我们上传到 YouTube 的一个一小时十五分钟的视频，然后我们还有四五个其他版本的网站，其中大部分您可能从未听说过，因为它们触及的受众很小。但这让我能够迭代，让我的团队和我能够创新，了解哪些想法有效，哪些无效。
例如，我非常兴奋和自豪的一个功能是，我构建了一个网站，允许多人同时登录。今天，如果您访问一个网站，您知道，如果您登录了，然后我想登录，您需要退出。这是同一个浏览器，同一个电脑。但我当时想，如果我们两个人，比如你和我，一起在电脑前看视频，如果一个网站能让你输入你的名字和密码，然后输入他们的密码，然后电脑就知道我们都在一起看，并且会给我们两人在集体活动中获得的任何成就记入。这个功能，我们在旧金山的一所高中推出了。我们有大约二十几个用户，一位老师在那里，神圣的心脏大教堂预科学校的老师。您猜怎么着？零人使用这个功能。事实证明，在线学习的人想自己看视频，可以按照自己的速度回放和暂停，而不是成群结队地观看。所以，这是众多微小经验教训中的一个例子，它使我们能够专注于一系列功能。
听起来这是一个绝妙的功能。所以，我想从中吸取的教训是，有些东西在纸面上看起来很棒，但没有人使用它，它并没有产生您认为的那么大的影响。所以，是的，我看到您确实经历了许多不同的功能和许多想法，才最终在 Coursera 上找到了那个强大的最终形态，向世界展示了 MOOC 可以教育数百万人。
而且，我认为，随着机器学习运动的发展，它也不是凭空出现的。相反，发生的是，随着越来越多的人了解机器学习，他们会告诉他们的朋友，他们的朋友会看到它如何极大地改变他们的工作，然后社区不断壮大。而且，我认为我们仍在增长。我不知道未来有多少比例的开发者会成为 AI 开发者，我很容易想象会超过 50%。因为有如此多的 AI 开发者，广义上讲，不仅仅是那些进行机器学习建模的人，还有那些基础设施、数据管道、所有围绕机器学习模型的软件。也许这甚至更大。
我觉得今天几乎所有的软件工程师都对云计算有所了解。哦，你知道，也许我的微控制器开发者不需要使用云计算，但我感觉今天绝大多数的软件工程师都欣赏云计算。我认为，未来我们可能会接近 100% 的开发者，以某种方式成为 AI 开发者，或者至少对机器学习有所了解。
我希望，会有这样的效应，那些对成为程序员或从事软件工程不感兴趣的人，比如生物学家、化学家、物理学家，甚至机械工程师，以及所有这些学科，它们越来越多地依赖于大型数据集。而他们以前认为自己对编程不感兴趣，直到他们有了这个数据集，他们才意识到有一套机器学习工具可以让他们利用这个数据集。所以，他们实际上学会了编程，并成为了新的程序员。所以，不仅仅是因为您提到了更大比例的开发者会成为机器学习领域的人，似乎越来越多的人成为开发者的类型也在显著增长。
是的，是的。我认为，曾经只有一小部分人类能够读写，也许您认为不是每个人都需要学习读写。您只需听几个僧侣为您朗读，也许这就足够了。或者也许我们只需要少数几位作者写畅销书，然后其他人就不需要写了。但我们发现，通过让尽可能多的人……在一些国家，几乎每个人都识字，这极大地增强了人与人之间的沟通，我们现在可以为一个人写作，比如我给你发一封电子邮件，你给我发一封电子邮件。
我认为，在计算领域，我们仍处于那个阶段，只有很少人知道如何编写代码。代码主要是为相对较大的受众编写的。但如果每个人……如果大多数人都成为开发者，就像在发达经济体中，大多数人都识字一样。我希望看到一家夫妻店的老板能够用很少的代码来定制本周的电视显示屏。我认为，这增强了人与计算机之间的沟通，而这在今天也变得越来越重要。
所以，您认为机器学习有可能变得类似于识字，在那里，正如您所说，夫妻店的老板，基本上是各行各业的人，都将拥有一定程度的编程能力？
我可以看到社会朝着这个方向发展。还有另一件有趣的事情。如果我去和夫妻店的老板交谈，如果我和他们在日常工作中与许多人交谈，我以前没有一个很好的理由来解释为什么他们应该学习编程。我们给他们一些理由，但随着机器学习和数据科学的兴起，我发现，那些在日常生活中和工作中对数据科学有实际用途的人的数量，可能比一个国家对软件工程有实际用途的人的数量还要多。
例如，如果您经营一家小型夫妻店，我认为，如果您能够分析有关您的销售、您的客户的数据，我认为那里有真正的价值，甚至可能比传统的软件工程师还要多。所以我发现，我的许多朋友，在各种职业中，无论是招聘人员、会计师，还是我这些天越来越多地打交道的工厂里工作的人，我都觉得，如果他们某种程度上的数据科学家，他们就可以立即在工作中运用。所以我认为，数据科学和机器学习可能比软件工程更容易进入开发者世界，对很多人来说。
这很有趣，我同意。您说得太好了。我们生活在一个大多数课程和讲座都有幻灯片、PowerPoint、Keynote 的世界里，然而您却以经常使用马克笔和白板而闻名。它的简洁性很有吸引力，至少对我来说，观看起来很有趣。那么，请问您为什么喜欢使用马克笔和白板，即使是在最大的舞台上？
我认为这取决于您想解释的概念。对于数学概念，逐一构建方程是很方便的，而白板马克笔或笔式触控笔是一种非常简单的方式，您可以在谈论复杂概念时，逐一构建方程，逐一构建复杂概念。有时这会增强可理解性。
书写的缺点是它很慢。所以，如果您想写一个长句子，写起来会非常困难。所以我认为有利有弊，有时我使用幻灯片，有时我使用白板或触控笔。白板的慢速也有其优点，它迫使您将一切简化到最基本。您的一些演讲涉及白板，我指的是真的很少，但您讲得很慢，您真正专注于最简单的原理。这很美妙，它强制了一种思想上的极简主义，我认为这令人惊讶，至少对我来说，对教育来说非常棒。
一场伟大的演讲不是内容很多的演讲，而是一场清晰地表达几个简单想法的演讲。我认为白板以某种方式强制了这一点。
Peter Bailer，他现在是世界上顶尖的机器人专家和强化学习专家之一，是您的第一位博士生。所以，我提到他，是因为我能想象这一定是您生活中的一段有趣时光。您有没有关于与 Peter 在那些不确定的时期合作的特别回忆，尤其是在深度学习真正爆发之前？您有没有那些时候的特别回忆？
我真的很幸运能有 Peter 作为我的第一位博士生。我认为，我长期的专业成功也建立在 Peter 对此至关重要的早期基础或早期工作之上。所以我非常感激他与我一起工作。很多人不知道的是，研究有多么困难。Peter 的博士论文是使用强化学习来驾驶直升机。所以，即使在今天，网站 Helly.stanford.edu，您仍然可以看到我们使用强化学习让直升机倒飞、盘旋、翻滚的视频。这是很酷的，是有史以来最令人难以置信的机器人视频之一。您仍然可以观看它。是的，那是在 2007 年或 2008 年，或者 2006 年左右。是的，已经十多年了。这真的启发了很多人。
但很多人看不到的是，这有多么困难。所以，Peter、Adam 还有我，我们研究了直升机的各种版本，很多事情都没有成功。例如，我们遇到的最困难的问题之一是，当直升机倒飞进行特技表演时，如何确定它的位置？如何定位直升机？所以，我们尝试了各种方法，只使用一个 GPS 单元不起作用，因为直升机是倒飞的，GPS 单元朝下，所以它看不到卫星。所以，我们尝试了，我们实验了，尝试使用两个 GPS 单元，一个朝上，一个朝下。如果您翻转过来，它也不起作用，因为朝下的那个无法同步，如果您翻转得很快。Morgan Quigley 正在研究一种极其复杂的专用硬件配置，用于解释 GPS 信号，将其输入 FPGA，完全疯狂。花了一年时间研究这个，没有成功。
所以我记得 Peter，一个很棒的人，我和他，我们坐在我的办公室里，看着我们尝试过的最新方法，但都没有成功，然后说，“好吧，唐，现在怎么办？” 因为我们尝试了这么多东西，但最终都没有成功。最终，我们和 Adam Cole 一起做的事情至关重要，那就是在地面上安装摄像头，并使用地面的摄像头来定位直升机，从而解决了定位问题。这样我们就可以专注于强化学习和逆强化学习技术了。所以，这并没有真正让直升机飞起来。
我记得，当我在斯坦福大学做这项工作的时候，当时有很多关于强化学习的理论论文，但实际应用并不多。所以，自动直升机的工作，对直升机进行飞行，是当时为数不多的强化学习的实际应用之一，这使得它相当出名。
我觉得我们可能已经差不多走完一圈了。今天有如此多的炒作，如此多的兴奋，关于强化学习。但同样，我们还在寻找更多的应用，以及 Delica 提出的所有这些伟大的想法。在大多数人都在从事理论工作的情况下，是什么驱动您，在不确定性和挑战面前，让直升机能够完成应用工作，让实际系统能够工作？
在面对恐惧、不确定性和挫折时，正如您提到的定位问题，我喜欢有效的东西。我喜欢现实世界的东西。所以，这又回到了碎纸机。你知道，我喜欢理论，但当我自己研究理论时，这是我个人的品味。我不是说别人应该做我做的事情。但当我研究理论时，我更享受，如果我觉得我所做的工作会影响人们，会产生积极的影响，会帮助到某人。
我记得很多年前，我和一位数学教授聊天。他只是问我，“你做什么？” 然后他说，他眼中闪烁着星光回答说，这位数学家，不是斯坦福大学的，是另一所大学的，他说，“我做我所做的事情，是因为它帮助我发现宇宙的真理和美。” 他说，“是的。” 我想，这很棒。我不想那样做。我觉得有人这样做很棒，我完全支持这样做的人，我非常尊重他们。但我更受激励的是，当我能看到我团队所做的工作如何帮助人们。
世界需要各种各样的人。我只是其中一种类型，希望每个人都以同样的方式行事。但当我深入研究理论或实践时，如果我个人有信念，你知道，这里有一条帮助人们的途径，我发现更有满足感，拥有那种信念，那就是你的道路。
您是深度学习的倡导者，在它获得广泛认可之前。您在这个领域看到了什么，让您充满信心？在 2000 年代，也就是您所说的那个十年里，您的思考过程是怎样的？
我可以告诉你，我们做错了什么，我们做对了什么。我们真正做错的是无监督学习的早期重要性。所以，在 Google Brain 的早期，我们投入了大量的精力进行无监督学习，而不是监督学习。我认为，这大约是在 2005 年，在 NIPS（现在称为 NeurIPS）会议之后。我和 Geoff Hinton 坐在会议厅外面的自助餐厅里聊天。Geoff 拿出一张餐巾纸，开始在上面画一个论证。这是一个非常有说服力的论证。
人类大脑大约有 100 万亿个突触连接，您活大约 10 的 9 次方秒，也就是 30 年。您实际上活了大约 2 x 10 的 9 次方，或者说 3 x 10 的 9 次方秒。所以，我们就说 10 的 9 次方吧。如果您的神经网络中的每个突触连接，每个权重，只有一个比特的参数，那就是 10 的 14 次方比特。您需要在您生命中的 10 的 9 次方秒内学习。所以，通过这个简单的论证，虽然有很多问题，它非常简化，那就是每秒需要学习 10 的 5 次方比特。我有一个一岁的女儿，我不会给她提供 10 的 5 次方比特的标签。而且，我认为我是一个非常有爱的父母，但我不会那样做。
所以，从这个……非常粗糙的，肯定是有问题的论证来看，通过监督学习来了解我们所知道的大部分知识，是绝对不可能的。您获得如此多信息的方式是通过吸收图像、音频、世界中的经验。所以，这个论证以及许多其他论证，都让我坚信无监督学习的巨大力量。所以，这部分是我们可能做错了。我仍然认为无监督学习非常重要，但是，在早期，10 到 15 年前，我们所有人都认为那是前进的方向。
所以，您的意思是，那可能是当时错误的直觉？
那是我们做错的部分。我们做对的部分是规模的重要性。Adam Cole，另一个很棒的人，当时在我斯坦福的团队里。Adam 在斯坦福进行了一些实验，表明我们训练的学习算法越大，性能就越好。正是基于这一点，他生成了一张图表，其中 X 轴是训练量，Y 轴是性能。线条是向上倾斜的，所以训练得越多，性能就越好。准确性是垂直轴。所以，正是基于 Adam 生成的这张图表，我才有了信心，可以把这些模型做得比我们在少数 CPU 上能做的要大得多，这样我们就能获得更好的结果。正是基于 Adam 生成的这张图，我才有了信心去谷歌，去提出……开始一个项目，后来成为了 Google Brain。
在谷歌，我们的直觉是，规模将带来性能。所以，我们应该追求越来越大的规模。我认为人们没有意识到，这个简单但具有开创性的想法——更大的数据集将带来更好的性能——是多么具有开创性。当时这在文化上是具有争议性的。我的一些好心朋友，你知道，在机器学习社区里，我不会点名，但其中一些人，我们认识的人，他们来给我友好的建议，说，“安德鲁，你为什么要这样做？这太疯狂了。看看你正在构建的架构，你只是追求规模。这是一个糟糕的职业选择。” 所以，我的好心朋友们……有些人试图劝我不要这样做。
我认为，如果你想取得突破，有时你必须有信念，并在事情流行之前就去做。这让你能产生更大的影响。
让我问您一个关于这个话题的小插曲。我发现自己经常与人争论，说更大的规模，尤其是在主动学习的背景下，通过非常仔细地选择数据集，但增加数据集的规模将带来深度学习的进一步突破。而现在有人反对这种想法，认为更大的数据集不再……您想提高学习效率，您想改进学习机制。我个人认为，更大的数据集，即使使用我们现在相同的学习方法，仍然会带来更好的性能。您对此的直觉是什么？我们是需要开发出更好的架构来学习，还是仅仅通过更大更好的数据集就能提高性能？
我认为两者都很重要，而且也取决于具体问题。对于一些数据集，我们可能已经接近贝叶斯误差率，接近或超越了人类水平的性能。然后就会有一个理论上的上限，我们会达到那个上限。但然后，我认为有很多问题，我们仍然离人类水平的性能或贝叶斯误差率很远。而更大的数据集，加上神经网络，但没有进一步的创新，将足以让我们走得更远。
但另一方面，如果我们看看最近在语言模型中使用 Transformer 网络取得的突破，这是新颖架构和规模的结合。如果我们看看 GPT-2 和 BERT 的情况，我认为规模是故事的重要组成部分。人们并不经常谈论它训练的数据集的规模和质量。因为有些……就像 Reddit 帖子，它们被高度评分。在非常大的数据集上已经有一些弱监督了。人们并不经常谈论这一点。
我发现，今天我们有成熟的数据管理流程，比如 Git 版本控制。我们花了很长时间才发展出好的流程。我记得，我和我的朋友们曾经通过电子邮件互相发送 C++ 文件。然后我们有了 CVS、Subversion、Git，未来可能还有其他东西。在数据管理方面，我们还很稚嫩。想想数据的创建方式，以及……非常混乱的数据问题。我认为这方面有很多创新。
我仍然喜欢您通过电子邮件进行版本控制的想法。我给您举一个例子。当我们与制造公司合作时，有多份不一致的清单是很常见的。所以，我们在做视觉检查工作时，我们会把一个塑料零件展示给一个检查员，检查员有时非常主观，他说，“这显然是一个有划痕的缺陷，我明白了。” 所以，他会检查这个零件。把同一个零件给另一个检查员，另一个检查员非常主观地说，“这显然是一个小划痕，没关系，不要扔掉它，你会让我们亏本的。” 然后有时你会把同一个塑料零件，在下午拿给同一个检查员看，和早上看。他下午会说，“显然没问题。” 上午，同样自信地说，“显然这是一个缺陷。”
那么，AI 团队应该怎么做呢？如果一个人一天之内甚至对自己都没有一致的看法呢？所以我认为，这些就是我的团队正在努力解决的非常实际、非常混乱的数据问题。在拥有十亿用户的超大型消费互联网公司的情况下，您不必担心，他们只是取平均值，效果还不错。但在其他行业环境中，我们没有大数据，只有小数据，非常小。用户可能只有 100 个有缺陷的零件，或者 100 个缺陷的例子。如果您只有 100 个例子，这些微小的标记错误，如果您的一百个标签中有 10 个是错误的，那实际上是 10%。这会产生很大的影响。那么，您如何清理这些？您应该怎么做？
这就是我的团队正在努力解决的，以处理小数据问题的一个例子，而这在消费者互联网之外非常普遍。
这很有趣。那么，您会投入更多的精力和时间来思考实际的标记过程？标签是什么？如何解决分歧？以及所有这些务实、现实世界的问题？这是一个迷人的领域。
我发现，在我斯坦福大学教学时，我越来越多地鼓励学生们自己寻找学期末的项目，而不是仅仅下载别人已经清理干净的数据集。实际上，如果您需要自己定义问题并找到自己的数据集，这会更难，而不是去几个很好的网站上找一些干净的数据集来工作。
您现在正在领导三个项目：AI Fund、Landing AI 和 Deep Learning AI。正如您所说，AI Fund 致力于从零开始创建新公司。Landing AI 致力于帮助已建立的公司进行 AI 应用。而 Deep Learning AI 则致力于为所有其他人，或对进入该领域并取得优异成绩感兴趣的个人提供教育。那么，让我们先谈谈每个领域，Deep Learning AI。一个人对深度学习感兴趣，如何开始进入这个领域？
Deep Learning AI 正在创建课程，以帮助人们进入 AI 领域。我通过斯坦福大学教授的机器学习课程至今仍然是 Coursera 上最受欢迎的课程之一。如果您问某人他们是如何进入机器学习领域，或者他们是如何爱上机器学习的，或者是什么让他们感兴趣，他们总是会提到 Andrew Ng。您影响的人数简直是不可思议。所以，我代表很多人，非常感谢您。
谢谢。我曾经读过一篇新闻文章，我认为是《麻省理工科技评论》上的。我可能会记错统计数据，但我记得读到一篇文章说，大约三分之一的程序员是自学成才的。我可能记错了，可能是三分之二。但我读到这篇文章时，我想，这说不通。每个人都是自学成才的，因为是你自己学习。我没有教别人，这不好。
那么，一个人如何开始学习深度学习？Deep Learning AI 在其中扮演什么角色？
Deep Learning AI 提供的专业化课程是……我认为有一个叫做“序列专业化”的课程，它可能仍然是。这是人们学习该专业化的一种非常流行的方式，以了解从神经网络到如何调整神经网络的一切。那么，什么是卷积神经网络？什么是 RNN 或序列模型？什么是注意力模型？因此，这个专业化课程会引导大家学习这些算法，这样您就能深入理解它们，并能够实现和使用它们。
那么，对于想参加深度学习专业化课程的人来说，您认为在数学或编程背景方面，有哪些先决条件？
您需要了解基础编程，因为有 Python 的编程练习。数学先决条件非常基础，不需要微积分。如果您了解微积分，那很好，您会获得更好的直觉，但我们特意尝试在不需要微积分的情况下教授这个专业化课程。所以我认为高中数学就足够了。如果您知道如何进行矩阵运算，我认为……我认为这足以应对。所以，基本上是代数，非常基础的代数，以及一些编程。我认为，那些已经学习过机器学习的人，也会觉得深度学习专业化课程更容易一些。但也可以直接跳入深度学习专业化课程，只是会稍微难一些，因为我们倾向于……我们倾向于快速地介绍像梯度下降是如何工作的，以及什么是目标函数。这些内容主要在机器学习课程中涵盖。
您能否简要提及一些学生应该学习的深度学习关键概念，您设想他们在最初的几个月或第一年里会学到什么？
如果您参加深度学习专业化课程，您将学到神经网络的基础知识，如何从一个单元构建神经网络，堆叠层，不同的激活函数。您将学习如何训练神经网络。我为这个专业化课程感到非常自豪的是，我们涵盖了很多实际的技巧，关于如何让这些东西真正起作用。例如，不同优化算法的区别是什么？当算法过拟合时该怎么办？何时收集更多数据？何时不应该费力收集更多数据？
我发现，即使是今天，不幸的是，有些工程师会花六个月的时间去追求一个特定的方向，比如收集更多数据，因为我们听说更多数据是有价值的。但有时，您可以运行一些测试，并在六个月前就得出结论，对于这个问题，收集更多数据不会有帮助。所以，不要花时间收集更多数据，而是花时间修改架构或尝试其他方法。我们还涵盖了很多实际的技巧，这样当……当有人学习深度学习专业化课程时，他们就具备了高效构建神经网络的技能。所以，可以直接开始玩网络，训练它，对特定数据集进行推理，建立直觉，而不会把它做得太大，以至于您花了六个月时间学习，构建您的项目，而没有建立起对数据小部分的直觉，而这部分已经告诉了您关于该数据的一切。
是的，还有系统性的思考框架，关于如何构建实用的机器学习。也许做一个类比，当我们学习编程时，我们必须学习某种编程语言的语法，比如 Python、C++ 或 Octave，或者其他任何语言。但同样重要，甚至更重要的是，要理解如何将这些代码行串联成连贯的东西。那么，您知道，什么时候应该调用一个函数，什么时候不应该？您如何考虑抽象？所以，这些框架使得程序员高效，甚至比理解语法更重要。
我记得我在卡内基梅隆大学读本科时，我的一位朋友通过先尝试编译他的代码来调试他的代码。然后，那是 C++ 代码，然后每一行都有语法错误。他想尽快修复语法错误。那么，他该怎么做呢？他会删除每一行有语法错误的 C++ 代码。所以，对于一般的语法错误来说，这非常有效。但对于糟糕的服务来说，我认为……所以，我们学会了如何调试。我认为，在机器学习中，调试机器学习程序的方式与您……比如进行二分搜索或使用调试器来跟踪传统软件工程中的代码非常不同。这是一个不断发展的学科。但我发现，那些真正擅长调试机器学习算法的人，速度要快 10 倍，甚至 100 倍。
而调试的基本过程是……在这种情况下，bug 是为什么它不学习，不改进？进入过拟合等问题，这就是调试发生的逻辑空间。在神经网络中，通常的问题是，为什么它还不工作？我能期望它最终会工作吗？我能尝试改变架构、调整超参数、更多的正则化、不同的优化算法、不同类型的数据吗？系统地回答这些问题，这样您就不会……您就不会在盲目摸索中花费六个月的时间，直到有人来问你，“你为什么花了六个月做这个？”
您认为在深度学习中，学生们最常遇到的困难，或者说最大的挑战是什么？让他们克服这个障碍，让他们着迷，让他们受到启发，并真正理解它。
这就像学习数学一样。我认为深度学习的挑战之一是，有很多概念是相互叠加的。如果您问我数学中什么难，我很难 pinpoint 某一个东西。是加法、减法、进位，还是乘法、长除法？有很多东西。我认为学习数学和学习某些技术领域的一个挑战是，有很多概念，如果您错过了某个概念，那么您就错过了后续内容的前提。
所以在深度学习专业化课程中，我们试图将概念分解，以最大限度地提高每个组成部分的理解度。所以，当您学习更高级的内容时，您会更有信心，希望您从早期部分获得了足够的直觉，然后才能理解为什么我们以某种方式构建……以某种方式构建卷积神经网络，然后最终理解为什么我们以某种方式构建……以某种方式构建我们的 RNN 或 Transformer 或注意力模型，这都是建立在早期概念之上的。
我很好奇，您也做了很多教学工作。在您的教学中，您有没有一个特别困难的概念时刻？
我不知道是否有人把采访转向了我。这是一个非常好的问题。很难捕捉到他们挣扎的时刻。我认为，确实有一些“啊哈！”时刻，它们真的能启发人们。我认为，对某些人来说，强化学习，尤其是深度强化学习，是真正启发人们并让他们了解神经网络能做什么的绝佳方式。尽管你知道，神经网络本身只是深度强化学习框架的一部分。但它是一种很好的方式来描绘整个神经网络能够从零开始学习，一无所知，探索世界，并从中吸取教训。
我发现，很多“啊哈！”时刻发生在您使用深度强化学习来教授人们神经网络时，这有些违反直觉。我发现，很多启发人们，点燃人们激情，让人们眼中闪烁光芒的，都来自于强化学习的世界。
您是否发现，首先，学习，是教学过程中有用的一部分吗？
我仍然在我的斯坦福课程中教授强化学习，我的博士论文也是关于这个的。所以，是的，谢谢。我发现，如果我试图教授学生们今天最实用的技术，我最终会减少花在强化学习上的时间。因为现在它并不奏效。我们的世界变化太快了，也许几年后情况会完全不同。我认为，强化学习还需要一些东西才能达到那个水平。
我的一个团队正在研究用于某些机器人控制任务的强化学习。所以我看到了应用。但如果您将其视为我们所做的一切影响的百分比，至少在今天，除了玩电子游戏之外，在一些游戏中……我们中的一些人围坐在一起说，“嘿，您最好的实际应用强化学习的例子是什么？” 在机器学习研究人员中，再次，有一些新兴的例子，但没有多少伟大的例子。
我认为您说得完全正确。可悲的是，还没有出现大规模、有影响力的、现实世界的强化学习应用。我认为它最大的影响对我来说是在玩具领域，在游戏领域，在一个小例子中。
为了教育目的，它似乎是探索神经网络的有趣方式。但从您的角度来看，我认为这可能是最好的角度，如果您想通过一个简单的例子来教育，以说明它如何真正扩展并产生现实世界的影响，那么也许专注于监督学习的基础知识，在一个简单的数据集，比如 MNIST 数据集，是正确的方式，是正确的道路。我只是看到人们在强化学习中获得的乐趣，这很棒，但不是在实际应用中产生现实世界的影响。所以，这是一个权衡：您想产生多少影响，与您想获得多少乐趣之间的权衡。
这真的很酷。我觉得，你知道，世界……
事实上，即使在机器学习领域，我也觉得深度学习非常令人兴奋，但人工智能团队不应该只使用深度学习。我发现我的团队使用一系列工具，这也许不是令人兴奋的事情，但有时我们使用互联网，有时我们使用，你知道，个人电脑。前几天我和我的团队坐在一起，查看个人电脑的残差，试图弄清楚个人电脑在制造业问题上的应用情况。有时我们使用有前景的图形模型，有时我们使用知识库，其中一些东西具有巨大的行业影响力，但学术界关于知识库的讨论量与实际的滚轮影响力相比确实很小。所以，我认为强化学习应该包含在这一系列工具中，然后就是如何平衡我们教授所有这些东西的程度。世界应该拥有多样化的技能。如果他说，如果每个人只学习一种狭窄的东西，是的，多样化的技能可以帮助你发现适合这项工作的工具。对你来说，深度学习中最美丽、最令人惊讶或最鼓舞人心的想法是什么？有什么东西吸引了你的想象力，让你觉得它的规模可以是你达到的性能规模，或者还有其他想法？我认为，如果我唯一的职责是成为一名学术研究员，拥有无限的预算，并且不必担心短期影响，只专注于长期影响，我几乎会花所有时间研究无监督学习。我仍然认为无监督学习是一个美丽的理念。在过去的几届 NeurIPS 和 ICLR 会议上，我参加了关于自监督学习的研讨会，这是无监督学习的一个垂直细分领域。我对此感到兴奋。也许我只是想总结一下这个想法，我想，你知道，描述电影的想法，不，请。所以，这里有一些例子，自监督学习。假设我们从互联网上抓取了大量的未标记图像。有了无限量的数据，我将对每张图像进行 90 度的随机倍数旋转，然后我将训练一个有监督的神经网络来预测原始方向。所以，图像是否旋转了 90 度、180 度、270 度或 0 度。因此，你可以生成无限量的标记数据，因为你旋转了图像，所以你知道标签是什么。因此，各种研究人员发现，通过获取未标记数据并创建标记数据集，并在这些数据集上训练大型神经网络，然后你可以获取隐藏层的表示，并将其非常强大地转移到不同的任务上。学习词嵌入，当我们取一个句子，预测缺失的词时，这就是我们学习词嵌入的方式。词嵌入是另一个例子。我认为现在有各种各样的技术来生成这些虚构的任务。另一个叫做拼图，它的工作原理是，你把一张图像切成一个 3x3 的网格，就像一个九宫格拼图，把九块拼出来，让一个神经网络预测它来自九个可能的排列中的哪一个。所以，许多团队，包括你的团队，Peter P，一直在做这方面的工作。Facebook、Google Brain、DeepMind。我认为 DeepMind 的 Aaron Menthol 在 CPC 目标方面做了很多出色的工作。所以，许多团队都在做令人兴奋的工作，我认为这是一种生成无限数据的方法。我发现这是无监督学习中非常令人兴奋的一部分，而且是长期的。你认为这将释放机器学习系统的巨大力量吗？我不认为这是全部，我认为这只是其中一部分，我认为这一部分，无监督学习，自监督学习，它正在获得关注。我们非常接近于它变得有用。嗯，词嵌入确实非常有用。我认为我们越来越接近于产生重大的实际影响，尤其是在计算机视觉和视频领域。但我想这个概念，然后我想会有其他围绕它的概念，你知道，其他我研究过的无监督学习的东西，我一直很兴奋。我对稀疏编码和慢特征分析一直很兴奋。我认为这些都是我们大约十年前就在研究的理念，在我们都被监督学习的良好表现所吸引之前。是的，我们回归了表示学习的基本原理，这确实开启了深度学习的运动。我认为在这个理念的驱动下，还有很多工作可以探索，以及其他理念的出现或更好的算法。所以，如果我们能回到深度学习的具体细节，人工智能的深度学习专业化，也许需要多长时间才能完成课程？你认为这个专业化的官方长度是多久？我认为是 16 周，大约 4 个月。但你可以按照自己的节奏学习。所以，如果你订阅了这个专业化，有些人会花不到一个月的时间完成，因为他们学习得更投入，学习得更深入。所以，这真的取决于个人。我们创建这个专业化是为了让它非常易于访问且非常实惠。并且，有了 Coursera 和 DeepLearning.AI 的教育使命，对我来说非常重要的一点是，如果有人支付任何费用都会造成经济困难，那么就申请经济援助，免费获得。如果你要推荐一个日常的学习计划，无论是通过深度学习专业化还是仅仅在深度学习的世界中学习，你会推荐什么？他们如何进行日常学习，或者关于他们在深度学习、机器学习世界中的学习之旅有什么具体的建议？我认为养成学习的习惯是关键，这意味着规律性。例如，我们每周三都会发布我们的周刊《The Batch》。所以，人们知道周三会发布，你可以在周三花一点时间通过《The Batch》了解最新的新闻。对我自己来说，我养成了每周六和每周日花一些时间阅读或学习的习惯。所以，我不会在周六醒来时必须决定今天是否想阅读或学习。这只是我做的事情。事实是，习惯让事情变得更容易。所以，我认为如果有人能养成这个习惯，就像我们每天早上刷牙一样。我不会去想它。如果我想着每天花两分钟做这件事有点烦人，但这是一个习惯，它不需要认知负担。如果我们每天早上都必须做出决定，那会困难得多。而且，事实上，这也是我们每天都做同样事情的原因。这只是少了一个决定。我只是把它做完，我确信。所以，我认为如果你能养成这种学习的规律性，那么它实际上会感觉更容易。是的，在我自己的生活中，这真是太神奇了。我每天弹吉他，至少弹五分钟。这只是一个非常短的时间，但因为我养成了这个习惯，所以一年或两年内你能取得的成就真是不可思议。通过每天只做很短的时间，你可以在某些方面变得非常出色。这是一种奇迹，它会随着时间的推移而累积。是的，我认为这通常不是关于持续的努力爆发，也不是关于熬夜，因为你只能在有限的时间内做到这一点。这是长期的持续努力。我认为阅读两篇研究论文是一件好事，但力量不在于阅读研究论文，而在于每周阅读研究论文一年，然后你读了一百篇论文，当你读了一百篇论文时，你确实学到了很多。所以，规律性和将学习变成习惯。你有什么其他的学习技巧，特别是对于深度学习，人们在学习过程中应该注意什么？你有什么建议吗？我仍然在努力深入学习某样东西时做的一件事是做手写笔记。我知道有很多人在通勤时学习深度学习课程，或者在可能无法做笔记的地方。所以，我知道这可能不适合所有人。但当我参加 Coursera 的课程时，你知道，我仍然会时不时地这样做。我最近一次参加的是一门关于临床试验的课程。因为我一直喜欢我的小 Moleskine 笔记本，我坐在我的书桌前，只是记下笔记，记下讲师说的话。而这个行为，做笔记，最好是手写笔记，可以提高记忆力。所以，当你观看视频时，也许可以暂停一下，然后把基本见解写在纸上。是的，应该有一些研究。如果你在网上搜索，你会发现一些研究表明，做手写笔记，因为手写速度较慢，就像我们刚才说的，它会促使你用自己的话重新编码知识，而这个重新编码的过程可以促进长期记忆。这与打字不同，打字也很好，总比什么都没有好，或者做笔记也比什么都没有好。任何课程都比什么都没有好。但比较手写笔记和打字，对很多人来说，你可以打字更快。你可以手写笔记。所以，当人们打字时，他们更有可能逐字转录他们听到的内容，这减少了重新编码的数量，而这实际上导致了更少的长期记忆。我不知道其中的心理效应是什么，但确实如此。手写有一些根本的不同。我想知道那是什么。我想知道它是否像写得慢一样简单。是的，而且因为你写不了那么多字，你必须把他们说的话总结成更少的字，而这个总结过程需要对意义进行更深入的处理，从而提高记忆力。这太迷人了。哦，然后我花了，我认为，是的，因为 Coursera，我花了这么多时间学习教学法。我的热情，我真的很喜欢学习如何更有效地帮助他人学习。我做的一件事，无论是制作视频还是写《The Batch》，我都会想，一分钟的学习体验是否比在其他任何地方花一分钟的学习体验更有效。我们真的试图，你知道，让学习的时间效率更高。很高兴知道每个人都很忙。所以，当我们编辑它们时，我经常告诉我的团队，每个地方都需要拼尽全力。如果可以删除它，就删除它。不要浪费这段时间。哇，你这样想真是太不可思议了，因为有数百万人受到你的教学影响，所以花一分钟的时间会产生涟漪效应，这真是太迷人了。谈谈如何将对深度学习的兴趣变成职业生涯？给人们一些建议。我们刚才谈到了早期步骤，但如果你想把它变成一生的旅程，或者至少是十到二十年的旅程，你该怎么做？最重要的事情是开始。在职业生涯的早期，课程作业，比如深度学习专业化，是掌握这些材料的一种非常有效的方式。因为你知道，像我这样的讲师，或者像 Laurence Moroney 这样的讲师，他教授我们的 Tensor Field 专业化和其他我们正在开发的东西，他们努力让你的学习新概念的时间效率更高。所以，课程作业实际上是一种非常有效的方式，让人们学习概念，并在早期进入新的领域。事实上，我在斯坦福大学看到的一些博士生想立即开始研究，我通常会说，当你刚开始攻读博士学位时，花时间学习课程，因为它奠定了基础。如果你在前几年生产力较低，从长远来看你会做得更好。在某个点之后，有些材料在课程中不存在，因为它太前沿了。我们创建的课程，有一些我们还没有在课程中教得很好的实践经验。我认为在用尽了高效的课程之后，大多数人需要继续做项目，然后也许通过阅读博客文章和研究论文等来继续学习。做练习真的很重要。再次，我认为从小处着手很重要。今天就做点什么。你读到深度学习，如果你喜欢，这些人都在做令人兴奋的事情，而我却在改变世界，那又有什么意义呢？意义在于，有时构建你的神经网络，无论是 MNIST 还是时尚 MNIST，无论它是什么，做你自己的爱好项目，这就是你获得技能的方式，让你能够做越来越大的项目。我发现这在个人层面和组织层面都是如此。对于一家公司来说，要擅长机器学习，有时正确的做法不是去解决一个巨大的项目，而是去做一个小的项目，让组织从中学习，然后在此基础上发展。但这对于个人和公司来说都是如此。迈出第一步，然后迈出小步，这是关键。学生应该攻读博士学位吗？你认为你可以做很多事情。这是机器学习中最迷人的事情之一。你可以在不获得博士学位的情况下产生如此大的影响。那么，你认为人们应该上研究生院吗？人们应该获得博士学位吗？我认为有多种好的选择，其中攻读博士学位可能是一种。我认为，如果有人被顶尖的博士项目录取，你知道，麻省理工学院、斯坦福大学等顶尖学校，我认为这是一次非常好的经历。或者，如果有人在顶尖的 AI 团队的顶尖组织工作，我认为这也是一次好的经历。有些事情仍然需要博士学位才能完成。如果一个人的愿望是成为一所顶尖学术大学的教授，你只需要博士学位才能做到这一点。但如果要去，开始，完成，做伟大的技术工作，我认为博士学位是一次很好的经历。但我会看看可供选择的各种选项，你知道，在哪里可以找到工作，在哪里可以获得博士学位项目，并权衡利弊。所以，让我们再深入一点。你认为人们应该有什么最终的梦想和目标？所以，他们可以探索哪些选项？你可以在行业工作，为像 Google、Facebook 这样的大公司工作，所有这些大公司都已经拥有庞大的机器学习工程师团队。你也可以在行业中做更偏向研究的团队，比如 Google Research、Google Brain。你也可以像我们说的那样，成为一名教授，在学术界工作。还有什么？你仍然可以创办自己的公司，你可以创办一家初创公司。这些选项之间有什么区别吗？或者它们都是人们应该考虑的美丽的不同旅程？我认为，比你在公司还是学术界，你在行业还是行业更影响你的经历的是你每天与之互动的人。所以，即使你看看一些大公司，不同团队的个人经历也非常不同。最重要的是你每天走进的巨大建筑上的标志，最重要的是你每天与之互动的十个人，三十个人。所以，我实际上倾向于建议人们，如果你从一家公司获得工作，也要考虑你的经理是谁，你的同事是谁，你实际上要和谁交谈。我们都是社会性动物，我们倾向于变得更像我们周围的人。如果你和优秀的人一起工作，你就会学得更快。或者，如果你被录取了，如果你在一所伟大的公司或一所伟大的大学找到工作，也许你走进的标志很棒，但你实际上被困在一个做真正无聊的事情的团队里，而这让你不兴奋，那么这实际上是一次非常糟糕的经历。这对于大学和大型公司来说都是如此。对于小型公司来说，你可以很快弄清楚你要和谁一起工作。我倾向于建议人们，如果一家公司拒绝告诉你你将和谁一起工作，说“加入我们吧，轮岗系统会弄清楚的”，我认为这是一个令人担忧的答案，因为它意味着你可能无法与优秀的同事和优秀的人一起工作。这实际上是一个非常深刻的建议，我们有时会忽略它，或者没有认真或仔细地考虑它。你周围的人确实如此，尤其是当你取得伟大的成就时。似乎伟大的成就是因为你周围的人。所以，这与你是否学习了这个或那个东西，或者像你说的，上面的标志无关，而是与人有关。这是一个迷人的，而且是一个非常困难的搜索过程，就像找到合适的朋友或结婚对象一样。这是一个非常困难的搜索过程，一个人的搜索问题。但我认为，当一个人在大学、研究实验室或大型企业面试时，坚持询问他们是谁，我的经理是谁，如果他们拒绝告诉我，我会想，也许是因为他们没有好的答案，可能不是我喜欢的人。如果你与人们没有特别的联系，如果感觉不对，那么就不要坚持下去。这是一个非常重要的信号。是的，而且，我在我的标准课程 CS230 的 ACN 讲座中，我认为我做了一个关于职业建议的近一个小时的讲座，包括求职过程，然后其中一些是你可以在 YouTube 上找到的视频，或者我会把它们指向人们。AI Fund 帮助 AI 初创公司起步，或者也许你可以详细说明它如何发展，你的建议是什么，以及如何建立一个成功的 AI 初创公司？你知道，在硅谷，很多初创公司的失败都源于构建了没有人想要的产品。所以，当你有很酷的技术时，谁会使用它？所以我倾向于非常以结果为导向。然后，最终客户是我们是否成功或失败的投票者，只有客户是唯一获得点赞或踩的人。所以，从长远来看，这才是真正重要的。所以，当你建立一家初创公司时，问题在哪里？客户会给出他们的想法，并对此表示赞同。所以我认为，非常以客户为中心，深入了解客户并以服务客户为导向的初创公司更有可能成功。我的前提是，我认为我们都应该只做我们认为能创造社会效益并让世界变得更好的事情。我个人不想建立令人上瘾的数字产品，只要它们有利可图，我就不会这样做。但如果我们能找到有意义地服务人们的方式，我认为这些可以是非常好的事情，无论是学术界、企业界还是初创公司。所以，你能给我一个你为什么创办 AI Fund 的想法吗？我记得当我离开百度的人工智能团队时，我的工作有两个部分。一个部分是建立一个人工智能引擎来支持现有业务，而那个业务并没有像现在这样独立运行。我工作的第二部分是尝试系统地启动新的业务线，利用公司的人工智能能力。所以，你知道，自动驾驶汽车团队就来自我的团队，语音助手团队，类似于美国的亚马逊 Alexa。但我们比亚马逊早发布了它。所以，我们不是在模仿亚马逊，而是来自我的团队。我发现那是我工作中最好玩的部分。所以，我想做的是建立 AI Fund，作为一个创业工作室，系统地创建新的创业公司，利用我们现在可以做到的所有 AI 技术。我认为，建立新团队以抓住这个丰富的机会空间的能力，是完成这些将推动世界前进的项目的一种非常重要的方式。所以，不幸的是，有几个团队产生了有意义的积极影响，我觉得我们可以以最系统、可重复的方式做到这一点。所以，创业工作室是一个相对较新的概念。现在可能有几十个创业工作室，但我觉得我们都在努力弄清楚如何系统地建立高成功率的公司。所以，即使我的风险投资朋友似乎越来越多地在建立公司而不是投资公司，但我发现弄清楚我们如何系统地建立成功的团队、成功的企业，在那些我们觉得有意义的领域，是一件令人着迷的事情。所以，创业工作室是一个地方和一个机制，让初创公司从零开始走向成功。所以，我们试图制定一个蓝图。它实际上是我们从零开始建立初创公司的地方。所以，我们经常带来创始人并与他们合作，或者我们可能已经有一些想法，然后我们将其与创始人匹配，然后这有望启动他们走向成功的公司。你离弄清楚如何自动化从零开始建立成功的 AI 初创公司的过程有多近？我认为我们一直在不断改进和迭代我们的流程，但我们如何做到这一点？比如，我们需要打多少次客户电话才能获得客户验证？我们如何确保这项技术能够很好地构建？我们所有的企业都需要尖端的人工智能算法。所以，你知道，过去一两年里出现了很多算法，即使它在研究论文中有效，但实际投入生产却非常困难。有很多问题会让这些东西在现实生活中起作用，而这些问题在学术界并没有被讨论。所以，你如何验证它实际上是可行的？你如何组建团队，获得专业的领域知识，例如在教育或医疗保健领域，或者无论你关注什么？所以我认为我们实际上做得越来越好，让企业家拥有很高的成功率。但我认为我们仍然，我认为整个世界仍然处于早期阶段。但你认为这个过程的某些方面可以从一个初创公司转移到另一个初创公司，再到另一个初创公司吗？是的，非常如此。你知道，对大多数企业家来说，创办一家公司是一件非常孤独的事情。我见过很多企业家不知道如何做出某个决定，比如什么时候需要做 PDP 销售？如果你不知道，这真的很难。或者如何有效地进行市场营销，除了购买广告，这真的很贵，还有其他更有效的策略吗？你知道，从机器学习项目来看，基本的决定可以改变机器学习产品是否有效。所以，有成百上千个决定需要企业家做出，而在几个关键决定上犯错可能会对公司的命运产生巨大影响。所以我认为创业工作室提供了一个支持结构，让创办公司不再那么孤独，而且，在面对这些关键决定时，比如招聘你的第一个工程副总裁，什么是好的选择标准？你应该雇佣这个人还是不？通过拥有一个围绕企业家、创始人的生态系统，我认为我们在关键时刻帮助他们，并希望让他们更愉快、成功率更高。有人可以一起集思广益，在这些非常困难的决策点上，并帮助他们认识到他们甚至可能没有意识到这是一个关键的决策点。这是第一个，可能是最重要的部分。你可以再说一件事。我认为建立公司是一回事，但我觉得我们建立的公司能够推动世界前进，这真的很重要。例如，Lavinia Fund 团队有一个新公司的想法，如果成功了，将导致人们观看更多特定狭窄类型的视频。我们看了它，商业案例很好，收入案例也很好。但我只是说，我不想这样做。我实际上不想让更多人观看这种类型的视频，它不是教育性的，也不是有益的。所以，我放弃了这个想法，因为我认为它不会真正帮助人们。所以，无论是建立公司、在企业工作还是做个人项目，每个人都应该弄清楚我们想通过学习人工智能在世界上做出什么改变。你帮助已经成熟的公司发展他们的人工智能和机器学习工作。大型公司如何将机器学习融入他们的工作中？人工智能是一项通用技术，我认为它将改变每个行业。我们社区已经改变了逻辑中心软件互联网行业。大多数软件互联网公司，除了排名前五、前六或前三、前四的公司之外，已经拥有合理的人工智能能力，或者正在努力实现，仍然有改进的空间。但当我放眼软件互联网行业之外时，从制造业、农业到医疗保健，有如此多的机会，而很少有人在努力。所以我认为人工智能的下一个浪潮将首先改变所有这些其他行业。麦肯锡有一项研究估计全球经济增长 13 万亿美元，美国 GDP 是 19 万亿美元，或者 13 万亿美元。这是一个很大的数字。普华永道估计是 16 万亿美元。所以，无论数字是多少，这个数字都很大。但对我来说有趣的是，其中大部分影响将来自软件互联网行业之外。所以，我们需要更多的团队与这些公司合作，帮助他们采用人工智能。我认为这是让我们希望推动全球经济增长并使人类更强大的事情之一。正如你所说，影响是存在的。那么，在软件技术行业之外，人工智能可能产生最大影响的行业是什么？坦率地说，我认为是所有行业。我花了很多时间关注的行业包括制造业、农业、医疗保健等。例如，在制造业，我们在视觉检测方面做了很多工作。今天，有人站在那里，用人工智能人形来检查，你知道，这个塑料零件或智能手机或这个东西是否有划痕或凹痕。我们可以用一个摄像头拍照，用深度学习算法和其他东西来检查它是否有缺陷。这样我们的工厂就能改进，提高质量和吞吐量。事实证明，我们遇到的实际问题与大多数研究论文中可能读到的问题非常不同。数据量非常小。所以，如果数据量很小，工厂会不断改变环境。所以，它在你的测试集中效果很好，但猜猜怎么着？你知道，工厂里有些东西变了，灯亮了，灯灭了。最近，有一家工厂，火灾烧毁了工厂，然后烧到了某些东西。所以，你知道，所以这改变了事情。所以，增加我们算法的鲁棒性，以应对工厂里发生的所有变化。我发现我们遇到了很多实际问题，这些问题在学术界并没有得到广泛讨论。而且，在很多人甚至意识到问题存在之前，就站在最前沿解决这些问题，这真的很有趣。你说的完全正确。但一家公司应该采取的第一步是什么？这是一个可怕的飞跃，进入这个新世界，从人眼检查到数字化这个过程，拥有一个摄像头，拥有一个算法。第一步是什么？你推荐的早期旅程是什么？你看到这些公司在做什么？我发表了一份名为《AI 转型手册》的文件，它在线提供，并在 Coursera 上简要介绍了一个关于公司应该采取的长期旅程的课程。但第一步实际上是从小处着手。我看到更多的公司因为开始得太大而失败，而不是因为开始得太小而失败。即使是谷歌，你知道，大多数人都意识到它有多难，以及它在早期有多么有争议。所以，当它不是 Google Brain 时，它是有争议的。你知道，人们认为深度学习是胡闹，没有尝试过，它不起作用，为什么你想做深度学习？所以，我在谷歌的第一个内部客户是谷歌语音团队，它不是谷歌最赚钱的项目，也不是最重要的项目，它不是网络搜索或广告。但从小处着手，我的团队帮助语音团队构建了一个更准确的语音识别系统。这使得他们的同行，其他团队开始更加相信深度学习。我的第二个内部客户是谷歌地图团队，我们使用计算机视觉从基本的街景图像中读取门牌号，从而更准确地定位谷歌地图中的房屋。所以，提高了质量。只有在这两次成功之后，我才开始与谷歌广告团队进行最严肃的对话。所以，有一个涟漪效应，你表明它在这些案例中有效，然后它就传播到整个公司，这个东西对我们来说很有价值，很有用。我认为早期的规模化项目有助于团队建立信心，也有助于团队了解这些技术的作用。我仍然记得我们第一个 GPU 服务器，它是一个放在某个家伙桌子下的服务器。你知道，然后我们从中学习了关于如何让多个用户共享一组 GPU 的早期重要课程，这在当时并不明显。但那些早期的课程很重要。我们从第一个 GPU 服务器中学到了很多，然后后来帮助团队考虑如何在没有大规模部署的情况下进行扩展。公司面临着一些具体的挑战，你认为它们对公司解决很重要吗？我认为构建和部署机器学习系统很难。在笔记本电脑上的东西和在工厂、文化工厂或任何地方的生产部署环境中运行的东西之间存在巨大的鸿沟。所以，我看到很多人，你知道，在笔记本电脑上做了一些东西，然后说“看，我们做到了”，这很棒，这很重要。但所有团队都低估了剩余的步骤。所以，例如，我听过很多机器学习人员和商界人士之间有过完全相同的对话。机器学习人员说：“看，我的算法在测试集上表现很好，在干净的测试集上表现很好。”然后，商业人士说：“非常感谢，但你的算法很糟糕，它不起作用。”机器学习人员说：“不，等等，我在测试集上表现很好。”我认为，在你的硬盘上做好测试集和在部署环境中做好测试集之间存在巨大的差距。一些常见的问题是鲁棒性和泛化能力。你知道，工厂里可能砍倒了工厂外的一棵树，所以树不再遮挡窗户，光线也不同了。所以，测试集发生了变化。在机器学习中，尤其是在学术界，我们不知道如何处理与训练集分布截然不同的测试集分布。有研究，有领域适应、迁移学习等，人们正在研究这些。但我们真的不擅长这个。所以，你如何真正做到这一点，因为你的测试集分布会发生变化？而且，我认为，如果你看看软件系统中的代码行数，机器学习模型可能只占整个软件系统的 5% 甚至更少。我们需要完成所有这些工作，并使其可靠和系统化。良好的软件工程工作是构建成功的机器学习系统的基础。是的，而且软件系统需要与人们的工作流程接口。所以，机器学习是自动化中的超级力量。如果我们以工厂为例，工厂里有很多事情要做。一项任务是视觉检查。如果我们自动化这项任务，它可能会非常有价值。但你可能需要重新设计围绕这项任务的许多其他任务。例如，假设机器学习算法说这是有缺陷的，应该怎么做？是把它扔掉，让人类去复查，还是想返工或修复它？所以，你需要重新设计围绕你现在自动化的东西的许多任务。所以，规划变更管理，并确保你编写的软件与新的工作流程一致，并花时间向人们解释当这种情况发生时。我认为 Lani AI 已经做得很好，而且我认为我们通过犯错误和痛苦的经历来学习。我们已经擅长与我们的合作伙伴合作，思考除了机器学习模型之外的所有事情。你不能只把它放在笔记本里，而是要构建整个系统，管理变更过程，并找到部署它的方法，从而产生实际影响。大型软件技术公司用于部署的流程不适用于许多其他场景。例如，当我领导大型语音团队时，如果语音视觉系统出现故障，会发生什么？会发生什么？然后，像我这样的人会说：“嘿，20 位工程师，请修复它。”但是，如果你在工厂有一个系统出现故障，那里没有 20 位机器学习工程师可以随时待命。所以，你如何处理维护，或者 DevOps，或者 MLOps，或者这些方面的其他方面？所以，我认为这些是 Lani AI 和一些其他前沿团队正在思考的概念。但我们甚至还没有系统化的术语来描述我们做的一些事情，因为我认为我们正在即兴发挥。所以，你提到有些人有兴趣在宇宙中发现数学之美和真理，而你则有兴趣对世界产生巨大的积极影响。所以，让我问一个浪漫化的问题。你的许多工作和我们今天的讨论都集中在应用人工智能，甚至可以称之为狭义人工智能，其目标是创建自动化某些特定流程的系统，从而为世界带来巨大价值。但还有另一个分支的人工智能，始于艾伦·图灵，那种梦想着创造人类水平或超人类水平的智能。这是你梦想过的吗？你认为我们人类最终会创造出人类水平或超人类水平的智能系统吗？我非常想获得通用人工智能，我认为人类会做到，但无论是需要一百年还是五百年还是五千年，我很难估计。你是否担心 AGI 系统可能采取的不同轨迹，甚至存在生存威胁？你是否有这样的担忧，无论是短期还是长期？我确实担心人类的长期命运。我也想知道。我也担心地球上的人口过剩。火星只是今天不行。总有一天，也许在未来，火星会被污染，会有孩子死去。有些人会回顾这段视频说：“安德鲁，安德鲁怎么如此冷酷无情？你不在乎火星上所有死去的孩子。”我向未来的观众道歉。我确实关心孩子们，但我只是不知道今天如何有效地解决这个问题。你的照片会出现在关于火星人口过剩的无知者的字典里。好的，是的，这是一个长期问题。短期内有什么是我们应该考虑的，以使我们的人工智能系统的价值观与我们人类的价值观保持一致？就像 Russell 和其他人正在思考的那样，随着系统的不断发展，我们希望确保它代表我们本性中最美好的天使，我们社会的道德观和价值观。你知道，以自动驾驶汽车为例。自动驾驶汽车最大的问题不是存在某种电车难题，你教它。你知道，你开车时遇到过多少次这样的道德困境？我要撞你吗？所以，我认为自动驾驶汽车大约和我们开车时一样频繁地遇到这个问题。自动驾驶汽车最大的问题是，当路中间有一辆大卡车时，你应该做的是刹车，不要撞到它。而自动驾驶汽车失败了，撞上了它。所以我认为我们需要解决这个问题。我认为关于 AGI 的一些讨论，你知道，对齐，回形针问题，它分散了我们今天需要解决的更难问题的注意力。昨天的一些难题。我认为偏见是一个巨大的问题。我担心贫富差距。人工智能和互联网正在加速权力集中，因为我们现在可以使用数据来处理它。所以，一个接一个的行业，我们影响了每个行业。所以，互联网行业有很多赢家通吃的模式，或者赢家通吃的动态。但它也影响了所有其他行业。所以，也给了其他行业，当它们获得最多时，它们就会获得所有。所以，看看 Uber 和 Lyft 对出租车行业做了什么。我们也在做类似的事情。所以，这创造了巨大的财富，但我们如何公平地分享财富？我认为，以及我们如何帮助那些工作被取代的人？我认为教育是其中的一部分。我们可能还需要做更多的事情，而不仅仅是教育。我认为偏见是一个严重的问题。人工智能存在不良用户，例如深度伪造被用于各种邪恶目的。所以我担心一些团队可能无意中，我希望不是故意地，对遥远未来的问题大肆宣传，而不是专注于更难的问题。它们掩盖了我们今天已经面临的异常挑战，就像你说的，甚至是一些愚蠢的问题，但那些有巨大影响的问题，比如你工厂窗外的光线变化，这最终是区分了，就像你说的，Jupiter 笔记本和真正改变整个行业的东西。而且，我认为，而且，只是对一些公司来说，当监管机构来找你，说“不，你的产品正在搞砸事情，修复它可能会影响收入”时，与他们谈论你承诺不消灭人类，这实际上是我们面临的真正困难的问题。你的生活是一段伟大的旅程，从教学到研究，再到创业。两个问题。一个，有没有遗憾的时刻，如果你回到过去，你会做些不同的事情？二，有没有让你特别自豪的时刻，让你真正快乐的时刻？你知道，我犯了太多错误，感觉每次我发现一些东西时，我都会想：“为什么我五年前甚至十年前没有想到这个？”然后，有时我读一本书，我会想：“我希望我在十年前读过这本书，我的生活会大不相同。”虽然那最近发生了，然后我正在想，如果我早点读过这本书，在我们创业公司的时候，Coursera 本可以做得更好。但我发现那本书还没有写出来，我们正在创办 Coursera。所以，这意味着即使如此，我也发现发现的过程，我们不断发现一些事情，在事后看来似乎很明显，但总是需要比我希望的更长的时间才能弄清楚。所以，关于第二个问题，你生活中有没有让你特别自豪或特别快乐的时刻，让你感到快乐和满足？嗯，有两个答案。一个，尽管有所有的周转，是的，当然。你说，无论我花多少时间，我都无法花足够的时间和她在一起。恭喜。谢谢。然后，第二个是帮助他人。我认为对我来说，生命的意义在于帮助他人实现他们的梦想，并努力通过使人类整体更强大来推动世界前进。所以，我感到最快乐、最自豪的时刻是当我感觉到有人给了我好运，帮助他们在实现梦想的道路上走了一点点。我认为没有比谈论幸福和生命意义更好的方式来结束了。所以，安德鲁，这是我的荣幸，我和数百万人都感谢你所做的一切工作。感谢你接受采访。非常感谢。谢谢。感谢收听与 Andrew Ng 的对话。感谢我们的赞助商 Cash App。下载并使用代码 EXPORTCAST，你将获得 10 美元，10 美元将捐赠给 FIRST，一个激励和教育年轻人才成为科学和技术创新者的组织。如果你喜欢这个播客，请在 YouTube 上订阅，在 Apple Podcasts 上给五星好评，在 Patreon 上支持我们，或者在 Twitter 上与我联系 @Lex Fridman。现在，让我用安德鲁·吴的一些智慧之言来结束。问问自己，如果你正在做的事情取得了超出你 wildest 梦想的成功，你是否极大地帮助了其他人？如果没有，那就继续寻找其他事情来做。否则，你就没有充分发挥你的潜力。感谢收听，希望下次再见。