Transcription
以下是与 Andrew 的对话，他是人工智能和技术领域最具影响力的教育家、研究人员、创新者和领导者之一。他联合创办了 Coursera 和 Google Brain，推出了 Deep Learning AI、Landing AI 和 AI Fund，并曾担任百度首席科学家。作为斯坦福大学教授，他通过 Coursera 和 Deep Learning AI，帮助教育和启发了包括我在内的数百万学生。这是人工智能播客。如果您喜欢，请在 YouTube 上订阅，在 Apple Podcasts 上给予五星好评，并在 Patreon 上支持我们。您也可以在 Twitter 上与我联系，我的用户名是 Lex Friedman，拼写是 Fri D ma n。
像往常一样，我将插入一到两分钟的广告，但绝不会在中间插入会打断对话流程的广告。我希望这对您来说是可行的，并且不会影响收听体验。本节目由 Cash App 呈现，这是 App Store 中排名第一的金融应用程序。下载时，请使用代码 collectspodcast。Cash App 可以让您向朋友汇款、购买比特币，并以低至一美元的价格投资股票市场。经纪服务由 Square 的子公司 Cash App Investing 提供，并且是 FINRA 和 SIPC 的成员。由于 Cash App 允许您购买比特币，我想在此提及，从货币历史的角度来看，加密货币非常迷人。我推荐《金钱的起源》这本书，它很好地讲述了这段历史。账簿上的借贷记账法始于 30,000 多年前，美元创建于 200 多年前，而第一个去中心化加密货币比特币则在十多年前发布。因此，考虑到这段历史，加密货币仍处于发展的早期阶段，但它仍然旨在，并且很可能重新定义货币的本质。所以，再次强调，如果您从 App Store 或 Google Play 下载 Cash App 并使用代码 collectspodcast，您将获得 10 美元。Cash App 还将向我最喜欢的组织之一捐赠 10 美元，该组织正在帮助在全球范围内推进机器人技术和 STEM 教育，为年轻人服务。现在，这是我和 Andrew Eng 的对话。
您在斯坦福大学教授的机器学习课程，以及后来在您联合创办的 Coursera 上教授的课程，教育和启发了数百万人。所以，我想问您，在您年轻的时候，是什么样的想法或人物激励您进入计算机科学和机器学习领域？您是什么时候第一次爱上这个领域的？
换个说法，我在香港和新加坡长大，五六岁的时候就开始学习编程。当时我正在学习 BASIC 编程语言，他们会给你这些程序，你知道，他们会告诉你把这个程序输入你的电脑。所以，我把这些程序输入我的电脑，然后通过所有这些打字，我就可以玩这些非常简单的射击游戏，你知道，这些游戏是我自己用我的老电脑实现的。所以，作为一个小孩子，我觉得很神奇，我竟然能写出代码，虽然只是把书上的代码复制到我的电脑上，然后就能玩这些很酷的电子游戏。
另一个时刻是当我十几岁的时候，我的父亲，因为他是一名医生，正在阅读关于专家系统和神经网络的书。所以，他让我读了其中一些书，我觉得这真的很酷，你可以写一个开始表现出智能的计算机。然后我记得在高中的时候，我在新加坡实习。我记得我做了很多复印工作，我是一名办公室助理。我工作的亮点是当我可以使用碎纸机的时候。所以，十几岁的我心想，男孩，这复印工作太多了，要是我们能写软件，造个机器人，自动化这一切就好了，也许我就可以做点别的事情了。所以，我想我之后的大部分工作都围绕着自动化这个主题。即使是我今天思考机器学习的方式，我们非常擅长编写学习算法，它们可以自动化人们可以做的事情。
甚至推出第一个大规模开放在线课程（MOOC），后来催生了 Coursera。我当时也在尝试自动化我在校园里教学的过程，让它更具影响力，让一个老师，一个教育者，能有更大的影响力。是的，我觉得，你知道，在斯坦福教书，当时每年大约有 400 名学生，我发现自己每年都在拍摄完全相同的视频，讲着同样的笑话，在同一个房间里。我想，我为什么要这样做呢？我可以直接用去年的视频，然后我就可以花时间与学生建立更深层次的关系。所以，这个思考过程导致了我们推出的第一个 MOOC。
然后您就有更多时间写新的笑话了。您在斯坦福大学早期亲自教授数千人，后来又在线上教授数百万人，您有什么特别的回忆吗？
很多人不知道的是，那些视频很多都是在晚上 10 点到凌晨 3 点之间拍摄的。很多时候，我们正在观看第一个 MOOC，我们有一个公告课程，有十万人报名了，我们刚刚开始编写代码，但还没有实际拍摄视频。所以，你知道，压力很大，有十万人等着我们制作内容。很多个星期五、星期六，我会出去和朋友吃晚饭，然后我想，好了，我现在要回家，还是去办公室拍摄视频？而想到，你知道，这能帮助十万人学习机器学习，这让我觉得，好吧，我要去我的办公室，去录音室，我会调整我的罗技网络摄像头，调整我的绘图板，确保我的领夹麦克风是开着的，然后我通常要到凌晨 2 点或 3 点才开始录制。我想我很幸运，它并没有显示出是在深夜录制的，但能够创作内容来帮助这么多人学习机器学习，这确实令人鼓舞。
您感觉如何？您可能和几个朋友一起用罗技网络摄像头录制，然后在凌晨一两点独自回家，却知道这最终会触及成千上万甚至数百万人。那种感觉是什么？我是说，有没有一种满足感，一种坚持下去的感觉？
我认为这令人谦卑。我当时并没有考虑我所看到的。我认为我们从早期就做对的一件事是，我告诉我的整个团队，首要任务是为学习者做最好的事情，为学生做最好的事情。所以，当我走进录音室时，我脑子里想的只有一件事：我能说些什么？我该如何设计我的幻灯片，准备好绘制，以便让这些概念对学习者尽可能清晰？我认为，我有时看到一些讲师，他们会想，嘿，让我们谈谈我的工作吧，也许如果我教你们我的研究，有人会引用我的论文几次。我认为，我们推出第一个 MOOC 并后来建立 Coursera 时，我们做对的一件事就是确立了那个基石原则：让我们只为学习者做最好的事情，然后忘掉其他一切。我认为，事实证明，这是这个运动兴起的一个非常重要的指导原则。
您想象中的学习者群体尽可能广泛，尽可能全球化。所以，真的想接触到尽可能多对机器学习和人工智能感兴趣的人。我真的想帮助任何对机器学习感兴趣的人进入这个领域。我认为，有时人们会问我，嘿，你为什么花这么多时间解释梯度下降？我的回答是，如果我看看我认为他们需要从中受益的东西，我觉得对基础知识有很好的理解，回到基本原理，会让他们在长期职业生涯中打下更好的基础。所以，您一直试图根据这一原则做出决定。
您当时向狭义人工智能界和全世界揭示的一件事是，真正对人工智能感兴趣的人数远远超出了我们的想象。通过您教授课程以及它的受欢迎程度，表明哇，这不仅仅是一小群参加 NeurIPS 的人，它要大得多，有开发者，有来自世界各地的人，来自……我是俄罗斯人，所以俄罗斯的每个人都对此非常感兴趣。有数百万程序员对机器学习感兴趣，印度、中国、南美洲，到处都有数百万对机器学习感兴趣的人。所以，您对有多少人对此感兴趣有什么感觉？
我认为这个数字随着时间的推移一直在增长。我认为这是那些似乎凭空出现的事情之一，但它是经过多年积累的。那些所谓的“一夜成名”都需要很多年才能实现。我第一次涉足这种教育是在我们拍摄斯坦福课程并将视频发布到 YouTube 上时，然后还有一些其他的事情，比如上传……基本上，我们把一个一小时十五分钟的视频发布到 YouTube 上，然后我们有四五个其他版本的网站，我们已经构建了大部分您可能从未听说过的东西，因为它们触及的受众很小。但它让我能够迭代，让我的团队和我能够创新，了解哪些想法有效，哪些无效。
例如，我非常兴奋和自豪的一个功能是构建了一个网站，允许多人同时登录。今天，如果您访问一个网站，你知道，如果您登录了，然后我想登录，您需要退出。在同一个浏览器，同一个电脑上。但我想，如果我们两个人，比如你和我，一起在电脑前看视频，如果一个网站能让你输入你的名字和密码，然后输入他们的密码，然后电脑就知道我们两个都在一起看，并且它会为我们共同做的任何事情都给我们记上学分。这个功能我们在旧金山的一所高中推出了。我们有大约二十几个用户，一位老师在那里，神圣的心脏大教堂预科学校的老师，很棒。猜猜怎么着？没有人使用这个功能。
事实证明，在线学习的人想自己看视频，这样他们就可以按照自己的速度回放和暂停，而不是成群结队地观看。所以，这是众多微小教训中的一个例子，它使我们能够专注于一系列功能。
听起来是个绝妙的功能。所以，我想从中吸取的教训是，有些东西在纸面上看起来很棒，但没有人使用它，它并没有产生您认为的那么大的影响。所以，是的，我看到您确实经历了许多不同的功能和许多想法，才最终达到了 Coursera 的最终的强大之处，向世界展示了 MOOC 可以教育数百万人。
而且，我认为随着机器学习运动的发展，它也不是凭空出现的。相反，发生的是，随着越来越多的人了解机器学习，他们会告诉他们的朋友，他们的朋友会看到它如何为他们的工作带来巨大的世界。然后社区不断壮大。而且，我认为我们仍在增长。我不知道将来会有多少比例的开发者是人工智能开发者。我很容易想象会超过 50%，因为有这么多人工智能开发者（广义上讲），不仅仅是那些进行机器学习建模的人，还有那些……基础设施、数据管道，你知道，所有围绕着机器学习模型的软件，也许会更多。
我觉得今天几乎每个软件工程师都对云计算有所了解。哦，你知道，但也许我的微控制器开发者不需要使用云计算。但我感觉今天绝大多数软件工程师都欣赏云计算。我认为将来，我们可能会接近 100% 的开发者，你知道，在某种程度上是人工智能开发者，或者至少对机器学习有所了解。
我希望会有这种效应，就是那些对成为程序员或从事软件工程不感兴趣的人，比如生物学家、化学家、物理学家，甚至机械工程师，以及所有这些学科，它们越来越多地依赖于大型数据集。而他们以前并没有想到自己对编程感兴趣，直到他们有了这个数据集，他们意识到有一套机器学习工具可以让他们使用这个数据集。所以，他们实际上学会了编程，并成为了新的程序员。所以，不仅仅是因为您提到了更大比例的开发者成为机器学习人才，似乎成为开发者的群体也在显著增长。
是的，是的。我认为，曾经只有一小部分人类是识字的，他们可以读写。也许您认为，并非每个人都需要学习读写。您只需要听几个僧侣为您朗读，也许这就足够了。或者也许我们只需要少数几个作家写畅销书，然后其他人就不需要写了。但我们发现，通过让尽可能多的人……在一些国家，几乎每个人都识字，这极大地增强了人与人之间的交流。我们现在可以为一个人写作，比如，如果我给你发一封电子邮件，你给我发一封电子邮件。
我认为在计算领域，我们仍处于这个阶段，只有很少人知道如何编写代码。代码主要是为相对较大的受众编写的。但如果每个人……如果大多数人都成为开发者，就像在发达经济体中大多数人都识字一样。我希望看到一家夫妻店的老板能够用很少的代码来定制本周的电视显示屏。我认为这增强了人与计算机之间的交流，而这在今天变得越来越重要。
所以，您认为机器学习有可能变得类似于识字，在那里，就像您所说的，夫妻店的老板，基本上是各行各业的人，都具备一定程度的编程能力？
我可以看到社会朝着这个方向发展。还有另一件有趣的事情。如果我去和夫妻店的老板交谈，如果我和他们在日常工作中遇到很多人交谈，我以前没有一个很好的理由来解释他们为什么要学习编程。我们给他们一些理由，但随着机器学习和数据科学的兴起，我发现，我认为有实际用途来学习数据科学的人数，可能比一个国家用于软件工程的人数还要多。
例如，如果您经营一家小型夫妻店，我认为如果您能够分析有关您的销售、您的客户的数据，我认为那里确实有真正的价值，可能比传统的软件工程师还要多。所以我发现，对于我的许多朋友，在各种职业中，比如招聘人员、会计师，或者……你知道，在工厂工作的人，我最近越来越多地与他们打交道。我觉得如果他们某种程度上是数据科学家，他们就可以立即在工作中运用。所以我认为，数据科学和机器学习可能比软件工程更容易让许多人进入开发者世界。
这很有趣，我同意。这说得太好了。我们生活在一个大多数课程和讲座都有幻灯片（PowerPoint、Keynote）的世界里，然而您却常常仍然使用马克笔和白板。那种简单性很有吸引力，至少对我来说，观看很有趣。所以，我想问，为什么您喜欢使用马克笔和白板，即使是在最大的舞台上？
我认为这取决于您想解释的概念。对于数学概念，最好是一点一点地构建方程。而白板马克笔或触控笔是一种非常简单的方式，你知道，在您谈论它的时候，一点一点地构建方程，构建一个复杂的概念。有时这会增强可理解性。
写字的缺点是它很慢。所以，如果您想写一个长句子，写起来会非常困难。所以我认为有利有弊，有时我使用幻灯片，有时我使用白板或触控笔。白板的慢速也有其好处，它迫使您将一切简化到最基本。
您的一些演讲涉及白板，我指的是，真的没有多少，但您讲得很慢，您真正专注于最简单的原理。这很美。它强制了一种极简主义的思想，我认为这令人惊讶，至少对我来说，对教育很有帮助。一场伟大的演讲，我认为不是内容很多的演讲，而是一场清晰地表达几个简单想法的演讲。我认为白板以某种方式强制了这一点。
Peter Chen，现在是世界上顶尖的机器人专家和强化学习专家之一，是您的第一位博士生。所以，我提起他，是因为我能想象这一定是您生活中有趣的一段时间。您有没有关于与 Peter 在那些不确定的时期，尤其是在深度学习真正爆发之前，一起工作的特别回忆？
我真的很幸运能有 Peter 作为我的第一位博士生。我认为我长期的职业成功也建立在 Peter 对早期工作至关重要的基础上。所以我非常感谢他与我一起工作。你知道，很多人不知道的是，研究有多么困难。Peter 的博士论文是使用强化学习来驾驶直升机。所以，你知道，即使是今天，网站 Helly.stanford.edu，Helly.stanford.edu，仍然可以观看我们使用强化学习让直升机倒飞、进行五次盘旋、翻滚的视频。这是最令人难以置信的机器人视频之一。
哦，是的，谢谢。那是在 2007 年或 2008 年，大概是那个时候。是的，已经十多年了。那确实激励了很多人。但很多人看不到的是它有多么困难。所以，Peter、Adam Coates 和 Morgan Quigley 以及我，都在研究直升机的各种版本。很多事情都没有成功。例如，事实证明，我们遇到的最困难的问题之一是，当直升机倒飞、表演特技时，如何确定它的位置？如何定位直升机？所以，我们尝试了各种各样的事情。只有一个 GPS 单元不起作用，因为它在倒飞，GPS 单元朝下，所以它看不到卫星。所以，我们尝试了，我们实验了，尝试有两个 GPS 单元，一个朝上，一个朝下。如果您翻转过来，那也不起作用，因为朝下的那个无法同步，如果您翻转得很快。Morgan Quigley 正在探索一种疯狂复杂的专用硬件配置，用于解释 GPS 信号，完全是疯狂的。花了一年时间研究那个，没成功。
所以我记得 Peter，一个很棒的人，我和他，你知道，坐在我的办公室里，看着我们尝试过的最新但没有成功的事情，然后说，你知道，Don，现在怎么办？因为我们尝试了这么多东西，但最终都没有成功。最终，我们做的是，Adam Coates 对此至关重要，是在地面上安装摄像头，并使用地面摄像头来定位直升机，从而解决了定位问题。所以，我们能够专注于强化学习和逆强化学习技术。所以，它并没有真正让直升机飞行。
我记得在斯坦福大学做这项工作的时候，当时有很多关于强化学习的理论论文，但实际应用并不多。所以，自动直升机工作，飞行直升机，是当时为数不多的强化学习的实际应用之一，这使得它相当出名。
我觉得我们可能已经差不多回到原点了。今天有如此多的炒作，如此多的兴奋，关于强化学习，但我们又在寻找更多的应用。德里卡提出的所有这些伟大的想法。在大多数人都在做理论工作的情况下，是什么驱动您，面对不确定性和挑战，让直升机……完成应用工作，让实际系统正常工作？
面对恐惧、不确定性和挫折，就像您提到的定位问题一样。我喜欢有效的东西，喜欢物理世界。所以，这回到了碎纸机。你知道，我喜欢理论，但当我亲自研究理论时，我个人更喜欢，如果我觉得我所做的工作会影响人们，会产生积极的影响，会帮助某人。我记得很多年前，我和一位数学教授交谈，他只是说，“嘿，你做什么？”然后他说，他眼中闪烁着星光回答说，这位数学家，不是斯坦福大学的，是另一所大学的，他说：“我做我所做的，是因为它帮助我发现宇宙的真理和美。”他分析道。“是的，”他说。“我想这很棒。我不想那样做。我觉得有人这样做很棒，我完全支持他们，我非常尊重他们，但当我能看到我团队的工作如何帮助人们时，我更有动力。世界需要各种各样的人，我只是其中一种类型，希望每个人都以同样的方式做事。但当我深入研究理论或实践时，如果我个人有信念，你知道，这里有一条帮助人们的途径，我发现这更令人满意，拥有这种信念，那就是你的道路。”
您是深度学习被广泛接受之前的倡导者。您在这个领域看到了什么，让您充满信心？在 2000 年代，也就是那个十年，您的思考过程是怎样的？
我可以告诉你，我们做错了什么，我们做对了什么。我们真正做错的是无监督学习的早期重要性。所以，在 Google Brain 的早期，我们投入了大量精力进行无监督学习，而不是监督学习。我认为这大约是在 2005 年，在 NeurIPS（当时称为 NIPS）会议之后。杰夫·辛顿和我当时在会议外的自助餐厅吃午饭聊天。杰夫拿出一张餐巾纸，开始在上面画一个论证。它非常有说服力。
人类大脑大约有 100 万亿个突触连接，10 的 14 次方。您活大约 10 的 9 次方秒，也就是 30 年。您实际上活了 2 x 10 的 9 次方，也许 3 x 10 的 9 次方秒。所以，让我们说 10 的 9 次方。如果您的神经网络中的每个突触连接，每个权重，只有一个比特的参数，那就是 10 的 14 次方比特。您需要在生命中学习 10 的 9 次方秒。所以，通过这个简单的论证（这是一个非常简化的，绝对有问题的问题），您生命中每秒需要学习 10 的 5 次方比特。我有一个一岁的女儿，我不会给她提供 10 的 5 次方比特的标签。所以，而且，我认为我是一个非常有爱的父母，但我不会那样做。
所以，从这个……非常粗糙的，绝对有问题的问题来看，几乎不可能我们所知道的大部分是通过监督学习获得的。您获得如此多信息的方式是通过吸收图像、音频、世界上的经验。所以，这个论证以及许多其他论证，非常说服了我，无监督学习有很大的力量。所以，这是我们可能做错的部分。我仍然认为无监督学习非常重要，但我们……但在早期，你知道，十到十五年前，我们所有人都认为那是前进的道路。
所以，您的意思是，那可能当时是错误的直觉？
那是我们做错的部分。我们做对的部分是规模的重要性。亚当·科茨，另一个很棒的人，我当时很幸运他在我的斯坦福团队。亚当在斯坦福进行了一些实验，表明我们训练的学习算法越大，性能就越好。基于此，他生成了一张图，X 轴是训练量，Y 轴是性能，线条向上倾斜。所以，训练得越多，性能越好。准确性是纵轴。所以，正是基于亚当生成的这张图，他给了我信心，我们可以将这些模型扩展到比我们在少数 CPU 上所能达到的规模大得多，并且我们可以获得更好的结果。正是基于亚当生成的这张图，我才有了去硅谷向谷歌推销，开始一个项目，后来成为 Google Brain 的信心。在那里，直觉是规模将带来性能。所以，我们应该追求越来越大的规模。
我认为人们没有意识到，这是一个多么具有开创性的想法，虽然简单，但它是一个具有开创性的想法，更大的数据集将带来更好的性能。当时这在文化上是第一位的，也是有争议的。我的一些好心朋友，你知道，人工智能社区的人，我不会点名，但其中一些人我们认识，他们来试图给我一些友好的建议。嘿，安德鲁，你为什么要这样做？这太疯狂了。这在架构上看起来很糟糕，你只是追求规模。这是一个糟糕的职业选择。所以，我的好心朋友们……其中一些人试图劝我不要这样做。
我认为，如果你想取得突破，有时你必须有信念，并在事情流行之前就去做。这让你能产生更大的影响。
让我问一个关于这个话题的小小的离题。我发现自己和人们争论，说更大的规模，尤其是在主动学习的背景下，非常仔细地选择数据集，而扩大数据集的规模将带来更深入的深度学习突破。目前有人反对这个想法，认为更大的数据集不再……您想提高学习效率，您想改进学习机制。我个人认为，更大的数据集，即使使用我们现在相同的学习方法，仍然会带来更好的性能。您此时的直觉是什么？我们是需要想出更好的学习架构，还是仅仅获得更大、更好的数据集就能提高性能？
我认为两者都很重要，而且还取决于问题。对于一些数据集，我们可能正在接近贝叶斯误差率，接近或超越人类水平的性能。然后存在理论上的上限，我们将达到那个上限。但然后我认为，有很多问题我们仍然离人类水平的性能或贝叶斯误差率很远。更大的数据集和神经网络，但没有进一步的创新，将足以让我们走得更远。
但另一方面，如果我们看看最近使用……你知道，用于语言模型的 Transformer 网络，它是新颖架构的结合，但规模也起着很大的作用。如果我们看看 GPT-2 和 BERT 发生了什么，我认为规模是故事的重要组成部分。是的，人们并不经常谈论它训练的数据集的规模和质量。因为有一些……就像 Reddit 帖子，它们被高度……所以，在一个非常大的数据集上已经有一些弱监督了，人们并不经常谈论。
我发现今天我们有成熟的流程来管理代码，比如 Git 版本控制。我们花了很长时间才发展出好的流程。我记得我朋友和我曾经通过电子邮件互相发送 C++ 文件。然后我们有了 CVS、Subversion、Git，也许将来还会有其他东西。在数据管理方面，我们非常不成熟。想想如何创建数据，如何……我发现有很多创新空间。
我仍然喜欢您通过电子邮件进行版本控制的想法。我给您举一个例子。当我们与制造公司合作时，有多份不一致的清单是很常见的。所以，我们在做视觉检查工作。我们会，你知道，拿一块塑料卡片，给一个检查员看，检查员有时非常主观。他说：“很明显，这是有划痕的，我明白了。”所以，他会检查这个部件。把同一个部件给另一个检查员，另一个检查员非常主观。“很明显，划痕很小，没关系，别扔掉，你会让我们亏本的。”然后有时你会把同一个塑料部件，在下午给同一个检查员看，和早上。他下午会说：“很明显，这是好的。”早上，同样自信地说：“很明显，这是一个缺陷。”
那么，人工智能团队应该怎么做呢？如果一个人在一天之内甚至对自己都无法达成一致呢？所以我认为这些就是我的团队正在努力解决的非常实际、非常混乱的数据问题。在大型消费互联网公司，您拥有十亿用户，您拥有大量数据，您不必担心，只需取平均值即可。它基本上可行。但在其他行业环境中，我们没有大数据，只有小数据，非常小。用户可能只有 100 个有缺陷的零件，或者 100 个有缺陷的例子。如果您只有 100 个例子，这些微小的标记错误，你知道，如果您的 100 个标签中有 10 个是错误的，那实际上是 10%。它有很大的影响。那么，您如何清理这些？您应该怎么做？
这是我的团队正在努力解决的类型的一个例子，这是 Landing AI 的一个例子，用于处理小数据，而小数据在您离开消费互联网后经常出现。
那太迷人了。那么，您是否在实际标记过程中投入了更多的精力和时间？标签是什么？如何解决分歧？以及所有这些务实、现实世界的问题？这是一个迷人的领域。
我发现，事实上，我在斯坦福大学教学时，我越来越多地鼓励学生们为学期末项目寻找自己的项目，而不是仅仅下载别人已经清理好的数据集。实际上，如果您需要自己定义问题并找到自己的数据集，这要困难得多，而不是去几个好的网站，那里有干净的数据集，您可以直接使用。
您现在正在领导三个项目：AI Fund、Landing AI 和 Deep Learning AI。正如您所说，AI Fund 致力于从零开始创建新公司。Landing AI 致力于帮助已建立的公司进行人工智能应用。而 Deep Learning AI 则面向所有其他对进入该领域并取得优异成绩感兴趣的个人进行教育。所以，也许让我们先谈谈这些领域中的每一个。Deep Learning AI，基本问题是，一个对深度学习感兴趣的人如何开始进入这个领域？
Deep Learning AI 正在努力创建课程来帮助人们进入人工智能领域。我通过斯坦福大学教授的机器学习课程至今仍然是 Coursera 上最受欢迎的课程之一。如果我问某人他们是如何进入机器学习领域的，或者他们是如何爱上机器学习的，或者是什么让他们感兴趣，他们总是会提到我的课程。您影响的人数是不可思议的。所以，我肯定代表很多人向您表示感谢。
谢谢。你知道，我曾经读过一篇新闻文章，我认为是《麻省理工科技评论》上的。我可能会记错统计数据，但我记得读到一篇文章说，大约三分之一的程序员是自学成才的。我可能记错了，可能是三分之二。但我读到一篇文章，我觉得这说不通。每个人都是自学成才的，因为您是在教自己。我没有教别人。这不好。
那么，一个人如何开始深度学习呢？Deep Learning AI 在其中扮演什么角色？
Deep Learning AI 提供的专业化课程是……我认为有一个叫做“序列专业化”的课程，它可能仍然存在。这是一个非常受欢迎的方式，人们可以通过这个专业化课程学习从神经网络到如何调整神经网络的一切。那么，什么是卷积神经网络？什么是 RNN 或序列模型？什么是注意力模型？所以，这个专业化课程会一步步地引导大家学习这些算法，这样您就能深刻理解它们，并能够实现和使用它们，你知道，从一开始。
那么，对于想要参加深度学习专业化课程的人来说，您认为需要具备哪些先决条件，比如数学或编程背景？
您需要了解基本的编程知识，因为有 Python 的编程练习。数学先决条件非常基础，不需要微积分。如果您了解微积分，那很棒，您会获得更好的直觉，但我们特意尝试在不需要微积分的情况下教授这个专业化课程。所以，我认为高中数学就足够了。如果您了解矩阵运算，我认为……我认为这足以让您……基本上是代数，非常基本的代数，以及一些编程。我认为那些学过机器学习的人也会觉得深度学习专业化课程更容易一些，但也可以直接跳入深度学习专业化课程，只是会稍微难一些，因为我们倾向于……你知道，更快地介绍像梯度下降是如何工作的，什么是目标函数，这些内容主要在机器学习课程中涵盖。
您能否简要提及一些学生应该学习的深度学习关键概念，您设想他们在最初几个月或第一年左右会学到什么？
所以，如果您参加深度学习专业化课程，您将学到神经网络的基础知识，如何从一个……你知道，一个单元构建一个神经网络，堆叠层，不同的激活函数。您将学习如何训练神经网络。我为这个专业化课程感到非常自豪的一点是，我们涵盖了很多实际的技巧，关于如何让这些东西真正起作用。例如，不同优化算法的区别是什么？当算法过拟合时该怎么办？何时应该收集更多数据，何时不应该费心收集更多数据？
我发现，即使是今天，不幸的是，有些工程师会花六个月的时间去追求一个特定的方向，比如收集更多数据，因为我们听说更多数据是有价值的。但有时您可以运行一些测试，并且可以早六个月就弄清楚，对于这个问题，收集更多数据不会有帮助。所以，不要花时间收集更多数据，而是花时间修改架构或尝试其他方法。我们还涵盖了许多实际技巧。所以，当……当某人参加深度学习专业化课程时，他们就具备了高效构建神经网络的技能。所以，直接上手，玩转神经网络，训练它，对特定数据集进行推理，建立直觉，而不会把它做得太大，以至于您花了六个月的时间，就像您说的，学习构建一个大项目，而没有建立起对数据的一个小方面的直觉，而这个直觉已经可以告诉您一切了。
是的，还有系统性的思维框架，关于如何构建实用的机器学习。也许做一个类比，当我们学习编码时，我们必须学习某种编程语言的语法，比如 Python、C++ 或 Octave，或者其他任何语言。但同样重要，甚至更重要的是，要理解如何将这些代码行串联成连贯的东西。你知道，什么时候应该调用一个函数，什么时候不应该？你如何看待抽象？所以，这些框架使得程序员高效，甚至比理解语法更重要。
我记得我在卡内基梅隆大学读本科时，我的一位朋友通过先尝试编译他的代码来调试他的代码。然后是 C++ 代码，然后每一行都有语法错误。他想尽快修复语法错误。那么，如何做到呢？他会删除每一行有语法错误的。所以，对于一般的语法错误来说，这非常有效。但对于糟糕的……
所以，我们学会了如何调试。我认为在机器学习中，调试机器学习程序的方式与您……你知道，进行二分搜索或其他方式，使用调试器，跟踪传统软件工程中的代码，非常不同。所以，这是一个不断发展的学科。但我发现，那些真正擅长调试机器学习算法的人，速度要快 10 倍，甚至 100 倍。
而且，调试的基本过程是……在这种情况下，错误是，为什么这个东西没有学习，没有改进？进入关于过拟合等等的问题。这就是调试发生的逻辑空间。在神经网络中。
经常被问到的问题是，为什么它还没有奏效？我能期望它最终会奏效吗？我能尝试改变架构、调整参数、更多的正则化、不同的优化算法、不同类型的数据吗？系统地回答这些问题，这样您就不会……您不会在盲目摸索中花费六个月的时间，直到有人来问您，为什么您花了六个月时间做这个？
您认为在深度学习中，学生们最常遇到的困难或最大的挑战是什么？是什么让他们着迷，让他们受到启发，让他们真正理解？
就像学习数学一样，我认为深度学习的挑战之一是，有很多概念是层层叠加的。如果您问我数学中什么难，我很难 pinpoint 任何一个东西。是加法、减法？是进位？是乘法？是长除法？有很多东西。我认为学习数学和学习某些技术领域的一个挑战是，有很多概念，如果您错过了一个概念，那么您就错过了后续内容的前提。
所以，在深度学习专业化课程中，我们试图将概念分解，以最大化每个组件的可理解性。所以，当您转向更高级的内容时，您会学习……您的信心……希望您从早期部分获得了足够的直觉，以便理解为什么我们以某种方式构建……为什么我们以某种方式构建……然后最终，为什么我们以某种方式构建我们的……或者注意力模型，建立在早期概念的基础上。
我很好奇，您也做了很多教学工作。您有没有一个……您有没有一个最喜欢的，这是教学中的困难概念时刻？
我认为没有人曾经把采访转向我。这是一个非常好的问题。很难捕捉到他们挣扎的时刻。我认为您说得很清楚。我认为确实有一些时刻是“啊哈”时刻，真正启发人们。我认为，对某些人来说，强化学习，尤其是深度强化学习，是真正启发人们并让他们了解神经网络能做什么的绝佳方式。尽管你知道，神经网络只是深度强化学习框架的一部分。但它是一种很好的方式来描绘整个神经网络的图景，它能够从零开始学习，一无所知，探索世界，并从中吸取教训。
我发现，很多“啊哈”时刻发生在您使用深度强化学习来教人们神经网络时，这有些违反直觉。我发现，很多启发人们，点燃人们激情，人们眼中闪光，都来自于强化学习的世界。
您发现……我是说，首先，学习……它是否是教学过程中有用的一部分？我仍然在斯坦福大学的一门课程中教授强化学习，以及我的博士论文。
非常棒。谢谢。我发现，如果我试图教学生他们今天最实用的技术，我最终会减少花在强化学习上的时间。它不是今天奏效的东西。我们的世界变化太快了，也许几年后就会完全不同。我认为我们需要一些东西才能让强化学习达到那个水平。如果您达到了那个水平。
我的一个团队正在研究用于某些机器人控制任务的强化学习。所以我看到了应用。但如果您将其视为我们所做所有类型的影响的百分比，至少在今天，除了……你知道，玩电子游戏之外。在一些游戏中，我们中的一些人围坐在一起说：“嘿，您实际部署的强化学习应用的最佳例子是什么？”你知道，在机器学习研究人员中。而且，确实有一些新兴的例子，但并没有那么多伟大的例子。
我认为您绝对是正确的。可悲的是，还没有一个大型的、有影响力的、现实世界的强化学习应用。我认为它对我来说最大的影响是在玩具领域，在游戏领域。一个小例子。
对我来说，出于教育目的，它似乎是探索神经网络的有趣事物。但从您的角度来看，我认为这可能是最好的视角。如果您试图通过一个简单的例子来教育，以说明它如何真正扩展并产生现实世界的影响，那么也许专注于监督学习的基础知识，在一个简单的数据集，比如 MNIST 数据集上，是正确的方式，是正确的道路。我只是看到人们在强化学习中获得的乐趣，这很棒，但在现实世界的应用影响方面却不是。这是一个权衡，您想产生多少影响，以及您想获得多少乐趣。
这真的很酷。我觉得……你知道，世界。
事实上，即使在机器学习领域，我也觉得深度学习非常令人兴奋，但人工智能团队不应该只使用深度学习。我发现我的团队使用一系列工具，也许这听起来不那么令人兴奋，但有时我们使用互联网，有时我们使用，你知道，个人电脑。前几天我和我的团队坐在一起，查看个人电脑的残差，试图弄清楚个人电脑在制造业问题上的应用情况。有时我们使用有前景的图形模型，有时我们使用知识库，其中一些东西具有巨大的行业影响力，但学术界对知识库的讨论量与实际的行业影响力相比确实很少。所以我认为强化学习应该包含在这一系列工具中，然后就是如何平衡我们教授所有这些东西的程度。世界应该拥有多样化的技能。如果他说，如果每个人只学习一种狭窄的东西，那么多样化的技能可以帮助你发现适合工作的工具。对你来说，深度学习中最美丽、最令人惊讶或最鼓舞人心的想法是什么？有什么东西吸引了你的想象力，让你觉得它具有巨大的潜力？也许是你取得的规模化表现，或者还有其他想法。我想，如果我唯一的工作是成为一名学术研究员，拥有无限的预算，并且不必担心短期影响，只专注于长期影响，那么我几乎所有的时间都会花在无监督学习的研究上。我仍然认为无监督学习是一个美好的想法。在过去的几届 NeurIPS 和 ICLR 会议上，我参加了关于自监督学习的研讨会，这是无监督学习的一个垂直细分领域。我对此感到兴奋。也许我只是想总结一下这个想法。你想要描述一部电影，对吧？所以这里有一些例子：自监督学习。假设我们从互联网上抓取了很多未标记的图像。有了海量的数据，我将对每张图像进行 90 度的随机倍数旋转，然后我将训练一个监督神经网络来预测原始方向。所以，一张图像被旋转了 90 度、180 度、270 度或 0 度。因此，你可以生成无限的标记数据，因为你旋转了图像，所以你知道标记是什么。各种研究人员发现，通过获取未标记数据并创建标记数据集，并在这些数据集上训练大型神经网络，然后你可以将隐藏层的表示转移到另一个任务，效果非常好。学习词嵌入就是我们取一个句子，然后预测缺失的词，这就是我们学习词嵌入的方式之一。词嵌入是另一个例子。我认为现在有各种各样的技术可以生成这些虚构的任务。另一个叫做“拼图”。你拿一张图片，把它切成一个 3x3 的网格，就像一个九宫格拼图。把九块拼图拿出来，让一个神经网络预测它来自九个可能的排列中的哪一个。所以，包括你的团队在内的许多团队，以及 Peter P，一直在做这方面的工作。Facebook、Google Brain、DeepMind，我认为 Aaron Menthol 在 CPC 目标方面有出色的工作。所以很多团队都在做令人兴奋的工作，我认为这是生成无限数据的一种方式。我发现这是无监督学习中一个非常令人兴奋的部分，而且从长远来看，我认为这将释放机器学习系统中巨大的力量。我不认为这是全部，我认为这只是其中一部分，我认为这一部分——自监督学习——正在获得关注。我们非常接近于让它变得有用。嗯，词嵌入确实非常有用。我认为我们越来越接近于产生重大的现实世界影响，尤其是在计算机视觉和视频领域。但我认为这个概念，然后我认为会有围绕它的其他概念，你知道，其他我研究过的无监督学习的东西，我一直很兴奋。我一直对稀疏编码和慢特征分析感到非常兴奋。我认为这些都是我们大约十年前在研究的想法，在我们都因为监督学习的良好表现而分心之前。是的，我们回到了表示学习的基础，这确实开启了深度学习的运动。我认为围绕这些想法和即将到来的其他想法，或者更好的算法，还有很多工作可以探索。所以，如果我们能回到深度学习的具体细节，人工智能的深度学习专业化，也许需要多长时间才能完成课程？你认为这个专业化的官方长度是多久？我认为是 16 周，大约 4 个月。但你可以按照自己的节奏学习。所以，如果你订阅了这个专业化，有些人会在不到一个月的时间内完成，通过更努力地学习和更深入地研究。所以这真的取决于个人。我们创建这个专业化的目的是让它非常易于访问且非常实惠。并且与 Coursera 和 deeplearning.ai 的教育使命一致，对我来说非常重要的一点是，如果有人支付任何费用都会造成经济困难，那么就申请经济援助，免费获得。如果你要推荐一个日常的学习计划，无论是通过深度学习的专业化，还是仅仅在深度学习的世界中学习，你会推荐什么？他们如何进行日常学习，或者关于他们在深度学习、机器学习世界中的学习之旅有什么具体的建议？我认为养成学习的习惯是关键，这意味着规律性。例如，我们每周三发送我们的每周新闻通讯“The Batch”。所以人们知道周三会来。你可以在周三花一点时间通过“The Batch”了解最新消息。对我自己来说，我养成了每周六和每周日花一些时间阅读或学习的习惯。所以，我不会在周六醒来时必须决定今天是否想阅读或学习，它只是我所做的事情。事实是，习惯让事情变得更容易。所以，我认为如果有人能养成这个习惯，就像我们每天早上刷牙一样。我不会去想它。如果我想到每天花两分钟做这件事有点烦人，但这是一个不需要认知负荷的习惯。如果我们每天早上都要做出决定，那会困难得多。事实上，这也是我们每天做同样事情的原因。这只是少了一个决定。我只是把它做完，我确信。所以，我认为如果你能养成这种学习的习惯和一致性，那么它实际上会感觉更容易。所以，是的，在我自己的生活中，这有点令人惊奇。我每天弹吉他，至少弹五分钟。这只是一个非常短的时间，但因为我养成了这个习惯，所以一年或两年内你能取得的成就真是不可思议。通过每天只做很短一段时间，你可以在某些方面变得非常出色。这是一种奇迹，它是如何运作的。它随着时间的推移而累积。是的，我认为这通常不是关于持续努力的爆发，也不是关于通宵达旦，因为你只能在有限的时间内做到这一点。这是长期持续的努力。我认为阅读两篇研究论文是一件好事，但力量不在于阅读研究论文，而在于每周阅读研究论文一年，然后你读了一百篇论文，当你读了一百篇论文时，你确实学到了很多。所以，规律性和将学习变成习惯。你有什么，你有什么给人们的学习建议吗？尤其是在深度学习方面，他们在学习过程中有什么建议或技巧吗？我仍然在努力深入学习某样东西时所做的一件事是做手写笔记。我知道很多人在通勤时学习深度学习课程，或者在可能无法做笔记的地方。所以我知道这可能不适合所有人。但当我参加 Coursera 的课程时，我仍然会时不时地这样做。我最近一次上的课是关于临床试验的。所以我拿出了我的Moleskine笔记本，坐在我的书桌前，记下讲师说的话。这个行为，最好是手写笔记，可以提高记忆力。所以，当你观看视频时，可以暂停一下，然后把基本见解写在纸上。是的，应该有一些研究。如果你在网上搜索，你会发现一些研究表明，做手写笔记，因为手写速度较慢，正如我们刚才所说，它会让你用自己的话重新编码知识，而这个重新编码的过程可以促进长期记忆。这与打字不同。打字也很好，总比没有好。或者做笔记也比没有好，任何笔记都比没有好。但比较手写笔记和打字，对很多人来说，打字通常更快。你可以手写笔记。所以，当人们打字时，他们更有可能逐字转录他们听到的内容，这减少了重新编码的数量，实际上导致了更少的长期记忆。我不知道其中的心理效应是什么，但这是真的。手写有一些根本的不同。我想知道那是什么。我想知道它是否像写得慢一样简单？是的，而且因为你写不了那么多字，你必须把你听到的内容总结成更少的字，而这个总结过程需要对意义进行更深入的处理，从而提高记忆力。这太迷人了。然后我花了，我认为是的，因为 Coursera，我花了这么多时间学习教学法。我的热情是我真的很喜欢学习如何更有效地帮助他人学习。我所做的一件事，无论是制作视频还是撰写“The Batch”，我都会想，我们花费的一分钟是否会比在其他任何地方花费的一分钟提供更有效的学习体验。我们真的试图，你知道，让学习时间高效。很高兴知道每个人都很忙。所以，当我们编辑它们时，我经常告诉我的团队，每个地方都需要为自己的生命而战。如果可以删除它，就删除它。不要浪费这个时间。哇，你这样想真是太神奇了，因为有数百万人受到你的教学影响，而那一分钟的投入会产生涟漪效应，对吧？三年时间，这真是太迷人了。谈谈如何将对深度学习的兴趣变成职业生涯？给人们一些建议。我们刚才谈到了早期的步骤，但如果你想把它变成一生的旅程，或者至少是十到二十年的旅程，你该怎么做？最重要的事情是开始。我认为在职业生涯的早期，像 deeplearning.ai 的专业化这样的课程是一种非常有效的方式来掌握这些材料。因为你知道，像我和其他人，或者 Laurence Moroney 教我们的 Tensor Field 专业化和其他我们正在开发的东西，我们努力让课程对你学习新概念的时间更有效率。因为实际上，对于人们学习概念和进入新领域的早期部分来说，这是一种非常有效的方式。事实上，我在斯坦福看到的一些博士生想立即投入研究，但我通常会说，当你刚开始的时候，花时间上课，因为它奠定了基础。如果你在前几年效率较低，从长远来看会更好。在某个点之后，就不再有课程材料了，因为它太前沿了。我们创建的课程。有一些实践经验，我们还没有在课程中教授得那么好。我认为在用尽了高效的课程之后，大多数人需要继续进行项目，然后也许通过阅读博客文章和研究论文等来继续学习。实践非常重要。再次，我认为从小处着手很重要。今天就做点什么。你读了深度学习。如果你喜欢所有这些人都在做令人兴奋的事情，而我却没在改变世界的神经网络，那有什么意义呢？意义在于，有时构建你自己的神经网络，无论是 MNIST 还是时尚 MNIST，无论它是什么，做你自己的爱好项目，这就是你获得技能的方式，让你能够做越来越大的项目。我发现这在个人层面和组织层面都是如此。公司要擅长机器学习，有时正确的做法不是去解决一个巨大的项目，而是去做一个小的项目，让组织学习，然后在此基础上发展。但这适用于个人，也适用于公司。迈出第一步，然后迈出小步，这是关键。学生应该攻读博士学位吗？你认为你能做这么多事情吗？这是机器学习中最迷人的事情之一。你可以在不获得博士学位的情况下产生如此大的影响。那么，你认为人们应该上研究生院吗？人们应该获得博士学位吗？我认为有多种好的选择，其中攻读博士学位可以是其中之一。我认为，如果有人被顶尖的博士项目录取，你知道 MIT、斯坦福等顶尖学校，我认为这是一次非常好的经历。或者一个人在顶尖的 AI 团队的顶尖组织工作，我认为这也是一次好的经历。有些事情你仍然需要博士学位才能做。如果一个人的愿望是成为一所顶尖学术大学的教授，你只需要博士学位才能做到这一点。但如果要去，开始，完成，做伟大的技术工作，我认为博士学位是一次很好的经历。但我会看看一个人可用的不同选择，你知道在哪里可以找到工作，在哪里可以获得博士学位项目，并权衡这些的利弊。所以，让我们再详细谈谈。你认为人们应该有什么最终的梦想和目标？那么，他们可以探索哪些选择？所以你可以在行业工作，为像 Google、Facebook 这样的大公司工作。所有这些大公司已经拥有庞大的机器学习工程师团队。你也可以在行业中做更像研究的团队，比如 Google Research、Google Brain。你也可以像我们说的，成为大学里的教授。还有什么？你仍然可以创办自己的公司，你可以创办一家初创公司。这些选择之间有什么区别吗？或者它们都是人们应该考虑的美丽而不同的旅程？我认为影响你经历的事情更多的是你是在公司还是在学术界，而不是你在公司还是在学术界。我认为影响你经历的事情更多的是你每天与之互动的人。所以，即使你看看一些大公司，不同团队的个人经历也非常不同。最重要的不是你每天走进那栋宏伟建筑时门上的标志。最重要的是你每天与之互动的十个人，三十个人是谁。所以，我实际上倾向于建议人们，如果你从一家公司获得工作，也要考虑你的经理是谁，你的同事是谁，你实际上要和谁交谈。我们都是社会性动物，我们倾向于变得更像我们周围的人。如果你和优秀的人一起工作，你会学得更快。或者，如果你被一所伟大的公司或一所伟大的大学录取，也许你走进来的标志很棒，但你实际上被困在一个让你做真正无聊的事情的团队里，那实际上是一次非常糟糕的经历。这对于大学和大型公司，对于小型公司都是如此。你可以很快弄清楚你要和谁一起工作。我倾向于建议人们，如果一家公司拒绝告诉你你要和谁一起工作，说“加入我们吧，轮岗系统会弄清楚的”。我认为这是一个令人担忧的答案，因为它意味着你可能无法与优秀的同事和优秀的人一起工作。这实际上是一个非常深刻的建议，我们有时会忽略它，或者不仔细考虑。你周围的人确实如此，尤其是在你取得伟大成就时。似乎伟大的成就是因为你周围的人。所以，这与你是否学习这个或那个，或者像你说的，上面的标志无关。是人。这是一个迷人的，而且是一个非常困难的搜索过程，就像寻找合适的朋友或结婚对象一样。这是一个非常困难的搜索过程，一个人的搜索问题。但我认为，当一个人在大学、研究实验室或大型公司面试时，最好坚持询问你是和谁一起工作，你的经理是谁。如果你拒绝告诉我，我会想，也许是因为你没有一个好的答案。可能不是我喜欢的人。如果你不特别联系，如果感觉不对劲，那就不要坚持。这是一个非常重要的信号，值得考虑。是的，这确实如此。我在我的标准课程 CS230 的一期 ACN 讲座中，我给了大约一个小时的职业建议，包括求职过程，以及其中一些视频。如果你能在 Coursera 上找到那些视频，我也会推荐给人们。很美。所以 AI Fund 帮助 AI 初创公司起步，或者也许你可以详细说明它如何发展？你有什么建议，如何建立一个成功的 AI 初创公司？你知道，在硅谷，很多初创公司的失败都来自于构建没有人想要的产品。所以，当你有很酷的技术时，谁会使用它？所以我倾向于非常以结果为导向。然后是客户至上。最终，我们无权投票决定我们是否成功或失败，只有客户有权决定。只有客户有权点赞或点踩。从长远来看，这才真正重要。所以，当你建立一家初创公司时，你该怎么做？客户会给出他们的想法，并对此表示赞同。我认为是的。所以我认为，高度关注客户、深入了解客户并以服务客户为导向的初创公司更有可能成功。前提是，我认为我们都应该只做我们认为能创造社会效益并让世界变得更好的事情。我个人不想建立令人上瘾的数字产品，只要它们有利可图，但我不会这样做。但如果我们能找到有意义地服务人们的方式，我认为这些都可以是很好的事情，无论是在学术界、企业界还是初创公司。所以，你能告诉我你为什么创办 AI Fund 吗？我记得当我离开百度的人工智能部门时，我的工作有两个部分。一个部分是构建一个人工智能引擎来支持现有业务，而这个引擎并没有运行，你知道，它只是自己运行。我工作的第二个部分是尝试系统地启动新的业务线，利用公司的人工智能能力。所以，你知道，自动驾驶汽车团队是从我的团队出来的。智能音箱团队，类似于美国的亚马逊 Echo。但我们比亚马逊早宣布了它。所以我们不是在模仿亚马逊，它来自我的团队。我发现这实际上是我工作中最好玩的部分。所以我想做的是建立 AI Fund，作为一个创业工作室，系统地创建新的创业公司，利用我们现在能够做到的所有 AI 技术。我认为，建立新团队去抓住这个丰富的机会空间的能力，是一种非常重要的方式，是一种非常重要的方法来完成这些项目，我认为这些项目将推动世界前进。所以，不幸的是，有一些团队产生了有意义的积极影响，我觉得我们可能会以最系统、最可重复的方式做到这一点。所以，创业工作室是一个相对较新的概念。现在可能有几十个创业工作室。你说的对，但我认为我们都在努力弄清楚如何系统地建立高成功率的公司。所以，我认为尽管我的风险投资朋友似乎越来越多地在创建公司而不是投资公司，但我发现弄清楚我们如何系统地建立成功的团队、成功的企业，在那些我们认为有意义的领域，是一件令人着迷的事情。所以，创业工作室是一个地方，一个机制，让初创公司从零开始走向成功。我们试图制定一个蓝图。它实际上是我们从头开始建立初创公司的地方。我们经常引入创始人与他们合作，或者我们甚至有现有的想法，然后我们将创始人匹配起来，然后这有望将他们推向成功的公司。你离弄清楚如何自动化从零开始建立成功的 AI 初创公司的过程有多近？我认为我们一直在不断改进和迭代我们的流程，但我们是如何做到的？比如，我们需要打多少个客户电话才能获得客户验证？我们如何确保这项技术能够很好地构建？我们所有的企业都需要尖端的机器学习算法。所以，你知道，在过去一两年里，我们开发了很多东西。即使它在研究论文中有效，但将其投入生产却非常困难。有很多问题会让这些东西在现实生活中起作用，而这些问题在学术界并没有被充分讨论。所以，你如何验证它实际上是可行的？你如何组建团队，获得专业领域知识，例如在教育或医疗保健领域，或者无论你关注什么？所以我认为我们实际上做得越来越好，让企业家获得高成功率。但我认为我们仍然，我认为整个世界仍然处于早期阶段，试图弄清楚这一点。但你认为这个过程的某些方面可以从一个初创公司转移到另一个初创公司，再到另一个初创公司吗？是的，非常如此。你知道，对大多数企业家来说，创办一家公司是一件非常孤独的事情。我见过太多企业家不知道如何做出某个决定，比如什么时候需要做 PDP 销售？如果你不知道，这真的很难。或者如何有效地进行营销？除了购买广告，这真的很贵。还有其他更有效的策略吗？你知道，从机器学习项目来看，基本的决定可以改变机器学习产品是否有效。所以，企业家需要做出数百个决定，而在几个关键决定上犯错可能会对公司的命运产生巨大影响。所以我认为创业工作室提供了一个支持结构，让创办公司不再那么孤独。而且，在面对这些关键决定时，比如试图聘请你的第一位工程副总裁，什么是好的选择标准？你应该聘请这个人还是不聘请？通过拥有一个围绕企业家、创始人的生态系统，我们可以在关键时刻帮助他们，并希望让他们更愉快，成功率更高。有人可以一起集思广益，在这些非常困难的决策点上，也可以帮助他们认识到他们甚至可能没有意识到这是一个关键决策点。这是第一个，可能是最重要的部分。是的，你可以再说一件事。你知道，我认为建立公司是一回事，但我认为重要的是我们建立的公司能够推动世界前进。例如，Lavinia Fund 团队有一个新公司的想法，如果成功了，它将导致人们观看更多特定类型的视频。它看起来像这样。商业案例还可以，收入案例也可以，但我只是说，我不想这样做。我实际上不想让更多人观看这种类型的视频，它不是教育性的，也不是有益的。所以我拒绝了这个想法，因为它不会真正帮助人们。所以，无论是建立公司、在企业工作还是做个人项目，我认为我们每个人都应该弄清楚，我们想通过学习人工智能在世界上做出什么改变。你帮助已经成熟的公司发展他们的人工智能和机器学习工作。大型公司如何将机器学习融入他们的工作中？人工智能是一项通用技术，我认为它将改变每个行业。我们的社区已经改变了逻辑中心软件互联网行业。大多数软件互联网公司，除了排名前五、六、三、四的公司之外，已经拥有合理的人工智能能力，或者正在朝着这个方向发展。但当我放眼软件互联网行业之外时，从制造业、农业到医疗保健，都有巨大的转型机会，而很少有人在努力。所以我认为人工智能的下一个浪潮将首先改变所有这些其他行业。麦肯锡的一项研究估计全球经济增长 13 万亿美元，美国 GDP 为 19 万亿美元，13 万亿美元是一个很大的数字。普华永道估计为 16 万亿美元。所以，无论数字是多少，都很庞大。但对我来说有趣的是，其中大部分影响将来自软件互联网行业之外。所以，我们需要更多的团队与这些公司合作，帮助他们采用人工智能。我认为这是推动全球经济增长和使人类更强大的因素之一。就像你说的，影响是存在的。那么，在软件技术行业之外，人工智能可能发挥最大作用的行业是哪些？坦率地说，我认为是所有行业。我花了很多时间关注的行业包括制造业、农业、医疗保健等。例如，在制造业，我们在视觉检测方面做了很多工作。今天，人们站在那里，用人工智能机器人来检查，你知道，这个塑料零件或智能手机或这个东西是否有划痕或凹痕。我们可以用摄像头拍照，用深度学习算法和其他东西来检查它是否有缺陷。这样我们的工厂就能改进，提高质量和产量。事实证明，我们遇到的实际问题与大多数研究论文中讨论的问题非常不同。数据量非常小。所以，如果数据量很小，工厂的环境会不断变化。所以它在你的测试集中效果很好，但猜猜怎么着？你知道，工厂里有什么东西变了，灯开了，灯关了。最近，有一家工厂，你知道，火灾烧毁了工厂，然后熏黑了某些东西。所以，你知道，所以改变了东西。所以，提高我们算法的鲁棒性，以应对工厂里发生的所有变化。我发现我们遇到了很多实际问题，这些问题在学术界并没有被广泛讨论。能够站在解决这些问题的前沿，也许在很多人甚至意识到问题存在之前，这真的很有趣。这是一个非常迷人的领域。你说得对。但公司应该采取的第一步是什么？这是一个可怕的飞跃，进入这个新世界，从人眼检查到数字化这个过程，拥有摄像头，拥有算法。第一步是什么？你推荐的早期旅程是什么？我发表了一份名为“AI 转型手册”的文件，它在线上。我还在 Coursera 上简要介绍了一个关于公司应采取的长期旅程的课程。第一步是开始从小处着手。我见过更多公司因为开始得太大而失败，而不是因为开始得太小。即使是谷歌，你知道，大多数人都意识到它有多难，以及它在早期有多么有争议。所以，当它不是 Google Brain 时，它是有争议的。你知道，人们认为深度学习不起作用，为什么你想做深度学习？所以我在谷歌的第一个内部客户是谷歌语音团队，它不是谷歌最赚钱的项目，也不是最重要的项目，它不是网络搜索或广告。但从小处着手，我的团队帮助语音团队构建了一个更准确的语音识别系统。这使得他们的同事，其他团队开始对深度学习更有信心。我的第二个内部客户是谷歌地图团队，我们使用计算机视觉从基本的街景图像中读取门牌号，以更准确地定位谷歌地图中的房屋。所以提高了质量。只有在取得这两次成功之后，我才开始与谷歌广告团队进行最认真的对话。所以有一个涟漪效应，你展示了它在这些案例中的作用，然后它就传播到整个公司，这个东西对我们来说有很大的价值和用途。我认为早期的、小规模的项目有助于团队建立信心，也有助于团队了解这些技术的作用。我仍然记得我们第一台 GPU 服务器，它是在某个家伙的桌子下面的一台服务器。你知道，然后我们从中吸取了早期重要的教训，关于如何让多个用户共享一组 GPU，这在当时并不明显。但那些早期的教训很重要。我们从第一台 GPU 服务器中学到了很多，然后帮助团队思考如何扩展，而无需进行大规模部署。公司面临的需要解决的具体挑战有哪些？我认为构建和部署机器学习系统非常困难。在笔记本电脑上的东西和在工厂或农业生产线等生产部署环境中运行的东西之间存在巨大的鸿沟。所以，我看到很多人，你知道，在笔记本电脑上做了一些东西，然后说“哇，看，我做到了”，这很棒，这很重要。但所有团队都低估了剩余的步骤。所以，例如，我听过很多机器学习人士和商界人士进行过同样的对话。机器学习人士说：“看，我的算法在测试集上表现很好，在干净的测试集上表现很好。”然后，商业人士说：“非常感谢，但你的算法很糟糕，它不起作用。”机器学习人士说：“不，等等，我在测试集上表现很好。”我认为，在你的硬盘上做好测试集和在部署环境中做好测试集之间存在巨大的差距。一些常见的问题是鲁棒性和泛化能力。你知道，你可能在工厂里看到一些东西，也许他们在工厂外面砍了一棵树，所以树不再遮挡窗户，光线也不同了。所以测试集发生了变化。在机器学习中，尤其是在学术界，我们不知道如何处理与训练集分布截然不同的测试集分布。有研究，有领域适应、迁移学习等。人们正在研究这些，但我们真的不擅长。那么，你如何让它真正起作用呢？因为你的测试集分布会发生变化。而且，我认为，如果你看看软件系统中的代码行数，机器学习模型可能只占整个软件系统的 5% 甚至更少。我们需要完成所有这些工作，并使其可靠和系统化。良好的软件工程工作是构建成功的、小型机器学习系统的基础。是的，而且软件系统需要与人们的工作流程接口。所以，机器学习是自动化能力的增强。如果我们以工厂为例，工厂里有很多事情要做。一项任务是视觉检查。如果我们自动化这项任务，它可能会非常有价值。但你可能需要重新设计围绕这项任务的许多其他任务。例如，假设机器学习算法说这是有缺陷的，你应该怎么做？是把它扔掉，让人类检查，还是返工或修复它？所以你需要重新设计围绕你现在自动化的事情的许多任务。所以，规划变更管理，并确保你编写的软件与新的工作流程一致。花时间向人们解释，当这种情况发生时。我认为 Lani AI 已经做得很好，我认为我们通过犯错误和痛苦的经历来学习。我们已经擅长与我们的合作伙伴合作，思考除了机器学习模型之外的所有事情。你不能只把它放在笔记本电脑里，而是要构建整个系统，管理变更过程，并找到部署它的方法，从而产生实际影响。大型软件科技公司用于部署的流程不适用于许多其他场景。例如，当我领导大型语音团队时，如果语音视觉系统出现故障，会发生什么？会发生什么？然后有人会说：“嘿，20 位工程师，请修复它。”但是，如果你在工厂里有一个系统出现故障，那里没有 20 位机器学习工程师待命，你可以让他们来修复。那么，你如何处理维护、DevOps、MLOps 或其他方面的问题呢？我认为这些概念是 Lani AI 和一些走在最前沿的团队正在研究的。但我们甚至还没有系统化的术语来描述我们所做的一些事情，因为我认为我们正在即兴创作。所以，你提到了有些人有兴趣在宇宙中发现数学的美和真理，而你则有兴趣对世界产生巨大的积极影响。那么，让我问一个浪漫化的问题。你的许多工作和我们今天的讨论都集中在应用人工智能，甚至可以称之为狭义人工智能，其目标是创建能够自动化某些特定流程的系统，从而为世界带来巨大价值。但还有另一个分支的人工智能，始于艾伦·图灵，那种梦想着创造人类水平或超人类水平的智能。这是你梦寐以求的吗？你认为我们人类最终会创造出人类水平或超人类水平的智能系统吗？我非常想获得通用人工智能，我认为人类会。但它需要一百年，还是五百年，还是五千年，我很难估计。你是否担心 AGI 系统可能采取的不同轨迹，甚至存在生存威胁？你是否有这样的担忧，无论是短期还是长期？我确实担心人类的长远命运。我也在想。我担心地球上的人口过剩。火星，不是今天。总有一天，也许在未来，火星会被污染，会有孩子死去。有些人会回顾这段视频说：“安德鲁，安德鲁怎么会如此冷酷无情？你不在乎火星上所有死去的孩子。”我向未来的观众道歉。我确实关心孩子们，但我不知道今天如何有效地解决这个问题。你的照片可能会出现在关于火星人口过剩的无知者的字典里。是的，这是一个长期问题。短期内有什么需要我们思考的吗？关于将我们的人工智能系统的价值观与我们人类的价值观对齐，就像 Stuart Russell 和其他人正在思考的那样？随着系统的不断发展，我们希望确保它代表我们本性中最美好的天使，我们社会的道德观和价值观。你知道，以自动驾驶汽车为例。自动驾驶汽车最大的问题不是存在某种电车难题，然后你教它。你知道，你开车时遇到过多少次这样的道德困境？我会撞到你吗？我认为自动驾驶汽车遇到的问题频率与我们开车时遇到的频率大致相同。最大的问题是，当路中间有一辆大卡车，你应该做的是刹车，不要撞到它。而自动驾驶汽车却失败了，撞上了它。所以我认为我们需要解决这个问题。我认为关于 AGI 的一些讨论，你知道，对齐问题，回形针问题，它分散了我们对今天需要解决的更难问题的注意力。昨天的一些难题。我认为偏见是一个巨大的问题。我担心贫富差距。人工智能和互联网正在加速权力集中，因为我们现在可以使用数据来处理它。所以，一个接一个的行业，我们影响了每个行业。所以，互联网行业有很多赢家通吃的模式，或者赢家通吃的动态。但它也影响了所有其他行业。所以，也给了这些其他行业，当它们占主导地位时，它们就占主导地位。看看 Uber 和 Lyft 对出租车行业的影响。我们正在做类似的事情。所以，这创造了巨大的财富，但我们如何公平地分享财富呢？我认为，以及我们如何帮助那些工作被取代的人？我认为教育是其中一部分。我们可能还需要做更多的事情，而不仅仅是教育。我认为偏见是一个严重的问题。人工智能有不良用户，例如深度伪造被用于各种邪恶目的。所以我担心一些团队可能无意中，我希望不是故意地，对遥远未来的问题大惊小怪，而不是专注于更难解决的问题。它们掩盖了我们今天已经面临的、极其具有挑战性的问题，甚至是一些愚蠢的问题，但那些具有巨大影响的问题，比如你说的，工厂窗户外的光线变化，这最终是区分你所说的 Jupiter 笔记本和真正改变整个行业的东西的区别。而且，我认为，然后，有些公司，当监管机构来找你说：“不，你的产品搞砸了，修复它可能会影响收入。”与他们谈论你承诺不消灭人类，这要有趣得多。实际上是真正困难的问题。你的生活是一次伟大的旅程，从教学到研究，再到创业。两个问题：一，有没有什么遗憾，如果你能回到过去，你会做些什么不同的事情？二，有没有什么让你特别自豪的时刻，让你真正快乐的时刻？你知道，我犯了太多错误，感觉每次我发现一些东西时，我都会想：“为什么我五年前，甚至十年前没有想到这一点？”然后，有时我读一本书，我会想：“我真希望十年前读过这本书，我的生活会大不相同。”虽然那件事最近才发生，然后我在想，如果我早点读过这本书，Coursera 可能会好得多。但我发现那本书还没有写出来，当时我们正在创办 Coursera。所以，这意味着即使如此，我也发现发现的过程，我们不断发现一些事情，这些事情在事后看来似乎很明显，但总是需要比我希望的更长的时间来弄清楚。那么，关于第二个问题，你生活中有什么让你特别自豪或特别快乐的时刻吗？什么让你感到快乐和满足？嗯，有两个答案。一个是，尽管有所有的变动，是的，当然。你说，无论我花多少时间，我就是无法花足够的时间和她在一起。恭喜。谢谢。然后第二个是帮助他人。我认为对我来说，生命的意义在于帮助他人实现他们的梦想，并努力通过使人类整体更强大来推动世界前进。所以，我感到最快乐、最自豪的时刻是当我感到别人给了我好运，帮助他们一点点地走向他们的梦想。我认为没有比谈论幸福和生命意义更好的方式来结束了。所以，安德鲁，这对我来说是一个巨大的荣誉，也对数百万观众来说。感谢你所做的一切工作。感谢你接受采访。非常感谢。谢谢。感谢收听安德鲁·昂的谈话。感谢我们的赞助商 Cash App。下载并使用代码 EXPORTCAST，你将获得 10 美元，10 美元将捐给 FIRST，一个激励和教育年轻人才成为科学和技术创新者的组织。如果你喜欢这个播客，请在 YouTube 上订阅，在 Apple Podcasts 上给五星好评，在 Patreon 上支持我们，或者在 Twitter 上与我联系 @Lex Fridman。现在，让我用安德鲁·昂的一些智慧之言来结束：问问自己，如果你正在做的事情取得了超出你 wildest 梦想的成功，你是否极大地帮助了其他人？如果没有，那就继续寻找其他事情来做。否则，你就没有充分发挥你的潜力。感谢收听，希望下次再见。