Judea Pearl: Causal Reasoning, Counterfactuals, and the Path to AGI | Lex Fridman Podcast #56

以下是与朱迪亚·珀尔（Judea Pearl）的对话，他是加州大学洛杉矶分校的教授，图灵奖得主，图灵奖被普遍认为是计算机界的诺贝尔奖。他是人工智能、计算机科学和统计学领域的开创性人物之一。他开发并倡导了人工智能的概率方法，包括贝叶斯网络，以及一般因果关系方面的深刻思想。这些思想不仅对人工智能很重要，也对我们理解和实践科学至关重要。但在人工智能领域，因果关系、原因和结果的概念，对许多人来说，是目前所缺失的核心，也是为了构建真正智能的系统必须发展的。因此，以及许多其他原因，他的工作值得经常回顾。我推荐他最近的一本书，名为《为什么的科学》（The Book of Why），它以一种普通大众都能理解的方式，呈现了他一生工作的关键思想。这是“人工智能播客”。如果您喜欢，请在YouTube上订阅，在Apple Podcast上给予五星好评，在Patreon上支持，或者在Twitter @lexfridman上与我联系，拼写为F-R-I-D-M-A-N。如果您在Apple Podcasts上留下评论，尤其是在Castbox上，或者在YouTube上评论，请考虑提及您在科学、技术和哲学领域发现的有趣话题、人物、思想、问题、引言，我将在播客中阅读它们。我不会点名，但我喜欢其中充满善意和深思熟虑的评论，所以我想与您分享。有人在YouTube上分享了与诺姆·乔姆斯基（Noam Chomsky）的对话中的一句引言，他说生命的意义是你自己创造的。我也喜欢这句话。在大多数日子里，我发现存在主义的生活方式是解放和充实的。我最近开始在介绍的最后做广告。我会在介绍完这一集后做一到两分钟的广告，中间绝不会有打断对话流程的广告。我希望这对您来说是好的，并且不会影响收听体验。本节目由Cash App呈现，它是App Store中的第一大金融应用。我个人使用Cash App给朋友转账，但您也可以用它在几秒钟内购买、出售和存款比特币。Cash App还有一个新的投资功能。您可以购买股票的零碎部分，比如价值1美元的股票，无论股票价格是多少。经纪服务由Square的子公司Cash App Investing提供，Square是SIPC的成员。我很高兴与Cash App合作，支持我最喜欢的组织之一FIRST，该组织以其FIRST Robotics和LEGO竞赛而闻名。他们教育和激励着110多个国家数十万名学生，并在Charity Navigator上获得完美评分，这意味着捐赠的资金得到了最大程度的有效利用。当您从App Store或Google Play下载Cash App并使用代码LexPodcast时，您将获得10美元，Cash App也将向FIRST捐赠10美元。再次强调，这是一个我亲眼见过激励男孩女孩们梦想工程创造更美好世界的组织。现在，开始我与朱迪亚·珀尔的对话。您在一次采访中提到，科学不是事实的集合，而是人类与自然奥秘的持续斗争。您能回忆起吸引您、激发您好奇心的第一个奥秘是什么？——哦，第一个奥秘。这很好。是的，我记得。——[Lex] 是什么？——我发烧了三天，当时我学到了笛卡尔和一点点几何学，我发现你可以用代数完成几何学中的所有构造。我无法释怀。我根本无法起床。（笑）——解析几何开启了怎样的世界？——嗯，它连接了代数和几何，好吗？所以，笛卡尔的想法是，几何构造和几何定理及假设可以用代数的语言来表达。这意味着我们在高中时所做的所有证明，试图证明三条角平分线相交于一点，以及（笑）所有这些都可以通过符号的排列来证明。那是一次创伤性经历。——（笑）创伤性经历。——[Judea] 对我来说，是的，是的，我告诉你，对吧？——所以是不同数学学科之间的联系，它们都——它们甚至不是两种不同的语言。——语言。——是的。——哪门数学学科最美？对您来说是几何学吗？——两者都很美。它们几乎拥有相同的力量。——但几何学有视觉元素。——视觉元素，它更透明。但一旦你转向代数，线性方程就是一条直线。这种转换很容易被吸收。通过切线圆，你知道，你有基本定理，你可以用代数来做。但从一个到另一个的过渡确实是我认为笛卡尔是有史以来最伟大的数学家。——所以，如果您将工程学和数学视为一个光谱——[Judea] 是的。——您一生中都悠闲地在这条光谱上行走。你知道，一点点工程学，然后你在这里和那里做了一点数学。——一点点。我们打下了非常扎实的数学基础，因为我们的老师是天才。我们的老师来自德国，在20世纪30年代逃离希特勒。他们放弃了在海德堡和柏林的事业，来到以色列教高中。我们是那个实验的受益者。当他们教我们数学时，方式很好。——什么是好的数学教学方法？——[Judea] 理论性的。——人们。——定理背后的人，是的。他们的表亲，他们的侄女，（笑）他们的脸，以及他们如何从浴缸里跳出来喊着“尤里卡”并在镇上裸奔。（笑）——所以您几乎是作为数学史学家接受教育的。——不，我们只是瞥见了那段历史，连同定理，所以数学中的每一个练习都与一个人，那个人的时间，那个时期有关。——[Lex] 从数学角度来说，时期也是如此。——从数学角度来说，是的，不是悖论。——然后在大学里，您继续攻读工程学。——是的。我在特拉维夫理工学院获得了工程学学士学位。然后我来这里读研究生，并在罗格斯大学攻读工程学和物理学。这与我在Elsevier实验室做的关于超导的论文结合得非常好。——然后不知何故，您想转向几乎是计算机科学软件，甚至不是转向，而是渴望进入软件工程领域，几乎是编程，如果您可以这样称呼它的话，在70年代。有所有这些学科。——是的。——如果您必须选择一个最喜欢的，在工程学和数学方面，您认为哪条道路更美？哪条道路更有力量？——很难选择，不是吗？我喜欢做物理。我甚至有一个以我的名字命名的涡旋。所以，我拥有不朽的投资。（笑）——那么，什么是涡旋？——超导中的涡旋。——在超导中。——您有终端电流在周围旋转，或多或少，对于我们1960年代在Elsevier工作的计算机来说，它将产生一或零，我发现了一些关于涡旋的有趣的现象。您推动电流，它们就会移动。——[Lex] 所以有一个珀尔涡旋。——珀尔涡旋，为什么，您可以谷歌一下。（两人都笑）我不知道，但物理学家们看了我的论文，我的博士论文，当薄膜超导体变得重要时，对于高温超导体来说，它变得很受欢迎。所以，他们在我不知情的情况下称之为“珀尔涡旋”。（笑）我大约15年前才发现它。——您在所有科学领域都有足迹，所以让我们谈谈宇宙。在最低层面，宇宙是确定性的还是随机的，以您业余哲学家的观点来看？换句话说，上帝在掷骰子吗？——我们知道它是随机的，对吧？——[Lex] 今天。今天我们认为它是随机的。——是的，我们认为，因为我们有海森堡不确定性原理，并且我们有一些实验来证实这一点。——我们所拥有的只是证实它的实验。我们不明白为什么。——[Judea] 为什么已经是————您写了一本关于为什么的书。（笑）——是的，这是一个谜。这是一个谜，您有一个掷骰子机器，或者上帝，而掷骰子的结果，以比光速更快的速度传播。（笑）我们无法解释它，好吗？但它只支配微观现象。——所以您不认为量子力学对理解现实的本质有用吗？——[Judea] 不，它会分散注意力。——所以，在您的想法中，世界也可以是确定性的吗？——世界是确定性的，就新的点火而言，它在第一近似下是确定性的。——自由意志呢？——自由意志也是一个很好的练习。自由意志是一种幻觉，我们人工智能界将要解决它。——那么，您认为一旦我们解决了它，解决方案会是什么样的？一旦我们把它写下来。——解决方案首先看起来会像一台机器。一台表现得好像拥有自由意志的机器。它与其他机器交流，就好像它们拥有自由意志一样，而您将无法区分一台拥有自由意志的机器和一台没有自由意志的机器，嗯？——所以它会在其他机器中传播自由意志的幻觉。——而且伪装就是拥有它，好吗？这就是图灵测试的全部意义。伪装智能就是智能，因为它不容易伪装。它非常难以伪装，而您只有在拥有它时才能伪装。——（笑）这是一个多么美妙的陈述。（笑）如果您没有它，就无法伪装它，是的。那么，让我们从头开始，从概率开始，无论是哲学上还是数学上，说某事发生的概率是50%是什么意思？什么是概率？——它是代理人对世界的不确定程度。——您的陈述仍然表达了一些知识。——当然。如果概率是90%，它与10%的知识是完全不同的。——但它仍然不是扎实的知识，它是——它是扎实的知识，通过。如果您告诉我，90%的把握吸烟会在五年内导致您患肺癌，而10%的把握，这是一件有用的知识。——那么这种统计学上的宇宙观，为什么有用？所以我们沉浸在完全的不确定性中。您周围的大部分事物——它允许您以一定的概率预测事物，而计算这些概率非常有益。这就是预测的整个想法。而您需要预测才能生存。如果您无法预测未来，那么您只是，过马路都会非常可怕。——所以您在因果关系方面做了很多工作，让我们来谈谈相关性。——我从概率开始。——您从概率开始。您发明了贝叶斯网络。——[Judea] 是的。——所以，我们将在这两个不确定性级别之间来回穿梭，但什么是相关性？所以，概率是某事发生，是某事，但然后有一堆事情发生，有时它们一起发生，有时不。它们是独立的还是不独立的，那么您如何看待事物之间的相关性？——相关性发生在当两件事在很长一段时间内一起变化时，这是一种衡量方式。或者，当您有一堆变量，它们都协同变化时，那么我们在这里就有相关性，通常当我们想到相关性时，我们真的想到的是因果关系。事物不可能相关，除非有原因让它们一起变化。为什么它们会一起变化？如果它们看不到对方，为什么它们会一起变化？——所以其根本在于因果关系。——是的。隐藏在我们直觉中的是因果关系的概念，因为我们无法理解除因果关系之外的任何逻辑。——条件概率与因果关系有何不同？那么，什么是条件概率？——条件概率是指当其中一个保持不变时，事物如何变化。现在，保持不变意味着我选择只关注那些家伙具有与前一个相同的值的事件。这是我的选择，作为一个实验者，所以原本不相关的事物可能会变得相关。例如，如果我有两个不相关的硬币，而我只选择那些当至少有一个是反面时会响铃的翻转实验，好吗？那么突然我看到了两枚硬币之间的相关性，因为我只看了铃响的那些情况。你看，这是我的设计。这是我的无知，本质上，我大胆地忽略了某些事件，我突然创造了一种不存在的物理相关性。——对。所以，您刚刚概述了观察世界并试图从数学中推断出关于世界的某个东西的缺陷之一，就是通过观察相关性。——我不认为这是一个缺陷。世界就是这样运作的。如果您试图将因果逻辑强加于相关性，就会出现缺陷。它不太好用。——我的意思是，但这正是我们所做的。这已经是科学的大部分内容了，您——不，是大部分天真的科学。统计学家知道这一点。统计学家知道，如果您基于第三个变量进行条件化，那么您可以破坏或创建其他两个变量之间的相关性。他们知道。这是（说外语）。没有什么能让他们惊讶。这就是为什么他们都驳斥系统悖论，“啊，我们知道！”他们什么都不知道。（笑）——嗯，有一些学科，比如心理学，那里的所有变量都很难解释，所以，通常存在从相关性到因果关系的飞跃。——您是什么意思，飞跃？谁试图从相关性中获得因果关系？没有人。——[Lex] 您没有证明因果关系，但您 sort of 在讨论它，暗示，sort of 在无法————您想到了哪个学科？我会告诉您它是否过时。（Lex笑）或者是否过时，或者即将过时。——是的，是的。——[Judea] 哦，是的，告诉我您想到了哪些。——嗯，心理学，你知道————[Judea] 心理学，什么，SEM？——不，不，我想到的是应用心理学，例如，研究人类在半自动驾驶汽车中的行为，人们如何表现。您必须进行这些关于人们驾驶汽车的研究。——一切都始于问题：研究问题是什么？——研究问题是什么？研究问题：当汽车自动驾驶时，人们会睡着吗？——他们会睡着，还是他们倾向于更频繁地睡着——[Lex] 更频繁地——比汽车不自动驾驶时。——[Lex] 不自动驾驶。这是一个好问题，好吗？——您把人放在车里，因为这是真实世界。您无法进行一个控制一切的实验。——[Judea] 为什么不能————您可以。——[Judea] 打开和关闭自动模块。——因为其中有一些方面是不道德的，因为它是在公共道路上进行的测试。驾驶员自己必须做出选择，所以他们自己调节。所以，您只是观察他们何时自动驾驶，何时不自动驾驶。——但也许他们会在非常疲倦时关闭它。——[Lex] 是的，那种事情。但您不知道那些变量。——好的，所以您现在有一个非控制实验，——[Lex] 非控制实验。——当我们纠正观察研究时，当我们形成检测到的相关性时，我们必须推断因果关系，无论是自动驾驶部分导致他们睡着，还是，所以这是一个大约120年前的问题。——[Lex] （笑）是的。——哦，我应该只说100年前，好吗？——[Lex] （笑）谁在乎？——哦，也许，不，实际上我应该说这是2000年前，因为我们有但以理的这个实验，关于巴比伦国王，他想让被流放到巴比伦的以色列人服侍国王。他想给他们吃国王的食物，也就是肉，而但以理作为一个虔诚的犹太人不能吃不洁的食物，所以他让他们吃素食。但国王的监督者说，“对不起，”但如果国王看到您的表现“低于其他孩子，现在，他会杀了我的。”但以理说，“让我们做一个实验。“让我们从耶路撒冷带四个人来，好吗？“给我们素食。“让我们让其他人吃国王的食物，“大约一周后，我们将测试他们的表现。”您知道答案，因为他做了实验，他们比其他人好得多，国王将他们提拔到高级职位，（笑）在他的情况下，所以这是第一个实验。所以这是一个非常简单的，这也是同样的研究问题。我们想知道素食是否会促进或阻碍您的心智能力。所以，这个问题非常古老。即使是德谟克利特，如果我能发现事物的一个原因，我宁愿讨论一个原因也不愿成为波斯国王。发现原因的任务在许多年前的古人心中。但是，数学上的实现直到20世纪20年代才发展起来。所以，科学让我们孤立无援。科学没有为我们提供捕捉“x导致y，而y不导致x”这个概念的数学。因为物理学中的所有问题都是对称的，代数的。等号是双向的。——让我们看看机器学习。今天的机器学习，如果您看深度神经网络，您可以将其视为一种条件概率估计器。——[Judea] 条件概率。正确。美妙。您这么说的吗？——[Lex] 什么？——条件概率估计器。没有机器学习的人抨击您？（笑）攻击您？——大多数人，这就是为什么今天的对话我认为很有趣，大多数人会同意您。有些方面今天确实有效，但我们会遇到瓶颈，有很多想法，我认为您说得对，我们将不得不回到因果关系。让我们试着探讨一下。——好的。——我们甚至可以退一步。您发明了贝叶斯网络，它们看起来非常像表达某种因果关系，但它们并不，不一定。那么，我们如何将贝叶斯网络转化为表达因果关系？我们如何构建因果网络？A导致B，B导致C。我们如何开始推断这种事情？——我们通过问自己问题开始：什么因素会决定x的值？x可以是血压、死亡、饥饿。——但这些是我们提出的假设——假设，所有与因果关系有关的东西都来自一个理论。区别只在于您如何审问您心中的理论。——所以它仍然需要人类专家来提出——对。他们需要人类专家来指定初始模型。初始模型可以是定性的。只是谁听谁的？我说的听是指一个变量听另一个变量。所以，我说好吧，潮汐听月亮，而不是听公鸡打鸣，好吗，等等。这是我们对我们所生活的世界的理解，对现实的科学理解。我们必须从那里开始，因为如果我们不知道如何处理因果关系，当我们有一个模型时，我们当然不知道如何处理它，当我们没有模型时，所以它首先开始。人工智能的口号是先呈现，后发现。但是，如果我给了您所有需要的信息，您能用它做些什么有用的吗？这是第一步，呈现。您如何呈现它？我给了您世界上所有的知识。您如何呈现它？当您呈现它时，我问您，您能推断出x或y或z吗？您能回答某些查询吗？它复杂吗？它是多项式的吗？一旦您为我的知识提供了表示，我们就可以进行所有计算机科学练习。然后您可以问我，现在我明白了如何表示事物，我如何发现它们？这是次要的事情。——我应该呼应这样一种说法，即数学在很大程度上机器学习领域并没有考虑因果关系，即A导致B。在任何方面都是如此。这似乎是一件不显而易见的事情，您认为我们应该真正认识到它，但我们还没有。所以我们必须把它摆在桌面上。知识，从工作中创造知识有多难？——在某些领域，这很容易，因为我们只有四五个主要变量。流行病学家或经济学家可以列出它们。最低工资、失业、政策xyz，并开始收集数据，并量化那些未被量化的参数，通过初始知识。这是您在实验心理学、经济学等领域发现的常规工作。在健康科学中，这是常规的事情。但我应该强调，您应该从研究问题开始。您想估计什么？一旦您有了它，您就必须有一个表达您想估计什么的语言。您认为这很容易吗？不。——所以我想我们可以谈论两件事。一是因果科学对于回答某些问题非常有用，二是我们将如何创建需要与因果关系进行推理的智能系统？所以，如果我的研究问题是如何从桌子上拿起这个水瓶？能够做到这一点所需的所有知识，我们如何构建那个知识库？我们是否要回到80年代专家系统未能解决的问题？我们是否必须解决那个问题，即自动构建知识？您谈论的是从专家那里提取知识的任务。——从专家那里提取知识的任务，或者自我发现更多的知识，越来越多的知识。所以，尽可能地自动化知识的构建。——这是一个不同的游戏，在因果领域，因为本质上它是同一件事。您必须从一些知识开始，然后您试图丰富它。但您不是通过要求更多规则来丰富它。您通过要求数据来丰富它。查看数据，并进行量化，并提出您开始时无法回答的查询。您无法回答，因为问题非常复杂，而且超出了普通认知、普通人，甚至普通专家的能力范围。——那么您认为我们可以开始回答哪些问题？——即使是一个简单的，我想，是的。（笑）我从简单的开始。——[Lex] 让我们开始吧。——好的，药物对恢复有什么影响？是阿司匹林治好了我的头痛，还是电视节目，或者我收到的好消息？这已经，你看，这是一个困难的问题，因为它是：从结果中找出原因。简单的是从原因中找出结果。——没错。所以首先您构建一个模型，说这是一个重要的研究问题。这是一个重要的问题。然后您——我还没有构建模型。我只是说这是一个重要的问题。——重要的问题。——而第一个练习是，用数学来表达它。您想证明什么？比如，如果我告诉您服用这种药会产生什么效果？好的，您必须用数学来表达。您如何表达？——是的。——[Judea] 您能写下这个问题吗。不是答案。我想找出药物对我的头痛的影响。——对。——[Judea] 写下来，写下来。这就是do-calculus的用武之地。（笑）——[Judea] 是的。do-算子，do-算子。——do-算子，是的。这很好。它是关联和干预之间的区别。非常漂亮地构建起来。——是的，所以我们有一个do-算子。所以，do-calculus连接——而do-算子本身，将操作“做”与我们可以看到的东西连接起来。——对。所以与纯粹的观察相反，您选择改变一个变量——这就是它所表达的。然后，我们如何解释它，我们如何处理您的查询，并将其转化为我们可以处理的东西，是通过赋予它语义，说您有一个世界模型，您切断了所有进入x的传入箭头，然后您在修改后的、残缺的模型中查看，并询问y的概率。这就是“做x”的解释，因为通过做事情，您将它们从所有先前影响它们的影响中解放出来，并将它们置于您肌肉的暴政之下。——所以您（笑）您通过做事情来消除所有关于因果关系的问题。——所以有一个层面的问题。回答关于如果您做某事会发生什么的问题。如果您喝咖啡，或者如果您服用阿司匹林。——[Judea] 对。——那么我们如何获得“做”的数据？（笑）——哈。现在的问题是，如果您无法进行实验，对吧，那么我们必须依赖观察和研究。——所以我们首先可以，抱歉打断您，我们可以进行一个实验，在那里我们做某事，我们喝咖啡，而do-算子允许您系统地表达它。——想象一下实验会是什么样子，即使我们无法在物理上和技术上进行。我给您举个例子。血压对死亡率有什么影响？我无法进入您的静脉并改变您的血压。但我可以问这个问题，这意味着我有一个您的身体模型。我可以想象血压的变化将如何影响您的死亡率。如何？我进入模型，然后进行这个手术，关于血压，即使在物理上我做不到。——让我问一个量子力学的问题。做是否会改变观察？也就是说，改变血压的手术————不，手术非常精细。——[Lex] 它非常精细。无限精细。（笑）——尖锐而精细，这意味着，do-x意味着我只触及x。——[Lex] 只触及x。——直接进入x。所以，这意味着我只改变那些依赖于x的事物，因为x的变化。但我不会改变那些不依赖于x的事物。比如，我不会改变您的性别或年龄。我只改变您的血压，好吗？——所以，在血压的情况下，构建这样的实验可能很困难或不可能。——不，但物理上可以。但假设不行。——[Lex] 假设不行。——如果我们有一个模型，这就是模型的用途。所以，您对手术模型进行手术。您把它拆开，再组装起来。这就是模型的想法。这是反事实思维的想法，想象，以及创造力的想法。——所以通过构建那个模型，您可以开始推断血压是否会导致死亡率，这会增加或减少， whi——我构建了一个模型。我仍然无法回答。我必须看看模型中是否有足够的信息，允许我从非干预性研究，从不干预性研究中找出干预的效果。——[Lex] 那么需要什么————我们需要对谁影响谁做出假设。如果图表具有某种属性，答案是“是的，您可以从观察性研究中获得它。”如果图表太混乱，答案是，“不，您不能。”然后您需要找到不同类型的观察，您没有考虑过，或者一个实验。——所以，基本上，这给您带来了巨大的压力，需要将智慧编码到那个图中。——正确。但您不必编码比您知道的更多的东西。老天保佑。经济学家就是这样做的。他们称之为识别假设。他们提出假设，即使它们在世界上不被普遍接受，他们也会提出假设，以便他们能够识别事物。——是的，说得很好。但是，问题是您不知道您不知道什么。——您知道您不知道什么，因为如果您不知道，您就说x有可能影响明天的交通。这是可能的。您画了一个箭头，表示这是可能的。图中的每个箭头都表示这是可能的。——[Lex] 所以添加箭头的成本并不高，——您添加的箭头越多————[Lex] 越好。——您从纯粹的观察性数据中识别事物的可能性就越小。所以，如果整个世界都很混乱，每个人都影响每个人，那么答案是——您可以提前知道。我无法从观察性数据中回答我的查询。我必须去进行实验。——所以，您将机器学习视为本质上是通过关联学习，或通过关联推理，而这个do-calculus允许干预。我喜欢这个词。您还谈到了反事实。——是的。——并试图理解反事实与干预之间的区别，首先，什么是反事实，为什么它们有用？为什么它们特别有用，而不是仅仅推理行动的效果？——嗯，反事实包含我们知道等于解释。——您能举一个例子说明什么样的————如果我告诉你，采取某种行动会影响其他事情，我还没有解释任何事情。但如果我问你，是阿司匹林治好了我的头痛吗？我正在寻求解释：什么治好了我的头痛？而指出阿司匹林，就提供了解释。是阿司匹林导致您的头痛消失了。如果您没有服用阿司匹林，您仍然会头痛。——所以，通过说，“如果我没有服用阿司匹林，”我仍然会头痛，“您就等于在说，“阿司匹林是导致头痛消失的东西。”——是的，但您必须有另一个信息点。我服用了阿司匹林，我的头痛消失了。这是非常重要的信息。现在我们反向推理，我说，“是阿司匹林吗？”——是的。通过考虑如果一切都一样，但我没有服用阿司匹林，会发生什么。——没错。所以我们知道事情发生了，你知道吗？乔杀了施莫。如果乔没有开枪，施莫还会活着。好的，那就是反事实。它有一个冲突。它有一个冲突，或者说与观察到的事实——他确实开了枪，好吗？——以及假设的谓词，即如果他没有开枪。您有一个冲突，一个逻辑冲突，它们不能同时存在。那就是反事实，那是我们解释责任、遗憾和自由意志的来源。——是的，当然，这似乎是最高层次的推理，对吧？反事实。——[Judea] 是的，物理学家们一直在这样做。——谁一直在这样做？——[Judea] 物理学家。——物理学家。——在物理学的每一个方程中，您都有胡克定律，您在弹簧上放一公斤，弹簧是一米长，然后您说，“如果这个重量是两公斤，弹簧的长度就会是原来的两倍。”对于物理学家来说，说出这样的话并不难。相反，在数学中，它是以方程的形式，将重量、比例常数和弹簧的长度相等。物理方程中没有不对称性，尽管每个物理学家都进行反事实思考。问高中生，如果重量是三公斤，弹簧的长度会是多少？他们可以立即回答，因为他们在脑海中进行反事实处理，然后将其放入方程，代数方程，然后求解。但机器人做不到。——您如何让机器人学习这些关系？——为什么使用“学习”这个词？假设您告诉他，您能做到吗？在您开始学习之前，您必须问自己，假设我提供了所有信息。机器人能完成我要求的任务吗？他能推理并说，“不，不是阿司匹林。“是我们在电话里收到的好消息。”——对，因为，嗯，除非机器人有一个模型，一个世界的因果模型。——[Judea] 对，对。——抱歉我必须在这里停留————[Judea] 但现在我们必须停留，我们必须说，“我们该怎么做？”——我们该如何构建它？——[Judea] 是的。——我们如何构建一个因果模型，而没有一个由人类专家四处奔波的团队————不，你为什么立刻想到学习？你太投入于学习了。——因为我喜欢婴儿。婴儿学得很快，我正在努力弄清楚他们是怎么做的。——好。这是另一个问题：婴儿是如何形成对世界的反事实模型的？婴儿确实会这样做。他们知道如何在婴儿床里玩耍。他们知道哪个球会击中另一个球，他们通过玩耍性地操纵世界来学习它。他们简单的世界包括所有这些玩具和球和拨浪鼓（笑），但如果您仔细想想，这是一个复杂的世界。——我们认为它有多复杂是理所当然的——而孩子们通过玩耍性地操纵，加上父母的指导、同伴的智慧和道听途说来做到这一点。他们互相见面，然后说，“你不应该拿我的玩具。”（笑）——对，而这些多种信息来源，他们能够整合。所以，挑战在于如何整合，如何从不同来源的数据中形成这些因果关系。——[Judea] 正确。——那么，需要多少因果信息才能在婴儿床里玩弄不同的物体？——我不知道。我没有在婴儿床里做过实验。（笑）——[Lex] 好的，不是婴儿床————我知道，这很有趣————操纵这个非常非常小的物理物体，翻开书页，所有任务，物理操纵任务，您有感觉吗？因为我的感觉是世界极其复杂。——极其复杂。我同意，我不知道如何组织它，因为我被癌症和死亡这样简单的问题宠坏了，好吗？（笑）——[Lex] 首先我们必须开始尝试————不，但它很简单，很简单，因为您只有20个变量，它们只是变量。它们不是力学，好吗？它很简单。您只需将它们放在图上，它们就会与您对话。（笑）——[Lex] 而您提供了一种让它们说话的方法。——我只在抽象领域工作。抽象是知识输入，知识输出，数据在中间。——现在，我们可以跳跃到尝试学习，当变量不是20个而是2000万个时，尝试在这个世界中学习因果关系。不是学习，而是以某种方式构建模型。我的意思是，您似乎只能学习，因为手动构建它会太困难。您有什么想法————我认为这是将简单的模型从许多许多来源，从许多许多学科结合起来的问题。以及许多隐喻。隐喻是人类智能的基础。——是的，那么您如何看待隐喻在其在人类智能中的用途？——隐喻是一个专家系统。它将您不熟悉的问题映射到您熟悉的问题。就像我给您一个很好的例子。希腊人相信天空是一块不透明的幕布。它不是真正的无限空间；它是一块不透明的幕布，星星是戳穿幕布的洞，通过这些洞您可以看到永恒的光。这是一个隐喻，为什么？因为他们知道如何用针戳穿幕布。他们不熟悉无限空间。而我们走在一个乌龟壳上，如果您离边缘太近，您就会掉进冥界，或者其他什么地方，是的。这是一个隐喻。它不是真的。但这种隐喻使埃拉托色尼能够测量地球的半径，因为他说，“来吧。“如果我们走在一个乌龟壳上，“那么射向这个地方的光线“将与射向这个地方的光线角度不同。“我知道距离。“我将测量两个角度，“然后我将得到乌龟壳的半径。”他做到了。他的测量结果非常接近我们今天的测量结果。它，是什么，地球的半径是6700公里？这是巴比伦天文学家不会想到的事情，尽管巴比伦的实验是当时机器学习的人。他们拟合曲线，并且能够比希腊人更准确地预测月食，因为他们拟合曲线。这是另一个隐喻，您熟悉的东西，一个游戏，一个乌龟壳。熟悉意味着什么？熟悉意味着某些问题的答案是明确的。您不必推导它们。——它们之所以明确，是因为在过去某个时候您构建了一个熟悉事物的模型————您熟悉，所以孩子熟悉台球。所以孩子可以预测，如果您松开一个球，另一个球就会弹开。您通过熟悉来获得它。熟悉就是回答问题，您将答案明确地存储起来。您不必推导它。这就是隐喻的想法。我们的一生，我们所有的智能，都是围绕着隐喻构建的，从不熟悉映射到熟悉，但两者之间的结合是一件艰难的事情，我们还没有能够将其算法化。——所以，您认为使用隐喻从一个地方跳到另一个地方的过程。我们可以称之为推理。这是一种推理吗？——[Judea] 这是隐喻推理，但是————隐喻推理。您认为这是一种学习吗？所以，学习是当今流行的一种狭义术语。——[Judea] 是的，绝对是。——所以您可能不——您是对的。——这是最重要的学习之一，获取理论上可推导的东西，并将其存储在易于访问的格式中。我给您举个例子：国际象棋，好吗？找到国际象棋的获胜开局很难。但有一个答案。要么白方有一个获胜的走法，要么没有，要么是平局。所以，答案可以通过游戏规则获得。但我们不知道答案。那么国际象棋大师有什么是我们没有的呢？他明确地存储了对棋盘上某些复杂模式的评估。我们没有，普通人，像我。我不知道您。我不是国际象棋大师。所以对我来说，我必须推导对他来说是明确的东西。他以前见过，或者他以前见过类似的模式，然后他进行泛化，说，“不要移动；这是一个危险的走法。”——这只是，不是在国际象棋游戏中，而是在台球游戏中，我们人类能够最初非常有效地推导，然后非常有效地进行隐喻推理，并且我们做得如此轻松，以至于人们想知道在机器中构建它有多难？在您的意义上，（笑）我们离构建————我不知道。我不是未来学家。我只能告诉您的是，我们在因果推理领域取得了巨大的进步。我甚至敢称之为一场革命，因果革命，因为我们在过去三十年里取得的成就，远远超过了整个历史上的所有成就。——所以，当前机器学习方法论令人兴奋，而您在因果推断方面正在做非常重要的好工作。这些世界在哪里碰撞，它看起来是什么样的？——首先它们必须和谐地工作。（笑）必须和谐地工作。——[Lex] 和谐。——人类将通过提供定性的、不确定的模型来启动练习，关于宇宙如何运作，现实，讨论的领域如何运作。机器将从那个角度接管，并推导出微积分所能推导出的任何东西，即，对我们问题的定量答案。这些是复杂的问题。我给您举一些复杂问题的例子，如果您仔细想想，会让您头晕目眩。您以不同人群、不同条件下的研究结果为基础，推断出新人群的因果效应，而这个新人群甚至不像任何被研究过的人群。您通过do-calculus来做到这一点。您通过从一项研究推广到另一项研究来做到这一点。看，那里有什么共同之处？有什么不同？让我们忽略差异，提取共同点。您可能会在全球大约100家医院进行这项工作。从中，您可以从大数据中获得真正的价值。您不仅有大量的样本；您还有许多数据来源。——所以，我认为这是一件非常强大的事情，尤其是在医学应用方面。治愈癌症，对吧？这就是如何从数据中治愈癌症。所以我们谈论的是因果关系，它是事物之间的时间关系。——不仅仅是时间。它是结构性和时间性的。时间顺序本身不能取代因果关系。——时间顺序是物理学中的时间箭头吗？——[Judea] 是的，它很重要，必要。——它很重要。——[Judea] 是的。——我从未见过原因向后传播。——但如果我们使用“原因”这个词，但存在永恒的关系。我猜那仍然是时间的前进箭头。但是，是否存在逻辑关系，适合这个结构？——[Judea] 当然。所有do-calculus都是逻辑关系。——这不需要时间。它只是您不穿越时间的条件。——[Judea] 是的，正确。——所以它确实是一种布尔逻辑的泛化，一种强大的泛化。——[Judea] 布尔逻辑。——是的。——这可以简单地说，并允许我们推理事件的顺序，来源——不是关于，而是之间。但不是推导事件的顺序。我们被赋予了因果关系。它们应该遵守时间顺序关系。我们被赋予了这一点，现在我们询问其他因果关系的问题，这些关系可以从初始关系中推导出来，但没有明确地给出。就像我给您的第一个章节中的枪毙场景，我问，“如果射手A拒绝开枪呢？囚犯还会死吗？拒绝开枪，意味着他违抗命令。游戏规则是他是一个服从的射手。这就是您开始的方式。这是初始命令，但现在您询问关于打破规则的问题。如果他因为成为和平主义者而决定不扣动扳机呢？您和我可以回答。另一名射手会击中并杀死他，好吗？我想让机器也这样做。让机器做这件事很难吗？这是一项如此简单的任务。但他们必须有一个计算方法。——是的，是的。但好奇心，对我来说，是自然的，是的，您绝对正确且重要，而且很难相信我们没有很早就认真、广泛地做到这一点。所以，这项工作非常重要，但我也想知道，也许您可以哲学地谈谈学习有多难。——看，让我们假设学习。我们想要学习，好吗？——我们想学习。——那么我们该怎么做？我们放一个学习机器，让它观察许多国家、许多（笑）地点的执行审判，好吗？机器只能学会看到开枪或不开枪。死亡，未死亡。法院下达命令或未下达命令，好吗？只是事实。对于事实，您不知道谁听谁的。您不知道被判刑的人听子弹，子弹听上尉的，好吗？我们听到的只有一个命令，两枪，死亡，好吗？三个变量：是，否，是，否，好吗？从那里您能学会谁听谁的吗？您能回答这个问题吗？不。——明确地说，不行。但您不认为您可以开始提出供人类审查的观点吗？您想让机器学习它，好吧，您想要一个机器人。所以机器人正在观看这样的审判，200次审判，然后他必须回答这个问题，如果射手A拒绝开枪呢。——[Lex] 是的。那么我们该怎么做？——（笑）这正是我说的。如果看事实不能给您事实背后的线索————绝对，但所以您认为机器学习，就其当前定义而言，只是一种看事实并试图————[Judea] 现在他们只看事实。——是的，那么有没有办法修改，在您的意义上————[Judea] 是的，玩耍性操纵——玩耍性操纵。做干预性的事情。——但它可能是随机的。例如，射手那天生病了，或者他只是呕吐了，或者别的什么。所以，我们可以观察到这个意外事件，它引入了噪音。噪音仍然必须是随机的，才能将其与随机实验联系起来，然后您就有观察性研究，从中推断出事实背后的线索。在一定程度上是可以做到的。但现在我们已经掌握了拥有模型后可以做什么的专业知识，我们可以反向推理，说您需要什么样的数据来构建模型。——明白了。所以，我知道您不是未来学家，但您感到兴奋吗？您有没有，当您回顾您的一生时，渴望创造人类水平智能的想法————嗯，是的，我被它驱动着。我一生都被一件事驱动着。（笑）但我走得很慢。我从我知道的开始，一步一步地向前推进。——所以，在不想象最终目标是什么样子的情况下，您能想象————最终目标将是一台能够回答复杂问题的机器：反事实、遗憾、同情、责任和自由意志。——那么什么是好的测试？图灵测试是一个合理的测试吗？——自由意志的图灵测试还不存在。没有————[Lex] 您如何测试自由意志？这是一个————到目前为止，我们只知道一件事，仅仅（笑）如果机器人可以交流，带有奖励和

他们之间互相惩罚，互相打手腕，并说“你不该那样做。” 踢得更好的足球，因为他们能做到这一点。 - [Lex] 你是什么意思，因为他们能做到这一点？ - 因为他们可以互相沟通。 - [Lex] 因为沟通，他们可以踢足球。 - 因为他们像我们一样沟通，奖励和惩罚，是的，你没有在正确的时间传球，等等；因此，你将在接下来的两场比赛中坐在替补席上，如果他们开始这样沟通，问题是，他们会踢得更好的足球吗？ 与什么相比？ 与他们现在所做的相比？ 没有这种关于奖励和惩罚的推理能力。 责任。 - 和反事实。 - 到目前为止，我只能想到沟通。 - 沟通，不一定是自然语言，而是沟通。 - 只是沟通，拥有快速有效的沟通知识的手段很重要。如果教练告诉你你应该传球，砰，他传达了很多知识给你，而不是什么？ 下去改变你的软件，对吧。那是另一种选择。但教练不知道你的软件。那么教练怎么告诉你你应该传球呢？但是，我们的语言非常有效：你应该传球。你知道你的软件。你调整正确的模块，好的，下次你就不会那样做了。 - 现在这是关于踢足球的，规则定义得很清楚。 - 不，不，不，它们没有被明确定义。什么时候应该传球—— - 没有明确定义。 - 不，它非常嘈杂。是的，你必须在压力下这样做（笑） - 这是艺术。但在使计算机和人类的价值观保持一致方面，你认为这种因果关系思维对于使机器做出决策的价值观、道德、伦理保持一致很重要吗？因果关系是两者可以结合的地方吗？ - 因果关系是构建道德机器的必要组成部分，因为机器必须富有同情心，才能理解对你有什么好处，才能建立一个你的模型，作为接收者。我们应该非常——什么是同情心？想象一下你遭受的痛苦和我一样多。 - [Lex] 和我一样多。 - 我已经有了自己的模型，对吧？所以很容易将你映射到我的模型。我不需要重建模型。说“啊，你和我一样”要容易得多。好的，因此，我不会打你，好吗？（笑） - 机器必须想象，必须尝试假装是人类。本质上，这样你就可以想象你和我一样，对吧？ - 哇，哇，哇，谁是我？那更远了，那是意识。他们有一个关于你自己的模型。你从哪里得到这个模型？你把自己看作是环境的一部分。如果你建立一个关于你自己与环境的模型，那么你就可以说，“我需要一个关于我自己的模型。“我有能力；我有欲望，等等，”好吗？我有一个关于我自己的蓝图，虽然，不是完整的细节，虽然，因为我无法获得整个问题，但我有一个蓝图。所以在蓝图的那个层面，我可以修改东西。我可以照镜子看看自己，说，“嗯，如果我调整这个模型，“我的表现会不同。”这就是我们所说的自由意志。（笑） - 和意识。你认为意识是什么？它仅仅是自我意识，包括你自己进入世界模型吗？ - 是的。有些人告诉我不是，这只是意识的一部分，然后他们开始告诉我他们对意识的真正含义，然后我就听不懂了。对我来说，意识就是拥有你软件的蓝图。 - 你对人工智能的未来，所有不同的研究轨迹有担忧吗？ - [Judea] 是的。 - 你的希望是什么，这个运动会走向何方？你的担忧是什么？ - 我很担心，因为我知道我们正在创造一个有能力超越我们、超越我们能力的新物种，它可以自我繁殖并完全接管世界。这是一个新物种；它不受控制。我们不知道我们控制它的程度。我们甚至不明白控制这个新物种意味着什么。所以，我很担心。我没有什么可以补充的，因为这是一个如此模糊的领域，那个未知。历史上从未发生过。历史上唯一一次发生这种情况，是人类的进化。 - [Lex] 对。 - 而且它非常成功，是吗？（笑）有些人说它取得了巨大的成功。 - 对我们来说是这样，但一路走来，是的，一些生物可能不会同意。所以，仅仅因为它是一个如此模糊的领域，就没有什么可说的了。 - [Judea] 我们有一个样本。 - 一个样本。 - [Judea] 是我们。 - 有些人会看着你，说，是的，但我们正在看着你来帮助我们确保第二个样本工作正常。 - 对。实际上，我们不止一个样本。我们有理论。这很好；我们不需要成为统计学家。所以，一个样本并不意味着知识贫乏。它不是。一个样本加上理论、猜想或理论，关于可能发生的事情，我们确实有。但我真的感到无能为力来为这场争论做出贡献，因为我所知甚少，我的想象力有限，我知道我不知道多少，但我很担心。 - 你出生并成长在以色列。 - [Judea] 出生并成长在以色列，是的。 - 后来在以色列国防军服役。 - 在以色列国防军。 - 你从那段经历中学到了什么？ - 从那段经历？（笑） - [Lex] 那里还有一个基布兹。 - 是的，因为我在 NAHAL 服役，这是一个农业劳动和军事服务的结合。我是一个理想主义者。我想一生都成为基布兹的一员，过集体生活，所以我为此做好了准备。慢慢地，我想要更大的挑战。 - 所以，那是遥远的世界，在 t-- 但我从中学到了，一个基布兹。这是一个奇迹。我在 20 世纪 50 年代服役是一个奇迹。我不知道我们是怎么活下来的。国家处于紧缩状态。它的人口翻了三倍，从 60 万增加到 180 万，当我大学毕业时。没有人挨饿。紧缩，是的。当你想在餐馆里做一个煎蛋卷时，你必须自己带鸡蛋。并且被监禁的人从农区、从村庄把食物带到城市。但没有人挨饿，我总是补充说：高等教育没有遭受任何预算削减。他们仍然投资于我、我的妻子、我们的几代人。让他们获得最好的教育。所以我真的很感激后代，我现在正在努力回报。我们能幸免于 1948 年的战争，这是一个奇迹。他们离第二次种族灭绝如此之近。一切都计划好了。（笑）但我们奇迹般地幸免了，然后是第二个奇迹，很多人没有谈论，下一阶段，没有人挨饿，国家设法将人口翻了三倍。你知道人口翻三倍意味着什么吗？想象一下美国从，什么，3.5 亿到（笑）难以置信。 - 这是这个世界一个非常紧张的地区。这是这个世界一个复杂的地方，以色列和周围的一切。宗教是这种复杂性的核心，或者说是其中一个组成部分——宗教是中东许多许多人的强大动力，是的。 - 在你看来，回顾过去，宗教对社会有好处吗？ - 这是个很好的机器人问题，你知道吗？ - [Lex] 有那个问题的回响。 - 我们应该给机器人装备宗教信仰吗？假设我们发现，或者我们同意，宗教是一件好事，它会让你保持警惕。我们应该给机器人一个神的隐喻吗？作为一种隐喻，机器人也会自己理解，而不是我们。为什么？因为机器人会通过隐喻来推理。而一个孩子成长的最原始的隐喻是什么？母亲的微笑，父亲的教导，父亲的形象和母亲的形象，那就是上帝。所以，无论你是否愿意，（笑）机器人都会，假设机器人将有一个母亲和一个父亲。它可能只有一个程序，虽然，它不提供温暖和纪律。好吧，纪律它确实有。所以，机器人将有一个训练者的模型。世界上发生的一切，宇宙学等等，都将被映射到程序员身上。（笑）那就是上帝。 - 代表那个机器人一切起源的事物。 - [Judea] 这是最原始的关系。 - 所以它会通过隐喻到达那里。那么问题是，总体而言，这种隐喻对我们人类来说是否服务得很好。 - 我真的不知道。我认为它做到了，但只要你记住它只是一个隐喻。（笑） - 那么，如果你认为我们可以，我们可以谈谈你的儿子吗？ - [Judea] 是的，是的。 - 你能讲讲他的故事吗？ - [Judea] 他的故事，嗯—— - 丹尼尔。 - 他的故事是众所周知的。他在巴基斯坦被基地组织驱动的教派绑架，并以各种借口。我甚至不注意借口是什么。最初他们想让美国交付一些承诺的飞机，我——这一切都是编造的，你知道，所有这些要求都是虚假的。我真的不知道，但最终他在摄像机前被处决了。 - 其核心是仇恨和不宽容。 - 核心，是的，绝对，是的。我们没有真正体会到数十亿人所受教育的仇恨深度。我们不理解它。我最近听说了他们在摩加迪沙教什么。（笑）当战争停止时，水龙头，我们确切地知道是谁干的。犹太人。 - [Lex] 犹太人。我们不知道怎么做，但我们知道是谁干的。我们不理解这对我们意味着什么。深度是难以置信的。 - 你认为我们所有人都有作恶的能力，而教育、灌输，才是真正制造邪恶的东西吗？ - 绝对我们有作恶的能力。如果你受到足够长时间、足够深入的灌输，我们就有能力成为 ISIS，我们就有能力成为纳粹，是的，我们是。但问题是我们，在我们接受了一些西方教育之后，我们了解到一切都是相对的，没有绝对的上帝。他只是对上帝的信仰。我们现在是否有能力，在某些情况下，被转化，变得残忍。 - [Lex] 是的。 - 这是一个问题——我对此感到担忧，因为有些人说是的，在正确的情况下，在严重的经济危机下。你也有能力这样做，这让我担心。我想相信我没有能力。 - 丹尼尔去世七年后，你在《华尔街日报》上发表了一篇文章，题为“丹尼尔·珀尔与邪恶的正常化”。 - [Judea] 是的。 - 你当时的信息是什么，今天，多年来它发生了什么变化？ - 我输了。 - [Lex] 信息是什么？ - 信息是，我们没有把恐怖主义当作禁忌。我们把它当作一种被接受的讨价还价的手段。人们有不满，他们去炸餐馆。这是正常的。看，当我告诉你时，你甚至都不惊讶。二十年前你会说，“什么？因为不满你去“炸餐馆？”今天它已经正常化了。邪恶的平庸化。我们自己创造了它，通过正常化它，通过把它变成政治生活的一部分。这是一场政治辩论。昨天的每个恐怖分子今天都成了自由战士，明天又成了恐怖分子。这是可变的。 - [Lex] 所以，当有邪恶时，我们应该呼唤邪恶。 - 如果我们不想成为其中一部分。 - [Lex] 成为它。 - 是的，如果我们想区分善恶，这是第一件事，在伊甸园里，还记得吗？上帝告诉他们的第一件事是“嘿，你想知道一些知识吗？“这里有善恶之树。” - 所以这种邪恶触及了你的生活。你的心中有愤怒、悲伤，还是希望？ - 看，我看到一些来自巴基斯坦的美丽的人。我在任何地方都看到美丽的人。但我也看到了这个国家邪恶的恐怖宣传。这表明了民粹主义口号如何能抓住最聪明知识分子的头脑。 - 今天是父亲节。 - [Judea] 我不知道。 - 是的，你对丹尼尔有什么美好的回忆？ - 哦，许多美好的回忆依然存在。他是我的导师。他有一种我没有的平衡感。（笑） - [Lex] 是的。 - 他看到了每个人身上的美。他不像我那样情绪化，更能把事情放在视角上看。他真的喜欢每个人。他真的在“外国人是好奇的对象，而不是恐惧的对象”的想法中长大。有一次我们去伯克利，一个无家可归的人从一条黑暗的小巷里出来说，“嘿，哥们，能给我一角钱吗？”（Judea 倒吸一口气）我后退了，你知道，后退了两英尺，丹尼就拥抱了他，说“给你一角钱。“玩得开心。也许你想用钱坐公交车“或者别的什么。”他从哪里得到的？不是从我。（两人都笑） - 你对今天梦想着创造，就像你曾经梦想着创造智能系统一样，年轻的心灵有什么建议吗？如何才能获得新的突破性想法，并经受住批评的考验和超越传统观念的考验？ - 问你的问题。真的，你的问题永远不会愚蠢。用你自己的方式解决它们。（笑）不要说“不”。如果它们真的很愚蠢，你会很快发现，通过反复试验，看到它们没有导向任何地方。但要跟随它们，并尝试用你自己的方式理解事物。这就是我的建议。我不知道这是否会帮助任何人。 - [Lex] 不，这说得太好了。 - 科学、学术界存在很多惯性。它正在减缓科学。 - 是的，这两个词，“你自己的方式”，这是一个强大的东西。它可能与惯性相悖。 - [Judea] 对抗你的教授。（Lex 笑） - 我写了《为什么之书》，以普及常识。 - [Lex] 是的。（笑） - 以在学生中灌输反叛精神，这样他们就不会等到教授把事情弄对。（两人都笑） - [Lex] 所以你写了反抗教授的宣言。（笑） - [Judea] 反抗教授，是的。 - 那么回顾你一生的研究，你希望哪些想法能在未来几十年里产生影响？你希望你的遗产是什么？我已经刻好了墓碑。（两人都笑） - 哦，天哪。 - 反事实的基本定律。这就是——它是一个简单的方程。用模型手术来表达一个反事实。就是这样，因为其他一切都由此而来。如果你明白了，其他一切都会。我就可以安详地死去，我的学生可以通过数学手段推导出我所有的知识。 - 其余的都随之而来。非常感谢今天的谈话。我真的很感激。 - 我感谢你如此专注和启发。（两人都笑） - 我们做到了。 - 我们做到了。 - [Lex] 咖啡有帮助。感谢收听与 Judea Pearl 的对话。感谢我们的赞助商 Cash App。下载它，使用代码 LexPodcast。你将获得 10 美元，10 美元将捐给 FIRST，一个 STEM 教育非营利组织，它激励数十万年轻人的心灵学习并梦想着工程化我们的未来。如果你喜欢这个播客，请在 YouTube 上订阅，在 Apple Podcast 上给它五星好评，在 Patreon 上支持，或者在 Twitter 上与我联系。现在，让我用 Judea Pearl 的一些智慧之语来结束。你无法回答一个你问不出的问题，你也无法问一个你没有词语的问题。感谢收听，希望下次再见。