Transcription
以下是与杰伊·麦克莱兰（Jay McClelland）的对话，他是一位斯坦福大学的认知科学家，也是人工智能和特别是神经网络发展史上的奠基人物之一。他与大卫·鲁梅尔哈特（David Rumelhart）合著了《并行分布式处理》（Parallel Distributed Processing）一书，而鲁梅尔哈特则与杰夫·辛顿（Jeff Hinton）共同撰写了反向传播（Backpropagation）论文。他们的合作铺平了过去15年来神经网络驱动的机器学习革命中心许多思想的道路。
为了支持这个播客，请查看描述中的赞助商。这是莱克斯·弗里德曼（Lex Fridman）播客，以下是我与杰伊·麦克莱兰的对话。
你是神经科学发展史上的奠基人物之一，处于认知心理学和计算机科学的交叉点。几十年来，你认为神经网络（无论是人工的还是生物的）最美丽的一面是什么？
我认为关于神经网络最根本的事情是它们如何让我们将生物学与思想的奥秘联系起来。在我自己刚进入这个领域的时候，也就是60年代末、70年代初，认知心理学刚刚成为一个领域。1967年出版了一本名为《认知心理学》的书，作者说研究神经系统只具有边缘兴趣，不会告诉我们任何关于心智的事情。我并不同意。我一直觉得，看，我是一个有形的生命体，我从尘土而来，终将归于尘土，你知道，化为灰烬。但不知何故，我从中涌现出来。所以这真的很令人着迷。当时认知心理学有一种观念，认为通过理解事物的神经结构，你将无法理解心智。
那么，你的看法是，如果我们研究这些神经网络，我们或许能够非常接近地理解人类心智的基本原理。
是的，我过去常常谈论从笛卡尔的梦中觉醒的想法。笛卡尔你知道，他思考过这些事情。有一天，他走在凡尔赛宫的花园里，踩到一块石头，一个雕像动了。他继续走了一段路，又踩到一块石头，另一个雕像也动了。他想，为什么我踩到石头雕像会动呢？他去和园丁们谈话，发现他们有一个水力系统，可以通过与石头的物理接触，让水流向不同的方向，从而让水流到雕像下方，移动雕像。他以此作为他关于动物如何行动的理论的开端。他认为，人们已经识别出的那些不携带血液的微小纤维，实际上是微小的液压管，如果你触摸某物，就会产生压力，然后会向系统的其他部分发送压力信号，从而引起行动。所以他有一个关于动物行为的机械论理论。他认为人类拥有这种动物的身体，但必须有一些神圣的东西降临到他身上，赋予他思考的能力。所以，根据笛卡尔的说法，物理世界包括身体的行动，但不包括思想。因此，当时生理学的研究是关于感觉系统和运动系统以及你可以通过刺激神经元等直接测量的东西。而认知研究则与抽象的计算机算法等联系在一起。但当我还是本科生时，我了解到生理机制。所以，当我作为一名一年级博士生学习认知心理学时，我心想，等等，这一切都是生物学的。
你立刻就有了那种直觉，对你来说似乎很明显吗？
是的，是的。但这难道不神奇吗？仅仅从一点点生物学中就能涌现出人类体验的全部美丽？为什么这对你来说如此明显？
嗯，它既明显又不明显。我也在思考达尔文。达尔文很早就知道，他所提出的任何想法都无法让他理解进化是如何运作的。但他想弄清楚它是如何运作的，那是他的目标。他花了大量时间研究这个想法，阅读那些给他启示的东西，并觉得它们很有趣，但不知道为什么。他画了越来越多的不同鸟类的图片，它们之间略有不同，等等。然后他弄明白了。但弄明白之后，他却因此做噩梦。他会梦到眼睛的复杂性，以及人们曾提出的关于想象它能从某种无指导的过程中出现的荒谬论点。他认为它不可能是设计的产物。所以他很长时间没有发表，部分原因是他害怕自己的想法，他认为它们可能不真实。
但到了20世纪，我们都知道，或者很多人都相信，进化产生了我们今天所知的整个动物界。笛卡尔的想法也开始显得有些奇怪了，对吧？比如，等等，有猿猴、黑猩猩、倭黑猩猩，你知道，它们在某些方面相当聪明。那么，哦，你知道，有人会说，大脑的某个部分仍然不同，你知道，猴子的大脑没有海马体，只有人类大脑才有。19世纪末，赫胥黎不得不当着许多人的面进行手术，向他们展示黑猩猩的大脑里确实有海马体。所以，物种的连续性是另一个因素，它促成了我们自身是自然产物的这种想法。对我来说，这就是神秘中的魔力，大自然如何能够产生拥有我们所具备能力的生物。
所以，这很有趣，因为即使是进化这个概念，我也很难在脑海中完整地把握它。因为我们以人类的时间尺度来思考，很难想象，比如人类眼睛的发展也会让我做噩梦，因为你必须跨越许多许多代来思考。很容易将它看作是一个复杂物体的生长，然后想，怎么可能建造出这样的东西？而且，从机器人工程的角度来看，建造这些系统也非常困难。怎么可能通过一个无指导的过程来设计一个复杂的东西？这似乎是不可能的，似乎是错误的。
你说得完全正确。我可能会选择另一条同样有趣的职业道路，那就是研究从胚胎发育到大脑发育的过程，以及大脑中出现的精妙的通路铺设等等。我对这方面了解不多，这不是我的领域。但这个过程确实有一些引人入胜的方面，最终导致了各种大脑的复杂性。至少有一件事是，我认为在这个领域，人们长期以来一直认为，在视觉研究中，人类和非人类动物之间的连续性已经存在了很长时间。我曾与一位视觉科学家进行过一次谈话，他说：“哦，我们在这方面没有任何问题。猴子的视觉系统和人类的视觉系统极其相似，当然，在某些层面上是这样。它们在一段时间后会分化，但从眼睛到大脑的视觉通路以及皮层的前几个层，或者说皮层区域，是极其相似的。”
所以，在认知方面，似乎是人类发生了飞跃，我们似乎是某种特殊的。这是一个非常有趣的问题，当思考外星生命，或者是否存在其他智能外星文明时，这个飞跃有多特殊？
一个特殊的事情似乎是生命的起源本身，无论你如何定义它，都有一个灰色地带。而另一个飞跃，这是人类非常偏颇的视角，就是智能的起源。同样，从工程师的角度来看，这是一个很难回答但很重要的问题：这个飞跃有多难？人类有多特殊？一个巨石从天而降了吗？外星人带来了巨石，然后一些猿猴必须触摸巨石才能理解它？这很像笛卡尔的想法，对吧？
正是如此。但这似乎是一个巨大的飞跃，才能达到这个智能水平。
是的。还有，乔姆斯基认为，大约在10万年前发生了一次基因突变，碰巧一些早期人类拥有了这一基因的微小改变，从而产生了语言。然后语言成为了将我们与其他动物区分开来的特殊之处。我认为语言的价值和重要性有很多真实之处，但我认为它伴随着许多其他相关事物的进化，与社会性、与他人的相互参与，以及建立我不知道的丰富的组织和理解世界的方式，语言随后就融入其中了。所以，语言是一种工具，它让你能够做到这种集体智能。而无论是什么处于这种集体智能的核心，才是最重要的。思考一下，一次突变就可能导致人类智能的第一次开启，这很有趣。只需要一点点，进化就稍微打开了门，然后时间和选择就会处理其余的事情。
你知道，这些事情有很多引人入胜的方面。我们认为进化是连续的，对吧？我们想，哦，是的，好的，在5亿年里，可能发生了相对连续的变化。但人类学家和进化生物学家从化石记录中发现的并非如此。他们发现了数亿年的停滞，然后突然发生变化。当然，在这个尺度上，“突然”意味着一百万年，或者甚至一千万年。但是，间断平衡的概念在进化生物学中是一个非常重要的概念。这似乎也与我们心智能力的阶段有关。我们在某个年龄似乎有一种特定的思维方式，然后在另一个年龄，我们看着那个四岁的孩子说：“我的天哪，他们怎么会那样想？”
皮亚杰以这种儿童发展阶段理论而闻名。你仔细看看，突然发现那些阶段是如此离散，过渡也是如此。但四岁的孩子和七岁的孩子之间的区别是巨大的。这是另一件一直让我感兴趣的事情：在几年的经验中，我们身上发生了什么，以至于在某个时刻，我们达到了一个可以发生顿悟、过渡或新发展阶段的时刻。这些事情可以在复杂系统研究中得到理解。所以，进化生物学、发育生物学、认知发展，这些都是以这种方式被处理的。
就像你说的，我发现人类生命的早期以及从胚胎发育到大脑发育的早期（几分钟、几天）都非常迷人。从工程的角度来看，这种发展再次令人着迷。所以，不是大脑被部署到人类世界并开始探索和学习，这很迷人。但仅仅是组装一个能够学习的机制，这简直太棒了。他们正在进行脑类器官的研究，你可以建造许多大脑并研究这种机制的自我组装，从DNA材料中构建出这种机制，这简直是“哇”。你拥有真正的生物程序，它们只是生成了一个系统，一个能够在一个非常不可预测的世界中变得健壮并学习的模糊的东西，并且能够学习看似任意的事情，或者学习大量有助于生存的事情。
最终，这是理解心智从大脑中涌现的整个过程的一个非常重要的部分。而这一切似乎相当连续。
那么，让我再花一分钟回到神经网络。你和几位同事在20世纪80年代写了《并行分布式处理》一书，探讨了神经网络的思想。但你与大卫·鲁梅尔哈特合著的书，他是与杰夫·辛顿合著反向传播论文的第一作者。当时，这些只是在思考这些宏大思想的一些人物。从那些早期日子里，有哪些令人难忘的发现时刻和美丽的想法？
我将从我自己的过程开始，大约在70年代中期，然后进入70年代末，我遇到了杰夫·辛顿。他来到圣迭戈，我们当时都在我的研究生时期。正如我之前告诉你的，我有一种感觉：我真的对人类认知很感兴趣，但那种脱离身体的思考方式，我从当时的思维模式中获得的，对我来说并不完全奏效。当我获得助理教授职位时，我去了加州大学圣迭戈分校，那是在1974年。
当时发生了一件令人惊奇的事情。戴夫·鲁梅尔哈特与另一位名叫唐·诺曼（Don Norman）的人合著了一本书，书名为《认知探索》（Explorations in Cognition）。这是一系列章节，以一种完全抽象的、非生物的方式探讨了认知方面的有趣问题。我心想，哇，这太棒了。我来到这个社区，人们可以聚在一起，感觉像是集体探索思想。这本书有很多，我不知道，轻松的氛围。唐·诺曼是当时更资深的人物，鲁梅尔哈特领导了那个项目。他们总是营造一种轻松探索思想的氛围。所以我想，哇，这太棒了。但我当时仍然试图从神经元过渡到认知。
我意识到，我有一个机会去参加一个会议，在那里我听了一位名叫詹姆斯·安德森（James Anderson）的演讲。他是一位工程师，但当时已是心理学系的教授。他利用线性代数创建了感知、分类和记忆的神经网络模型。这让我大吃一惊，竟然可以创建一个模拟神经元的模型，而不仅仅是进行抽象的、分步的算法过程，而是模拟记忆、回忆和识别刺激的先前发生。对我来说，这是心智和大脑之间的桥梁。我被深深吸引住了。我记得1977年的一天，我走在校园里，感觉就像圣保罗在去大马士革的路上。我对我说：“你知道，如果我从神经网络的角度来思考心智，它将有助于我回答我试图回答的心智问题。”这让我非常兴奋。
我认为很多人都对这一点感到兴奋。吉姆·安德森就是其中之一，我之前提到过。另一个是史蒂夫·格罗斯伯格（Steve Grossberg），他从60年代就开始撰写关于神经网络的文章。杰夫·辛顿是另一个。他的博士论文出现在唐·诺曼和戴夫·鲁梅尔哈特（我之前提到过的两人）管理的博士后培训项目的申请名单中。鲁梅尔哈特对辛顿的博士论文非常兴奋。所以，辛顿是第一批加入这个由他们获得的很棒的资助支持的博士后学者群体的人之一。另一位在神经网络圈子里也很出名的是保罗·米伦斯基（Paul Milenski），他也是那个群体的一员。
然后，杰夫和吉姆·安德森在加州大学圣迭戈分校组织了一个会议，我们都在那里。会议名为“联想记忆的并行模型”（Parallel Models of Associative Memory）。它汇集了所有在1979年或1980年思考过这些想法的人。这开始与鲁梅尔哈特自己的一些想法产生了共鸣，他想要一些不同于他当时所做的计算方式的东西。
那么，让我现在谈谈鲁梅尔哈特，好吗？有了这个背景。
好吧，让我先停一下，因为你之前说了这么多有趣的事情。首先，对于不熟悉的人来说，神经网络是当今机器学习和深度学习革命的核心。我们提到的杰弗里·辛顿，就像你一样，是神经网络发展史上的重要人物。人工智能神经网络随后被用于机器学习应用。正如我提到的，反向传播论文是这些网络可以学习的优化机制之一。
“并行”这个词很有趣。从计算的角度来看，它几乎等同于你当时对神经网络的思考方式，是并行计算吗？这是公平的说法吗？
是的，“并行”这个词来自于每个神经元都是一个独立的计算单元的想法。它从其他神经元收集数据，以某种方式整合它，然后产生一个结果。它是一个非常简单的小计算单元，但它是自主的，因为你知道它在做自己的事情。它处于一个生物介质中，从介质中获取营养和各种化学物质。但你可以把它看作是一个小小的计算机。所以，想法是，你知道，我们的大脑有，哦，看，数亿个这样的微小神经元。它们都能同时工作。所以，这不像只有一个中央处理器在一步一步地工作，而是有十亿个这样的小计算单元同时工作。
所以，当时，我不知道，也许你可以评论一下，在我看来，即使现在，与理论计算机科学的发展相比，这仍然是一种革命性的思考计算的方式。理论计算机科学非常关注顺序计算机，你分析在单台计算机上运行的算法。
没错。你说，等等，为什么我们不找一个非常愚蠢、非常简单的计算机，然后有很多这样的计算机相互连接，它们都在自己的小世界里运行，并相互交流？然后从这种计算中，试图理解像人类心智的某些特征是如何产生的？我认为这是一种革命性的思考方式。
是的，我同意你的看法。但仍然有一种感觉，我们不知道如何才能完全达到那里。我认为，这仍然是每个人都在询问关于深度学习能力以及所有这些东西的核心问题。但如果我能稍微展开一下，卷积神经网络（CNN）——很多人可能听说过——它是一组你可以从生物学上理解为神经元集合的集合。每个集合可能有1万个神经元，但有很多层。其中一些东西有数百甚至上千层。但另一些则更接近生物大脑，可能只有20层左右。所以，在每一层中，我们有数千甚至数万个神经元。而在大脑中，我们可能在每一层都有数百万个神经元。所以，我们某种程度上是相似的，对吧？
然后我们想，好的，在底层有一个东西的阵列，就像眼睛里的光感受器一样。它们对特定位置、特定波长的光的量做出反应。就像生物的眼睛一样。然后有几个进一步的阶段，向上是这些类神经元单元的层。你从原始的像素输入阵列到分类。你实际上已经构建了一个系统，可以做你我睁开眼睛环顾四周时所做的事情：看到那里有一个杯子，一个手机，一个水瓶。这些系统现在正在这样做。所以，就我们之前谈到的并行思想而言，它们正在进行大规模的并行计算，因为每一层的神经元都被认为是同时计算输入中的一点点东西。我们达到了抽象的程度，认为它只是一个被计算出来的向量，一个激活模式在一个步骤中被计算出来。这种抽象是有用的，但它仍然是并行和分布式处理，对吧？这些家伙中的每一个都只是为整体贡献了一点点。
这就是你感受到的兴奋，从这些简单的事物中，当你加上这些抽象层时，你可以开始获得我们所认为的认知的美好事物。
所以，你有一个会议，我忘了名字了，但它是“并行”和“联想记忆”等等，非常技术性且令人兴奋的标题。你开始谈论戴夫·鲁梅尔哈特。那么，这个人是谁？你对他评价很高。你能告诉我关于他，他的想法，他的头脑，他作为一个人类，作为一个科学家吗？
戴夫来自南达科他州西部的一个小镇。他的母亲是图书管理员，他的父亲是报纸编辑。我认识他的一个兄弟 pretty well。他们有四个兄弟，一起长大。他们的父亲鼓励他们互相竞争。他们在体育上竞争，也在脑力游戏上竞争，你知道，像数独和国际象棋之类的。戴夫是一个杰出的本科生，比大多数人都要年轻，去了南达科他大学，主修数学。我不知道他是如何对心理学产生兴趣的，但他申请了斯坦福大学的数学心理学项目，并被录取为博士生，在斯坦福学习数学心理学。
数学心理学就是利用数学来模拟心理过程，对吧？所以，我认为现在可能被称为认知建模的整个领域。它之所以是数学的，是因为你说，如果这是真的，那么我就可以推断出这个应该随之而来。所以，你说这些是我的规定，关于基本原理，这是我对行为的预测。这一切都是用方程来完成的，而不是用计算机模拟。所以，你解方程，它告诉你被试在实验的第七次试验中正确概率是多少，或者类似的东西。所以，它是用数学来描述行为方面的。当时，斯坦福是几位非常强大的数学思想家的所在地，他们也与全国三四个其他人有联系，他们带来了许多非常令人兴奋的想法。当时，这是心理学领域一个非常非常负盛名的部分。
所以，鲁梅尔哈特进入了这个领域。他一直是那个项目里一个非常优秀的学生。1967年，他在圣迭戈的一所全新的大学找到了工作，是加州大学圣迭戈分校心理学系的第一批助理教授之一。我74年到的，七年后。当时鲁梅尔哈特还在做数学建模，但他对认知产生了兴趣，他想理解，你知道，理解仍然是……你知道，理解意味着什么？这是一个有趣的、好奇的……你知道，我们怎么知道我们真的理解了什么？但他有兴趣制造能够听几句话并对正在发生的事情产生洞察力的机器。
例如，他当时最喜欢的一个例子是：“玛吉坐在前门廊上，当她听到好运男人熟悉的叮当声时，她想起了她的生日钱，然后跑进屋里。”玛吉在做什么？为什么？嗯，你可以有几个想法，但最自然的想法是，好运男人带来冰淇淋，她喜欢冰淇淋，她知道她需要钱来买冰淇淋，所以她会跑进屋里去拿钱。要将这些联系起来，需要大量的推理。他有兴趣弄清楚这到底是怎么发生的。他试图用老派人工智能风格的模型来表示语言和内容，你知道，像“有钱”这样的东西，或者像形式逻辑和知识库之类的东西。是的，他将这些与他对认知的思考结合起来。是的，认知机制，它们如何能够机械地应用于构建这些知识，就像构建一个看起来像知识网络的网络，从而从中涌现出某种理解，无论那是什么。
他正在努力，这是他们在《认知探索》那本书的结尾所探讨的。但他意识到，老派人工智能的范式并没有给他这些问题的答案。
顺便说一句，现在称之为老派人工智能，当时就这么称呼吗？
是的，它开始被这样称呼，因为它起源于60年代。到了70年代末，它已经有些过时了，而且并没有真正实现。人们开始认识到这一点。鲁梅尔哈特也是……你知道，这也是认识到这一切并不奏效的一部分。
所以，他开始从这样一个想法出发，我们需要能够整合多个同时约束的系统，这些约束能够相互影响。他写了一篇论文，第一次读的时候，我说：“哦，好吧，这重要吗？”但过了一段时间，它就深深地印在了我的脑海里。这篇论文名为“阅读的交互模型”（An Interactive Model of Reading）。在这篇论文中，他阐述了这样一个观点：我们对从纸上读到的内容的解释的每一个方面，在每一个分析层面上，实际上都依赖于所有其他分析层面。
那么，构成每个字母的实际像素是什么？这些像素对它们代表哪些字母有什么意义？这些字母告诉我们哪些词？这些词告诉我们作者试图传达什么思想？所以，他有一个模型，我们有这些微小的元素，代表每个像素，每个字母。然后是代表字母中线段的元素，然后是代表字母的元素，然后是代表单词的元素。当时他的想法是，有一组专家。有一个关于如何用像素构建线条的专家，另一个关于哪些线条组合在一起构成哪些字母的专家，另一个关于哪些字母组合在一起构成哪些单词的专家，另一个关于单词含义的专家，另一个关于含义如何组合在一起的专家，等等。所有这些专家都在查看这些数据，他们正在更新其他层面的假设。
所以，单词专家可以告诉字母专家：“哦，我认为那里应该有一个T，因为我认为这里应该是‘the’这个词。”而自下而上的特征到字母专家可以说：“我认为那里也应该有一个T。”如果他们同意，你就看到了一个T，对吧？所以，这是一个自上而下、自下而上的交互过程，但它同时发生在所有层面上。所以，一切都可以从顶部过滤下来，也可以从底部过滤上去。这是一个完全交互式的、双向的、并行分布式的过程，由于抽象，它又是分层的。所以，就像，是的，有不同层级的责任，不同层级的责任。
首先，以这种机械的方式思考它很有趣。不是纯粹从神经网络的结构或类似神经网络的东西来思考，而是思考那些处理字母的微小家伙，然后字母变成单词，单词变成句子。这是一个非常有趣的假设，从那种分层结构中可以涌现出理解。
但是，我想将这一点与我们之前的对话联系起来。当鲁梅尔哈特开始思考它时，旁边有一些专家，一个负责特征，一个负责字母，一个负责字母如何构成单词，等等。他们各自都在评估各种命题，比如“这里的特征组合会看起来像字母T吗？”等等。他意识到，在阅读了辛顿的论文并听说了吉姆·安德森的基于线性代数的神经网络模型（我之前告诉过你的）之后，他可以用类神经元处理单元来取代这些专家，这些单元只需要具有执行这项工作的连接权重。
所以，最终发生的是，鲁梅尔哈特和我一起创建了一个名为“交互激活字母感知模型”（Interactive Activation Model of Letter Perception）的模型。它接收这些微小的像素级输入，构建线段特征、字母和单词，但现在我们用一组类神经元处理单元来构建它，它们只是通过连接权重相互连接。所以，单词“time”的单元与第一个位置的字母“t”单元和第二个位置的字母“i”单元有连接，以此类推。由于这些连接是双向的，如果你有先验知识，它可能是“time”这个词，那么它就会开始激活特征到字母，以及特征。如果你没有，那么它必须从底部开始。但方向性取决于信息首先从哪里进入。如果你同时拥有上下文和特征，它们就可以汇聚成一种涌现的感知。
这就是我们一起完成的工作，它让我们都完全确信，你知道，这种神经网络的思考方式能够真正解决我们作为认知心理学家感兴趣的问题。
所以，算法方面，优化方面，这些都是细节。当你刚开始的时候，你可以用这种思考方式走得很远，这本身就是一个深刻的想法。
你喜欢“联结主义”（connectionism）这个术语来描述这类想法吗？
我认为它很有用。它强调了这样一个概念：系统所利用的知识存在于单元之间的连接中。没有单独的字典，只有单元之间的连接。我已经在字母单元到单词“time”单元的连接中说明了这一点。单词“time”的单元之所以是单词“time”的单元，仅仅是因为它与构成单词“time”的字母有连接。这些是输入单元，当它被激活时，它会激发它。在某种意义上，它代表了系统中存在支持“time”这个词出现在输入中的假设。但它并没有写在瓶子里，它只写在我们画的模型图上，说那是单词“time”的单元。
是的。而且，如果有人告诉我，“那么，这个词怎么拼写？”你必须使用从它出来的连接，才能得到那些字母，例如。这是一个非常反直觉的想法。我们人类倾向于以逻辑方式思考。这种联结主义的想法，它不……它很奇怪。这就是它运作的方式，很奇怪。
但让我们回到那个CNN。那个拥有所有这些类神经元处理单元的CNN，我们之前谈过的。它会输出“这是猫”，“那是狗”。但它不知道为什么这么说。它只是有所有这些连接，从所有这些神经元的层级，从最开始的层级到……你知道，这些层级之后就被编号了，因为它们……你知道，你越往里走，特征就越抽象。但它是一个渐进的、连续的抽象过程。它从非常局部、非常具体到更全局。但它仍然是……你知道，是另一个在单元阵列上的激活模式。然后在输出端，它说“是猫”或“是狗”。
当我们睁开眼睛说：“哦，那是莱克斯。”或者“哦，你知道，那是我的狗。”我认识我的狗，它是许多其他狗的同类。但我认识它是因为它有一些独特的特征。我不知道如何描述……你知道，是什么让我知道我看到的是莱克斯，或者是我特定的狗。或者甚至是我看到的是一个特定品牌的汽车。我可以对它说几句话，但如果我写了一段关于这辆车的文字，你可能很难弄清楚他在谈论哪辆车。
所以，我们拥有命题知识，能够识别出这是某个自然种类的实际实例，这……你知道，这总是一个……它从来没有奏效过。你永远无法写下一套命题来……你知道，视觉识别。所以在那个空间里，它似乎总是很自然地认为，有些东西更隐晦……你知道，你无法访问计算的细节，你只得到结果。
这就是联结主义的另一部分。你无法……你无法读取连接的内容。连接只会根据输入产生输出。
是的。对我们来说，那个最后一层，或者某个特定的层，非常重要，那个告诉我们它是我们的狗，或者它是猫或狗。但是，你知道，每一层可能都同样重要，在宏观上。没有理由说猫与狗的区别比低层激活更重要。这真的不重要。我的意思是，所有这些都是美丽的堆叠。而我们人类生活在这些特定的层面上。对我们来说，为了生存，为了使用猫与狗、捕食者与猎物，所有这些东西，这是有用的。
它很迷人，这一切都是连续的。然后你就会问，人工智能的历史，你问，我们能否内省并将那些让我们区分猫和狗的东西转化为逻辑，转化为形式逻辑？那一直是一个梦想。我想，那仍然是……你知道，象征性人工智能的梦想的一部分。我最近和道格·莱纳德（Doug Lenard）谈过，他创造了“心理”（Psych）这个项目，这个项目持续了几十年，仍然带着一种梦想。但我们仍然不知道答案。
是的。它似乎是联结主义非常强大，但同时似乎也在构建知识。那么，你如何调和这两者呢？你认为连接可以包含人类知识的深度，以及戴夫·鲁梅尔哈特所思考的关于理解的深度吗？
那仍然是那个64万美金的问题。随着通货膨胀，那个数字……也许现在是640亿美金的问题了。你知道，我认为，从涌现的角度来看，你知道，我把自己放在那里。我过去有时会告诉人们，我是一个激进的消除性联结主义者，因为我不想让他们认为我想在机器中构建任何东西。但我不再喜欢“消除性”这个词了，因为它似乎意味着认为存在一个涌现的理解层面是错误的。我不同意。所以，我认为，我可能会称自己为激进的涌现性联结主义者，而不是消除性联结主义者。因为我想承认，这些更高级别的认知方面是真实的，但它们并不……它们并不以这种方式存在。
道格·霍夫施泰特（Doug Hofstadter）过去曾用过一个例子，我认为在这方面很有帮助。只是我们能够将沙丘视为实体，甚至谈论它们的数量。但我们也知道，沙丘是一个非常流动的物体。它是一堆沙子，在风的作用下能够移动，并以略微不同的方式重新形成。如果我们把我们的思想看作是沙丘，你知道，它们从所有低层元素如何协同工作并受到外部力量的约束中涌现出来。那么，我们可以说，是的，它们以这种方式存在，但它们也……我们不应该把它们当作完全单一的实体来理解，而不需要理解允许它们以我们所理解的方式改变的所有东西。
这就是联结主义如何融入认知学。好吧，如果基础是并行分布式的联结主义，那么这并不意味着思想的内容不是抽象的、象征性的……但它可能更流畅，比用一组逻辑表达式更容易捕捉。
那真是一个可以放在简历顶端的头衔：激进的涌现性联结主义者。
所以，就像你说的，在智能的机制——神经网络方面——和涌现的东西之间，有一种美丽的舞蹈。我不知道那是什么。也许现实的一切都是涌现的。我想到这一点最清晰的时候，就是看细胞自动机，看生命游戏。从非常非常简单的事物中，涌现出非常丰富、复杂的事物，它们很快就开始看起来像生物体，以至于你忘记了实际的运作方式。它们开始看起来像在移动，在互相吞食，有些在繁殖。你很快就忘记了，而且似乎人类的心智想要在某种涌现的层面上运作，并忘记了涌现的机制。
所以，就像你一样，在我激进的同时，我也……似乎不公平地抹杀了那种涌现的魔力，抹杀了涌现是真实的事实。
是的，我同意。我不是，这就是为什么我放弃了“消除性”。是的，是的。因为它似乎是在说，你知道，这一切都完全是某种幻觉。
嗯，你知道，谁知道呢，也许其中并没有一些幻觉的特征。而且，我认为，在哲学上，很多人都曾面对过这种可能性。但是，你知道，接受它作为魔力仍然很重要。所以，你知道，我在这方面想到了费里尼，我想到了……你知道，那些欣赏魔力在创造让我们感动的幻觉中所起作用的人。柏拉图也对这一点感到困惑。你知道，这些阴影如何……你知道，产生比这更深刻的东西。而那……你知道，我们不会试图弄清楚它是什么，我们只会接受它就是这样发生的。而且，你知道，但他仍然在关注它的魔力。
是的，是的。我们不会真正、真正深入地理解它是如何运作的。我们只是享受它很有趣的事实。
但你和戴夫·鲁梅尔哈特密切合作。他已经去世了。你还记得他什么？你怀念他吗？
绝对。你知道，他去世了……大约15年前。他的去世实际上是最令人痛苦和……你知道，与我们的谈话最相关的悲剧之一。他开始患上一种进行性神经系统疾病，这种疾病尚未完全了解。也就是说，他的具体病程尚未完全了解。因为在某些阶段没有进行某些脑部扫描，也没有进行尸检，等等，根据家属的意愿。所以，我们对潜在的病理学了解不如我们可能了解的那么多。
但当时，我开始对这种可能就是他正在遭受的神经系统疾病产生了兴趣，因为我正在努力理解我们一直在讨论的这个谜团的另一个方面。而他开始受到越来越大的影响。所以，让我暂时谈谈这种疾病，而不是谈论鲁梅尔哈特。
这种疾病是我的同事和合作者选择称之为“语义性痴呆”（semantic dementia）。所以，这是一种与意义相关的、特定的心智丧失。语义性痴呆。它是进行性的，因为患者失去了欣赏他们所经历的意义的能力，无论是通过触觉、视觉、听觉还是语言。我听到声音，但我不知道它们是什么意思，之类的。
所以，随着这种疾病的进展，它开始时，患者无法区分相似品种的狗，或者记住……你知道，他们过去能够记住的低频的、不熟悉的类别。但随着疾病的进展，它变得越来越明显。而且，你知道，患者失去了识别……你知道，像猪、山羊和绵羊这样的东西的能力，并将所有中等大小的动物称为狗。而且再也认不出兔子和啮齿动物了。他们将所有小的动物称为猫。他们再也认不出河马和牛了。他们都称它们为马。
所以，当时……
有一位病人经历了这样的进展，在某个时刻，任何四条腿的动物，他都会称之为马或狗或猫。如果它很大，他倾向于称之为马；如果它很小，他倾向于称之为猫；中等大小的则称为狗。但这只是综合征的一部分，病人会失去将概念相互关联的能力。因此，我的合作者卡罗琳·帕特森（Carolyn Patterson）开发了一个名为“金字塔和棕榈树测试”（Pyramids and Palm Trees Test）的测试。你给病人看一张金字塔的图片，他们可以选择与之匹配的是棕榈树还是松树。她证明了这不仅仅是语言问题，因为病人在呈现材料时，无论是用文字还是图片，都会表现出这种能力的丧失。他们无法将图片相互正确地组合起来，也无法将图片与文字关联起来，他们无法进行文字图片匹配。但他们已经失去了这两种输入模式的概念基础。这就是为什么它被称为语义性痴呆（semantic dementia），其本身的语义正在瓦解。我们通过我们关于分布式表征（distributed representation）的理念来理解这一点，即激活模式代表概念。当你降级它们时，它们开始变得相似，你就会失去差异。然后，狗和山羊之间的区别就不再是模式的一部分了。由于狗非常熟悉，所以它得以保留。我们通过模型的工作和学习方式来理解这一点。但请记住，Romalhart 也经历了这种状况。一方面，对我来说，这是并行分布式处理（parallel distributed processing）的一个迷人方面，它以一种非常好的方式揭示了分布式表征的这种纹理。我一直觉得是这样。但同时，它也极其令人心酸，因为这正是 Ronalhart 所经历的状况。有一段时间，他这个人，曾经是最专注、目标明确、有竞争力、深思熟虑的人，愿意花数年时间解决一个难题。你知道，他开始消失了。有一段时间，我们中的任何人都很难真正理解，他在某种意义上已经不再完全存在了。你知道他是否能够内省这种理解吗？你知道，这个理解的思维，他，我是说，他是思考这个问题的伟大科学家之一。他能够审视自己并理解衰退的心智吗？你知道，我们可以这样对比霍金和罗默尔哈特。我喜欢这样做是为了纪念罗默尔哈特，因为在我看来，罗默尔哈特在某种程度上就像认知科学的霍金。但他们都遭受了退行性疾病的折磨，在霍金的案例中，它影响了运动系统；在罗默尔哈特的情况下，它影响了语义。而且，不仅仅是纯粹的对象语义，也许还有自我语义。我们对此并不广泛理解。但我想说，他没有。从外部来看，这是巨大的悲剧。但另一方面，在某种程度上，他确实做到了，因为有一段时间，人们终于意识到他已经严重受损。这显然是一种生物学疾病，他并没有，你知道，不是他那天分心了什么的。所以他从斯坦福大学的教授职位上退休了。他和他兄弟一起住了几年，然后搬进了一个认知障碍者护理机构，许多老年人在患有认知障碍时最终会住进那里。在那段时间里，我也会和他一起度过。这大约是在 90 年代末，2000 年左右。你知道，我们会去打保龄球，他仍然可以打保龄球。打完保龄球后，我带他去吃午饭，我问他想去哪里。你想去 Wendy's 吗？他说不。我说好吧，你想去哪里？他只是指了指，说往这边转。所以他仍然有一定的空间认知能力，他能带我去餐厅。然后我们到了餐厅，我问他想点什么。他想不起来任何词语，但他知道他想要的东西在菜单上的位置。所以，非常迷人。他无法说出那是什么，但他知道那就是他想吃的。所以，你知道，它一点也不单一。我们的认知，首先是某种程度的渐进式，但也是多方面的，它有很多元素。某些部分的能力在其他能力缺失的情况下仍然存在。这就是我一直对曾经被称为认知神经心理学（cognitive neuropsychology）的领域感到着迷的地方，你知道，脑损伤对认知的影响，特别是这种逐渐瓦解的部分。我坚信，失去一个你珍视的人，和你第一次爱上那个人一样强大。我认为这一切都是对人类的庆祝。所以，瓦解本身也是一种庆祝。是的，是的，是的。再说一些关于科学家和您提到的反向传播（back propagation）的想法。所以，在 1982 年， Hinton 曾是博士后并组织了那次会议。他实际上已经离开并获得了助理教授的职位，然后有机会让他回来。所以 Jeff Hinton 回到了圣地亚哥，在圣地亚哥休假。Romalhart 和我决定我们要这样做，我们认为这非常令人兴奋。我之前提到的关于交互激活模型（interactive activation model）的论文刚刚发表，我们都看到了这项工作的巨大潜力。Jeff 就在那里，所以我们三个人开始了一个研究小组，我们称之为 PDP 研究小组。还有其他人加入了。在 Salk 研究所有 Francis Crick，他从 Jeff 那里听说了这件事。因为 Jeff 在英国人中很有名，而且 Francis 和他的英国朋友们关系很好，所以 Francis Crick 和一群很棒的人都来了。哇。还有 Paul Smolensky，他是另一位博士后，他当时还在那里当博士后，还有其他人。总之，Jeff 和我们谈论了学习，以及我们应该如何思考神经网络中的学习。他说，你们一直以来处理这个问题的方式是错误的，你们一直在从生物学中寻找灵感来告诉你们突触应该如何改变连接的强度，连接应该如何形成。他说，这是错误的方法。你们应该从如何调整连接权重来解决问题入手。你们定义你们的问题，然后找出如何调整连接权重来解决问题。Romalhart 听到了，心想，好吧，我将开始这样思考。我将基本上想象我有一个目标函数，一个计算目标，我希望我的机器能够正确地对所有这些图像进行分类。我可以对其进行评分，我可以衡量它们在每张图像上的表现如何，我得到一些误差或损失的度量，在深度学习中通常称为误差或损失。我将找出如何调整连接权重以最小化我的损失或减少误差。这被称为梯度下降（gradient descent）。工程师们已经熟悉梯度下降的概念。事实上，斯坦福大学电气工程系的教授 Woodrow Bernie Woodrow 和一位名叫 Hoff 的合作者发明了一个名为 Delta 规则（delta rule）的算法，我从未见过他。所以，对于具有多个类神经处理单元的连续神经网络，梯度下降已经被理解了。对于单层连接权重，我们有一些输入，经过一组神经元，我们希望输出产生特定的模式。我们可以定义我们的目标与神经网络产生的输出之间的差异，我们可以找出如何改变连接权重来减少这个误差。所以 Romalhart 所做的是将其泛化，以便能够改变从早期单元层到隐藏层（输入和输出之间）的连接。他最初称该算法为广义 Delta 规则（generalized delta rule），因为它只是梯度下降思想的延伸。有趣的是，Hinton 认为这可能不会太奏效。当时 Hinton 有他自己的替代算法，基于他正在追求的玻尔兹曼机（Boltzmann machine）的概念。所以关于玻尔兹曼机的论文发表于 1985 年。但事实证明，反向传播比玻尔兹曼机学习算法效果更好。所以这个广义 Delta 算法最终被称为反向传播，正如你所说，反向传播。你可能会想，这个名字可能有点晦涩，它意味着什么？它的意思是，为了确定你需要对从输入到隐藏层的连接进行哪些更改，你必须将误差信号从输出层通过隐藏层到输出层的连接反向传播，以获得隐藏层的误差信号。Romalhart 是这样表述的：好吧，我们知道输出层的误差信号是什么，让我们看看是否能得到一个隐藏层的信号，告诉每个隐藏单元它的误差信号是什么。所以它是通过隐藏层到输出层的连接反向传播，以获得告诉隐藏单元如何改变它们从输入层连接的权重的信号。这就是为什么它被称为反向传播。但它源于 Hinton 引入的概念，即定义你的目标函数，找出如何求导，以便你可以调整连接，使它们朝着你的目标前进。所以暂时忘掉生物学，让我们开始更多地思考优化和计算。那么关于 Jeff Hinton 呢？你有没有机会和他一起工作？那里的人员名单非常令人难以置信，PDP 旗帜下的一小群人，考虑到这些想法多年来产生的影响，真是令人难以置信。但就像你说的，就像你一样，Jeffrey Hinton 被认为是人工智能领域不仅是开创性人物，而且是一个杰出的人，他的思维能力非常高，因为他是一个伟大的思想家。那么你从他那里学到了什么想法？你们互相影响过吗？你们争论过什么？在计算和认知交叉的这个广阔的领域里，有什么让你印象深刻？嗯，Jeff 对我说了许多对我思维产生深远影响的话。他写了几篇超前的文章。举个例子，他在 1981 年发表了两篇论文，其中一篇基本上是关于 Transformer 的想法，另一篇是关于语义认知（semantic cognition）的早期论文，这启发了他、Romalhart 和我在整个 80 年代。而且，我认为这仍然是我自己关于认知语义方面的思考的基础。他还写了一篇未发表的小论文，写于 1977 年，可能在他到达 UCSD 之前几年，甚至更早。我不知道，当他还是个博士生的时候，他描述了一个神经网络如何进行递归计算。这是一个非常聪明的想法，他一直在探索。这个想法是，当你调用一个子程序时，你需要保存你调用它时的状态，这样你就可以回到你原来的地方。而这个想法是，你将通过快速改变连接权重来保存调用例程的状态，然后当你完成子程序调用时，这些快速改变的连接权重将允许你回到你之前的地方，恢复之前的上下文，以便你可以继续进行计算的顶层。总之，这是这个想法的一部分。我一直认为，好吧，这真的很棒。他有极富创造力的想法，远远超出了他的时代，而且很多都出现在 70 年代和 80 年代初。关于 Jeff Hinton 的另一种思维方式，它深刻地影响了我理解人类数学认知（human mathematical cognition）的努力，那就是他写得很少的方程。人们会讲故事，哦，在 Hinton 的实验室会议上，你不会像在其他任何人的机器学习实验室那样在黑板上写方程。你画一张图，然后他通过把双手合在一起，向你展示一个峡谷的形状，并以此作为梯度下降过程的几何隐喻来解释深度学习的工作原理。你正沿着峡谷壁下降，如果你跳得太远，你就会跳到另一边。所以这就是为什么我们要降低学习率，例如。这对我来说， speaks to the fundamentally intuitive character of deep insight together with a commitment to really understanding in a way that's absolutely ultimately explicit and clear but also intuitive。是的，有些人就是这样，是一种奇怪的视觉和直觉的混合体，以及所有这些。费曼也是一个例子，风格不同，但非常独特。当你在这些人身边时，对我来说，在工程领域，有一个叫 Jim Keller 的芯片设计师。每次我和他交谈，无论我们谈论什么，仅仅是拥有那种独特的思维方式就能改变你，让你的工作变得更好。这就是魔力。看看 Daniel Kahneman，看看科学史上伟大的合作。这就是魔力。不总是你谈论的确切想法，而是产生这些想法的过程，与这个人在一起，你可以产生一些杰出的作品，尤其是在跨学科的情况下，就像你的情况一样，和 Jeff 一样。Jeff 是逻辑学家布尔（Bool）的后裔，他来自英国学术界的悠久传统。再加上他深刻的直觉思维能力，他也，你知道，他已经清楚地向我描述过这一点，而且我认为他时不时地在其他采访中也提到过，他希望能够为推理本身的理解做出贡献，而不仅仅是人类推理。就像布尔一样，逻辑是关于我们可以从其他事物中得出什么结论，以及我们如何形式化它。作为一个计算机科学家、逻辑学家、哲学家，目标是理解我们如何从已知事物中推导出真理。而 Jeff 在 80 年代初到中期对所谓的玻尔兹曼机所做的工作是他与布尔传统联系并将其带入更连续的概率约束满足领域的方式。它是一套与理论物理学以及逻辑学相关的精妙想法。而且，我一直受到玻尔兹曼机的启发。如果神经元是概率性的，而不是确定性的计算，那么也许这某种程度上是瞬间洞察的运气或优势的一部分。它可能没有发生在那个特定的瞬间，它可能是随机过程的部分结果。而这也是一些事物涌现的魔力的一部分。是的，你说得对，关于布尔的血统和计算机科学的梦想，我当然认为人类是智能的一种特定表现形式，有什么更大的事情在发生，而你希望弄清楚它。智能的机制，认知的机制比人类大得多。所以我认为，我开始使用“计算智能”（computational intelligence）这个短语来描述我认为像 Jeff Hinton 和 DeepMind 的许多人都在工作的领域，以及我感觉自己是，我是一种以人为本的计算智能研究者，因为我实际上对人类的解决方案感兴趣。但同时，我认为深度学习的巨大兴奋点在于，我们也许能够超越我们自己的神经系统所能达到的成就，当我们构建计算智能时，它们不受我们自身生物学的限制，也许能让我们扩展人类智能的机制，通过规模来增加它的力量。是的，我认为这显然正在 Google Brain、OpenAI 以及在一定程度上 DeepMind 中大规模地展开。我猜我不应该说在一定程度上。是的，在像围棋这样成功的游戏中，或者解决他们一直在解决的蛋白质折叠问题等大规模计算。仍然没有像人脑那样多的突触和神经元，所以我们仍然在超越它们，我们人类正在超越人工智能，但它们正在迅速赶上。你写了关于数学认知的建模。那么，首先，关于数学本身，你有什么看法？有一篇题为“数学认知的并行分布式处理方法”的论文，其引言部分对数学进行了精彩的讨论。你在那里引用了 Tristan Needham 的话，他批评了狭隘的形式化数学观，将研究数学比作符号操作，就像在从未听过一个音符的情况下研究音乐一样。从这个角度来看，你认为数学是什么？数学世界是什么样的？我认为数学是一套探索理想化世界的工具，这些世界往往与现实世界极其相关，但并非必须如此。但存在一些世界，其中的物体具有理想化的属性，并且它们之间的关系可以被精确地描述，从而允许某些事实的含义能够让你确定地推导出其他事实。所以，你知道，如果你有两个三角形，你知道第一个三角形有一个角与第二个三角形的一个角具有相同的度量，并且你知道这两个三角形中与该角相邻的边的长度，即与该角相邻的相应边也具有相同的度量，那么你就可以得出结论，这两个三角形是全等的，也就是说，它们具有所有共同的属性。这是关于三角形的，而不是公式。这些是理想化的物体。事实上，你知道，我们用三角形建造桥梁，我们知道如何测量我们无法攀登的高度，通过进一步扩展关于三角形的想法。你知道，所有能够将一小撮物质从地球发射出去，使其与冥王星之外的某个微小天体在精确预测的时间和日期相交的能力，都依赖于这些想法。是的，而且它实际上发生在现实世界中，这些想法与之产生了联系。在那些情况下。但是，你知道，存在这些理想化的物体，这些三角形或这些距离或这些点，无论它们是什么，它们允许创建这套工具，然后赋予人类，这种他们没有这些概念就无法获得的巨大杠杆作用。我认为，当我们想到自然数时，这一点已经很真实了。我总是喜欢包括零，所以我要说非负整数。但有些人宁愿不包括零。是的，我们喜欢这里的零。自然数，零、一、二、三、四、五、六、七等等。是的，它们让你能够精确地说明你有多少只绵羊。就像，你知道，我今早派你出去，有 23 只绵羊，你回来只有 22 只。发生了什么？是的，物理学的基本问题。你有多少只绵羊？这是生命、人类社会的基本问题，你最好带回和你开始时一样的绵羊数量。你知道，它允许商业，允许合同，允许建立记录等等，拥有允许这些事情被记录下来的系统。但它们具有内在的“关于性”，同时又是抽象的、理想化的和可泛化的，而在另一方面，可能非常非常扎实和具体。人类思维的伟大成就之一是人类发明了这些理想化的系统，它们利用了人类思维的力量，从而使得所有这些事情都能发生。对我来说，这就是数学，是开发用于思考一组理想化对象的属性和关系的系统。而且，你知道，我们不幸地过于关注的数学符号系统，只是我们表达关于这些属性的命题的方式。就像我们与乔姆斯基谈论语言一样，这是我们为交流这些想法而发明的，它们不一定是这些想法的深层表征。那么，你认为有什么好的方法来模拟如此强大的数学推理？你有什么捕捉到这一点在模型中的想法？人类数学家所拥有的见解是，他们将那种直觉的、类连接主义的知识结合起来，使得某事变得显而易见，以至于你不需要思考它为什么是真实的，然后这使得你可以迈出下一步，思考和推理，并找出你以前没有直觉的东西。然后它最终成为下一代数学思想家的直觉基础，以便他们可以进一步扩展这些想法。我偶然发现了这句话，当我去年夏天和我的妻子在北加州的一个州立公园里散步时，在树林里。长凳上写着：“我们通过逻辑证明，但通过直觉发现。”所以，对我来说，这个项目的本质是理解如何利用直觉的连接主义资源，通过与这个形式系统互动，让直觉的发现得以产生。所以，我认为，像 Hinton、Newton、Einstein、Romalhart 或 Poincaré、Archimedes 这样的能力，是的，另一个例子。突然间，灵光一闪。就像所有这些同时存在的约束的星座，以某种方式使心灵安定下来，进入一个以前从未有过的新的状态，并产生一个新想法。然后你可以说，“好吧，现在我怎么证明它呢？我怎么写下定理的步骤，这样我就可以严谨和确定地证明它？”所以我认为，我们开始看到深度学习系统独立完成的事情，让我感到一种希望或鼓励，最终一切都会发生。特别是，现在许多人对思考神经网络非常感兴趣，这些神经网络已经通过大量的文本进行了训练，可以给出一个提示，然后它们可以生成一些非常有趣、奇幻、富有创意的故事。而且有一种感觉，它们以某种方式综合了新颖的东西，从训练数据中数十亿的经验的每一个细节中，这产生了一种直觉，即什么会是一个有趣的小故事，或者类似的东西。它只是从让事物发挥其想象力中涌现出来，某人可能会根据这个提示说些什么，作为输入，让它开始生成自己的想法。对我来说，这代表了捕捉直觉一面的潜力。是的，还有其他例子。我不知道你是否觉得它们像迷人一样，比如 DeepMind 的 AlphaZero。如果你研究国际象棋，它提出的解决方案，关于国际象棋，那里有新颖的想法。它感觉非常像有杰出的洞察力。而它们使用的机制，如果你将搜索视为更接近传统的 AI，然后是连接主义，神经网络具有直觉，看着棋盘，看着一组模式，然后说这组位置有多好，接下来的几个位置有多好。就是这样。这只是直觉。是的，伟大的国际象棋大师拥有这种能力，理解位置上的战术，情况有多好，如何改进，而无需进行这种完整的深度搜索。然后也许做一点人类棋手称为计算的东西，也就是搜索，沿着一条特定的路径走几步，看看它们如何展开。但这些系统中也有天才的时刻。所以这是另一个充满希望的例子，神经网络可以产生新颖的创意。是的，我认为 Demis Hassabis 已经谈论过这些事情。我听他描述过在与李世石的一场围棋比赛中做出的一个举动，以非常相似的方式。这让我非常兴奋，能够与 DeepMind 的那些人合作。但我认为，我在这里真正想强调的是，至少在数学认知方面，我想强调的一点是，哲学家和逻辑学家早在三千多年前就开始开发这些形式系统，并且逐渐地，关于形式思考的整个想法被构建起来。而且，它早于欧几里得，肯定存在于 Thales 等人的作品中。我不是这方面历史细节的世界顶级专家，但欧几里得的《几何原本》是那个连贯文档的起点，它阐述了在一个实际形式系统中的想法，在这个系统中，这些对象被描述出来。并且，允许从其他真理推导出新真理的推理系统被确立为范例。我发现有趣的是，能够成为一个能够以这种抽象形式思考的人的能力，是由于同样类型的沉浸在经验中，以这种方式思考，就像我们现在开始认为我们对语言的理解一样。我们沉浸在一种特定的语言中，一种特定的物体世界及其关系中，我们学会了谈论它，我们在现实世界中发展了直觉理解。以类似的方式，我们可以认为学术界为我们创造了什么，那些早期哲学家和他们在雅典、亚历山大等地的学院，允许了这些思想流派、思维模式的发展，然后这些思想流派变得根深蒂固。你知道，这使得像 Jerry Fodor 这样的人会认为，系统性思维是人类思维的本质特征，而不是源于和习得的特征，而是源于人类发明的某种模式的文化熏陶的结果。你认为它比语言更基本吗？如果我们开始跳舞，如果我们把乔姆斯基重新引入对话，首先，将数学认知和语言认知划清界限是否不公平？我认为这是一个非常有趣的问题，而且我认为答案是，在重要方面，划清界限很重要，但然后回来再看看，看看一些细微之处和有趣的差异。所以，如果我们想到乔姆斯基本人，他出生在一个学术家庭，他的父亲是费城一所小型拉比学院的拉比研究教授。他深深地沉浸在一种思想和推理的文化中，并以这种深刻的对形式系统的参与来理解自然语言。而且，我认为这具有巨大的力量，乔姆斯基对自然语言的结构有一些惊人的见解。但是，我将使用“但是”这个词，这些东西的实际直觉知识只到此为止，并且不像乔姆斯基本人那样走得远。这是 Lila Gleitman 的博士论文中发现的，她实际上在乔姆斯基的同一个语言学系接受了培训。所以 Lila 发现，语言学家对短语的意义的直觉，不仅仅是关于其语法，而是关于他们认为短语必须意味着什么，与那些不是受过正式训练的普通人的直觉非常不同。而且，最近它变得更加明显。我碰巧在我自己还是宾夕法尼亚大学的博士生时就知道了这一点。但我从来不知道如何将其与我所有其他关于这些事情的思考联系起来。所以，我目前有一个假设，即受过正式训练的语言学家和其他受过正式训练的学者，无论是语言学、哲学、认知科学、计算机科学、机器学习、数学，他们与经验的互动方式在直觉上是深刻地组织起来的，以更围绕系统的系统性以及与系统原则相符的能力，而不是实际上是自然人类心智在没有这种沉浸的情况下所具有的。这太迷人了。所以，你开始研究心智的不同领域和方法，实际上让你远离了心智的自然运作。所以，这让你很难成为一个能够内省的人。是的。而且，你知道，这就是关于人类信念和所谓的知识，我们认为它是私有的，不关我们事去操纵他人。我们无权告诉别人应该相信什么。那些信念是什么？它们是这种沉浸和文化熏陶的结果。这就是我相信的。而且，这有局限性。这是一个需要注意的事情。这是否限制了你拥有一个好的认知模型？所以，当你看着数学或语言学时，我的意思是，那条线是什么？所以，乔姆斯基无法悄悄地接近认知的全貌吗？当你专注于数学思维时，你也无法做到吗？我认为你是对的。我认为这是一个很好的描述方式。而且，我认为它与“初学者心态”和另一个概念“专家盲点”有关。专家盲点比你刚才说的要平凡得多，但它困扰着专家，当他们试图将他们的理解传达给非专家时，对他们来说，事情是显而易见的，他们甚至无法开始思考如何向别人解释，因为这就像，它太明显了，必须是真的。而且，你知道，就像克罗内克说“上帝创造了自然数，其余都是人类的杰作”时，他表达了那种直觉，即离散数量的基本原理，可数、可数且数量无限，不是必须被发现的东西。但他错了。事实证明，许多认知科学家一度同意他的观点。有一段很长的时间，自然数被认为是人类心智的先天禀赋的一部分，是“核心知识”的一部分，或者使用 Spelke 和 Carey 的短语来谈论他们认为是人类心智的先天原始。他们不再相信了。事实上，几乎所有人都接受，自然数实际上是文化建构。而且，回顾一下，研究那些仍然存在但没有这些系统的少数人，真是太有趣了。所以，这对我来说只是一个例子，其中一种思考语言本身的方式，或者一种思考几何和那些关系的方式，变得如此自然，以至于你不知道需要教什么。而且，事实上，我们根本没有真正明确地教授它。你知道，你上数学课，教授以他理解的方式教给你。班上的一些学生，你知道，他们明白了，他们开始理解思维方式，他们实际上可以解决老师认为有趣和具有挑战性的家庭作业问题。但是，大多数不那么深入参与的学生从来没有真正理解。我们认为，哦，那个人一定很聪明，他一定有特殊的洞察力。他一定有什么生物学上的不同之处，让他或她能够获得那种洞察力。虽然我不想完全否定生物学上的个体差异，但我发现更有趣的是思考这种可能性，即乔姆斯基成长过程中，乔姆斯基家餐桌上的谈话差异，造就了他那样的思维方式。是的。而且，我们谈论的几个话题相互关联，因为我想知道，我越擅长某些事情，我们人类越深入地理解某事，我们就会开始错过世界上其他什么？我们谈到了 David 和他退化的心智，你知道，当你照镜子时，你想知道我与一个月前的我，与一年前的我，在认知上有什么不同？如果我，在思考语言之后，如果我是乔姆斯基，20 年，我还能看到什么？我的盲点是什么？它有多大？然后，如何能够跳出你为自己构建的关于思考世界的深层结构，跳出来，再次审视大局，或者跳出你当前的思维方式？然后能够内省，你的心智的局限性是什么？你的心智如何不如以前强大，或者更强大，或者在不同方面更强大？这似乎是一件困难的事情，因为我们生活在我们通过心智的镜头来看待世界。要跳出去内省是困难的。但如果你想取得进步，这似乎是必要的。心理学研究中的一个线索，对我来说一直很重要，那就是我们对自己行为的解释不一定是导致该行为发生的原因过程的一部分，甚至不是导致结果的一系列约束的有效观察。它们是我们基于可获得的信息，对可能导致我们得出结果的原因进行的事后合理化。这是 Nisbet 和 Wilson 在一篇非常重要的论文中提出的一个观点，关于我们对自己做出选择的因素的意识能力的限制。而且，我认为，作为人类，我们确实应该更加意识到这一点。我们对自己为什么持有某种信念，持有某种态度，做出某种选择，感受到某种情感，我们并没有完全控制或完全观察。而且，它受到我们文化传播的理解的影响，即当我们被问及时，我们用来解释这些事情的模式。所以，即使我们内省和思考的能力，我们对我们自己思想的访问也是文化和信念实践的产物。那么，让我问你一个大问题，关于建议。你过着一段不可思议的生活，就你投入世界的想法而言，就你职业生涯和生活轨迹而言。你今天会给高中生和大学生什么建议，关于如何拥有一个值得骄傲的职业或生活？找到你内在激励去参与的事情，然后庆祝你的发现，这就是一切。我上大学的时候，我在这方面很挣扎。我想成为一名精神科医生，因为我认为我在高中时对人类心理学感兴趣。当时，我所拥有的与心灵有关的唯一信息是弗洛伊德和埃里克·弗洛姆以及一些流行的精神病学之类的东西。所以，他们是精神科医生，所以我也必须是精神科医生，这意味着我必须上医学院。我上了大学，发现自己要上一个为期三学期的物理课的第一学期，那是力学。这与我感兴趣的东西相去甚远。而且，那也是冬天学期太早了。所以我从未去过物理课。但我整个大一和大部分大二都在思考这个问题，直到我发现自己身处一场巨大的革命之中。我在 1968 年的哥伦比亚大学，越南战争正在进行。哥伦比亚大学在哈莱姆区的晨边高地建造一座体育馆。人们在想，哦，那些坏透了的富人正在窃取属于哈莱姆人民的公园土地。他们是军事工业复合体的一部分，这个复合体正在奴役我们，把我们都送去越南打仗。所以，有一场巨大的革命，涉及黑人激进主义和社会正义的汇合，整个大学都炸开了锅，被关闭了。我有机会思考人们在这种背景下为什么会那样行事。我碰巧学习了数理统计，碰巧那个学期我正在学习心理学，只是心理学一。而且，这个空间中的一切都在我的脑海中融合在一起，让我对问人们为什么会那样做，是什么让某些人进入建筑物而不是其他人等等感到非常兴奋。所以，突然间，我有了前进的道路。我一直在漫无目的地闲逛。在我职业生涯的不同阶段，我都会想，好吧，我应该上这门课吗？还是我应该只读那本关于我想更好地理解的想法的书？我应该追求让我兴奋和感兴趣的事情吗？还是我应该满足某个要求？我总是做后者。所以，我的心理学教授们认为我很好，他们想让我读研究生。他们提名我参加 Phi Beta Kappa，我参加了 Phi Beta Kappa 的仪式。然后一个人走过来，他说，“哦，你是最高荣誉吗？”我甚至没有根据我的成绩获得荣誉，他们只是碰巧认为我对想法足够感兴趣，属于 Phi Beta Kappa。所以，我想说，你是否有点跌跌撞撞，因为太早的物理课等事故，直到你发现了内在的动力，正如你所提到的，然后它就吸引了你，然后你庆祝这件事发生在人类身上？是的。而且，是什么让我的行为对我来说是内在激励的？这很有趣，我不知道所有答案。而且，我不想让任何人认为你应该以任何方式，我不知道，装腔作势或别的什么。我真的很喜欢对数据进行统计分析。我真的很喜欢运行我自己的实验，这是我在心理学系有机会做到的。化学和物理学从来没有，我从未想过凡人会在这些科学中做实验，除了教科书中告诉你在实验课上做的那个。但在心理学中，即使在我上心理学一的时候，我们已经有了自己的老鼠，在做了两个实验后，我们就可以做一些你认为的，用你的老鼠来做些什么。所以，这是自己做的机会。是的。而且，将一些吸引我的事情结合起来。而且，我认为这与为什么有些人会成为，你知道，非常了不起的音乐天才有关。他们沉浸其中。
在足够早的时刻，它就融入了其中。我的小弟弟对音乐有着内在的动力，正如他 13 个月大的时候，我们亲眼看到他学会了如何在留声机上播放唱片，并且能辨认出他想播放哪一张，不是因为他能读懂标签，而是因为他能大致看出哪张唱片有哪种刮痕，哪种是不同的，你知道的，哦，那是西班牙语的快歌，那是，哦，哇，你知道的，他很享受，这以某种方式与他产生了共鸣，是的，有什么东西滋养了它，如果你有这个，并且能够培养它，让它成长，让它成为你生活中的重要部分，你就会非常幸运，是的，这两件事就是，要足够敏锐地去感受它何时到来，就像这是特别的东西，我的意思是，我不知道，举个例子，我真的很喜欢，嗯，表格数据，比如 Excel 表格，它给我带来了深深的喜悦，我不知道这有什么用，但有这个，我不知道我在说什么，所以有很多，不是百万，但有很多像这样的事情，你必须自己去听，就像，意识到这真的很令人愉快，但然后你提到的另一部分，也就是培养，就是花时间，坚持下去，坚持一段时间，看看它会把你带到哪里，在生活中，是的，我认为，嗯，动机性参与导致了沉浸，然后创造了获得专业知识的机会，所以你知道，我们可以称之为，莫扎特效应，我的意思是，当我想起莫扎特时，我想起，你知道，那个作为家庭梦想四重奏第四个成员出生的那个人，他们在他六周大的时候就把小提琴交给了他，开始演奏，你知道，就像，嗯，所以那里的沉浸程度，非常深刻，但希望他也拥有，你知道，一些东西，也许这就是更，嗯，基因部分有时会起作用，你知道，他身上有些东西与音乐产生了共鸣，所以这种组合的协同作用如此强大，所以，这就是我真正认为的莫扎特效应，它是某种东西与经验的协同作用，然后导致了特定心灵的独特绽放，嗯，我知道我的兄弟姐妹们彼此之间非常不同，我们都走了各自不同的方向，你知道，我提到了我音乐天赋很高的弟弟，我另一个弟弟，他是一位了不起的，嗯，直觉工程师，嗯，我的一位姐妹，她对，嗯，你知道，水资源保护充满热情，远早于它成为今天如此重要的问题，所以我们都以某种方式，找到了不同的东西，嗯，我不是说它没有，嗯，与我们生物学上的某些东西有关，但当这种情况发生时，你知道，你可以做你的事情，你可以对此感到兴奋，所以人们可以对让人们骑自行车感到兴奋，也可以对让神经网络获得人类认知见解感到兴奋，对吧，是的，就我个人而言，我一直对人类之间的爱和友谊感到兴奋，以及它真实的体验，从小时候起，我就一直在观察我身边的人，我也一直对机器人感到兴奋，我内心深处认为我真的很想探索这两者如何结合，这没什么道理，很多时候也与时机有关，想想你自己的职业生涯和生活，你发现自己身处某些地方，碰巧与我们这个时代最伟大的思想家中的一些人有关，所以碰巧你们发展了这些想法，可能还有很多其他人，和你一样，他们很聪明，但他们从未找到正确的联系和地方，让他们的想法得以蓬勃发展，所以这是时机，这是地点，这是人，最终是整个旅程，你知道，它是，无方向的，我能问你一些关于你年轻时在精神病学方面提到的事情吗？因为我也有类似的经历，你知道，阅读弗洛伊德和荣格，以及你知道的那些流行的精神病学思想，这对我来说是一个梦想，高中早期，我希望通过某种方式理解人类的心灵，精神病学似乎是正确的学科，这让你感到难过吗？精神病学不是你想探索人类心灵的机制，所以对我来说，我有点失望，因为精神病学这门学科涉及多少处方药和生物化学，而不是弗洛伊德式的用语言机制来探索人类心灵的梦想，所以这有点令人失望，这就是为什么我转向了计算机科学，想着也许你可以通过尝试构建事物来探索人类心灵，是的，我当时没有接触到，嗯，精神病学的生物医学/药理学方面，因为，我退出了整个想法，我从未真正了解过医学预科，直到很久以后，但你是绝对正确的，所以，我实际上是，嗯，国家精神卫生咨询委员会的成员，也就是说，为美国国家精神卫生研究所主任提供建议的科学家委员会，那是在 2000 年左右，事实上，嗯，当时新任所长，我加入这个委员会一年后他上任了，嗯，好的，精神分裂症是一种生物性疾病，它很像癌症，我们在治愈癌症方面取得了巨大的进步，我们也将用精神分裂症来做同样的事情，我们将找到治愈这种疾病的药物，我们不再听任何人的奶奶的话，嗯，你知道，老一套的行为心理学不是我们要进一步支持的东西，嗯，你知道，他，他，完全疏远了我与研究所和它所有先前的政策，我认为在某种程度上，那些政策一直更加整体，基本上，嗯，董事会上的其他人都是，精神病学家，对吧，非常生物性的精神病学家，这并没有奏效，对吧，我们帮助精神病患者的能力没有任何改变，嗯，所以 20 年后，那条路，据我所知，是一条死胡同，嗯，当然也有一些方面，抱歉浪漫化了关于人类心灵的整个哲学对话，但对我来说，精神病学家曾经高举着我们是深刻思想家的旗帜，就像物理学家是关于现实本质的深刻思想家一样，精神病学家是关于人类心灵本质的深刻思想家，我认为这面旗帜已经被他们夺走，并由像你这样的人举起，就像，它更多地存在于认知心理学中，尤其当你对世界的计算性观点有所了解时，因为你可以同时构建它，你可以通过构建小模型来直观地了解心灵的功能，并能够说出数学的东西，然后将这些模型部署到计算机中，看看这是否真的有效，他们做了一些小实验，然后是神经科学的某种结合，你开始能够观察，你知道，对人类进行某些实验，并观察大脑的实际功能，在那里，你可以开始成为哲学家，就像理查德·费曼是哲学家一样，认知心理学家可以成为哲学家，而精神病学家则更像医生，他们非常医学化，他们通过药物、生物化学等来帮助人们，但他们不再是，作家和哲学家，当然，我钦佩，我钦佩理查德·费曼能够进行伟大的低级数学和物理学以及高级哲学，是的，我认为是弗洛姆和荣格，而不是弗洛伊德，最初让我觉得，哦，这真的很棒，很有趣，我想进一步探索，当我上大学时，我失去了那种感觉，我在社会学和文学中找到了更多，而不是其他任何地方，所以我本科时学了很多这两个学科，你知道，我对心理学感到非常矛盾，因为我做了实验，在最初对人们为什么会在叛乱期间占领建筑物产生兴趣之后，并认为，嗯，对他们的信仰如此投入，但我最终在心理学实验室里对鸽子进行实验，所以我在我思考，嗯，我在现代英国文学中读到的那些问题，与我在实验室里用我的鸽子可以研究的东西之间，存在着深刻的矛盾，这在我上研究生院时得到了解决，我发现了认知心理学，对我来说，那就是，摆脱了这种，嗯，非常矛盾的分歧，对人类状况的兴趣，以及，嗯，对实际的机械性思维的渴望，嗯，我认为我们在这一方面取得了很大的进步，而且，你是绝对正确的，如今，人们可以通过计算机科学或神经科学的途径来接触到这一点，你知道，你可能会在神经科学中被带到系统的底层，在那里你可能会发现各种疾病的奇特之处，但你没有机会思考更高级的东西，所以它存在于认知神经科学和计算智能的系统中，我认为现在这些机会最丰富，嗯，所以是的，我确实很幸运能够有机会陷入那个领域，所以你提到了人类状况，你碰巧是一个不幸不是永生的人类，这似乎是人类状况的一个基本部分，这场喧嚣会结束，你是否考虑过你有一天会死去？你害怕死亡吗？嗯，我会说，我并不像害怕死亡那样害怕，而是害怕，嗯，退化，嗯，我之所以这样说，部分原因是我，你知道，看到了一些悲剧性的退化情况，展开，当你能够继续参与并感觉自己接近海浪拍打海岸的地方时，这很令人兴奋，我觉得，你知道，嗯，而且，我，我，我想到，你知道，我自己的，嗯，未来潜力，如果我，嗯，开始患上痴呆症，阿尔茨海默病或语义性痴呆症或其他疾病，你知道，我会逐渐失去那种能力，所以，一个人可以在退休后生活十年，因为一个人不再拥有，这些，嗯，参与的能力，我认为这是我最害怕的事情，失去那种，嗯，心灵的繁荣，你可以有这些想法，它们在你周围游荡，你能够与它们玩耍，是的，并与其他人合作，你知道，他们自己，嗯，嗯，真正帮助推动这些想法，所以，是的，关于悬崖边，终点，我的意思是，它的神秘，我的意思是，心灵的迁移概念，你知道，以一种连续的方式思考大多数事情，对我来说，这意味着，嗯，这种转变的离散性，不如大多数人认为的那么明显，我明白了，我明白了，是的，嗯，我不知道你是否知道欧内斯特·贝克尔等人的作品，我不知道死亡以及我们对其的认知能力，预测能力，以及可能害怕它的能力，在我们的世界观中扮演着什么角色，我认为，嗯，它可以激励人们，认为他们剩下的时间有限，我认为就我个人而言，你知道，现在已经七八年了，我一直在做关于决策的实验，这些实验在某种程度上令人满意，因为我能够真正地确定模型是否完美地拟合数据，我可以看到如何测试，你知道，在猴子和人类身上的预测，并真正看到神经元在做什么，但我突然意识到，嘿，等等，你知道，我可能只剩下 10 到 15 年的时间了，我觉得我还没有接近那些真正有趣问题的答案，而我正在做这个，这个特定层面的工作，那时我对自己说，好吧，让我们选择一些困难的事情，所以那时我开始研究数学认知，嗯，我认为更多的是，我可能还有 15 年的有用生命，让我们想象只有 10 年，我现在快到那个时间了，也许还有三四年，但我开始觉得，嗯，我可能还有五年，所以，好吧，我再给自己六八年，但截止日期有点像，而且那不会永远持续下去，是的，所以，嗯，所以，嗯，是的，我必须继续，思考我认为有趣和重要的问题，你希望你的遗产是什么？你一生中作为一个人，作为一名科学家，做了一些令人难以置信的工作，当外星人和人类文明早已消失，外星人正在阅读关于人类物种的百科全书时，你希望关于你的段落是什么？我想强调几件事，我，你知道，能够看到，一条对我来说比认知心理学家似乎已经存在的道路更令人兴奋的道路，你知道，但并非出于任何特别的原因，只是因为我之前有了正确的背景，但我继续追随了那个线索，你知道，然后我忘了确切的措辞，但我在序言中说，科学的乐趣在于，当一个人的部分想法在讨论中得到更好的结晶，并成为一些令人兴奋的、具体的科学进步的基础时，我感觉，你知道，那个时刻发生在 Romelu Hart 和我一起做交互激活模型的时候，当 Rommel Hart 听到 Hinton 谈论梯度下降和目标函数来指导学习过程时，嗯，那个时期发生了很多，我，我试图在与我的学生合作中寻找这样的东西，所以，你知道，这个想法是，这个人通过寻找令人兴奋的合作机会与他人互动来为科学做出贡献，这是我当然希望是段落的一部分，而且，就像你说的，迈出一步，也许朝着不显眼的方向，所以这是罗伯特·弗罗斯特那条人迹罕至的路，也许因为你说了，像这个不完整的初步想法，你迈出的那一步有点，不走寻常路，如果我能再说一件事，我，这是让我充满活力的东西，我，我，我的博士论文项目是一个完全的实证实验项目，我写了一篇基于我论文核心的两个主要实验的论文，我把它提交给了一家期刊，在论文的结尾，我有一个小部分，我阐述了我关于我所认为正在发生的事情的理论的开端，以解释我收集到的数据，我把论文提交给了《实验心理学杂志》，所以我收到了一封编辑的信，说非常感谢，这些实验很棒，我们很乐意在期刊上发表它们，但我们希望你把理论留给理论家，把那部分从论文中去掉，所以我这样做了，我把那部分从论文中去掉了，但你知道，我几乎觉得自己被贴上了非理论家的标签，通过这个，嗯，我本可以屈服于此，说好吧，我想我的工作就是继续做实验，但那不是我想要的，所以，当我成为助理教授时，虽然我继续做实验，因为我知道我必须发表一些论文，但我在第一年结束时，向《心理学评论》提交了我的第一篇文章，那是一篇理论期刊，我把那部分内容进行了阐述，写了出来，并提交给了他们，他们也没有接受，但他们说，哦，这很有趣，你应该继续思考，然后，这让我开始思考，好吧，你知道，所以为理论发展做出贡献并非超人所为，你知道，你不必，你可以作为一个凡人做到，更广泛的，我认为教训是，不要屈服于某个标签，或者任何人给你的标签，你知道，没错，我的意思是，是的，没错，然后，尤其是当你成功时，你会得到标签，你因为是成功的连接主义认知科学家而不是神经科学家而获得标签，然后你可以，你可以完全，那是过去的故事，你今天是一个可以彻底革新全新领域的新人，所以不要让这些标签，阻碍你，好吧，让我问那个大问题，当你看着，你提到从哥伦比亚开始，试图观察这些人类，他们在做奇怪的事情，你想知道为什么，所以让我们把范围放大到地球上曾经活过的 1000 多亿人，你认为我们都在做什么？你认为这一切的意义是什么？那个伟大的为什么的问题，我们似乎很忙于做很多事情，而且我们似乎朝着某个方向前进，但为什么？嗯，我个人认为，我们为自己创造意义，而且，我们从过去别人创造的意义中获得灵感，你知道，第一千年的伟大宗教思想家，你知道，以及第二千年初的一些人，你知道，为我们奠定了一些重要的基础，但我确实相信，你知道，我们是，一个自然发生的，没有指导的过程的涌现结果，而意义是我们从中创造出来的，而且，宗教传统等中，提炼意义的努力，只是我们表达那个目标的一部分，你知道，不是找出意义是什么，而是自己创造它，对我来说，这是非常个人化的，非常个体化的，就像意义会通过你独特的协同元素组合为你而来，这些元素是你自身的构成，你的经验，你的，嗯，背景，以及你的，嗯，你知道，它是在某种局部环境中创造出来的，对吧，就像我现在在这里，在加州大学圣地加州大学圣地亚哥分校，与这位才华横溢的罗梅尔·哈特先生，他对我想要看到它植根于生物学的，嗯，对符号人工智能的疑虑产生了共鸣，嗯，让我们充分利用它，你知道，是的，所以，从那个，嗯，小口袋里，有一种奇特的、小的涌现过程，然后，基本上，我们每个人，我们每个人类都是一种，你知道，你认为细胞，它们聚集在一起，这是一个涌现过程，然后它讲述了关于它自己的奇特故事，然后就像你说的，它只是享受我们讲述的关于我们自己的故事的美丽，这是一个涌现过程，它存在于一段时间，由其局部口袋和时空背景定义，然后讲述漂亮的故事，我们把这些故事写下来，然后我们庆祝这些故事有多好，然后它继续，因为我们把故事建立在彼此之上，最终我们将希望殖民其他行星，其他太阳系，其他星系，我们将讲述更好的故事，但这一切都始于，地球上的杰伊，说到，奇特的涌现过程，它讲述了一个精彩的故事，你是一位杰出的认知科学、心理学、计算科学的科学家，今天能和你交谈真是莫大的荣幸，你花了你宝贵的时间，我真的很享受和你交谈，感谢你所做的一切工作，我迫不及待地想看到你接下来做什么，嗯，非常感谢你，我，你知道，这对我是个绝佳的机会，让我能够表达一些我从未完全表达过的想法，因为你问了我们长期以来一直在思考的各种更深层的问题，所以非常感谢你，谢谢，感谢收听与杰伊·麦克莱兰的对话，请查看描述中的赞助商以支持此播客，现在让我用杰弗里·辛顿的话来结束，从长远来看，好奇心驱动的研究效果最好，真正的突破来自那些专注于自己兴奋点的人，感谢收听，希望下次再见。