📱

Get Our Mobile App

Take your business learning on the go!

Download on the App StoreGet it on Google Play

Noam Chomsky: Language, Cognition, and Deep Learning | Lex Fridman Podcast #53

Lex Fridman35:46

Transcription

以下是与诺姆·乔姆斯基的对话。他确实是我们这个时代最伟大的思想家之一,也是我们文明历史上被引用最多的学者之一。他在麻省理工学院度过了 60 多年,最近也加入了亚利桑那大学,我们在那里进行了这次对话,但那是大约四年前半在麻省理工学院,我第一次见到诺姆。我记得在那里度过的最初几天,我在 Stata 中心坐电梯,按下任意楼层的按钮,抬头一看,发现只有我和诺姆·乔姆斯基在电梯里,只有我和一位语言学、认知科学、哲学和政治思想领域的奠基性人物,如果不是有史以来,也是过去一个世纪里。我讲这个傻故事是因为我认为生活是由有趣的、定义性的微小时刻组成的,你永远不会忘记,原因可能过于诗意而无法解释,那是我的一个时刻。诺姆一直是我以及数百万人的灵感来源。能与他在亚利桑那州坐下来交谈,我感到非常荣幸。我特地去那里就是为了这次谈话,在一个罕见、令人心碎的时刻,在一切都设置好并测试完毕后,相机被移动了,意外地按下了录制按钮,停止了录制。所以,我拥有我们俩的音频,但没有诺姆的视频,只有一个我以及我因睡眠不足而兴奋的脸的视频,我可以保留它作为我失败的提醒。大多数人只是收听播客的音频版本,而不是在 YouTube 上观看,但对我来说,这仍然令人心碎。我希望你能理解,并且仍然像我一样享受这次谈话。诺姆所展现出的深刻智慧以及他愿意真正倾听我这个穿着西装、看起来傻傻的俄罗斯人的意愿,让我感到谦卑,我对此深表感激。正如你们中的一些人所知,这个播客对我来说是一个副业项目,我的主要旅程和梦想是建立能够为世界做些好事的人工智能系统。后者占据了我大部分时间,但目前主要是私密的,而前者,播客是我倾注了心血和灵魂的东西,我希望即使在我搞砸事情的时候,你们也能感受到这一点。我最近开始在介绍的结尾做广告。我会在介绍完这一集后做一到两分钟的广告,中间绝不会有打断对话流程的广告。我希望这对你们来说是可行的,并且不会影响收听体验。这是人工智能播客。如果您喜欢,请在 YouTube 上订阅,在 Apple Podcast 上给予五星好评,在 Patreon 上支持,或者在 Twitter 上与我联系 @lexfridman,拼写为 F-R-I-D-M-A-N。本节目由 Cash App 呈现,它是 App Store 上排名第一的金融应用。我个人使用 Cash App 给朋友汇款,但您也可以用它在几秒钟内买卖和存款比特币。Cash App 还有一个新的投资功能。您可以购买股票的零碎部分,例如 1 美元的股票,无论股票价格如何。经纪服务由 Square 的子公司 Cash App Investing 提供,并且是 SIPC 的成员。我很高兴与 Cash App 合作,支持我最喜欢的组织之一,名为 FIRST,该组织以其 FIRST 机器人和乐高比赛而闻名。他们教育和激励了 110 多个国家数十万学生,并在 Charity Navigator 上获得了完美评分,这意味着捐赠的资金得到了最高效的利用。当您在 App Store 或 Google Play 上下载 Cash App 并使用代码 LexPodcast 时,您将获得 10 美元,Cash App 也会向 FIRST 捐赠 10 美元,FIRST 是我亲眼见过激励男孩和女孩梦想创造一个更美好世界的工程组织。现在,这是我和诺姆·乔姆斯基的对话。

- [Noam] 我为这个荒谬的哲学问题道歉,但如果一个外星物种要访问地球,您认为我们能否与它们建立共同的语言或沟通协议?

- [Noam] 有一些论点认为我们可以。事实上,其中一个论点来自马文·明斯基。大约在 20 或 30 年前,他与他的学生丹尼尔·鲍勃罗进行了一次简短的实验,他们基本上运行了最简单的图灵机,只是自由地看看会发生什么。大多数都崩溃了,要么陷入无限循环,要么停止了,少数坚持下来的基本上产生了类似算术的东西。他的结论是,如果某个外星物种发展出更高的智能,它们至少会有算术。它们至少会有最简单的计算机所能做到的东西,事实上,他当时并不知道,但自然语言的核心原则是基于产生类似算术的运算的,在极限情况下,在最小情况下。所以,基于人类语言的核心属性和算术的核心属性,这些属性可能普遍共享,从而建立一种沟通方式是可行的。

- [Lex] 语言的结构是怎样的,语言作为我们头脑中的内部系统与作为其表达的外部系统之间的关系?

- [Noam] 这不是一个选择。这是对语言的两种不同概念。

- [Lex] 不同的。

- [Noam] 这是一个简单的事实,你身上有一些东西,你的一个特质,你这个有机体的一部分决定了你说的是英语而不是他加禄语,比如说。所以有一个内在的系统。它决定了你语言的无限数量的表达的声音和意义。它是局部的,显然不在你的脚上,而在你的大脑里。如果你仔细观察,它在大脑的特定构造中。这基本上就像你的笔记本电脑的内部结构。它拥有的任何程序都在里面。现在,你可以用语言做的一件事,实际上是一件边缘的事情,就是用它来外化你脑子里的东西。我认为你使用语言的大部分是思考,内在的思考,但也可以做你我现在正在做的事情。我们可以把它外化。嗯,我们正在外化的东西是一个外部系统,它们是大气中的噪音,你可以称之为某种意义上的语言,但它不是一系列选择。这些只是不同的概念。

- [Lex] 那么语言在我们大脑中的根有多深?

- 嗯——

- 我们的思想,它是像视觉一样的另一个特征吗?还是它是人类思想中一切事物的更根本的来源?

- [Noam] 嗯,在某种程度上它就像视觉。我们的基因禀赋决定了我们拥有哺乳动物的视觉系统而不是昆虫的视觉系统。我们的基因禀赋也决定了我们拥有人类的语言能力。没有其他生物拥有任何类似的东西。所以从这个意义上说,它是内在的。现在,有一个悠久的传统,我认为它是有效的,可以追溯到几个世纪前,至少是早期科学革命,它认为语言是人类认知本质的核心。它是源头,它是构建思想和表达思想的模式,这就是构成思想的东西,它具有根本的创造力。它是自由的,独立的,无限的等等。毫无疑问,我认为这是我们创造能力以及导致该物种独特成就和不那么伟大成就的其他非凡人类能力的基础。

- [Lex] 思考和推理的能力。您认为这与语言密切相关吗?您认为内部语言系统是我们进行内部推理的机制吗?

- [Noam] 毫无疑问,它是我们推理的机制。推理可能还涉及其他能力,毫无疑问还有其他能力。我们有一种科学能力。没有人知道它是什么,但无论它是什么,它使我们能够从事某些领域的探索和研究,并判断什么是有意义的,什么没有意义,并在世界上获得一定程度的理解,这利用了语言但又超越了它,就像使用我们的算术能力不等于拥有这种能力一样。

- [Lex] 能力、我们的生物学、进化,您曾说过它们基本上定义了我们的能力、我们的极限和我们的范围。您能否尝试定义极限和范围,以及更大的问题,您认为找到人类认知的极限是可能的吗?

- [Noam] 这是一个有趣的问题。人们普遍认为,大多数科学家认为人类智能原则上可以回答任何问题。我认为这是一个非常奇怪的信念。如果我们是生物有机体而不是天使,那么我们的能力应该有范围和限制,它们是相互关联的。

- [Lex] 您能定义这两个术语吗?

- [Noam] 好的,让我们举一个具体的例子。你的基因禀赋决定了你可以拥有哺乳动物的视觉系统、手臂和腿等等,因此成为一个丰富、复杂的有机体,但如果你看同样的基因禀赋,它会阻止你在其他方向发展。没有任何一种经验能让胚胎发育成昆虫的视觉系统或长出翅膀而不是手臂。所以,赋予丰富性和复杂性的基因禀赋也限制了可以达到的程度。现在我假设我们的认知能力是有机世界的一部分,因此它们应该具有相同的属性。如果它们没有内在的潜力来发展丰富而复杂的结构,我们就什么也理解不了,就像如果你的基因禀赋没有迫使你长出手臂和腿,你就会变成某种随机的变形虫生物,没有任何结构一样,所以我认为假设存在限制是合理的,而且我认为我们甚至有一些证据表明它们是什么。例如,科学史上有一个经典的时刻,那就是牛顿时期。从伽利略到牛顿,现代科学是建立在一个基本假设上的,牛顿也接受了这个假设,即世界,整个宇宙是一个机械物体,而机械的意思是类似于欧洲各地熟练工匠正在开发的各种人造物品,齿轮、杠杆等等。他们的信念是,世界只是这个的更复杂的变体。牛顿令他震惊和沮丧的是,他证明了没有机器,存在着没有接触的相互作用。他的同时代人,如莱布尼茨和惠更斯,都认为这回到了新经院主义的神秘主义,牛顿也同意。他说:“这是完全荒谬的。”“任何有科学头脑的人”“都永远无法接受这一点。”事实上,他余生都在试图以某种方式绕过它,许多其他科学家也是如此。对于伽利略或牛顿来说,这是可理解性的标准。理论不会产生一个可理解的世界,除非你能用机器复制它,而他证明了你不能,根本没有机器。最终,经过长期的斗争,花了很长时间,科学家们才接受了这一点作为常识,但这是一个重要的时刻。这意味着他们放弃了对可理解世界的追求,当时的伟大哲学家对此非常清楚。例如,大卫·休谟在他对牛顿的颂词中写道,他是历史上最伟大的思想家等等。他说他揭示了自然的许多秘密,但通过展示机械哲学的、机械科学的缺陷,他留给我们的是,他表明存在着永远存在的奥秘,而科学只是改变了它的目标。它放弃了奥秘。它无法解决,它们会放在一边。我们只寻找可理解的理论。牛顿的理论是可理解的,只是它描述的东西不是。好吧,洛克也说了同样的话。我认为他们基本上是对的,如果是这样,那就说明了人类认知的局限性。我们无法达到理解世界、找到一个可理解的世界的目标。这种机械哲学,从伽利略到牛顿,有一个很好的论据可以证明,那是我们对事物如何运作的本能概念。所以,例如,如果对婴儿进行测试,如果这个东西移动了,然后那个东西移动了,他们就会发明一些必须是看不见的、在它们之间的东西,是它们在移动等等。

- [Lex] 是的,我们喜欢物理接触。我们的大脑在寻求——

- [Noam] 让我们想要一个世界,就像它想要一个有规则几何图形的世界一样,例如笛卡尔指出了这一点,如果你有一个从未见过三角形的婴儿,你画一个三角形,婴儿会看到一个扭曲的三角形,而不是它实际的样子,你知道,三条线没有完全连接,或者其中一条稍微弯曲等等。我们只是用完美的几何物体来强加对世界的理解。现在已经证明,它远远超出了这一点,例如,如果你在瞬时示波器上显示,比如,两盏灯在闪烁,你重复三四次,人们实际看到的是一个在运动的刚体,而不是实际存在的东西。我们基本上都知道电视机。

- [Lex] 那么这给了我们一些关于我们认知潜在极限的线索吗?

- 我认为是的,但这是一种非常有争议的观点。如果你在科学家中进行民意调查,他们会说不可能。我们可以理解任何事情。

- [Lex] 让我问一下,给我一个机会。我刚花了一天时间在一家名为 Neuralink 的公司,他们做的是设计所谓的脑机接口,脑计算机接口。他们试图进行数千次大脑读取,能够读取神经元在放电什么,然后反向刺激,所以是双向的。您认为他们的梦想是扩展大脑获取信息的能力, sort of 增加我们搜索谷歌的带宽?您认为通过将机器加入其中,我们的认知能力、语言能力、推理能力可能会得到扩展吗?

- [Noam] 在某种意义上它可以扩展,但这种意义是几千年前就已知的。一本书可以扩展你的认知能力,好吧,所以这也可以扩展它。

- [Lex] 但这不是根本性的扩展。不是可以理解全新的事物。

- [Noam] 嗯,没有什么能超越我们天生的认知能力,就像你无法将视觉系统变成昆虫系统一样。

- [Lex] 嗯,我的意思是,你可能无法直接做到,但你可以映射。

- [Noam] 你可以,我们知道,即使没有这个实验,你也可以映射一只蜜蜂看到的东西,并以一种我们能理解的形式呈现出来。事实上,每个蜜蜂科学家都这样做。

- [Lex] 嗯哼,但您不认为有比蜜蜂更伟大的东西可以被我们映射,然后突然发现一些东西,能够理解一个量子世界,量子力学,能够开始能够理解。

- [Noam] 你可以,麻省理工学院的学生学习和理解量子力学。

- [Lex] (笑)但他们总是将其简化为婴儿,物理的,我的意思是他们并不真正理解——

- [Noam] 不是物理的,这可能是另一个理解有限的领域。我们理解理论,但它所描述的世界没有意义。所以,你知道这个实验,比如薛定谔的猫,可以理解理论,但正如薛定谔指出的那样,它不是一个可理解的世界。爱因斯坦一直对量子理论持怀疑态度的原因之一是,他称自己为经典现实主义者,并追求可理解性。

- [Lex] 在这方面他与婴儿有一些共同之处。那么回到语言学,如果您能迁就我,在您一生研究语言和人类思想的过程中,您所看到的语言学或认知科学中最美丽或最迷人的方面是什么?

- [Noam] 嗯,我认为语言最深刻的属性和令人费解的属性是所谓的结构依赖性。我们现在对此有了很好的理解,但它令人费解了很长时间。我给你一个具体的例子。所以假设你说,“修车的那个人小心地打包了他的工具。”这是模棱两可的,他可以小心地修车,或者小心地打包他的工具。现在假设你把“小心地”放在前面。“小心地,修车的那个人打包了他的工具。”那么就是小心地打包,而不是小心地修理。事实上,即使没有意义,你也会这样做。所以假设你说,“小心地,修车的那个人很高。”你必须将其解释为“小心地,他很高”,即使这没有任何意义。请注意,这是一个非常令人费解的事实,因为你将“小心地”与离它最近的动词而不是离它更远的动词联系起来。线性接近是一个简单的计算,但在这里你正在做一个更复杂的计算。你正在做的事情基本上是让你去处理更遥远的事情,现在如果你看看句子的实际结构,短语在哪里等等,你会发现你正在选择结构上最近的东西,但线性上更遥远的东西。但请注意,线性是你能听到的 100%。你从未听过结构。所以你正在做的是,并且立即这是普遍的。所有构造,所有语言,而我们被迫要做的是进行一次看起来更复杂的计算,处理我们从未听过的材料,并且我们忽略了我们听到的 100% 的最简单的计算。现在甚至有这方面的神经基础,并且在一定程度上得到了理解,并且有很好的理论,但没有一个能解释为什么它是真的。这是一个对语言的令人惊讶的本质的深刻见解,具有许多后果。

- [Lex] 让我问你关于机器学习和深度学习领域,在最近十年里,基于神经网络的机器学习取得了很大进展。当然,神经网络研究可以追溯到几十年前。

- [Noam] 是的。

- [Lex] 您认为深度学习、基于神经网络的机器学习的极限是什么?

- [Noam] 嗯,要真正回答这个问题,你必须了解正在发生的精确过程,而这些过程相当不透明,所以很难证明关于什么可以做什么不能做的定理。但我认为这是相当清楚的,我的意思是,撇开技术细节不谈,深度学习所做的是获取大量的例子并找到一些模式。好吧,这可能很有趣,在某些领域确实如此,但我们必须在这里问一个问题。它是工程还是科学?工程是指仅仅试图制造出有用的东西,还是科学是指试图理解世界上的元素?所以,拿一个谷歌解析器来说。我们可以问这个问题,它有用吗?是的,它很有用。我使用谷歌翻译等等,从工程角度来看,它有点值得拥有,就像推土机一样。它能告诉你关于人类语言的任何信息吗?零,什么都没有,事实上,这非常引人注目。从一开始,它就与科学完全无关,所以谷歌解析器在做什么?它获取大量的文本,比如《华尔街日报》语料库,然后问,我们如何才能尽可能准确地描述语料库中的每个句子?嗯,语料库中的每个句子本质上都是一个实验。你产生的每个句子都是一个实验,即,我是一个语法正确的句子吗?现在答案通常是肯定的,所以语料库中的大部分内容都是语法正确的句子,但现在问问自己,是否有任何科学研究会进行随机实验,这些实验毫无理由地进行,并试图从中找出一些东西?比如,如果你是一名化学博士生,你想写一篇论文,你可以说,我只是会混合很多东西,没有目的,也许我会找到一些东西。你会从系里被嘲笑出来的。科学试图找到关键实验,那些能够回答理论问题的实验。它不关心数百万个实验的覆盖范围。所以它一开始就与科学非常疏远,而且一直如此,所以通常关于谷歌解析器的问题是它做得怎么样,或者某个解析器,它在语料库上做得怎么样?但还有一个问题从未被问过。它在违反所有语言规则的事情上做得怎么样?例如,以我提到的结构依赖性为例,假设有一种语言,你使用线性接近作为解释模式,这些深度学习会很容易地在上面工作。事实上,比在实际语言上更容易。这是成功吗?不,这是失败。从科学的角度来看,这是失败。它表明我们根本没有发现系统的本质,因为它在违反系统结构的事情上做得同样好,甚至更好,而且它还在继续。这并不是反对这样做的论点。拥有这样的设备很有用。

- [Lex] 所以是的,神经网络有点像近似器,看起来,这与行为主义的争论有回响,对吧?

- 不止是回响。许多深度学习领域的人说他们得到了证实。

- (笑)是的。

- [Noam] 例如,特里·塞诺夫斯基在他的新书中说,这证实了斯金纳的行为主义,而这与它无关。

- [Lex] 是的,但我认为当数据集巨大时,有一些根本性的不同,但您的观点非常正确。但您认为我们可以学习,近似语言中那种有趣的、复杂的结构,通过神经网络,从而帮助我们理解科学吗?

- [Noam] 这是可能的,我的意思是,你可能会发现一些你以前没有注意到的模式,比如说。可能是的,事实上,这非常类似于一种语言学,被称为语料库语言学,当你,假设你有一种语言,所有的说话者都已去世,但你有记录。所以你只是查看记录,看看你能从中找出什么。最好有实际的说话者,你可以进行关键实验,但如果他们都死了,你就不能做,所以你必须看看你能从数据中找出什么。你可以学到东西。人类学非常像这样。你无法对两百万年前发生的事情进行关键实验,所以你只能根据现有的数据来推断。这是一个严肃的研究。

- [Lex] 那么让我冒险进入另一整套工作和哲学问题。您曾说过,社会中的邪恶源于制度,而非源于我们的本性。您认为大多数人类是善良的,他们有良好的意图,还是大多数人都有意图作恶的能力,这取决于他们的成长环境,取决于他们的环境,取决于背景?

- [Noam] 我不会说它们不源于我们的本性。我们所做的一切都源于我们的本性。我们拥有某些制度而不是其他制度,这是人类本性表达自己的一种方式。但据我们所知,人类本性可以产生许多不同类型的制度。已经发展起来的那种制度与历史的偶然性有关,谁征服了谁等等,它们不是根植于我们的本性,因为它们对我们的本性至关重要,所以人们普遍认为,如今像市场体系这样的东西是我们本性的一部分,但我们从大量的证据中知道,事实并非如此,还有各种各样的其他结构。这是现代历史某个时刻的一个特定事实。其他人则认为,古典自由主义的根源实际上认为,有时被称为自由的本能,摆脱非法权威统治的本能是我们本性的核心。这将与此相反。我们不知道,我们只知道人类本性可以容纳这两种情况。

- [Lex] 回顾您的一生,您一生中或生活中是否有某个时刻让您感到快乐,您希望再次重温?

- [Noam] 当然,坠入爱河,生孩子。

- [Lex] 关于,您在语言学、认知科学领域提出了许多令人难以置信的想法,关于那些让您在第一次想到时就感到兴奋的想法,您希望重温那些时刻。

- [Noam] 嗯,我的意思是,当你发现某件事时,它令人兴奋,比如即使是观察结构依赖性以及由此产生的解释,但主要的事情似乎是常识。所以如果你回到,以你关于外部和内部语言的问题为例。回到 20 世纪 50 年代,几乎所有的语言都被视为外部对象,是头脑之外的东西。这似乎显而易见,那是不可能的。就像我说的,你身上有一些东西决定了你说的是英语而不是斯瓦希里语之类的。但这并不是真正的发现。这只是对显而易见之事的观察。你可能会说,这有点像 17 世纪,现代科学的开端,17 世纪,它们来自于愿意对显而易见的事情感到困惑。所以,一个沉重的铅球会比一个轻的铅球落得更快,这似乎是显而易见的,但伽利略并没有被这个事实所打动。所以他想知道是否属实,他进行了实验,实际上是思想实验,但他从未真正进行过,这些实验表明这不可能是真的,你知道。从类似的事情中,从那种观察中,你知道,为什么球会落到地上而不是升起来,比如说?直到你开始思考它,它似乎是显而易见的,因为为什么蒸汽会升起来,比如说。我认为现代语言学的开端,大约在 50 年代,就是这样,只是愿意对从某些角度看显而易见的现象感到困惑。例如,在 50 年代,结构语言学的一种几乎是官方的学说认为,语言之间可以任意不同,每种语言都必须独立研究,没有任何先入为主的观念,事实上,生物学家对生物体的性质也有类似的观点,每一种生物体都如此不同,当你观察它们时,你可以是几乎任何东西。嗯,在这两个领域都已了解到,事实远非如此。生物体或语言的可能存在非常狭窄的限制。但这些,你知道,这只是探究的本质。

- [Lex] 科学总的来说,是的,探究。所以,人类身上一个奇怪的特点是我们的死亡。欧内斯特·贝克尔对此进行了探索。总的来说,您会思考死亡的价值吗?您会思考自己的死亡吗?

- [Noam] 我 12 岁左右的时候曾经想过。我不在乎自己的死亡,但我担心如果我的意识消失,整个宇宙也会消失。那很可怕。

- [Lex] 您找到这个问题的答案了吗?

- [Noam] 没有,没有人找到答案,但我不再为此烦恼了。这有点像伍迪·艾伦的一部电影。你可能还记得,他小时候去看心理医生,心理医生问他,“你有什么问题?”他说,“我刚知道宇宙在膨胀。”“我无法处理。”

- [Lex] (笑)另一个荒谬的问题是,您认为我们在这里存在的意义是什么,我们在地球上的生活,我们在时间中的短暂瞬间?

- [Noam] 这是我们通过自己的活动来回答的。没有普遍的答案。我们决定它的意义是什么。

- [Lex] 行动决定意义。

- [Noam] 意义是指重要性,而不是椅子意味着这个的意思,你知道,但你生活的意义是你自己创造的。

- 诺姆,非常感谢您今天的谈话。这是一种巨大的荣幸,非常感谢。感谢您收听这次与诺姆·乔姆斯基的对话,并感谢我们的特约赞助商 Cash App。下载它,使用代码 LexPodcast。您将获得 10 美元,而 10 美元将捐赠给 FIRST,这是一个 STEM 教育非营利组织,它激励了数十万年轻人的学习和对工程未来的梦想。如果您喜欢这个播客,请在 YouTube 上订阅。在 Apple Podcast 上给我们五星好评,在 Patreon 上支持,或者在 Twitter 上与我联系。感谢您的收听,希望下次再见。