Transcription
以下是与约翰·霍普菲尔德教授的对话，他是普林斯顿大学的教授，他毕生的工作巧妙地贯穿于生物学、化学、神经科学和物理学。最关键的是，他通过物理学家敏锐的目光审视了混乱的生物学世界。他可能最出名的是他在联想神经网络方面的工作，现在被称为霍普菲尔德网络，这是催化现代深度学习领域发展的早期思想之一。正如他 2019 年富兰克林物理学奖所指出的那样，他将理论物理学的概念应用于遗传学和神经科学等多个领域，为重要的生物学问题提供了新的见解，并对机器学习产生了重大影响。正如约翰在他的 2018 年文章《现在怎么办？》中所说，他的成就往往是通过问“现在怎么办？”这个问题而实现的，并且经常通过重大方向的改变来回应。这是人工智能播客，如果您喜欢，请在 YouTube 上订阅，在 Apple Podcast 上给五星好评，在 Patreon 上支持，或者在 Twitter 上与我联系，Lex Friedman，拼写为 Fri D ma N。像往常一样，我会插播一两分钟的广告，中间绝不会有广告，以免打断对话的流畅性。我希望这对您来说是可行的，并且不会影响收听体验。本节目由 Cash App 呈现，这是 App Store 中排名第一的金融应用。下载时，请使用代码 Lex Podcast。Cash App 可以让您向朋友汇款，购买比特币，并以低至 1 美元的投资股票市场。由于 Cash App 支持零碎股票交易，我想提一下，幕后工作的订单执行算法，它创造了零碎订单的抽象，对我来说是一个算法奇迹。因此，向 Cash App 的工程师们致敬，他们解决了一个难题，最终提供了一个简单的界面，将股票市场的抽象提升到了一个新的层次，使新投资者更容易交易，并使多元化变得更加容易。所以，再说一遍，如果您从 App Store 或 Google Play 下载 Cash App 并使用 Lex Podcast，您将获得 10 美元，Cash App 还会捐赠 10 美元给我的一个最喜欢的组织之一，该组织正在帮助在全球范围内推进机器人技术和 STEM 教育。现在，这是我与约翰·霍普菲尔德的对话。
生物神经网络和人工智能神经网络中，最吸引您、最深刻的是什么？在更高的哲学层面，我们暂时不谈技术。有一件事非常吸引我，那就是神经元拥有各种各样的组成部分和特性，而在进化生物学中，如果您有一些小小的怪癖，甚至是如何一个分子起作用，或者它仍然起作用，这可能意味着进化会把它打磨得更好，使其成为一个有用的特征，而不是一个故障。因此，您期望在神经生物学中，进化会抓住各种可能性，让神经元能够做您想让它们做的事情，而这一点在人工智能神经网络中已被完全压制了。因此，故障变成了特征。在生物神经网络中，它们可以看起来……让我举一个我曾经研究过的例子。如果您看一些振荡的东西，它们的节奏在某些情况下彼此非常接近，这些东西会发生相变，突然间，节奏会同步。2001 年左右，泰晤士河上的千禧桥有一个绝妙的物理学例子。过桥的行人，行人不会同步行走，他们不会齐步走，但他们的步频都差不多，而桥梁会以那个步频振荡，轻微的摇摆会使行人倾向于同步。但桥梁却在来回摆动，而行人却在跟着它同步行走。您可以看到，我们建造了这座桥，工程师们犯了一个简单的错误。他们觉得你走路时，是“一步一步”地前后移动，但你走路时，也有左右脚的侧向移动。桥梁对于侧向移动来说足够坚固，但它不够坚固。结果是，你会感觉到运动，你会跟着它同步，人们对此感到非常不舒服。他们关闭了桥梁两年，进行了彻底的加固。神经元，神经细胞，发出动作电位。您有一群松散耦合的细胞，以相同的速率发出动作电位。在某些情况下，这些东西会锁定在一起，而在其他情况下则不会。它们会一起放电，您可以确定其他细胞会注意到。因此，您可以从中创建一个计算特征。您正在一个不断进化的的大脑中。大多数人工智能神经网络甚至没有动作电位，更不用说同步它们的可能性了。您提到了进化过程，那么，构建生物系统的进化过程，是否以某种方式利用了它的奇怪混乱？那么，您如何理解这种利用生物大脑各种复杂性的能力呢？嗯，看看生物分子层面，您有一段 DNA，它编码一个特定的蛋白质。您可以复制这段 DNA，现在一部分编码那个蛋白质，而另一部分可以稍微改变一下，开始编码一个稍微不同的分子。如果那个稍微不同的分子在任何化学反应中都有帮助，您就会继续让它慢慢地进化并改进那个功能。因此，您有可能复制然后让它们分歧，一个保留旧功能，另一个为您做一些新的事情。并且有进化的压力去改进。在计算机中，改进与关闭一些公司，打开另一些公司有关。进化过程看起来有点不同。是的，也许时间尺度相似，或者更短。在杀死公司的时间尺度上，公司会关闭，会破产，会诞生。是的，更短，但也不是太短。有些公司能持续一个世纪，几个世纪。但是的，您说得对。我的意思是，如果您将公司视为一个单一的生物体，您就知道，是的，生物学和公司之间存在一种迷人的双重对应关系。公司很难让新产品与旧产品竞争。是的。当 IBM 制造第一台 PC 时，您可能读过那本书。他们制造了一个小型的内部独立单元来制造 PC，这是 IBM 历史上第一次，他们不坚持要求您使用 IBM 组件来制造它。但他们明白，他们可以通过彻底改变他们的文化来进入这个市场，这是一个非常不同的事情。而生物学以更具适应性的方式找到了其他市场。它在这方面做得更好，它更擅长这种整合。所以，也许您已经说过了，但对您来说，最美丽的方面或机制是什么？是您所描述的适应能力吗？还有其他您特别喜欢的小怪癖吗？归根结底，适应性就是一切。但区别在于，适应性分为两种：一种是您的学习发生在世代之间，发生在进化时间尺度上；另一种是您的学习发生在个体的时间尺度上，个体必须在个体一生中从环境中学习。生物学兼具这两种学习。使神经生物学变得困难的是，建立在这种其他进化系统上的数学系统……您说的数学系统是什么意思？生物学中的数学在哪里？当您与计算机科学家谈论神经网络时，一切都是数学。生物学实际上是由于进化而产生的，而生物学是关于一个可以在三维空间中构建的系统。如果您看看计算机芯片，计算机芯片基本上是二维结构，或者说是 2.1 维，但它们在三维布线方面确实存在困难。生物学，新皮层实际上也是片状的，它位于白质之上，白质的体积大约是灰质的十倍，并且包含所有您可能称之为导线的东西。但是，计算机结构对什么容易什么困难的影响是巨大的。另一方面，您无法进行简单的浮点运算，因为它们太愚蠢了。您说这种三维复杂结构使其……它仍然是数学，它仍然在做数学。它所做的数学类型使其能够解决截然不同类型的问题。没错，没错。因此，您提到了两种适应性：进化适应性和个体一生的学习适应性。哪一种对您来说特别美丽，从研究角度和人类角度来看都很有趣？哪一种更强大？我发现最有趣的事物是我开始看到如何触及它们的边缘，并稍微分开它们，看看它们是如何工作的。由于我看不到进化过程正在发生，我对此感到敬畏，但对我来说，它就像一个黑洞，试图理解该做什么。所以，从某种意义上说，我是一个玩偶，但我不可能对研究它感兴趣。人类生命的时间尺度是您可以分开研究的东西。是的，您可以做到。有发育神经生物学，它了解所有这些连接，以及结构如何从基因组成和事实上进化而来，您正在构建一个三维系统，在短短几天和几个月内，人类生命的早期非常有趣。当然，也有巨大的细胞分裂时期，大脑在婴儿期也有最疯狂的细胞死亡，这是周转。那么，什么东西是无效的，什么东西没有足够好的连接以供即时使用，就把它扔掉？这是一个神秘的过程。让我问一下，您认为在未来几十年里，理解心灵的最大突破将来自哪个领域？是神经科学、计算机科学、神经生物学、心理学、物理学，也许是数学，也许是文学？[笑声]当然，我总是透过物理学的镜头看待世界。我是在物理学领域长大的，我选择问题的方式非常具有物理学的特点，以及一种智力背景，这种背景不是心理学，不是化学等等。我们的父母都是物理学家，我真正学到的是一种感觉，即世界是一个可以理解的地方，如果您做足够多的实验并思考它们的意义，并构建结构，您也可以理解事物是如何运作的。但那已经是很多年前了。您在尝试理解心灵、以不同方式研究心灵的几十年里，有没有改变过主意？不仅仅是心灵，而是生物系统。您仍然抱有希望，物理学能够理解……当然，理解的问题在于。当我教一年级物理时，我曾说过，我希望学生们理解这个主题，理解新的定律。我不想让他们仅仅记住一组例子，然后知道写下哪个方程来得到答案。我有一个模糊的理解概念。所以，如果您看到一个情况，您可以说，“哦，我预计这个球会沿着这个轨迹运动。”对吧？我预计……所以，我倾向于一种理解，我不知道如何很好地表达它，我从来不知道如何很好地表达它。您会遇到……您看看这些简单的神经网络，前馈神经网络，它们能做惊人的事情，但您知道，它们不包含我所认为的理解的本质。理解不仅仅是一个巨大的查找表。让我们仔细研究一下。您对此有多确定？如果表格被读懂了呢？所以，我用另一种方式问。您认为这些前馈神经网络会理解吗？我将从两个方面回答。我认为，如果您看看真实的系统，反馈是这些真实系统计算方式的一个基本方面。另一方面，如果我有一个数学系统，有反馈，我知道我可以把它分解并处理其中的一部分。但是，如果我这样做，我需要构建的材料会呈指数级增长。所以，反馈是必不可少的。所以，我们可以谈论循环，甚至循环。但您认为所有要素都已具备，可以通过这些简单的机制来实现理解吗？回到我们最初的问题，人工智能神经网络和生物神经网络之间是否存在根本区别，还是只是一些表面上的东西？如果您问一位神经外科医生，什么时候一个人死了？他可能会说，嗯，我可以看看大脑的节律，然后告诉你，这是一个再也无法正常运作的大脑，这是一个……但另一个大脑是，如果我们好好治疗它，仍然可以恢复。然后，仅仅通过许多电极观察简单的电信号模式，根本不看任何细节，或者单个神经元在做什么。这些节律在谷歌的任何东西中都不存在。但是，节律……但节律……那就像比较，好吧，我告诉你，这就像你在比较世界上最伟大的古典音乐家和一个刚开始学钢琴的孩子。但他们仍然都在弹钢琴。我问的是，谷歌是否会这样做？您有希望吗？因为您是启动这两个学科、河流两岸的奠基人之一。我认为，它将一代又一代地延续下去，就像现在一样，您可能称之为人工智能计算机科学界说，“让我们采用以下模型，这是我们目前对神经生物学的模型，让我们假设它足够好，并用它做一切我们可以做的事情。”它会产生有趣的事情，然后过了一段时间，它就会陷入停滞，您会说，“哦，需要从神经生物学中获得一些新的东西。”然后，又一个伟大的东西出现，让您走得更远。根据沙坎的说法，这可能是几代人的进化。我不知道有多少代。每一代都会让你更深入地了解大脑的功能。在某种意义上，它通过了图灵测试，在更广泛的方面。有多少是好的？有多少必须有，你才会说，“我创造了一些东西，我创造了一个人类。”我不知道。但您的感觉是，可能还需要几代人？我的感觉是，可能还需要几代人。回到我的大脑波。是的。从人工智能的角度来看，他们可能会说，“哦，也许这些是重大的现象，根本不重要。”我第一辆车是 1936 年的道奇科博，每小时 45 英里，车轮是吉米……是的，好的，好的速度表。现在，不要那样设计汽车。汽车出现那种故障了。但在生物学中，如果它对您有用，知道您什么时候开得比每小时 45 英里快，您就会捕捉到它，而不会担心它来自哪里。要花很长时间，才能将这种在大规模复杂网络中发生的事情实际用于计算。看看您笔记本电脑上有多少个晶体管？实际上，我不知道数字。它大概是 10 的 10 次方。我记不清数字了。是的。所有晶体管都有些相似。大多数具有如此多部件的物理系统，所有这些部件都是独立的，或者具有集体属性，都会出现错误。地震，等等，都有集体属性。人工智能神经网络中没有使用集体属性。是的，这非常……如果生物学使用它们，我们需要再过两代人才能成为能够深入研究并了解它们如何使用、它们的意义的人。您说得对。我可能需要多次回到神经生物学，并尝试让我们的晶体管更混乱。同时，简单的晶体管将征服巨大的方面。我认为最让我惊讶的事情之一是，非生物学习系统表现得如此之好，它们有多重要。您如何以及它们有多有用。所以，如果我们能简单地回顾一下您的一些工作，那些令人难以置信的令人惊讶的工作，那些工作得如此之好，并启动了许多最近的神经网络工作。如果我们看看现在所谓的霍普菲尔德网络，您能告诉我，从人类的角度来看，什么是联想记忆吗？让我们稍微探讨一下记忆。您说的联想记忆是什么意思？您有关于您每个朋友的记忆。您的朋友有各种各样的特性，从他们的外貌，到他们的声音，到他们上过的大学，您在哪里认识他们，等等。他们写了什么科学论文？如果我开始谈论一个五英尺十英寸、瘦削的认知科学家，他背部很不舒服，您很快就会说，“您是在说杰夫·辛顿吗？”我从未提及他的名字或任何特别具体的事情，但不知何故，一些事实与特定的人联系在一起，使您能够掌握其余的事实。是的，或者不是。这是将事物联系起来，将经验联系起来的能力，这在联想记忆的总体名称下。据我所知，很大一部分智能行为实际上就是大型联想记忆在起作用。您认为它在头脑中是如何工作的？这对您来说仍然是一个谜吗？您是否知道这种对认知至关重要的东西是如何运作的？我 35 年前所做的，当然是一个粗糙的物理模型，以展示它如何使您能够理解我作为物理学家的旧的理解感，因为您可以说，“啊，我理解为什么它会进入稳定状态。这就像事物在下坡。”这为您提供了一个可以用物理术语思考的东西，而不是仅仅用数学术语。所以，您创造了这些联想人工智能……嗯，那些是……现在，如果您看看我所做的，我并没有描述一个优雅学习的系统。我描述了一个系统，您可以理解事物是如何联系在一起的，它是如何粗略地学习的。我目前重新研究那个系统时，让我着迷的一件事是，看，我看到您，在接下来的一个小时里，我每秒都会看到您。每一次看您都略有不同。我不会存储所有这些逐秒的图像。我不会存储 3000 张图像。我以某种方式压缩了这些信息。所以，现在我有了对您的看法，我可以利用它。它不会死记硬背任何特别的东西，但它会压缩信息，以有用的块的形式。这些块不仅仅是神经元的活动，它们是真正的能量，它们是有用的，它们对您有用，对您描述，以压缩信息，以一种方式呈现，以至于如果我再次收到类似的信息，我不会费心去重写它，或者努力重写它，因为那些东西已经写好了，而且需要……这并不是一个更自动化的机器硬件的东西。所以，在人类大脑中，这个过程有多复杂？您觉得呢？坐在约翰·霍普菲尔德旁边，称他为霍普菲尔德网络，感觉很奇怪。是的，但尽管如此，每个人都这么称呼。所以，这是一个简化。一个物理学家会这样做。您和理查德·费曼坐下来谈论联想记忆。那么，如果您看看大脑，您就不能如此完美地简化。您能让我稍微回顾一下吗？是的。生物学是关于动力学系统。计算机也是动力学系统。如果您愿意，您可以有一个数学模型，生物学模型，神经生物学模型。时间尺度是多少？存在一个动力学系统，其中有一个相当快的时间尺度，在这个时间尺度上，突触在计算过程中变化不大。所以我认为突触是固定的，只做活动的动力学。或者您可以说，突触的变化足够快，以至于我必须同时进行突触动力学和系统动力学才能理解生物学。大多数艺术家，如果您看看前馈人工智能，它们都是通过学习完成的。首先，我花了一些时间学习，而不是执行。然后我关闭学习，然后执行。这不像生物学。所以，他更深入地研究神经生物学，即使是联想记忆，我也必须面对这样一个事实：突触变化动力学一直在发生，我不能仅仅通过思考来解决。我将进行活动的学术研究，突触是固定的。所以，突触的动力学实际上是整个系统的基础。是的。而且没有，没有必然将时间尺度分开。时间尺度可以分开，从物理学家或数学家的角度来看，这很方便，但这不一定在神经生物学中是真的。您在物理学和生物学之间优美地穿梭，对物理学表示极大的尊重，同时又说物理学无法完全达到生物学的复杂性。那么，您最终会落在哪里，还是您会不断地在这两者之间穿梭？我不断地在这两者之间穿梭，因为我整个的理解概念是，您可以向别人描述某件事是如何运作的，用诚实可信的方式，但仍然不详细描述所有的细节。无论我是否能描述，比如大气中有 10 的 32 次方个分子在碰撞，我是否能模拟，或者我选择一个足够好的机器，我能准确地模拟它。这对理解没有好处。但我只想理解事物。我想从风型、飓风、压力差等方面来理解事物。物理学家中的我总是希望生物学有一些可以被说成是真实的东西，而且您不需要所有碰撞分子的分子细节。这就是我从物理学根源上说的理解。那么，再次抱歉，霍普菲尔德网络帮助您理解了什么？它们给了我们关于记忆、关于学习的什么见解？它们没有提供关于学习的见解。它们提供了关于已经学会的东西如何表达的见解。比如，一张您的照片让我想起您的名字。这是一种合理的描述学习方式的方式，或者说，如果您以前学会了这种模式的连接，现在就可以以物理方式进行。我把一部分模式放在这里，另一部分模式就会在这里完成。我可以从物理学上理解这一点，如果正确的学习材料已经放进去的话。而您无法理解为什么，把别人的照片放进去会产生别的东西。但它没有对学习过程进行合理的描述。但即使是忘记学习，我的意思是，这只是一个强大的概念，它形成有用的表示，以实现错误纠正之类的功能。所以，这就是生物学所做的。我们正在谈论我的论文所做的，只是让您……有很多方法可以变得健壮。如果您将其视为一个动力学系统，您认为一个路径正在进行，并且随着时间的推移。如果您认为对于计算机来说，这是一个计算路径，它在一个巨大的、由 1 和 0 组成的维度空间中进行。而一个纠错系统是一个系统，如果您稍微偏离了那个轨迹，它就会把你拉回到那个轨迹上，直到你得到相同的答案，尽管计算过程中一直都不是理想的。有许多纠错模型。但其中一个纠错模型是说，有一条您正在遵循的路径，如果您稍微偏离了山谷，就像水被岩石稍微推了一下，它就会回到河流的路径上。然后，基本上，物理系统中的模拟能够简单地说，“哦，是的，无差错计算和联想记忆非常相似，我可以从物理系统的角度来理解。”在某些情况下，物理系统是一个准确的隐喻。它不是唯一的隐喻。有一些纠错方案没有能量山谷，但那些是纠错方案，数学家也许能理解，但我不能。所以，这个物理隐喻似乎在这里有效。没错，没错。所以，这些网络实际上促成了现在正在进行的许多工作，以及您在人工智能神经网络方面的工作。受限玻尔兹曼机和深度信念网络等后续工作，都源于霍普菲尔德网络的这些思想。那么，您如何看待这项工作持续的进展，朝着现在重新活跃地探索前馈神经网络、循环神经网络和卷积神经网络等网络类型，这些网络有助于解决图像识别、自然语言处理等问题？这总是让我着迷。最长寿的学习系统之一是玻尔兹曼机，它本质上是一个反馈网络，而因和萨多夫斯基的才华在于理解如何在其中进行学习。它仍然是理解学习的一种有用方式。您理解的学习，与前馈系统的工作方式有关，但这种直觉并不总是那么容易表达。但它总是让我觉得好笑，因为辛顿又回到了玻尔兹曼机的某种形式。因为实际上，它具有反馈和有趣的概率。这是计算和物理计算的绝佳概括。它们与前馈网络非常相关。物理学方面，玻尔兹曼机学习实际上是学习物理哈密顿量或能量函数的参数集。您如何看待这个领域的学习？您认为前面提到的杰夫·辛顿，以及他与反向传播相关的那些工作，以及这些网络中发生的各种学习，您如何看待？如果我们将其与大脑中的学习进行比较，例如，反向传播揭示的关于这些循环网络的强大功能，是否有一些回响，还是大脑中正在发生一些根本不同的事情？我认为大脑不像最深的计算机科学网络那样深。我确实想知道，计算机科学网络的那种深度，是否是因为机器上唯一容易实现的学习是前馈的，所以问题在于，生物学具有一些前馈和一些反馈，在多大程度上被一个拥有更多神经元但神经元深度更大的东西所捕获？所以，您想知道反馈是否比神经元的数量或深度更重要？反馈的动力学……如果您没有反馈，那就像建造一个大型计算机，然后只运行一个时钟周期，然后您就什么也做不了了。您重新加载一些东西进来。您如何利用有多个时钟的事实？比如，我如何利用这样一个事实：您可以闭上眼睛，停止听我说话，然后思考一个棋盘两分钟，没有任何输入？那个记忆的东西，那基本上是一种反馈机制。您又回到了……是的，这很难，很难理解。所以我不敢恭维，更不用说意识了。哦，是意识吗？是的，因为那也与此有关。您不能只是把它放在另一个架子上，偶尔像我一样，对意识感兴趣，然后我去，我做了很多年。问问我的“长者”，他们对意识的看法。收集他们的观点一直很有趣。让我们试着简短地进入那个房间。马文·明斯基就是这样。您想要意识，马文说，意识基本上被高估了。它可能只是一个附带现象。毕竟，您的大脑所做的所有事情，您并非有意识地进行。有如此多的证据表明，即使是您所做的简单事情，您也可以做出决定，您可以做出承诺的决定。神经生物学可以说，他现在已经下定决心了，他将向左移动手，在您知道之前。所以，他的观点是，意识不是……它只是蛋糕上的一点糖霜。真正的蛋糕在潜意识里。哦，哦，潜意识，非意识，非意识，这是更好的词。只有弗洛伊德捕捉到了那个词。是的，这是一个令人困惑的词。尼古拉斯·查特写了一本有趣的书，我认为它传递了一个信息：心灵是扁平的。在神经网络的意义上，您可能需要一个扁平的，即非常宽的，没有很多层深度。而一个深层大脑将有许多层，并且不那么宽。就像，如果您足够用力地推明斯基，他会说，意识是您试图向自己解释您已经完成的事情。是的，它是围绕已经为您计算好的事情编织叙事。是的。而且，我们做的很多事情，比如我们对事件的记忆，例如，如果您目睹了创伤性事件，您会正确地掌握一些事实。如果有人问您，您会编织一个比这更丰富的叙事，基于您拥有的正确事实的锚点，并结合普遍知识。但您会有一个叙事。一旦您生成了那个叙事，您很可能会重复那个叙事，并声称您隐藏的所有事情实际上都是正确的事情。在水门事件/弹劾时期，约翰·迪恩有一个绝妙的例子。约翰·迪恩，您太年轻了，不知道。他曾是尼克松的私人律师。所以，约翰·迪恩参与了掩盖事件。约翰·迪恩最终意识到，他长期不进监狱的唯一方法是说出一些关于尼克松的真相。约翰·迪恩是一位杰出的证人。他会详细地记住这些谈话，并非常有说服力地讲述。很久以后，一些秘密录音带被公布，约翰·迪恩正在回忆这些谈话。人们发现，约翰·迪恩的记忆力很好，但并不特别。他能够生动地，并在某种意义上准确地描绘出当时情况的基调。顺便说一句，这是对意识的一个绝妙描述。[音乐]您的意思是，您今天的立场是什么？也许每天都在变化，但您今天的立场是什么？意识在我们整个复杂的认知过程中有多重要？它只是一个小的叙事制造者，还是对智能至关重要？这是一个非常困难的问题。我问了弗朗西斯·克里克关于意识的问题。他滔滔不绝地讲了很久关于遗传的事情。以及孟德尔如何知道有些东西是遗传的，以及生物学家如何理解有些东西是遗传的，而这些东西与众不同，并且遗传性状并没有被冲淡成灰色，而是“这个或那个”，并得以延续。这对于生物学来说是绝对基础性的。生物学家花了数代人的时间才理解遗传学，又花了另外一两代人时间才理解遗传学来自 DNA。但是，孟德尔思考之后不久，生物学家就意识到遗传学存在一个深刻的问题。弗朗西斯·克里克会说，这就是为什么我在研究意识。但当然，他没有像孟德尔那样的决定性证据。这是他作为物理学家的弱点。我读了他的书，但您与科里·班克合著的……克里斯托夫·戈恩。我发现它不令人信服，原因在于第一个决定性证据。开始收集观点，而没有真正采取一个非常强烈的观点。因为我没有看到切入点。没有看到决定性证据。从物理学的角度来看，我没有看到切入点。而神经生物学，一旦他们理解了集体现象和动力学的进化，可以被描述为时钟，一个集体现象。我想，啊，这是我所知道的物理学与任何神经生物学家截然不同的地方，我可能有所贡献。现在，从物理学的角度来看，我无法抓住意识。从我的角度来看，这是正确的。当然，人们……就像其他人一样。您认为自由意志是一个密切相关的问题。您相信自由意志吗？物理学家会随意回答，然后又退缩，又退缩，又退缩。当他们意识到他们给出的答案必须与物理定律根本矛盾时。回答自由意志和意识的问题自然会导致物理学上的矛盾，因为最终会涉及到量子力学，然后您就会陷入理解宇宙中有多大一部分是决定性的，有多少是预先决定的。有很多不同。如果您不深入研究，您可以说，基本上，所有相关的神经生物学都可以用经典运动方程来捕捉。因为在我看来，大脑的奥秘不在于量子力学，而在于当您有一个由 10 的 14 次方个部分驱动的动力学系统时会发生什么。纯粹的复杂性是，如果物理复杂系统至少和相干性物理学或量子力学一样被误解。我们可以去那里一会儿吗？您谈到了吸引子网络，也许您可以更广泛地说说，什么是吸引子网络，以及在这些或其他复杂系统中出现的有趣的神经网络动力学？您必须愿意用巨大的维度来思考，因为存在巨大的维度。一个系统的行为可以被认为是那个巨大维度中一个点的运动。而吸引子网络就是一个网络，其中有一条线，其他线随着时间收敛于它。这就是吸引子网络的本质。您需要在高维空间中做到这一点。最简单的方法是在高维空间中做到这一点，其中一些维度提供了耗散，物理系统轨迹可以收缩的地方。它们必须在某些地方被追踪，在其他地方扩展。有一个基本的经典统计力学定理，称为刘维尔定理，它说您不能在所有地方收缩。如果您在某个地方收缩，您就会在其他地方扩展。在有趣的物理系统中，您会得到驱动系统，其中有一个小的子系统是感兴趣的部分，其余部分是收缩或扩展。物理学家说，这是系统中熵的流动。但基本上，吸引子网络是动力学漏斗。如果您从动力学系统的某个地方开始，您很快就会发现自己走在一条相当确定的路径上，这条路径通向某个地方。您从另一个地方开始，您就会走到另一条路径上。但您不会有所有可能的事情，您有一些确定的路径是被允许的，并且您将收敛到它们。这就是您如何制造一个稳定的计算机，这就是您如何制造一个稳定的行为。所以，总的来说，从物理学的角度来看，这些网络中的涌现稳定性是什么？研究这些高维系统的动力学有什么有趣的特征？大多数动力学系统，假设它们是驱动的。它们是驱动的，它们是耦合的，它们连接到一个能源，所以它们的动力学在继续，因为它与能源耦合。大多数情况下，很难完全理解动力学行为将是什么。您必须运行它，您必须运行它。有一部分系统具有数学家称之为阿尔法诺函数的东西。在这些系统中，您可以通过说您正在下坡来理解收敛动力学。这就是我在 80 年代早期制作的简单模型中发现的，而我从未知道阿尔法诺函数是什么，它是一个能量函数。所以，您可以理解为什么会有这种通道，为什么会有这种路径，而无需无限详细地跟踪动力学。您开始从山上滚下一个球，它最终会滚到山谷底部。您知道这是真的，而无需实际观察球滚落。系统有一些特性，当您知道这一点是正确的。并非所有系统都如此。大多数系统都不是。但它为您提供了一个思考稳定系统、拥有吸引子行为的系统的隐喻，即使您找不到它们背后的阿尔法诺函数或能量函数。它为您提供了一个思考的隐喻。说到思考，如果我眼中闪烁着兴奋的光芒，说：“你知道，我对深度学习和神经网络感到非常兴奋，我想创造一个智能系统。”然后我来找您作为顾问，您会推荐什么？这是一个徒劳的追求吗？是神经网络吗？应该探索什么样的机制？什么样的想法？嗯，您看看这些简单的神经网络，它们不太支持多重假设。我曾试图用非常简单的系统来做一些您可能认为是思考的事情。思考涉及到在采取物理行动之前进行心智探索的能力。就像我们之前提到的，下棋，在脑海中可视化，模拟不同的结果。现在，您可以做到这一点，因为您已经预先计算了各种事情。但我认为神经生物学所做的方式，并没有完全预先计算好一切，而是作为一个动力学系统的一部分，您正在以一种具有创造性元素的方式进行探索。就像……有一个创造性元素。而在一个简单的神经网络中，您有一个您从中学习的实例集合。如果您在这个空间内，您知道，如果一个新问题是这个空间内的问题，您可以相当依赖该系统来提供一个好的建议。另一方面，如果查询来自该空间之外，您就不知道系统将如何表现。没有什么限制。所以，人工智能神经网络总是……我有一个例子。测试集必须来自与示例相同的总体。来自一个完全不同的总体。您无法期望得到正确答案。在分布之外，对吗？没错，没错。所以，如果您看到一个球在黄昏时滚过街道，如果您的训练集中没有“孩子可能紧随其后”的想法，那么神经网络就不会想到这一点。而您的生物学中有什么东西允许这样做呢？是的，有什么东西允许这样做。有什么东西允许您在训练集总体之外。概率是训练集不仅仅是示例的集合。它比这更复杂。这又回到了我自己的问题：理解是什么？您谈到了演绎推理在科学中的价值，相对于大量数据收集。所以，有点像思考问题，也许是您物理学家的那一面，回到第一原理思考。那么，您认为演绎推理在科学过程中有什么价值？嗯，显然有一些科学问题，解决它们的途径是通过分析大量数据。宇宙学就是其中之一。我从来没有写过我特别有见地的类型的问题。不过，我想说，如果您看看宇宙学，吉姆·皮布尔斯，今年的诺贝尔物理学奖得主之一，来自当地物理学系。他所做的那些事情，他从不处理大量数据，从不，从不。他利用了别人在这方面的概括。但我最终会归结为思考问题，比如一个特定现象运作的原理是什么？物理学总是会寻找描述系统的方式，这种方式超越了细节。而生物学之所以运作，是因为细节。而物理学家，我们想要一个正确的解释，尽管有细节。他们会留下我们作为物理学家无法回答的问题，因为答案无法以这种方式找到。有一个比喻，如果您熟悉脑机接口的整个领域，它最近变得越来越深入地研究和开发，特别是像 Neuralink 这样的公司，埃隆·马斯克……我知道他们一直在……在让眼睛能够控制事物，或者让思维模式能够移动曾经连接的肢体，现在通过计算机连接。没错。在 Neuralink 的案例中，他们正在进行千兆连接，能够进行双向激活和读取神经尖峰。您对这种计算机大脑互动在近期或远期未来有希望吗？能够扩展心智能力、认知能力或理解心智？当我第一次对神经生物学感兴趣时，大多数从业者认为您可以通过一次记录一个细胞的技术来理解神经生物学。一次一个细胞。像 David Hubel 这样的人非常强烈地反映了这种观点。而现在，几代人之后，一群人认为，直到我们能够一次记录 10 的 4 次方或 10 的 5 次方个细胞，我们才能真正理解大脑是如何运作的。总的来说，我认为这是正确的。您必须开始能够寻找事物的集体模式、集体运作。它不依赖于这个动作电位或那个细胞。它依赖于这组细胞的集体属性。
与这类模式等等相连，而你将看不到，也无法了解那些集体活动是什么，除非同时记录许多细胞，问题是同时记录多少？阈值是多少？那就是，那就是，不，不，因为我们在运动皮层进行了艰苦的探索，运动皮层做的事情很复杂，但你试图解决的问题却非常，非常简单。
现在，神经生物学以一种与工程师不同的方式来处理这个问题。工程师会安装六个高精度的步进电机来控制一个肢体，而不是控制两千块肌肉纤维，其中每一块都需要单独控制。因此，理解如何以一种更宽容、更神经元化的方式做事，我认为将使工程界受益。工程界触及了压力传感器，或者让它们拥有一个由数万亿个压力传感器组成的阵列，所有这些传感器都不准确，但它们都在不断地自我校准。
所以你的希望是，你对未来工程师的建议是拥抱像生物系统那样混乱、易出错的系统的大混乱，我认为那可能是解决其中一些问题的途径。我认为你将能够以这种方式做出更好的计算，制造出更好的机器人，而不是试图将事物强行塞入机器人中，因为关节电机很强大，步进电机很精确，但那样的话，你内心的物理学家将永远迷失在这样的系统中，因为没有简单的基本原理来探索如此庞大的系统。
而且我们还看到，是的，有很多物理学，纳维-斯托克斯方程，非线性流体动力学的方程，其中包含大量的物理学。原子和分子的所有物理学都已丢失，但已被取代，或者被另一组方程取代，这些方程和瓶子的方程一样真实，尽管这些方程在一般生物学中可能更难找到。但作为物理学家，我认为可能有一些这样的方程，它们就在那里，就在那里。
如果物理学能做出任何贡献，它可能会有助于找出这些方程是什么，以及如何从中捕捉它们。生物学。你会说这是我们这个时代的主要开放性问题之一，发现这些方程吗？是的，如果你看看分子，看看心理行为，这两者在某种程度上是相关的。有细节的层次，有集体性的层次。要捕捉这一点，要以一种模糊的方式捕捉这一点，在向上发展的过程中，要看到这些事物如何能够真正地联系在一起。
所以，在我们的宇宙中，似乎有很多优美的方程可以描述事物行为的基本方式，这令人惊讶。我的意思是，它可以被压缩成方程，它是简单而美丽的。但是，分子和大脑之间的联系是否同样可以被压缩成优美的方程，这仍然是一个悬而未决的问题。但你的耳朵听起来有些……嗯，你既是物理学家又是梦想家，你有一种感觉，是的，我可以，虽然我只能做物理学的梦，物理学塑造了……
有一本有趣的书叫《爱因斯坦的梦》，在描述他的一生和时间可能如何但却不是如何的章节之间交替。当然，这之间的联系是爱因斯坦在思考时间时可能不得不思考的时间的本质。
所以，说到时间的本质，在神经生物学领域，你是一个著名且有影响力的个体，但最终只是一个拥有大脑、生活在人类境况中的人类，但你最终是凡人，就像我们所有人一样。研究心智作为一个机制是否改变了你对自身死亡的看法？它确实改变了，尤其是当你年纪大了，身体在各个方面都开始衰败时，我变得更加意识到，一个人所包含的东西是存在于大脑中，而不是存在于身体中，你担心埋葬。
在一定程度上，对于那些写下方程、梦想、笔记、日记、思想碎片的人来说，在他们死后、消失后，在他们的身体死后、消失后，他们的思想确实会继续存在。在我的一生中，我看到了一个巨大的转变，如果我的父亲去世了，除了他写下的东西之外，关于他的事实很少会被记录下来。而现在，在我看来，在数字世界里，关于我们每个人被记录下来的事实数量是无限的。所以，关于死亡的整个问题，对于几十年前的人来说，可能与现在或未来几代人不同。也许在某些定义下，我们已经变得不朽了。
是的，是的。最后一个简单的问题。生命的意义是什么？回顾过去，研究心智，我们这些猿类的后代，在这个小小的地球上，我们存在的意义是什么？哦，意义和理解一样难以捉摸，以某种方式相互关联，也许吧。它很滑溜，但有没有什么东西，尽管很滑溜，你却能抓住足够长的时间来表达呢？
我一直惊叹于在生命系统中定义事物的难度，从这个意义上说，一个氢原子几乎和另一个一样，一个细菌不像另一个，即使是同一种名义上的细菌，事实上，物种的整个概念都变得有点模糊了。物种是否存在于某些环境类别缺失的情况下？很快，人们就会发现，生物学中的一切都是活的，但它是否真的有任何元素，单独来看会被认为是活的，在我看来就变得有点模糊了。
所以，从某种意义上说，意义的想法是由个体拥有的，比如一个有意识的生物。你说这一切在某种程度上是相互关联的，以至于可能根本就没有个体？我们都是一种复杂的生物系统，在所有不同的层面上，人类从哪里开始，人类在哪里结束，这是不清楚的。
是的，我们是神经生物学，我们是……哦，你说你的皮层在思考，但脊髓也做了很多事情。所以我们问，思想的本质在哪里？它只是新皮层吗？它不能是……是的，也许要理解和构建思想，你必须和新皮层一起构建宇宙。它们都通过脊髓相互连接。
约翰，今天和你交谈是莫大的荣幸，非常感谢你的时间，我真的很感激。嗯，谢谢你给我这个挑战，和你交谈，看看你是否能在五分钟内从中获得任何连贯的意义。美丽。感谢收听与约翰·霍普菲尔德的对话，并感谢我们的赞助商 Cash App。下载并使用代码 EXPORTCAST，你将获得十美元，十美元将捐给 First，一个激励和教育年轻人的组织，让他们成为未来的科技创新者。如果你喜欢这个播客，请订阅，并在 Apple Podcasts 上给它五颗星，在 Patreon 上支持我，或者在 Twitter 上与我联系 @LexFriedman。现在，让我用约翰·霍普菲尔德的一句话来结束，摘自他题为“现在该做什么”的文章：“选择问题是决定一个人在科学上能取得什么成就的首要因素。我通常对科学问题只有相对短暂的注意力，因此，随着我目前的问题得到解决，或者我将它们归类为我能力无法解决的问题，我一直在寻找更有趣的问题。”他接着说：“我在科学上所做的一切完全依赖于专家的实验和理论研究。我非常尊重他们，尤其是那些愿意与我这样不是该领域专家的人交流的人。”我只想补充一点，专家擅长回答问题，如果你足够大胆，就问你自己的问题。感谢收听，希望下次再见。