Transcription
主持人：大家好。请大家安静一下好吗？再次感谢大家今天参加我们的活动。我希望你们度过了愉快的一上午，听了不同会场里各种各样的讲座。现在，在午餐之前，我们将有一个非常有趣的讲座，主题是理解大脑的普遍问题以及大脑是如何工作的。这个讲座将由马特·戈鲁布教授主讲，他是艾伦学院的助理教授。他拥有卡内基梅隆大学的博士学位，并在斯坦福大学做过博士后研究，然后加入我们。他的工作在神经科学、神经工程、机器学习和数据科学的交叉领域，非常有趣。他已经获得了多项奖项——特别是，获得了美国国立卫生研究院颁发的非常有声望的K99/R00奖。所以我们非常高兴今天能请到马特·戈鲁布教授。欢迎。
[掌声]
马特·戈鲁布：太好了。非常感谢大家今年参加我们的研究展示会。我希望你们现在和将来都能继续享受一整天的讲座、海报和讨论。所以，我在艾伦学院的实验室是系统神经科学与人工智能实验室。我们处于神经科学和机器学习的交叉点。我们设计计算模型和分析工具来逆向工程大脑中的计算。因此，我们与实验实验室密切合作，这些实验室测量和操纵大脑中大规模的神经活动，我们为这些实验平台开发机器学习技术，以试图理解神经计算的一般原理。那么，什么是神经活动，它看起来是什么样的？所以，如果你通过将电极放在大脑中一个神经元旁边来记录单个神经元的电活动，你会看到一个电压信号，看起来是这样的。所以，这里有一些低幅度的噪声，然后是这些高幅度的事件，称为尖峰。而这些尖峰代表了大脑中信息的基本单位，计算的基本货币。所以，当我们研究神经活动时，我们通常只是将这些嘈杂的电压信号简化为每个尖峰的时间。而借助现代记录技术，我们可以同时记录许多许多神经元。所以，这是我们处理的数据类型。这是猴子在做决定时，来自猴子大脑中几百个神经元的两秒钟的神经活动。所以，这里的每一个刻度标记代表一个特定时间的单个神经元尖峰。因此，我们实验室和我们这个领域的任务是查看这些数据并设计实验来收集这些数据，以试图了解大脑以及它如何进行计算。所以，我今天的讲座是关于如何模拟记录的神经活动，以推断体内神经元之间或大脑区域之间的连接性，也就是说，在活的、有行为的大脑中。所以，最后这一点很重要。在连接组学领域有许多相关工作，它重建的是体外或生命结束后的连接性。所以，这是通过将大脑切成非常薄的切片，放在显微镜下观察神经元的结构来完成的。但是，如果我们能在体内，在活的、有行为的大脑中做到这一点，我们可以走得更远，我们可以问，当大脑进行计算时，例如在决策或学习过程中，信号沿着这些连接流动是什么样的。如果我们能解决这些问题，那么在未来的工作中，我们将能够理解不同的大脑网络如何执行分布式计算。通过它们的连接，通过流经这些连接的活动的动态。我们可以问，当大脑学习时，连接是如何变化的，我们也许能够发现控制突触可塑性的学习规则。所以，这一切都是为了试图理解我们的大脑如何计算和学习以驱动我们灵活的行为。而这方面的进步可以，并且已经启发了人工智能系统的创新，以及改善我们大脑健康和功能的新方法。所以，我将把今天的讲座分为两个小片段。所以，首先我们将讨论局部网络连接的主动学习，研究小鼠大脑中非常小一块的运动皮层。然后，我们将过渡到一个更大的尺度，讨论深度学习动力学系统，以理解小鼠大脑中不同大脑区域之间的通信。所以，这个第一个故事主要借鉴了我们去年在NeurIPS上发表的工作。所以，这代表了我们团队与凯文·贾米森（Kevin Jamison）团队在艾伦学院的合作，以及凯文·戴伊（Kayvon Daie）在南湖联合的艾伦神经动力学研究所的实验团队的合作。这项工作由安德鲁·瓦格纳梅克（Andrew Wagonmaker）共同领导，他刚毕业成为艾伦学院的博士生，以及梅璐（Lu Mei），她曾是我们团队的博士后，在她离开并开始在佐治亚理工学院建立自己的实验室之前。所以，这个项目围绕着一个非常强大的显微镜展开，用于光学测量和操纵神经活动。所以，这个显微镜成像的是一只活体小鼠大脑运动皮层的一平方毫米区域，捕捉数百个单独的神经元，这些神经元被标记为红点。所以，显微镜能够分辨这些神经元的细胞体，也就是神经元最大的部分，但它无法分辨每个神经元从其他神经元接收的 10,000 个突触。所以，我们想尝试从网络活动中推断出这种连接性。所以，这个显微镜实际上可以拍摄这些神经元放电的电影。所以，你可能会说，好吧，我以为我们说尖峰是电信号，电压信号。我们怎么能成像电压信号呢？这非常酷。所以，我们可以通过基因工程改造小鼠，使其神经元表达荧光蛋白，这样当神经元放电时，它们就会发光。它们会发出光子。所以，这使我们能够成像神经元放电的“烟花表演”。我稍后会通过视频展示。但首先，为了让我们的目标具体化，我们想推断这个神经元网络的连接图。基本方法是分析每个神经元的活动如何动态地预测其他神经元的活动。所以，现在我们听众中可能有一些统计学家会告诉我们，这不足以建立因果联系。所以，一个神经元可能预测另一个神经元，即使它们没有物理连接。例如，它们可能共享一个共同的输入。所以，为了实现对网络结构的因果发现，我们也对这些神经元的活动进行因果操纵。这也很酷。这些神经元也经过基因改造，表达一种膜蛋白，一种离子通道，当你用特定波长的光照射它时，离子通道就会打开，允许离子进出细胞，这会导致细胞放电。所以，我们可以用激光靶向这些神经元，在组织上快速移动它们，基本上让神经元——单个神经元或神经元集合——随意放电。所以，这使我们能够区分神经反应中的因果关系和相关性。所以我将展示一个激光光刺激的视频。所以，我们实际上一次用激光靶向 10 个神经元。所以，在这里，白色的圆圈，它们表示每次激光发射时被靶向的神经元。当我们将激光移动到整个神经元群体时，这些白色的圆圈会在屏幕上跳动。所以，请注意这些白色的圆圈。所以，你在这里看到的是大量的黄色烟花，这表示活动增加，蓝色表示活动减少。用肉眼最容易看到的效果是，白色圆圈里有很多黄色。所以，这意味着当我们用激光照射神经元时，它们会相当可靠地放电。但是，网络中其他地方也有很多活动。所以，这就是我们在白色圆圈之外看到的东西，也是我们用来估计电导率的东西。所以，这实际上不是最具挑战性的机器学习问题。所以，如果你用激光照射一个神经元，另一个神经元就会可靠地放电，我们可以推断出这些神经元之间存在直接连接。所以，更重要、更有趣的机器学习问题是如何智能地设计这些刺激模式——也就是用激光照射哪些神经元——以便我们能够用尽可能少的数据来学习一个准确的网络模型。所以，这是一个非常重要的问题，因为这些实验资源消耗巨大。它们非常昂贵。由于一系列实验限制，每个实验实际上只能持续大约两个小时。所以，用更少的实验时间做更多的事情在科学上可能非常有意义。例如，学习连接性可能只是一个更大实验的一部分。如果我们能用更少的数据学习这种连接性，那么就可以腾出更多的实验时间用于更具雄心的实验附加项。所以，这被称为主动学习问题。在机器学习或统计学中，它被称为实验设计。所以，我们首先构建一个神经活动模型。对我们来说，最简单的有效模型是这种形式的自回归模型。所以，这里，x 是每个神经元随时间变化的荧光水平的向量。所以，x 向量中有一个元素对应于我们识别的每个神经元。所以，x 是神经活动，我们将其建模为根据某些线性动力学与输入 U 一起演变。所以，这些输入 U 代表了图案化的激光光刺激。所以，哪些神经元被照射。所以，我们将这些模型参数 A、B、V 拟合到数据中。然后，我们的核心目标是，我们基本上想设计我们获得的数据来拟合模型。所以，我们想设计光刺激输入，那些 U 向量，它们将是最具信息量的。希望主动设计能够最大限度地减少学习一个好模型所需的数据量。所以，安德鲁在这里深入研究了主动学习理论，并得出了一个关键结果，即你的估计模型的精度与输入到 B 输入矩阵的右奇异值中的光刺激输入的量成正比。所以，如果我们想学习一个更好的模型，我们应该将激光模式集中在由 B 的顶部右奇异向量跨越的高维方向上。所以，我们构建了一个使用这个结果来主动选择刺激模式的算法。我们在模拟和真实实验数据中都发现，在达到给定的预测能力所需的数据量方面，我们可以实现高达两倍的减少。所以，这正是我们追求的结果。我们将在讲座结束时再次回顾这个结果。但现在，我想过渡到一个更高层次的大脑视图。所以，我们一直在讨论运动皮层的一小块区域以及单个神经元之间的连接。所以，现在，与其从那个小尺度思考，不如让我们思考一下大脑区域之间更大范围的通信。所以，在这里，我们将查看来自数千个神经元的记录，这些神经元分布在许多大脑区域，并同时进行记录。我们将采取一个更高层次的视角，这将使我们能够拥抱这些数据的大规模性。所以，我们将做我们作为计算机科学家最擅长的事情。我们将寻找合适的抽象层次来解决问题。在这里，通信通道是神经元到神经元连接的一个更高层次的抽象。所以，这是我们今年在ICML上发表的工作。这项工作由我们实验室一位非常有才华的研究生贝尔·刘（Bell Liu）以及实验室一位杰出的博士后杰克·萨克斯（Jake Sachs）领导。所以，这个项目的出发点是，神经记录技术现在允许我们同时记录来自数十个大脑区域的数千个神经元的活动。所以，这是我一开始展示的数据版本，现在所有这些不同的尖峰序列，所有这些不同神经元放电的时间，现在都根据它们被记录的大脑区域进行了着色。所以，我们感兴趣的问题是，给定这些大规模的神经数据，我们能否在每一刻推断出谁在与谁交流？哪些区域在相互交流，它们在说什么？所以，每一刻交流的信号是什么？所以，在这项工作中，我们说，让我们尝试仅从观察数据中推断这种通信。所以，也就是说，没有我们在讲座前面部分使用的因果操纵类型。你应该说，马特，关于因果关系与相关性的全部说法呢？所以，是的，这是一个严重的问题。但是，这类因果操纵实验实际上还没有在这个大脑范围的尺度上进行过。这只是刚刚开始变得可能。我们实验室正在努力为未来的工作提供资金。但在目前的工作中，我们确定了一个重要的中间步骤，那就是，我们将接受观察数据的这个前提。但是，我们将根据模型解释因果现象的能力来评估我们的模型。所以，我稍后会详细解释。但首先，让我告诉你一些关于我们构建的模型。所以，我们开发的模型叫做多区域潜在因子分析通过动力学系统。这是一个难记的名字。它与文献有关。我们称之为MRLFADS。所以，在MRLFADS中，我们为每个单独的大脑区域构建一个非线性动力学系统来模拟该大脑区域的动力学。我们将这些非线性动力学系统实现为循环神经网络。每个循环神经网络的任务是尝试重现我们在实验期间记录的实际神经数据。所以，它通过一系列深度学习层来实现这一点，这些层特别适合神经数据。我们推断出每个神经元在每个时刻的预测放电率，并训练模型，使其预测的放电率以我们可能最好的方式解释数据。所以，我们想模拟通信。我们想推断通信。所以，我们将把它构建到模型中。所以，我们在大脑区域之间建立连接。所以，这里是大脑区域一到区域二。这里是区域二到区域一。然后这里是所有到所有。所以，我们将允许模型探索所有可能的通信通道。通过拟合数据和一些正则化惩罚，我们将修剪掉未使用的通道。然后，我们还将推断一个初始状态和一个来自未观察区域的时间步进输入。所以，在这些记录中，我们记录了许多不同的大脑区域，但我们通常无法完全覆盖大脑。可能有一些重要的大脑区域我们错过了。所以，我们想考虑这些其他大脑区域可能对我们记录的大脑区域产生的影响。所以，我们可以使用无监督学习来推断这种未观察到的输入。所以，对于机器学习爱好者来说，这是通过一个顺序变分自编码框架完成的，在这个框架中，我们学习推断的输入、初始状态和通信，所有这些都被建模为潜在变量，并且是从数据中无监督学习的。所以，还有许多其他细微的特征使其在实践中有效。所以，如果你有兴趣了解更多细节，可以稍后与我聊天或查看论文。但让我展示一下模型的功能。所以，首先，我们将MRLFADS应用于大约 40 个我们生成的合成多区域数据集。所以，这为我们提供了因果网络结构以及实际通信的信号的真实情况。所以，为了生成一个数据集，我们将一组RNN连接起来，这些RNN将模拟单个大脑区域。我们将它们以某种有趣或随机的方式连接起来。我们为这些大脑区域提供一些外部输入。然后，我们训练整个网络执行某种认知神经科学任务，对这些输入进行某种计算，比如，做出决定或建立某种工作记忆，诸如此类。所以，这构建了一个数据集，它在外观和感觉上都与我们在实验室收集的多区域数据集相似，但我们拥有所有这些底层的真实情况来评估我们的模型。所以，我们将拟合MRLFADS。我们将大量先前开发的比较方法拟合到这些数据集中。最大的结果是，与数据重建相比，MRLFADS 确实极大地优于这些先前技术。所以，它很好地拟合了数据。但这并不是我们真正的目标。我们并不真正关心曲线拟合练习，而是模型确实识别了这些合成数据中的因果网络结构以及跨越每个连接的逐时信号。所以，这些是我们希望确保我们的模型能够重建的因果现象。这实际上让我们相当惊讶。我们没想到在没有我们讲座第一部分讨论的因果操纵的情况下也能做到这一点。所以，事实证明，通过贝尔和杰克的某些巧妙的设计原则，我们能够组合出一个非常有效的“锁和钥匙”谜题。所以，我们也将其应用于小鼠大脑的大规模电记录。所以，这些实验同时记录了插入小鼠大脑的四到五个线性探针。所以，每个探针大约有 400 个电触点。所以，总共有大约 2000 个电触点可以记录小鼠大脑中的神经元。所以，在小鼠执行决策任务时，记录了这些神经活动。所以，我们将MRLFADS拟合到显示该任务中决策相关活动的五个区域的数据。所以，在这里，我展示了这些神经元放电率的一些交叉验证预测。所以，MRLFADS 的预测是蓝色的，然后记录的神经活动显示为黑色。所以，这里的刻度标记，那是每个神经元实际放电的时间。所以我展示了五个示例神经元，每个大脑区域一个。然后，这些黑色的曲线显示了一个平滑的随时间变化的放电率，基本上是通过平滑这些尖峰时间来获得的。所以，我们看到MRLFADS在这里做得相当好。这一切都很好。但同样，我们不关心曲线拟合练习。我们真的想以因果的方式评估我们的模型。所以，我们如何在真实的大脑中做到这一点，而我们没有像合成网络那样拥有所有这些真实的地面真相呢？所以，在这里，我们利用了这样一个事实：在实验的一个子集中，一个大脑区域受到了因果操纵。所以，使用我们之前讨论过的光遗传学技术，光被用来抑制或关闭一个大脑区域。所以，在这里，那是内侧额叶皮层或ALM。所以，然后我们想问，在从未见过这些光抑制数据的情况下，我们的模型能否解释这种光抑制对整个大脑的因果影响？所以，首先，为了给你一个粗略的数据视图。所以，在这里，我展示了在ALM光抑制反应中，这四个其他大脑区域的实际神经元放电率的平均变化。所以，我们在训练好的MRLFADS模型中模拟了这种光抑制。所以，基本上在计算机上，我们在模型中关闭了ALM，模仿了ALM的光抑制。我们看到的是，MRLFADS 实际上预测了效应的正确顺序。所以，通过关闭ALM，这些其他大脑区域中的每一个受到的因果影响程度。所以，我现在总结一下。所以，我们首先讨论了如何使用主动学习和光刺激来高效地发现因果网络结构。然后在大型多区域设置中，我们发现通过正确的模型，我们可以拟合在没有因果操纵的情况下收集的观察数据。我们仍然可以解释因果现象。所以，展望未来，我们非常关注这两个前沿的交汇点。所以，我们能否在非线性模型、深度学习模型中进行主动学习，有效地生成人工智能指导的因果操纵？也就是说，让模型告诉我们需要什么数据来改进的实验。我们还对这些工具支持的一些基础神经科学研究感到非常兴奋。例如，如果我们能测量——如果我们能测量网络结构，然后让动物学习一些需要利用这些神经元的东西，在学习过程中改变这些神经元的使用方式，然后我们可以在学习后再次测量网络结构，那么我们就可以确切地研究大脑在学习过程中是如何变化的。哪些连接发生了变化？这可以帮助我们理解指导我们大脑中突触可塑性的学习规则。我们还对解释和理解这些通信信号以及我们可以用这些模型推断出的全脑动力学感兴趣，以帮助我们理解决策计算是如何在大脑中实现的。最后，如果我们能模拟神经活动的动力学，并且能模拟这些靶向电路操纵的效果，那么闭环控制大脑状态怎么样？所以，想象一架飞机。我们有很好的飞行动力学计算机模型，以及如何调整控制面可以引导飞行。所以，自然而然地，我们有可以自动驾驶飞机的计算机。我们能对大脑做同样的事情吗？所以，我知道这听起来有点科幻，但如果我们能做到这一点，我们就可以因果地检验所有关于神经活动如何驱动计算和行为的理论。它在临床应用方面也可能非常强大。所以，对于患有精神或神经系统疾病的人来说，他们的神经活动可能会从病理性大脑状态转向更健康的大脑状态，从而真正受益。所以，说到这里，我想感谢我的实验室，我们的合作者，杰克·萨克斯（Jake Sachs），他为我与你分享的第二个项目做出了贡献。他正在就一个关于大脑学习的相关项目发表演讲。如果你有兴趣，请在午餐后收听“人工智能在生物和健康领域的应用”会议。我还要感谢那些慷慨支持我们工作的人，如果有人想了解更多信息或只是想聊聊，请在讲座结束后找我，或者请给我发邮件，以便我们安排时间聊天。我很乐意回答任何问题。
[掌声]
是的？
听众：我们离完全模拟一个非常简单的系统，比如线虫，还有多远？
马特·戈鲁布：嗯，这是一个很好的问题。所以，线虫有几百个神经元。它们的连接图是完全已知的。这让我们走了很长的路。但是，仅仅知道连接哪些神经元相互连接，并不能让你模拟太多，因为你还需要完全了解所有这些连接的强度以及信号通过这些连接流动的动力学，以及每个神经元如何整合这些信号。而这仍然相当复杂。所以，对于像这样的非常简单的动物，我们可以走得很远。我们也有一些大型生物的连接图，比如果蝇，它有 10 万个神经元。这在去年发布了。所以，这正在推动很多进展。但是，对于我们来说，在活的、有行为的大脑中测量这些系统，在那里我们可以真正看到活动是如何汇集在一起的，以及它是如何动态整合的，这一点也很重要。前面有一个问题。
听众：你的工作似乎主要只是推断，即使有，也是通过大脑变化来推断髓鞘变化的影响，而且似乎假设它们基本上是单向的。难道你不能看到一个髓鞘比我们想象的更复杂吗？行为对其他变化有影响吗？
马特·戈鲁布：是的。所以，问题是，我们是否只看单向连接？实际上，我们建模的所有内容都允许双向连接。所以，我们探索的是完全连接的连接。我是否误解了这个问题？
听众：所以，髓鞘的变化，尤其是在强化学习中，是髓鞘强化了连接，并通过增厚髓鞘来改变我们的思维方式。但理论上，它们也可能在髓鞘内部有实例。我们有像多发性硬化症这样的自身免疫性疾病，它不受控制地发生，但机制在那里。它可能以某种方式导致。我只是想知道，因为你只是从神经元本身的电活动中推断，而不是观察髓鞘的结构，你似乎有错过一些重要见解的风险。
马特·戈鲁布：是的，这是一个很好的观点。所以，我们正在观察神经活动，我们不会获得因果关系——我们不会获得亚细胞层面的机制，告诉我们连接为何改变或活动为何改变。所以，我们可以推断出一些东西发生了变化。一些变化使得这种连接或这种通信变得更强或更弱。但是，我们无法说出导致这种情况发生的细胞机制。是表达了更多的离子通道吗？移除了更多的离子通道吗？生长了突触吗？诸如此类的事情。我们说不出来。好了。那么，感谢大家的关注，我很乐意稍后与任何人聊天。非常感谢。
[掌声]