Transcription
感谢您加入改变世界的“印度首届未来科技见面会”播客。今天，我非常荣幸能与您一起，邀请到著名的神经科学家 Sheila Nirenberg 博士。她以其在神经编码和旨在治疗失明的创新假肢设备开发方面的开创性研究而闻名。她目前在康奈尔医学院担任神经病学和神经科学的 Nanette L. Laitman 教授，同时也是计算神经科学的教授。她的工作已发表在享有盛誉的期刊上，并因其对科学的贡献获得了无数荣誉，包括麦克阿瑟奖学金、布莱斯勒奖和芭芭拉·麦克林托克女性创新者奖。Nirenberg 博士是两家初创公司的创始人：Bionic Sight，专注于开发用于视力恢复的假肢设备；以及 Nirenberg Neuroscience，专注于创造利用她神经编码研究的小型机器人。今天的讨论主题将是“利用仿生眼恢复视力”。博士，我真的非常感谢您抽出宝贵时间参加播客。如果您能先解释一下什么是失明，从部分、完全先天性失明，以及导致完全视力丧失的总体原因，那就太好了。
嗯，谢谢您的邀请。当然，失明有很多不同的种类。我的意思是，我们真正关注的是由视网膜退行性疾病引起的失明。在您的视网膜中，您知道，很多这些情况是由视网膜损伤引起的，而您的视网膜就像眼睛后部的一个微型图像处理器。它的工作方式是，人们认为您的眼睛就像一台相机，而视网膜是它后面的胶片。但这并不完全真实，视网膜实际上是一个微型图像处理器。它接收图像，然后进行处理，然后将其发送到大脑。这种处理的作用是从视觉世界中提取特征，以便大脑更容易形成视觉感知等等，识别面孔，在环境中导航。因此，许多失明的原因是由于光感受器（输入细胞）死亡，因为如果它们无法接收任何东西，那么无论您是否还有视网膜电路或其他任何东西，信号都无法进入您的眼睛，然后您就会失明。我们正在针对的疾病之一是色素性视网膜炎。在这种情况下，患者首先会出现夜盲症，即他们晚上什么都看不见。然后，他们的视野逐渐收窄，就像一个隧道，他们失去周边视力，视野变得越来越小，直到他们只能通过一个像纸巾卷筒一样的小管子看东西。有时甚至会变得更小，像吸管一样。然后随着时间的推移，即使是中心区域，他们也只能看到中心，而看不到两侧。最终，中心区域也会消失，最终他们会变得非常非常失明。还有其他类型的失明，比如黄斑变性，您会失去中心区域的视力，但周边视力是正常的。这涵盖了数百万人。人们经常有亲戚患有黄斑变性或 Stargardt 病。所以，我主要告诉您的是基于视网膜的疾病。当然，您也可能患有白内障或青光眼等其他可能阻碍您视力的疾病。但白内障可以通过手术治疗，青光眼是可以预防的。因此，定期检查眼压非常重要，这样您就不会走上青光眼的道路，因为退行性疾病确实很难治疗。
好吧，我承认我也没有检查我的青光眼。所以，我们都需要这样做，对吧？对，非常感谢您能向我们介绍人们失明的大部分原因，从色素性视网膜炎到黄斑变性。您能否解释一下您一直在进行的研究，即神经编码，以及它在逆转视力丧失方面起什么作用？
好的，我刚才说过，视网膜是一个微型图像处理器。您有输入细胞，也就是我刚才提到的在这些疾病中消失的光感受器。然后您有中间的所有电路，然后您就到了神经节细胞，它们是视网膜的输出细胞。所以，如果您从计算的角度来思考，您有一个输入端，然后是一些处理，然后是一个输出端。而这些就是将信息提取出来发送到大脑的。所以，我的成名之处，或者说我的贡献是，我破解了从输入到输出的数学转换代码。这意味着，如果您给我任何图像或视频，我都可以将其转换为视网膜正常产生的电脉冲模式，以便它们可以将这些信号发送到大脑。其重要性在于，当一个人开始患上视网膜退行性疾病时，他们无法自行进行这种处理。所以，我意识到，如果我拥有这个代码，我就可以制造一个设备来模仿正常视网膜的功能，这样我们就可以为患者提供这种服务。我们的大脑极其复杂，拥有 800 亿个神经元，1000 亿个突触。它们放电和连接的方式带来了触觉、嗅觉、味觉、声音和视觉。那么，您是如何致力于破译您所说的神经代码或神经语言的呢？大脑是否存在一种语言？这些在神经元之间到突触之间放电的电脉冲？我敢肯定有音频频率，您知道，神经信号的“咔咔咔”声。您是在测量电流、电压吗？您能更详细地解释一下这个神经代码吗？
信号是电脉冲的模式。所以，您在纪录片和电视上看到过，当他们进行大脑记录时，您会看到那些脉冲。所以，我所做的就是将其翻译出来，这样我就可以用大脑自己的语言与它交流。如果我理解了，如果我看着您的脸，它进入了我的视网膜，并被转换成那里的脉冲模式。存在代表您脸部的脉冲模式，比如您点头、眨眼，您所做的一切都转化为脉冲模式。然后它被发送到我的大脑，我的大脑知道，知道它接收到的信息是什么。然后稍后，如果我再次见到您，我将能够认出您，因为我开始对您的脸部有了记忆。在过去，许多人制造的假肢设备，不是为了视觉，而是为了运动输出，比如移动手臂，对于瘫痪者来说，他们会尝试读取大脑的脉冲，然后将其发送到人造手臂，以帮助他们，比如读取信息，并帮助患者用人造手臂按下键盘上的按钮或够取东西。但我们在视觉方面所做的是相反的方向，我们正在将信息输入大脑。在很多方面，这要困难得多，因为大脑说了算。当您进行运动输出时，即使错了，您也可以使用某种学习算法来帮助人造肢体抓取东西或打字。当您输入大脑时，您必须说大脑想要听的语言。您明白我的意思吗？就像如果您说法语，而我用英语和您说话，您就听不懂我。这就是我们试图做的，我们能否将信息输入大脑，以便大脑能够理解？所以，我并行做的一件事是，我开发了一种用于计算机视觉的方法。我可以将其输入机器学习算法，并为机器人视觉预处理视觉信息，而且效果惊人。我曾与英特尔合作了一段时间，最终他们收购了这家公司。但现在我正在用它来尝试恢复视力。
博士，是的，显然，我的意思是，我想谈谈您的努力，您在机器人视觉领域增加了价值。我在这里得到的是，您制造了这种仿生眼镜，它绕过了受损的光感受器细胞，直接刺激神经节细胞，将视觉信息传输到大脑，对吧？您能详细谈谈这种假肢设备吗？目前，这种假肢设备是否可用？或者它目前处于什么阶段？
目前，我们正在进行临床试验。这些事情的流程是这样的，我不知道您是否熟悉，但首先您需要向美国 FDA 提交申请，我的意思是，取决于您在哪里进行。我们提交了大约 700 页的材料，向他们展示这将是安全的。我们在小鼠和一些猴子身上进行了测试，然后我们获得了在人类身上进行尝试的许可。这就是我们目前的情况。我们已经对 15 名患者进行了测试，实际上是 16 名患者。我们所做的事情分为两部分：为了让他们佩戴的眼镜设备能够发送信号，我们必须在视网膜一侧有一个接收器。所以我们进行基因疗法，我们进行光遗传学基因疗法。
博士，您正在建造的东西是否类似于 Neuralink 正在建造的称为“盲视”的东西，它最近获得了 FDA 的突破性设备认定？因为我读到他们正在建造这种脑机接口植入物，有望为完全失明的人恢复视力。您所说的仿生设备是否与 Neuralink 的“盲视”类似？
不，完全不一样。Neuralink 所做的是在您的大脑中进行手术，而我们的则非常简单。您去医生办公室，在您的眼睛里注射一次，只需两秒钟。他们会在您的眼睛上进行麻醉，然后注射，就这样。然后我们的护目镜可以与您眼中的基因互动。所以，这不涉及任何手术，这对患者来说意义重大。您知道，接受手术是令人恐惧的。我认为 Neuralink 所做的是针对另一类患者，那些已经没有神经节细胞的患者，视神经受损的患者，遭受过严重事故的患者，无法再通过眼睛进行治疗，必须通过大脑进行治疗。而我们的则是针对视网膜退行性疾病的，所以他们仍然有完好的组织，有一些组织可以工作。
博士，您能否解释一下什么是光遗传学和基因疗法，并谈谈您针对色素性视网膜炎的基因疗法临床试验？经典基因疗法？
好吧，我来告诉您我们的基因疗法，它被称为光遗传学基因疗法。我们引入的是一种对光敏感的基因。它对光敏感这一点倒是次要的，它只是我们能够与之互动的东西。我们需要某种方式。如果我们有这个设备中的神经代码，然后我们发送它，我们如何将神经代码信号输入眼睛？通过光遗传学基因疗法，它使神经节细胞（输出细胞）对光敏感。所以，如果它们对光敏感，并且与离子通道相连，那么当您将光照射到细胞上时，它们就会放电一个电脉冲。这是您真正需要知道的唯一部分，就是如果，所以，当我有神经代码，我说它就像电脉冲，我将神经代码从电脉冲转换成光脉冲。所以护目镜只是发送光脉冲，其模式与它们是电脉冲时的模式相同。然后这些电脉冲，这些光脉冲正在激活光遗传学基因，并使神经节细胞以相同的模式放电。所以，它是从电脉冲开始的。图像被转换成护目镜中的电脉冲，电脉冲被转换成光脉冲，然后这些光脉冲被发送到眼睛，使神经元发送它们，将它们转换回电脉冲，然后发送到大脑。
一般来说，基因疗法是通过病毒进行的。我知道这乍一听可能很吓人，但您会取一个病毒，去除它所有的病毒基因，这样它就无法传播，也不会发生任何坏事，然后您将您的基因放进去。我们使用它的原因是病毒擅长进入细胞。所以我们去除所有坏的部分，放入好的部分，我们只是用它作为载体来递送基因。所以，这就是我们所做的。当然，其他人以前也做过，所以有技术可以借鉴，我们不必从零开始。我们只需要证明我们的载体是安全的。所以，这就是为什么它很简单。您将其注入眼睛，它直接进入细胞，三个月后，患者就开始能够看到东西了。对于部分失明，甚至相当失明的患者，即使是那些有隧道视力的患者，仅凭载体本身，他们就能获得一些视力。当我说载体时，我的意思是基因疗法本身。所以，有些人从中受益，因为他们仍然有一些自己的神经代码在运作，因为它还没有完全退化。然后，随着他们越来越糟，我们就引入神经编码护目镜来帮助他们更多。所以，这基本上是我们的计划。
太棒了。您说您已经进行了临床试验，并对 16 名患者进行了测试。那里的最新进展是什么？您知道，当您谈论基因疗法时，您使用的是病毒载体，这在各地都得到了证明，我的意思是，现在有了 COVID 疫苗，他们使用相同的病毒作为载体进行基因疗法。如今，基因疗法似乎非常昂贵。临床试验之后的下一步是什么？您认为何时才能为人们提供？
我希望在两年内。因为我们必须这样做，即使我们现在有很好的数据，它看起来非常有希望。我们已经让人们能够看到，他们以前甚至无法数手指。所以，如果您问我有多少根手指，他们大多数时候都答错了，因为他们实际上什么也看不见。其中一些患者已经达到了视力表，大写的 E 是 20/200。我们有一个患者从 20/50（比那低一行）一直改善到接近 20/40，这已经非常接近我们的水平了。所以，它确实在帮助人们在视力表上进步。一些患者告诉我们，他们现在可以读书了。以前他们不得不使用电脑屏幕并放大字母，但现在他们能够阅读普通印刷品。几个人获得了看到颜色的能力，这很令人兴奋。以及识别物体和形状。所以，进展顺利，希望如此。但您需要大量的证据才能使其成为商业产品。我们必须再进行一次试验，称为关键试验，因为它决定了您是否成功。这需要很多钱，所以我必须再进行一轮融资才能负担得起。
是的，祝您和您的团队一切顺利。博士，我的意思是，您是一位从研究员转变为企业家的科学家，经营着两家公司。作为一名研究员，您有什么经验可以分享给其他有志于走您这条道路的研究员，以及您对深科技领域企业家的普遍建议？
我绝对可以告诉您，这真是一次冒险。我的计划是余生都只做一名科学家。但一旦您发现了一些真正能帮助人们的东西，如果您不采取行动，那将是愚蠢的。所以，我不得不接受它，并弄清楚我该怎么做。有一件事很重要，人们不理解，我以前也不知道，那就是您必须为其申请专利。原因在于，如果您只是发表它，您就无法获得投资者。如果您申请了专利，它就有了价值。而且，您唯一能真正帮助人们的方法就是获得投资者来筹集资金，因为作为一名教授，您的资金很少。这是一个您甚至没有意识到的游戏。我必须创造利润动机，然后投资者才会帮助我。即使他们是好人，除非有回报，否则他们也不会投资。所以我申请了专利，然后我就可以筹集资金。我不在乎钱，但我必须做我必须做的事情。我想确保人们理解这一点。我告诉过很多研究生，因为当您在研究生院时，您真的认为“哦，我只需要发表它，这就是我需要做的，才能将其向前推进”，但事实并非如此。然后，下一步是您必须获得监管部门的批准，您必须获得 FDA 的批准，您必须进行大量的安全研究，当然，以确保您所做的任何事情都不会造成任何伤害。
是的，这是一个关键方面，对吧？是的，我认为对于任何承担企业家挑战的人来说，尤其是在深科技领域，这是一个旅程，因为投资回报周期似乎很遥远。投资者的情绪如何？因为这似乎是一个巨大的问题，如果解决了，它真的可以，我的意思是，具有开创性。所以，我从您那里听到的，我听到的是，在吸引投资者方面仍然存在挑战。这是真的吗？还是您仍然拥有，我的意思是，投资生态系统现在还好吗？
这取决于您要求的金额。所以，在 2000 万美元的范围内，可能还可以。当您要求更高的金额时，人们必须确保他们会获得回报。如果您要求 5000 万美元，用于进行临床试验和所有制造，那确实是一笔巨款。而且，您还要面对其他人。所以，这是我的成功策略。我非常注重证据，我不喜欢自我推销，我根本不做很多自我推销。我所做的是展示证据。所以，就像几年前我做了一个 TED 演讲，我只是讲述故事，展示数据。然后，当人们看到数据时，他们就可以决定是否要投资。而我能让人们说“这太棒了”或任何其他话，但那是胡说八道，您知道我的意思吗？请原谅我的语言，但我想，如果我做的一切都基于证据，如果证据是好的，那就是我所相信的。如果您做得好，并且您的证据有力，您就会获得投资者。如果您只是试图推销自己，进行自我推销，是的，您可以获得投资者，但您可能会崩溃和燃烧。那有什么意义呢？如果它不起作用，那将是空虚的生活。对我来说，如果我的东西不起作用，我就会辞职去做别的事情。但我不想继续推销不起作用的东西。而现在，这真的在起作用，希望如此。看到有人能够阅读他们以前读不了的东西，或者看到看到颜色的喜悦，这真的令人兴奋。
是的，博士，我认为，我的意思是，祝您更有力量，这样您就可以继续这样做。我希望有更多的投资者能够看到您在恢复视力方面所做的努力。我认为，如果这成为现实，从实验室走向现实，并能够治疗这些色素性视网膜炎患者，那将是真正、真正酷的事情。您在推进研究过程中面临的普遍挑战或最大的挑战是什么？
我不知道，我的意思是，科学是困难的，对吧？证明您所做的事情，我的意思是，这需要大量的工作，因为您必须通过所有法规。所以，这很难。而且，为了筹集资金而进行的自我推销也很难。因为这对我来说不自然。我的意思是，有时您会觉得风险投资界认为您只是一个学者，不懂得经营企业。但我会的，我很有战略性。但您知道我的意思吗？有一种特定的居高临下的态度，“哦，您是学者，您不知道。”但就像，如果我能弄清楚神经代码，我可能也能弄清楚商业。我认为应该反过来，我认为投资者应该选择像您这样的人，或者那些深刻理解的学者，而不是那些只会说漂亮话的人。我的意思是，您知道，我的意思是，证明产品的益处。您已经做到了，您正在进行 FDA 试验。所以，祝您好运。您提到您的工作在计算机视觉领域很有用。您能否分享一下您的工作如何为计算机视觉和机器人视觉以及脑机接口的进步增值？
计算机视觉中一个令人烦恼的部分是，他们会训练一个神经网络或训练一个模型来解决一个问题，它在那些条件下有效，但它无法推广到其他条件。比如，我不知道现在是否仍然如此，因为我现在不研究它了，但对于自动驾驶汽车来说，它们可以在各种环境中行驶，但一旦天气条件发生变化，它们就突然看不见了，这非常危险。而且，我与一些汽车公司谈过，他们承认这一点。所以，我们没有这个问题。因为我们人类，您可以开车，白天、早晨、晚上、雨天、下雪天都可以开车，因为数百万年的进化已经让我们的视网膜能够应对这些不同的光照和环境条件。还有其他事情，比如，如果我看着您的脸，然后您离开房间，然后您又回来了，站在门口，现在是您，但脸变小了，因为您离得更远了。我没有任何问题来识别这一点，因为数百万年的进化已经学会了提取对我们来说重要的特征，以便我们能够非常快速地解决问题。我不需要知道每一根眉毛在哪里，我不需要确切地知道您胡须上的灰色和哪些是。我仍然能认出您。所以，进化就像，让我们专注于重要的事情。通过破解视网膜的代码，我为计算机视觉提供了这一点。所以，我说，现在，不要在普通图像上运行您的算法，而是运行图像的神经编码版本。我们接收传入的视频图像，并将其转换为神经代码，让算法使用图像的神经编码版本。现在它不关心光照条件、天气条件或任何这些事情，而且它有效。所以，它对许多不同的事情都非常有效：面部识别、自动驾驶机器人、识别人们是否在商店行窃，我的意思是，能够分辨某人是否在偷东西，还是只是在购物并拿起某件东西。我们可以用于攻击检测。我们与一家公司合作，可以通过顶部的摄像头在地铁里发现打架。我的意思是，如何区分一个人是为了拥抱而伸手，还是为了攻击而伸手？但神经代码能够提取这些特征并用于攻击检测。所以，英特尔公司，您知道，这家芯片公司对此非常感兴趣。我们为他们工作了一年，他们说，“好吧，我们买下它。”所以，他们买下了整个东西。这很好，赚了很多钱，所以我很高兴。但我需要卖掉它，因为我需要专注于盲人。因为我在这两件事之间分心太多了。做计算机视觉非常有趣，但做盲人事业更有意义，给我一种目标感。
是的，我认为，从 ImageNet 到现在的计算机视觉，已经取得了长足的进步。从我们必须输入成百上千张图像才能让模型识别物体，到现在它不仅能识别单个模型，还能识别整个场景。它进行分类、分割，然后我们有生成式 AI 模型，通过这些扩散模型进行文本到图像、文本到视频。所以，是的，我认为计算机视觉已经取得了巨大的进步。您提到您出售给英特尔的神经代码模型。您能否分享一下英特尔如何部署您的神经代码模型的细节？
我不知道他们所做的一切，但其中一项是用于物理疗法。我知道这听起来很奇怪，但对于那些受伤并正在进行物理疗法的人来说，他们正在尝试正确地进行锻炼。所以，他们将其放入一个机器人中，机器人会观察他们。机器人可以使用神经代码说，“不，您抬腿的方式不对，您是向侧面抬的。”等等。所以，他们只是开始以不同的方式部署它。当时我们真正希望的是，他们能够提供我们的芯片公司，提供这种芯片，然后将其提供给大学，卖给所有人，这样每个人都可以在他们的电脑上拥有芯片，然后每个人都可以做到，并从我开始的地方发展出各种伟大的事物，比我能做的任何事情都好。所以我希望如此，但一旦您卖掉它，您就失去了控制。我仍然与英特尔咨询，所以我仍然与他们交谈。
我的意思是，您谈到了盗窃、物理疗法、自动驾驶汽车、面部检测。您认为在未来五到十年内，它将在哪里使用？
我认为行为方面是最有趣的。我的意思是，您能否分辨出某人何时，我的意思是，打架何时会发生？您能否预测它？您能否预测恐怖分子？您能否预测犯罪或携带枪支的人？他们也想将其用于工厂，以查看人们是否……我们为快餐店做了一些工作，以查看人们是否……您知道，是否能看出他们是否放好了汉堡包，然后……观看快餐生产的各个步骤。它不是那么令人兴奋的应用，但做起来很有趣。它需要多少数据？神经代码所需的数据比其他任何东西都少得多。所以，当我与英特尔合作时，我合作的那个人，她的名字叫 Stacy Shellman，她是这个整个部门的负责人。她会有一个想法，她说，“我想知道你是否可以做快餐生产线，看看人们是否足够快地制作汉堡包，他们是否做得正确。”所以，我说，“好的。”两周后，我们就完成了，数据量很少，因为这就是我所说的，关于识别您的脸。我不需要了解您脸部的所有信息。我的进化建立了一种提取重要信息的方式。所以，这就是发生的事情。我们可以提取制作汉堡包、将其送入传送带、是否放上番茄酱和芥末酱等重要信息。然后我们就完成了。所以，我认为很长一段时间以来，计算机视觉一直痴迷于了解所有细节，这阻碍了他们。您并不真的需要知道所有这些细节。有些事情您可能需要，但很多事情，尤其是行为，您真的不需要。因为如果我需要知道某人是否要……要砍我或刺我，我不需要了解他的一切。我只需要知道这是一个危险的情况，我需要退后。动物就是这样建立起来的，能够快速识别危险情况并逃离。
是的，很有趣。因为至少，我的意思是，也许五到十年前，计算机视觉模型，我的意思是，它需要大量的数据才能至少识别您，也许是一个人或一只猫或一只狗。即使那样，它也会犯错误。但您在这里，我的意思是，您正在加速整个领域，使其变得更好。
是否有新兴的研究或技术领域让您兴奋，因为它们有可能改变您对视觉和认知的理解？
我的意思是，有趣的一件事是，如果我们能够通过眼睛与大脑交流，我的意思是，如果我能与那些神经节细胞交流并将信息发送到大脑，我们就能了解大脑是如何处理视觉信息的。因为我们可以发送与……不同的信号。我们可以，如果患者愿意成为志愿者，我们可以尝试一些事情，比如，如果我们像这样发送它，它看起来像什么？因为患者可以回答我们，并说，“哦，当您像这样改变代码时，它突然变成了另一种物体。”所以，我觉得这开启了一个全新的领域，让我们了解视觉皮层是如何工作的，因为我们可以与之交流，我们可以控制它。您知道我的意思吗？而不是仅仅插入电极并倾听，我们可以进行告知，我们可以告诉大脑看什么。这有点令人毛骨悚然。
您认为我们何时能够解决这个问题，能够治疗部分或完全失明？我的意思是，您在看什么时间表？
如果它对黄斑变性有效，我的意思是，如果它像对色素性视网膜炎那样对黄斑变性有效，那么我认为我们将在两年内取得真正重大的进展。不到两年。然后也许我们可以再次见面，我会告诉您。
您对未来十年恢复视网膜疾病患者视力有何预测？
我认为这将是一个更有希望的景象。人们会开始看到，我的意思是，看着一个非常非常失明的人，我们闪过一张图像，他无法识别，他只是随机猜测它是什么，比如心脏，或者扑克牌，红心、方块、梅花或黑桃。他只是随机猜测。我拍摄了每一个患者的视频，所以如果患者不介意，我甚至可以在某个时候给您看。然后治疗后，即使在三个月内，他突然说，“哦，是红心，我能看见了，是红心。”还有方块、梅花、黑桃。他能答对九成或十成。然后有一天他会说，“哦，这就像一个绿色的红心。”当然，我们随机改变颜色。我们都在背景中，您可以听到我们的声音说，“我的天哪，他能看到颜色了。”然后我们开始更多地测试他。然后我们添加了水果和蔬菜。所以，如果我们能为这位患者和其他几位患者做到这一点，我觉得这确实为恢复绝大多数盲人的视力打开了大门。我迫不及待地想看看会发生什么。我的意思是，这非常有希望。我能说的就是这些。我不好意思再吹嘘了。
好的，博士，感谢您抽出宝贵时间参加播客。正如您所说，也许我会在两年后再次联系您，看看进展如何。我祝您一切顺利。我认为，我的意思是，视力，这是我们没有的东西时，它会把世界带入一片黑暗。如果我们能够完全解决这个问题，我的意思是，恢复视力，那将是怎样的世界。所以，祝您和我的听众好运。如果您喜欢您所看到和听到的，请订阅。下次再见。
非常感谢您。很高兴认识您。谢谢。