Transcription
我的意思是，这些大型语言模型确实令人印象深刻。它们确实具有沉浸式特性。它们在某些方面出奇地好。当它们出错时，它们也出奇地糟糕。如果这些模型中存在任何类似智能的东西在起作用，它们就不会犯下那些可怕的错误。大脑从根本上是可理解的吗？我认为是。它很复杂。它是可建模的吗？是的。它需要多大的计算机？嗯，这取决于你深入到什么程度。有一个重要的问题，即我们是希望我们的机器真正具有智能，还是宁愿它们保持有用的自动机。我认为那里有一个相当重要的哲学问题。通用智能有利有弊。自动机会按照其指令行事，无论刮风下雨，一个智能系统可能会决定它不想这样做，这会使其作为生产工具的用处大大降低。感谢您收听改变世界的印度首个未来与可持续发展播客。我是主持人艾迪·阿贝尔，今天我们有幸与计算机工程领域的真正先驱和远见卓识者史蒂夫·弗尔教授交谈。他是曼彻斯特大学计算机工程学的ICL教授，皇家学会、英国皇家工程院院士，以及大英帝国司令勋章获得者。许多人可能知道他是BBC微型计算机的主要设计者，以及至关重要的ARM 32位RISC微处理器，该架构如今为从智能手机到嵌入式系统的数十亿台设备提供动力。最近，他开创性的工作专注于通过计算理解人脑，领导了Spiking Neural Network Architecture项目，这是一个旨在模拟大脑一部分的大规模并行系统。所以，教授，我真的很感激您抽出时间参加播客。您参与了两个开创性的产品。您知道用于教育的BBC微型计算机。ARM 32位RISC微处理器目前为数十亿台智能手机、平板电脑、可穿戴设备和物联网设备提供动力。如果您能给我们介绍一下您在设计这些变革性系统时所面临的挑战以及指导您方法的关键设计理念，那就太好了。好的。感谢您的介绍，艾迪。嗯，故事很久以前就开始了。ARM处理器和BBC Micro的开发都发生在20世纪80年代初，所以现在已经有40多年了。BBC Micro的诞生源于Acorn对家用电脑市场的兴趣。Acorn最初是一家小型微处理器咨询公司，然后开始为爱好者构建套件，用作家用电脑。您早期的一些套件带有十六进制键盘和十六进制显示屏，您可以用十六进制编写代码并运行它。但后来，它发展成了今天我们更熟悉的带有键盘的计算机，通常连接到传统的家用电视屏幕作为显示器。然后，Acorn意识到BBC有兴趣赞助一台微型计算机，用于他们想要制作的一个电视系列节目。他们有责任教育公众，并决定微处理器革命很重要。因此，他们邀请了英国多家公司投标。当然，在80年代初，微型计算机是一项非常小众的业务。我们离今天每个人都坐在电脑前，家里也有一台电脑的地位还很远。那时，计算机是大型机器，放在大型空调房里，由穿着白大褂的人员维护。所以，拥有可以在家或在办公桌上使用的计算机的想法非常新颖。当然，美国在70年代末的爱好者市场已经起飞。Acorn为这个项目进行了投标，并且因为他们在销售早期Atom桌面个人电脑方面有着良好的业绩记录，所以他们成功地获得了合同，我认为有各种因素促使BBC选择Acorn作为其供应商。其中之一是Acorn在必要时能够非常快速地开发事物的能力。有一个广为流传的说法，就是在一周开始时我们一无所有，周五BBC来了，看到了机器的工作演示以及它最终将放入的外壳模型。所以，Acorn在生产原型方面非常迅速，而BBC Micro的关键理念是内存是家用电脑中最昂贵的资源。因此，内存以灵活的方式在处理器和图形显示之间共享。内存得到了非常充分的利用。在那个时代，以每秒四百万次访问的速度运行内存是极具挑战性的。BBC Micro就是这样做的，这为它提供了一个高度集成和灵活的解决方案。它还拥有大量的I/O端口。所以，有用于连接外部操纵杆和数模转换器的端口。它有一个非常早期的网络形式，在当时相对闻所未闻。它还有一个接口，您可以添加第二个处理器。所以，如果您想运行CPM软件，您可以添加一个Z8。这甚至在DOS和IBM PC成为成熟标准之前。但您也可以，对于Acorn研发团队来说，在随后的几年里添加任何可用的16位微处理器作为第二个处理器。我们还使用第二个处理器接口进行早期的ARM开发工作。现在，当Acorn正在考虑如何建立在BBC Micro成功的基础上时，我们尝试了市场上几乎所有的16位处理器，并发现了我们不喜欢它们的地方。其中最值得注意的是，与我们在BBC Micro中使用的6502（它是一个8位处理器）相比，它们的实时响应都更差。16位处理器具有复杂指令集，或多或少受到70年代末小型计算机的启发，这些长而复杂的指令对它们的实时响应产生了非常负面的影响，例如，它们无法充分利用每字节从软盘传输的数据的中断能力。我们不喜欢的这些处理器的另一个特点是它们无法充分利用内存。我已经说过内存是系统中成本最高的组件。所以，在我们看来，不充分利用它是一个巨大的错误。当我们思考这些问题并考虑Acorn可能使用什么处理器时，转向16位是显而易见的，我们收到了关于美国西海岸关于RISC处理器（特别是来自伯克利和斯坦福）的论文发表的消息。我们曾考虑过设计自己的处理器，而这种考虑变成了项目，项目当然变成了ARM芯片，当时ARM代表Acorn RISC Machine，所以RISC是ARM的中间名，很大程度上受到了西海岸工作的启发，但我们也对处理器指令集架构的重要性有自己的看法。令我们惊讶的是，经过18个月的开发，我们手中就有一个低功耗的处理器，并且在当时与任何主要的工业产品都具有竞争力。该处理器于1985年4月26日问世。所以，正好是40多年前的今天。哇。这有多酷？40年的RISC处理器。教授，它的演变过程是怎样的？特别是这些微型计算机，你知道，因为今天我们正在小型化技术，你知道，曾经是这些大型计算机的东西，现在已经变成了几乎是小巧的，你知道，口袋大小的，你的手机就像一台电脑，所以，电脑的自然演变会是什么样子？因为有增强现实、虚拟现实、混合现实技术，它们试图将计算机堆叠在你的眼镜里。所以，有一群人说，计算的未来将是可穿戴设备，它将从携带技术转向穿戴技术，你的头部可穿戴设备。所以，也许我的第一个问题是，您看到的计算机的演变是什么？然后是RISC处理器，你知道，当时的愿景是什么？潜在的应用是什么？与您今天在智能手机和嵌入式系统中看到的广泛采用相比，您是否预料到了这一点？嗯，我想我先回答第二个问题，预测未来非常困难，而且我认为我在这方面并不比任何人更擅长。但是就ARM的设计而言，它是为Acorn的桌面PC产品设计的。这就是Acorn从事的业务。它已经向教育领域销售了大量的BBC微型计算机，并希望在此基础上发展。所以，第一个基于ARM的产品是Archimedes。当然，ARM不是一个单一的芯片。Archimedes基于一组四块芯片，其中ARM是处理器，然后是内存控制器、视频控制器和I/O处理器。这四块芯片加上内存设备构成了Archimedes机器。所以，从1985年第一款ARM芯片到80年代末的目标是真正将处理器放入Acorn的桌面产品中，使其与世界其他地区的产品具有竞争力，当然，到85年，世界非常关注IBM PC作为标准架构。所以，这就是Archimedes等机器的竞争对手。我现在说这是40年前开始的。从那时起，发生了很多事情。可能起点是80年代末，实际上在1990年，我离开了Acorn，前往曼彻斯特的ICL讲席。就在那之后，苹果公司来与Acorn洽谈在Apple Newton产品中使用ARM处理器。今天很多人不记得Apple Newton，但在90年代初，它曾享有很高的声誉。它是苹果公司首次尝试生产一种个人数字助理产品，一种基于手写的系统。最终它并不成功。但它曾是多年来备受瞩目的开发项目，苹果公司与Acorn洽谈将ARM业务从Acorn独立出来，作为两家计算机公司和VLSI技术（一家芯片制造商，Acorn使用其工具）之间的合资企业。所以，这家公司成立于1990年底，从那时起，所有的ARM开发都在公司内部进行，该公司最初名为Advanced RISC Machines Limited。所以，他们将Acorn的“A”改为“Advanced”，以将其与控股公司Acorn区分开来。当然，后来他们完全取消了扩展名，现在它只称为ARM。但他们最初的目标是满足成立他们的两家公司的需求。所以，为Apple Newton产品开发ARM 610，并继续为Acorn的桌面PC系列开发处理器。但是，被引入领导ARM的Robin Saxby非常积极地在两家公司之外寻找新市场，以便公司能够扩张。而转折点发生在90年代中期，当时ARM获得了诺基亚的业务。90年代的诺基亚，今天很多人不记得了，但诺基亚是90年代全球最大的手机制造商。所以，获得诺基亚的业务对ARM来说是一个非常重要的进步，并使ARM成为手机和许多类似产品的标准处理器。据我所知，迄今为止ARM驱动芯片的总出货量已超过3000亿块。这是一个令人震惊的数字，而且，你知道，80年代初没有人可能想象到这一切会发生。当然，我提到了Apple Newton。Newton与后来的产品之间的一个区别是，Newton主要不是一个通信产品。它主要是一个独立的产品。然后，当然，10年后，嗯，15年后，苹果公司推出了iPhone，它在概念上是相似的，但通信是根本性的，因为当然它是一部手机，它的主要功能是手机，而所有PDA的功能都建立在其之上，这使其与Apple Newton的产品截然不同。我相信他们从Newton学到了很多东西，并将其融入了iPhone。但是，正是iPhone改变了智能手机的世界，它基本上是我们今天随处可见的这一切的开端。教授，您对计算的未来有什么看法？您一直在推动节能计算的对话。这如何继续影响您对现代处理器设计的处理方式？嗯，是的，能效对第一代ARM很重要，但并非显而易见。当我们设计第一款ARM芯片时，我们意识到有两种方法可以将芯片封装起来组装成计算机。一种是将其放入塑料封装。塑料封装非常便宜，但如果功率超过一瓦就会过热。另一种是陶瓷封装，可以处理几瓦的功率，但非常昂贵。所以，我们在设计ARM时非常希望将其保持在一瓦以内。当然，当时用于预测芯片功耗的工具并不完全可靠。所以，我们在第一款ARM芯片上过度设计了效率，它的功耗不到十分之一瓦。所以，它从一开始就具有能效，但原因并非显而易见地用于移动系统。它是为了使用廉价的塑料封装。但是，能效一直是ARM芯片的标志，当然，在进入手机业务时也很重要。它在许多其他领域也很重要，而且现在已经发展到，你知道，我有一副Apple AirPods，我认为你戴在耳朵里的每个AirPod都包含一个四核处理器。我的意思是，你知道，这在你的耳朵里是荒谬的计算能力。但当然，它在降噪和处理来自无线设备（通常是iPhone）的声音方面提供了巨大的能力。我认为这使我们能够将重要的计算集成到我们一直随身携带的许多不同的东西中。至于它将走向何方，我不确定。我的意思是，人们谈论很多带有摄像头的眼镜，并将图像投射到屏幕背面。这已经尝试了两次。我仍然没看到多少。当然，虚拟现实系统更是如此，你有一个完整的头显。我实在看不到人们很快就会戴着这些头显在街上行走。甚至戴眼镜。我直到中年视力下降才戴眼镜。所以，我从40多岁就开始戴眼镜。但我不认为年轻人会因为这让他们在鼻子上装有IT系统而想戴眼镜。我认为他们更喜欢不戴。我的意思是，未来既令人兴奋又令人恐惧。你恰当地指出了。我的意思是，没有人想戴这些侵入性的眼镜，它们可以装下你完整的计算机。我的意思是，它可能是一个设备，它将是你的电脑和你的手机。我的意思是，这个想法听起来很酷，但它太具侵入性了，我想这就是为什么我认为谷歌眼镜失败了，然后还有其他人也在努力构建一些东西，但我想技术一直在小型化，而且可能有一天我们会能够打包一些可能是非侵入性的环境设备。随着人工智能的加速，我认为这些技术正在融合，也许有一天我们可以打包一个可能在你身上的设备，就像Humane尝试过的AI Pin一样，它可能是一些类似的东西。您参与了人类大脑项目，如果您能解释一下人类大脑项目是什么，它的愿景是什么，以及它为什么关闭，那就太好了。嗯，人类大脑项目是一个欧盟资助的旗舰项目，它始于第一个旗舰项目。资金始于2013年，但名义上的预算是十亿欧元。这是一个巨大的项目。核心概念是基于这样一个想法，即神经科学产生了大量的科学成果。我认为每年大约有10万篇关于神经科学的论文发表。没有人能全部读完。所以，有很多零散的数据到处都是，你需要花很多时间去寻找和理解它们，如果你想使用它们。所以，人类大脑项目的核心思想是，这些数据可以全部集中在ICT系统中，使其更容易访问和可用。而且，重要的是要记住，人类大脑项目是在欧盟的ICT计划下资助的。所以，它主要关注在脑科学中使用ICT。但它涵盖了一个广泛的领域，从医学开始，使用ICT整合欧洲多家医院的数据，这使得可以研究更大范围人群的大脑疾病方面，当然，更大范围的人群可以让你看到小范围人群看不到的东西。这是一个非常棘手的ICT领域。因为涉及到很多个人隐私问题，而且有一些重要的规则，你知道，任何个人的数据永远不会离开托管它的医院。所以，你不能简单地把数据拿出来放在一个地方。你必须在分布式形式下处理它。但即便如此，例如，通过查看这些大型数据集，就可以识别出新型阿尔茨海默病。所以，医学是一端。神经科学，从湿实验室的神经科学实验到计算神经科学，再到大脑建模，可以说是中心。然后，利用我们对大脑的部分了解来指导新计算机系统的设计，这是我们参与的领域，在神经形态技术方面，这最终有效地支持了两个大规模的神经形态计算平台。一个是曼彻斯特的Spinnaker机器，这是一个全数字多核大脑启发的计算系统，另一个平台是德国海德堡大学的BrainScales系统，它更接近于碳在20世纪80年代关于神经形态技术的原始概念，使用模拟电路来直接模拟大脑功能区域。这两个系统被设置为开放访问平台。所以，来自世界任何地方的任何人都可以免费注册一个账户，并在这两个平台上提交作业。当然，在Spinnaker上，我们在HBP期间有400到500名用户运行了数百万个作业。为什么HBP结束了？嗯，这是一个10年的项目，10年到了，对吧？所以，就像所有的研究资金一样，它不会永远持续下去。人类大脑项目。我的意思是，你知道，核心主题是试图模拟大脑，而大脑，我认为，我们对它的理解非常有限，尽管我认为，你知道，全世界，你知道，所有研究实验室都在努力理解或揭示我们的大脑是如何工作的。800亿个神经元，100万亿个突触，你知道，它们放电和连接的方式，它们如何产生我们所有的五种感官，仍然是一个谜。尽管有这些，你知道，各种各样的人。有些人正在研究一种叫做连接组学的东西，他们试图模拟秀丽隐杆线虫，它只有300个或302个神经元，已经模拟了。然后是果蝇，我们设法模拟了。然后是谷歌的“大脑”，它设法模拟了人类大脑1立方毫米的区域。亨利·马克拉姆的“蓝脑”项目试图在计算机中构建大脑，但我们仍然失败了。所以，斯蒂芬·霍金，他把大脑比作计算机。你对此有什么看法？大脑是否类似于计算机？第二个问题是，是否有可能模拟，我的意思是，大脑，如果可以，我们离模拟人脑还有多远？好的，好的，那里有很多问题。我的意思是，你是对的。大脑是一个非常复杂的系统，我们离对大脑的功能有一个可用的高层概述还有很长的路要走。我们对低层细节了解很多。所以，我们对神经元及其动力学了解很多。我们对突触及其动力学了解很多。当然，大脑不仅仅是神经元。大脑中还有其他细胞，它们的作用不太清楚，比如胶质细胞等等。大多数大脑建模都集中在神经元上，神经元主要通过发出脉冲进行通信，尽管一些神经元执行其他角色，如发出神经调节剂。所有这些都可以被建模。HBP期间的一个特别关注的领域是皮层模型，一个平方毫米的皮层。这是Pochan's Dies模型，许多人都在研究它，它成为了将神经形态平台与高性能计算机和GPU模拟器进行比较的基准。而且，我们知道皮层微电路，你知道，哪些神经元连接到哪些其他神经元，有多少连接，整体网络结构是什么样的。我们可以对其进行建模，模型可以准确地重现生物数据，例如皮层不同层的放电率等等。所以，我们可以，所以我们有相当大的信心，这些模型捕捉到了一些重要的东西。但尽管电路相对简单且易于理解，并且模拟似乎可以很好地重现生物数据，但我们仍然不理解这个基本电路。而且，困难的一部分是，如果你看任何大脑区域，它都有来自其他大脑区域的输入和输出到其他大脑区域，而我们并不真正理解输入或输出。如果我们很好地理解了输入和输出，那么我们就能更好地理解连接它们的函数。但是，如果我们不理解输入或输出，就很难理解函数，并且在所有这些方面都在取得进展。我的意思是，HBP的进展确实令人印象深刻。但远未完成，你知道，大脑是由许多不同的区域组成的。网络拓扑结构也大不相同。例如，如果你比较小脑和皮层，它们的结构大不相同。小脑更古老。它以某种程度上被理解的方式进行详细的运动控制。但它的内部电路与皮层截然不同，而且许多其他大脑区域也是如此。所以，实际上，理解大脑不是解决一个问题。它是解决一千个问题，这需要时间。还有一个问题是，你知道，标准的模型，如果你愿意的话，神经元通过网络相互发送脉冲，是否实际上是对大脑的充分描述。理解该模型将有助于理解大脑。有一种争论，即大脑的某些部分是否存在不同的物理原理。现在，我认为大多数神经科学家都持怀疑态度。当然，罗杰·彭罗斯在90年代出版了一本名为《皇帝的新脑》的书，书中认为，大脑的标准牛顿神经模型不足以解释意识和人类智能的奥秘。正如我所说，我交谈过的大多数神经科学家似乎不同意彭罗斯的观点。但这相当复杂。而且，我们直到走得更远才知道结果。大脑从根本上是可理解的吗？我认为是。它很复杂。所以，它可能需要一台机器来同时捕捉所有方面。它是可建模的吗？是的。它需要多大的计算机？嗯，这取决于你深入到什么程度。我的意思是，你知道，许多历史建模都是一次一个神经元的建模。所以，你构建一个拥有大量神经元的神经网络，在Spinnaker上，我们可以以生物实时运行数亿个神经元。但这些模型是基于相对简单的神经元模型。它被称为点神经元模型，基本上输入被加权、相加、处理，输出作为脉冲序列输出。但是，越来越多的证据表明，生物神经元实际上比这更丰富，在树突上存在非线性过程。所以，一个神经元不是中心的一个非线性过程。它可能是数百个非线性过程，它们通过这些生物导线连接在一起，在树突结构中。当然，这增加了计算复杂性。它仍然是可计算的，但它将计算需求增加了，你知道，谁知道呢，两三个数量级。而且，对模拟人脑的点神经元级别所需的计算能力进行的估计往往是Exascale，而我们现在只有Exascale超级计算机。但如果你现在加上树突的复杂性，还需要另外三个数量级的计算能力。所以，你知道，我们会到达那里，但可能还需要20年。但当然，拥有计算能力是能够构建模型的一个必要条件，但不是充分条件。模型还需要大量的知识，而其中很多是缺失的。我们在这里，我认为，你知道，世界上一些最聪明、最优秀的人才试图弄清楚大脑，然后可能将其逆向工程以构建通用智能。但我们还没有弄清楚。然后还有另一群人，你知道，他们认为或相信这种数据输入、数据输出模型、统计模型将使他们走向通用机器。不知何故，这非常违反直觉，但这些统计模型确实显示出一些新兴特性。那么，您对这些数据输入、数据输出模型、多模态模型有什么看法？它们已经通过了图灵测试，你知道，以及现有的所有基准测试，它们仍然在通过所有这些测试。您认为这种当前的数据输入、数据输出模型的方法是否可以通过扩展假设来实现，即更多的数据、更多的计算、更多的电力和算法，这是否是构建通用智能机器的方法？在过去20年里，与Spinnaker项目并行，工业AI系统取得了巨大的进步，并且出现了关于该发展终点的猜测。我的观点是，大型语言模型的轨迹并没有指向AGI。大型语言模型基本上只是下一个词预测器。好的，它们拥有非常大的数据集。它们拥有无法想象的大量参数。所以，当然，它们受到机器学习系统参数过多的常见过拟合问题的困扰，当然，你说更多的数据，但没有更多的数据了。实际上，这些当前的大型语言模型是在所有存在的数据上进行训练的，包括一些它们不应该被训练的数据，因为它们是受版权保护的。而且，你知道，如果没有适当的许可和与版权所有者的安排，这些模型就不应该被输入版权材料，但它确实被输入了。我认为这方面有一些有趣的法庭案件即将到来。但我对大型语言模型的一个主要担忧是它们对海量数据集的依赖。你知道，我经常引用的例子是，第一个擅长识别猫的谷歌网络在变得熟练之前，被展示了大约1000万张猫的照片。我将其与两岁的孩子进行比较，他们看到一只猫，然后一生都能可靠地识别猫。好的，生物系统可以用非常小的数据集进行非常有效的学习。这是一个巨大的差异，而且，你知道，其中一些是因为生物大脑具有一种完全缺乏大型语言模型的智能和泛化能力。我的意思是，大型语言模型非常令人印象深刻。它们确实具有沉浸式特性。它们在某些方面出奇地好。当它们出错时，它们也出奇地糟糕。这应该告诉我们一些事情，好的，如果这些模型中有任何类似智能的东西在起作用，它们就不会犯下那些可怕的错误。没错。没错。而且，我认为这不会通过更大的模型和更多的数据来解决。我认为，这将通过理解生物大脑如何执行智能来解决。你知道，如果你看看像果蝇这样的小大脑，大约有10万个神经元，以及它能取得的成就。这告诉你，生物大脑实现其目标和能力的方式存在根本性的不同。我们需要理解这一点，因为大型模型的能源成本正在变得完全不可持续。教授，您是否看到一种方法，也许神经启发的AI可以赶上这些数据输入、数据输出模型？因为在这一点上，根据您所说的一切，我认为这些模型，这些大型语言模型正在做一些非常疯狂的事情。您是否看到一种方法，也许像您正在研究的神经形态计算机，可以赶上比赛？如果您能分享Spinnaker项目的最新进展，那就太好了。嗯，Spinnaker项目的当前状态是在人类大脑项目内，以及在第一个Spinnaker系统上建立服务。我们还与德国德累斯顿工业大学合作开发了第二代系统，德累斯顿工业大学正在积极地将Spinnaker 2（我们称之为第二代系统）商业化。他们正在销售大型机器。我的意思是，Spinnaker 1机器在曼彻斯特有100万个处理器。Spinnaker 2机器将拥有多达500万个处理器。他们最初专注于使用它来提高AI的能效。我认为早期的成功将基于将大型语言模型等事物转换为适当的形式，以便在Spinnaker 2硬件上运行。但是，当然，这些转换后的模型会更有效率，但它们仍然会遭受，嗯，它们将具有在GPU上运行的原始模型的相同优点和缺点。我们需要更多地了解生物大脑的基本原理，才能真正获得潜在的优势。但在早期阶段，仅仅通过翻译就会有优势。我的意思是，出现的问题是，你知道，看看现在有多少人从事主流AI大型语言模型的工作，我怀疑有几十万人，而从事同等神经形态系统工作的人更接近于几百人。所以，在这两个领域取得进展的人力资源数量之间存在巨大差异。而且，我认为当神经形态系统的某些优点开始显现时，我认为这种平衡将会开始转变。但这需要一些时间，并且需要大量的人力和资源来真正充分利用神经形态平台。对。是的。我真的希望这种转变会发生，因为是的，我认为生物智能才是真正的途径。我的意思是，如果我们想构建通用机器，也许我们需要逆向工程并模仿生物智能，这可能是途径，我希望生态系统能够理解这一点，因为我认为普遍的趋势是，如果有什么东西处于炒作周期中，行业、投资者，他们都会涌向它，包括开发人员和工程师。我认为这就是为什么我们看到这种对构建大型语言模型的冲动，并且像戴着眼罩一样，你知道，只做一件事，你知道，当我认为构建这些通用机器的正确方法是逆向工程，就像大脑一样，你知道，也许可以从秀丽隐杆线虫、果蝇猴子或类似的东西开始，然后可能将这些学习到的东西，看看我们是否能模拟它，你知道，然后可能，这才是正确的方法。教授，您提到第一代Spinnaker系统有100万个处理器，第二代试图构建拥有近500万个处理器。低垂的果实是什么？早期用例是什么？是否有研究人员、神经科学家验证过的用例？您在对话早期提到，这可能为医学、神经科学、神经系统疾病领域带来巨大的影响。您认为神经形态计算机的第一个应用是什么？好的。嗯，只是回顾一下您一开始说的话，当然，有一个重要的问题，即我们是希望我们的机器真正具有智能，还是宁愿它们保持有用的自动机。我认为那里有一个相当重要的哲学问题。通用智能有利有弊。你知道，自动机会按照它的指令去做。无论刮风下雨，一个智能系统可能会决定它不想这样做，这会使其作为生产工具的用处大大降低。无论如何，回到你的主要问题，Spinnaker 1的建造非常注重为脑科学做出贡献。所以，想法是在生物实时中支持，目标正是如此。但是，你知道，它的时间尺度有点变化，没关系。我们已经对皮层等模型进行了建模，对小脑也进行了一定程度的建模，并试图将这些模型放在一起，以便我们能更全面地了解生物学中发生的情况，然后也许这会为我们如何构建机器提供信息。在英国，实际上有一些非常有成效的研究，它们采用了Spinnaker式的神经启发计算模型，然后将其应用于广泛的计算问题，这些问题不在神经科学之外。所以，你可以使用这种事件驱动的计算模型，你知道，这是Spinnaker工作方式的大脑特征，你可以用它来计算流体动力学流动和热量流动以及各种其他事情。所以，这很有用。Spinnaker 2的开发不仅是为了做Spinnaker 1能做的事情，而且是为了更好地支持更接近主流AI的应用。所以，深度神经网络、大型语言模型等等。为此，它增加了各种功能，例如每个处理器核心上的乘法累加器加速器，以使其在这方面更好。低垂的果实在哪里？嗯，我认为，你知道，如果我们能在Spinnaker 2上运行推理时显著降低能耗，这将是一个重要的贡献，并且在商业上非常重要。我确实认为，即使是当前的大型语言模型也具有很高的商业价值。我的意思是，我们谈论了它们的弱点，大多数人看到的是一种通用的语言界面，你可以向它提出任意问题，但我认为当这些模型被训练成特定知识领域时，它们将变得非常有用的。你可以想象一个大型语言模型，它消化了该国所有的法律书籍，因为不同国家有不同的法律历史。但是，如果，然后，一个想要为法庭案件寻找先例的律师不必搜索堆积如山的法律书籍，而是能够询问LLM，而LLM会指向它，因为它已经吸收了所有信息。这就是LLM擅长的地方。它们擅长吸收海量信息并进行插值。它们不擅长的是外推。但是，你知道，有很多工作领域存在人们必须熟悉的海量知识库。法律是我引用的例子。但你也可以说，例如，医学，以及许多其他领域，一个吸收了该领域文献的LLM将是一个非常有用的工具，供在该领域工作的人使用。所以，所以，这些东西将会到来，而神经形态系统当然可以在推理端工作。在训练阶段使用它们仍然更加困难，因为你知道，大型语言模型使用的基本学习机制，即误差反向传播，依赖于系统中所有地方的可微分传递函数，而脉冲神经网络以其不可微分性而臭名昭著。现在有一些近似方法可以解决这个问题，但这仍然是一个相当基本的问题。所以，我认为低垂的果实将是这些领域。在神经形态学领域也有很多工作，它处于边缘规模而不是数据中心规模。而且，再次，如果你想在传感器输入上运行推理，你知道，每毫瓦以下的功耗水平，这是你感兴趣的那种，那么神经形态学在极低能耗、小型神经网络处理传感器信息方面有很多优势，其功耗水平是你无法用GPU达到的。对。对。对。教授，您提到，你知道，没有多少研究人员、研究实验室或公司在朝着您提出的神经启发方法努力。您能否指出一些您认为采取了正确方法的人？因为这不仅仅是神经形态计算。你知道，还有一些人也在试图构建所谓的生物计算机，他们正在构建这些大脑类器官。有像Cerebral Labs和Final Sparks这样的公司，它们实际上是获取一个细胞，将其变成多能干细胞，然后变成类器官，大脑类器官，然后构建这些所谓的生物计算机。您对生物计算机有什么看法？您认为谁是采取了正确方法的人，就神经形态计算而言？嗯，首先，我不是生物类器官方法的专家。我没有及时了解这方面的文献。所以，我认为我没有资格发言。我的意思是，我认为这很有趣，但它会走向何方，我不知道。在神经形态领域，也有多层人在工作。有相当多的人的研究集中在材料和设备上，他们正在生产新颖的设备技术，例如忆阻器是一个成熟的例子，但还有许多其他例子，这些存储设备具有一些类似生物的特性，这可能使它们在未来支持更密集、更高效的神经形态系统方面有用。目前，所有领先的神经形态系统都在主流CMOS工艺技术上运行，使用标准的内存和设备。有些是模拟的，我提到了，有些是数字的，但很多是数字的。在神经形态系统领域最活跃的人。嗯，我已经提到了曼彻斯特的学术工作，以及德国海德堡大学的BrainScales。但也有行业参与。英特尔有他们的Loihi系统，这是一个非常有效的神经形态平台，可供学术研究使用。它是一个研究原型。所以，它不是一个完整的产品。所以，你不能现在创办一家公司说你想使用Loihi芯片，因为英特尔不会以此为基础出售给你。但如果你是一个学术团体，想要研究神经形态学的一个领域，那么Loihi是一项非常有效的技术。英特尔有一个名为INRC的学术组织，这是他们的研究，英特尔神经形态研究社区，我猜是这个意思。他们已经取得了非常有趣的结果，绘制了哪些算法显示出显著的神经形态优势以及哪些算法更适合在标准CPU上运行的地图。当然，神经形态学不会取代主流CPU。神经形态学将永远是计算机某些功能的加速器，而不是通用计算平台本身。所以，这方面有很多工作正在进行。有关于神经形态传感器的有趣工作，这又是一个略有不同的领域。我的意思是，动态视觉传感器是最著名的之一，它是一种相机，而不是输出每秒50或100帧，而是当像素的亮度以一定量增加或减少时输出事件，并且事件相机在某些应用中显示出优势。现在有几家公司正在生产这些，比如巴黎的Prophesee。有一家中国公司生产大量的事件传感器，我记不起名字了。但苏黎世的实验室也生产研究用的事件相机。所以，有很多兴趣，还有其他传感器，比如嗅觉传感器和听觉传感器。所以，神经形态学不是一个单一的学科。它从材料设备垂直向上延伸到系统，并水平地通过传感器和系统、数据中心规模系统和边缘规模系统。所以，有很多方面。教授，我的最后一个问题是，您对年轻的研究人员、开发人员、工程师有什么建议？因为您有40多年的经验，并且是创造这些占下载量3000亿以上处理器的先驱。您的第一个问题，给年轻人的建议？
普通人或者开发者、工程师，都在某种程度上在学习技术。第二，我的意思是，你知道，在这次谈话过程中，你也提到了那个哲学问题：我们究竟应该构建通用人工智能，还是仅仅构建自动化工具？因为，是的，我认为世界发展得非常快，而且我认为存在某种形式的竞赛，试图构建那些能给我们带来某种不当优势的技术栈。我认为国家和最大的公司都明白这一点，而且这似乎是一场没有终点的竞赛。所以，第一个问题是给人们的建议。第二个是您对我们这场竞赛的看法，你知道，我的意思是，国家和一些最大的公司试图构建他们称之为通用目的的……机器，您的看法。
所以，我认为在给年轻人的建议方面，我的意思是，我相信我在学术界期间指导了36名博士生完成了学业。顺便说一句，我现在已经退休了，所以这些天我正式是一名荣休教授。但是，我认为，我首先要说的是，要了解你们的优势是什么，以及你们的兴趣是什么，然后尝试在一个你们觉得有趣且能激发你们兴趣的领域工作，这样就很容易努力工作并投入所需的时间来取得进步。
我认为在目前机会所在方面，人工智能领域显然有很多机会。我认为一个特别重要的领域是我之前提到的，将当前的人工智能应用于特定的知识领域，你知道，法律、医学，等等。开发真正有用的人工智能系统。你知道，像聊天机器人一样的人工智能非常有趣，但并不非常重要。但是，应用于特定专业知识领域的人工智能我认为可能非常重要。如果你的兴趣在硬件方面，你知道，如果你像我一样是一名计算机工程师，那么就考虑一下你可以在哪些方面为构建能够提高人工智能应用的功能、效率、性能的系统做出贡献。我认为这就是有趣的空间所在。
关于伦理问题，我的意思是，我目前并不太担心通用人工智能，因为我认为我们离理解如何制造它还差得很远。所以，这不是一个迫在眉睫的问题，但我确实认为我们需要问一下，这是我们想要尝试开发的东西，还是不。如果我们确实开发了它，那么它将带来各种各样需要解决的伦理问题。你知道，如果你的电脑真的智能了，你能关掉它吗？这是一个非常复杂的领域，本身就是一项研究。我的意思是，有一些学术研究人员将他们的职业生涯投入到这些领域中的伦理问题上。
大公司……嗯，目前人工智能的现状是，训练一个大型人工智能模型非常昂贵，只有极少数公司能够负担得起，这使得极少数公司的领导者掌握了大量的权力，这是一种不受欢迎的方式。我认为这种情况将会改变。有很多工作正在进行，试图找到方法来普及人工智能，以便至少在有用的层面上使用它要便宜得多。我认为这很重要，因为将太多的权力集中在少数人手中总是危险的。所以我们应该抵制这一点。
好的。教授，非常非常感谢您抽出时间参加播客。非常荣幸您能来到播客。请继续做您所做的所有了不起的事情。祝您永远健康快乐，非常非常感谢您抽出时间参加这个谦逊的播客。
对我的听众说，如果你喜欢你在这里听到的，请按下订阅按钮，下次再见。谢谢。谢谢，非常非常感谢。