Transcription
在医疗保健领域，有许多领域机器人技术可能至关重要，例如手术机器人。想象一下，如果你让大型语言模型来驾驶它，有人说：“哦，你知道，在大脑手术期间，有 20% 的时间它可能会进入错误的区域。非常抱歉。”你不能那样做。你需要非常快速的推理。你需要以毫秒微秒的尺度进行交流。去做。它应该就像自然智能一样。能够规划、能够预测、能够产生新知识的东西。所以我们创造了一个生态系统来为我们人类服务。在我看来，通用人工智能就是那个生态系统，但它是为了让人工智能模型为我们人类服务。Kona 非常便宜。它非常高效。它不需要任何特殊的硬件。如果你的数据发生变化，如果你的环境发生变化，你需要能够像这样识别它。所以，我希望人们始终掌握人工智能可以做什么的主动权。我最大的噩梦是人工智能在做它不应该做的事情。所以你需要使用不同的架构，这些架构可以自我对齐，可以适应其行为，可以在需要时做到精确。每个主要的人工智能公司都在构建更好的语言模型，但 Eve Bodnia 认为它们都在解决错误的问题。Eve 是 Logical Intelligence 的创始人兼首席执行官，这是一个基于完全不同架构的新人工智能实验室。该公司的基于能量的推理模型在抽象的数学空间中思考，以正式的正确性保证来解决问题，并且运行速度足够快，可以实时控制手术机器人或设计芯片。在我们的谈话中，Eve 和我讨论了她为什么离开学术界创办一家公司，大型语言模型在根本上无法做什么，创造力的真正本质，以及传奇数学家 Grigori Perelman 的智慧。我是 Mario，这是 The Generalist。我非常期待今天的赞助商 Granola。简单来说，Granola 是为参加接连不断会议的人们准备的人工智能记事本。我使用 Granola 已经一年多了，老实说，它是我改变工作方式的工具。Granola 会为你记录会议笔记，而无需任何侵入性的机器人加入你的通话。你可以像往常一样潦草地记下笔记，然后在后台，Granola 会在会议结束时转录并将其转化为清晰、有用的笔记。你还可以与你的笔记聊天，这是我最喜欢的功能之一。如果有人在通话中说了你没有完全听懂或想了解更多的话，Granola 可以帮助你。这是一种在不打断他人思路的情况下，更好地了解谈话内容的绝佳方式。你还可以让 Granola 回顾你最近的所有对话，提取待办事项，撰写每周摘要，或找出你可能已经忘记的有趣想法。这是我另一个喜欢的功能。要开始使用 Granola，请访问 granola.ai/mario。对于新用户，您可以使用代码 Mario 获得三个月的免费使用权。所以，请访问 granola.ai/mario 并使用代码 Mario 免费使用三个月。Eve，我想从你分享的一个轶事开始，我在你的 Twitter 账户上看到了，这让我非常着迷，鉴于你所做的工作。那就是，青少年时，你显然遇到了伟大的在世数学家之一 Grigori Perelman，并与他进行了一次迷人的相遇。这到底是怎么发生的？>> 是的，显然我很幸运，因为见到他并不容易。所以我在圣彼得堡有一个暑期实习。我只是在做一些网站来赚点外快，而他在社区里非常引人注目。他总是喜欢在我们办公室附近的一个小公园里，他每天都在同一条路上，同一时间散步，而且他的外表与斯拉夫文化标准相比非常不同。所以人们显然会注意到他，他就像社区里的小名人，人们不知道他是一位数学家。我不知道为什么我天生就好奇，而且我被各种各样古怪的人所吸引。我我我喜欢各种各样的人，但古怪的人是我的最爱，因此我选择了学术界作为我的职业，但那是另一回事了。他就说他在研究拓扑学的一个问题，是的，所以我显然想知道更多，但他并不健谈，当他登上新闻时，他无处不在，我不能多说，因为没有更多可说的了，所以我很幸运能问几个问题，我还问他为什么没有获得菲尔兹奖，他说有很多人的支持，我把这项工作整理了一下，把零碎的知识拼凑起来，这是一种获得它的虚荣心。所以，这就是我理解的，为什么那些人没有获得它。你明白我的意思吗？>> 是的。是的。对于那些可能不太熟悉的人来说，正如你提到的，他以拒绝菲尔兹奖而闻名。>> 是的。这其实很有趣。他试图减少别人对他的关注，但这产生了相反的效果。>> 是的。这让每个人都好奇他怎么能拒绝数学界的诺贝尔奖。我很好奇，当你提到“古怪的人是我的最爱”时。这引起了我的共鸣。我觉得我内心深处也有同样的感觉。这对你来说是什么感觉？你觉得这些“怪鸟”最有趣的地方是什么？>> 我只是喜欢这种非常规的推理和思考方式，以及这些人看待世界的视角，而这正是创造力的主要组成部分，对吧？你只需要能够跳出框框思考。但如果你跳出框框思考，你显然很可能看起来与众不同，虽然有时事实并非如此。但有时有些人确实如此。我自认为很正常，尽管大多数人听到我说这话都会笑，但我我我感觉在家，当被古怪的人包围时。>> 看看你的背景，我绝不是冒犯的意思，我这是在赞美你。你确实不像普通人。我认识的 13 岁就开始研究粒子物理学的人不多。所以，我非常期待深入探讨这一切。但佩雷尔曼的故事对我来说非常有趣，因为正如我们将要讨论的，你实际上正在构建一种数学天才，这种天才希望以许多有趣的方式得到推广。但也许我们先退一步，你是在怎样的环境中长大的？为什么你从这么小的年纪就对数学和科学如此着迷？>> 答案是不知道，因为我一直都是这样，而且自从我还是个孩子起，我就一直在读书。我试图理解一些花哨的数学，因为对我来说，数学和科学总的来说就是跳出框框思考的体现。我看到我们人类的经历，我们似乎受到我们进化记忆的限制，因为这个原因，很难创造出超出这些进化事物的东西。所以，这就是为什么当我们发明某些东西时，我们会试图将其与我们已经看到的东西联系起来。我一直在寻找创造一些与我们在日常生活中遇到的直觉无关的东西的方法。所以，例如，你知道当人们发明黑洞时，这不是你在日常生活中看到的东西，对吧？它非常违反直觉。所以，量子物理学总的来说以及数学是能够将你的想象力带到传统日常限制之外的工具，它有一些规则，你只需要遵循这些规则，你就知道它带来的垫脚石在某种程度上是正确的，你可以信任它，但它也给了你一些你可能不理解的东西，而我们需要时间来理解它给了我们什么。量子力学的概念花了很长时间才围绕黑洞的概念建立起直觉，总的来说，量子信息是一个非常违反直觉的领域。>> 太有趣了。>> 是的，我被这种想法吸引了。我能否接触到能够将我的个人想象力带出我的限制的工具？答案就在理论物理学和数学中。是的，我从第一天起就沉迷于此。>> 太棒了。我觉得你描述这种热情的方式，就像我可能会描述写作一样，在许多事情中都存在某种统一性，你知道，无论是什么正确的方法论，都能让你的想象力进入这些有趣的地方。但这是一个非常美好的描述。>> 你提出了一个非常有趣的点。我想我遇到过一个对我说过类似话的人，他在文学领域工作，他是一位作家，他说词语有如此多的不同色调和如此多的不同语言。它们有自己独特的色彩和色调，要准确地解码你大脑中的东西并将其转化为语言形式，这是一个非常困难的解码问题。语言是我们自然解决的问题，在数学中被称为流形假设或流形问题。所以，这很有趣，我喜欢你提出它。你能否更详细地解释一下流形假设，以便我更好地理解这个类比？当你提到语言时，有什么联系？>> 是的，想法是你的大脑以某种抽象的方式思考，我们的想法有时不是用语言，而是用其他东西。它是一种混合图像，是词语的混合，它还有其他东西。而且对不同的人来说，这是不同的。当你试图交流时，你需要找到你大脑中想法在语言空间中的表示方式，并且要尽可能准确。有时这就像你的生命取决于它，比如在法庭上。所以，语言可以让你走得很远。但也在文学和诗歌中，语言成为了引导你大脑中创造性事物的重要组成部分。你明白我的意思吗？>> 是的，百分之百。不，我认为这在某种程度上是一种有损的提炼。就像语言在许多情况下是我们用来向人们解释我们脑海中想法的最佳方式，而且它当然可以非常优美和富有描述性，但仍然会丢失一些东西。>> 是的。你所描述的就是这个流形假设的核心，当你试图将非常复杂的东西映射到非常简单的事物时。而这个简单的事物需要尽可能准确地描述你最初的意思。翻译中存在巨大的信息损失，是的，这是人工智能、生物学、大脑、语言和交流领域一个非常热门的问题。是的，感觉我们正在以一种非常有趣的方式进行即兴创作，但这似乎也与你正在构建的东西深刻地联系在一起。说到这个，我想知道你是否曾遇到过小说家 Cormac McCarthy 写的关于 Keule 问题的一篇文章，他在其中谈到了数学家 Keule 或科学家之类的，他提出了苯的结构，在一个超越语言的空间里，你知道，他从一个梦中醒来，带着一条蛇一样的形态，你知道，我在这里糟糕地解释了科学。我清楚地把它编码成了一个故事，而不是科学，你知道，作为科学作品。但实际上，即使是这位传奇作家也在谈论我们思维的哪个部分显然在语言之外以一种无意识的象征方式运作。>> 是的。而且我们大脑从一个空间到另一个空间的外推能力是惊人的。这也是创造力的一大组成部分。我也对诸如意识之类的问题感到好奇。我们如何定义意识？因为这会让你想到你正在谈论的东西。存在一个潜意识的层面，它接管了处理，而这与你的日常生活没有直接关系，但这是可以带来新东西的东西。所以，你潜意识的某种潜在空间，它一直在扫描信息，然后消化它，然后给你一些反馈。有许多科学家和普通创意人士从梦中获得灵感，或者有时在一个领域或另一个领域工作。当我做 EBM 时，我总是在想 EBM。原谅我。就像人们问我的每一个话题，都回到了 EBM。>> 不，我明白。>> 是的，我一直在一个完全不同的领域工作，这个领域与 EBM 毫无关系。但是>> 是的，>> 大脑有惊人的能力将事物从一个地方推断到另一个地方。>> 而且对于听众来说，EBM 是基于能量的模型。这是你和 Logical Intelligence 合作的那种人工智能。>> 是的。是的。不是基于语言的。>> 不是基于语言的。是的。这太有趣了。你的父母是数学家或科学家吗？就像他们影响了你的成长方式，以至于你在家里进行这些谈话吗？不，实际上我家族中的大多数人要么在医学院，要么是艺术家，我们在家里没有进行过这样的谈话，而且我确实因为进行这些谈话而让人们抓狂。>> 你是在圣彼得堡长大的吗？你提到你是在那里遇到佩雷尔曼的。>> 是的。部分原因是我到处奔波。我出生在哈萨克斯坦。我八岁左右随父母去了俄罗斯，我们旅行了很多，每三年就搬到一个新城镇，因为我家庭的工作情况，而且我有一个大家庭，所以总有亲戚在另一个城镇我们可以拜访，也许可以住更久。十八岁时我搬到了美国。>> 在研究你的时候，我发现你似乎在 13 或 14 岁左右在欧洲核子研究中心工作，研究粒子物理学。这到底是怎么回事？>> 不是那么年轻。>> 不是那么年轻。好吧。我当时想，天哪，这怎么可能？>> 我不是那种天才神童之类的，你知道吗？13 岁就去上学。我只是幸运地参加了不同的奥林匹克竞赛，并幸运地赢得了一个，并被邀请选择俄罗斯的任何一所学校。所以我选择了一些与理论物理和数学相关的。我当时正在完成高中。所以我当时是高中生，他们给了我一个项目，他们说，嗯，我们正在研究，有一个叫欧洲核子研究中心的地方，我们正在尝试研究新粒子，并制造新粒子，当时希格斯机制和所有关于希格斯的东西都是大事。我得到了我的第一个项目，与 PP 碰撞有关，并试图理解夸克胶子等离子体的起源。所以在宇宙形成之前，就有夸克胶子等离子体，有很多有趣的等离子体效应和有趣的数值问题。所以他们给了我，我解决了它。我们发表了论文，然后我想，也许我应该去欧洲核子研究中心工作，我们显然在那里有很多联系，这是一个很棒的社区。我喜欢在瑞士度过时光。这是我最喜欢的国家之一。是的，然后我搬到了美国。所以，是的，你知道，没什么疯狂的，只是一个高中生。>> 嗯，现在人们，实际上，甚至更年轻。所以你看到的是 B，我们有很多学生，他们是中学末期参加研究暑期项目，他们已经能够进行编码并理解我那个年龄不理解的东西。我认为现在孩子们非常非常聪明，而当时高中也不是什么大事。俄罗斯有很多聪明的高中生。>> 然后你在 18 岁时去了伯克利，并在加州度过了你的博士学位。你当时在学习什么？也许你现在回过头来看，你认为你正在构建的 Logical Intelligence 的哪些方面影响了你的想法？>> 嗯，团队一直都是一样的，只是试图理解自然的根本规律。我特别被对称性的概念所吸引。它是某种在一切都在变化时保持不变的东西。而且有美丽的数学来描述和定义和推导出不变的东西。所以，我认为自然界的一切都具有这种现象。所以，也许这将是我的主题，我将研究这种不变性。这就是它被称为的。当其他一切都在变化时，不变的东西。也许我将在大脑、粒子物理学和凝聚态物理学中研究这一点，因为数学是相同的，但将知识从一个领域推断到另一个领域的能力会让你为这些领域带来新的东西。所以我专注于数学基础来理解对称群，而对称群描述粒子物理学，如果你理解粒子物理学，你就可以处理凝聚态物理学，因为有一些相似的现象，只是方程不同，但想法是相同的。如果你处理凝聚态物理学，你显然会开始处理量子物理学和量子信息，自然而然地，神经科学系的某个人会过来，说，嘿，你知道，我们正在使用一些数学，这些数学是传统的，没有给我们带来任何新东西。所以，也许你的方法论将有助于我们描述大脑中的一些新事物，而大脑也可以用与凝聚态物理学相同的方程来描述，因为在你大脑中有一些东西在你的一切都在变化时保持不变。所以，我想，好吧，也许有兴趣看看我们在某些大脑活动中可以发现哪些不变性，我一直在研究这一点。所以，团队一直都是一样的，只是领域不同。>> 而且很自然地，当你开始谈论大脑时，人们可能会说，你也许可以将其应用于人工智能，这就是我感觉到差距的地方，我想，哦不，我不能在大型语言模型上使用相同的工具，我开始深入研究大型语言模型，我想，好吧，我不是声称我理解大脑是如何工作的，但我花了几年时间试图理解，对我来说很清楚。它不是在任何语言中搜索模式。就像作家一样，你也能感觉到。当你创造时，你不仅仅是在搜索模式。它就像别的东西。而且你有自由来解码它。而这种认识到缩小差距的想法让我走上了这条道路。>> 非常有趣。其中有很多我渴望一起思考的东西。让我们退一步，回到你旅程的起点，对称性和自然界不变性的想法。也许，也许不可能向我这样的“细胞”解释，但你能举一个你看到自然界中这种不变对称性概念的例子吗？>> 字面意义上到处都是。所以，对称性的例子是，我有一个水杯，如果你旋转它 360 度，它不会改变，会回到原点。所以我有点像把这种对称性强加给了物体。然后想想磁铁，如果你把小块金属放在桌子上，就像金属粉末一样，然后你用磁铁，它们开始排列成图案。所以，我们说对称性被打破了。它没有秩序。>> 我的意思是，它本来是无序的，然后它获得了一些秩序，这就是所谓的有序。所以，自然界中的几乎任何有序都可以用某种形式的对称性来描述。而你的大脑是另一个例子。所以，就像你的大脑自然地处于我们大脑的背景模式下，非常混乱，梦也是如此。但有时你会有一个非常清晰、清晰的想法或思维过程。所以，这是同一个想法，对吧？你有一些混乱的东西，然后突然它变得有条理了，但你需要保持这种混乱的秩序，以便能够创造新的东西。所以，你需要有熵的概念，以及在凝聚态物理学中发生的相同现象。这是关于材料和材料研究的主题，以及它如何在非常高的温度和非常低的温度下使用，它们都有不同的性质，比如高温半导体与低温半导体行为不同。同样的数学可以应用于大脑，而且事实证明，同样的想法也可以应用于人工智能。>> 哇，这太有趣了。而且这些都是非常有用的类比。当我查看你发表的一些论文和你之前的一些工作时，我当然不能假装理解所有内容，但即使在你论文的致谢部分，也有一些有趣的迹象表明了你的想法。例如，在你的一个致谢中，我记得你同时感谢了菲尔兹奖得主和你的印度神灵，这让我好奇你如何看待灵性，你如何看待我猜想数学和科学在你看来可能意味着什么。>> 我真的很喜欢 Rick Rubin 的一些书。他，他思考创造力的方式，当然有不同的理论，我不想深入探讨。但我喜欢这个想法，你只需要放松，引导，它就会像这样来到你身边。当然，这与我们对潜意识的讨论有关，以及你经常思考问题，你经常接触不同的领域，有时你的潜意识非常有创造力，或者你的意识有创造力。所以，我从小就在俄罗斯长大，虽然我在俄罗斯长大，但我妈妈非常虔诚，她信奉印度教。所以，我相对较早地接触了冥想，我一直认为我们创造力的一部分不属于我们。它只属于整个世界，而我们只是作为一种>> 是的>> 在意识、潜意识的层面上，我们都是有生命的，你知道，有时它就是会来到你身边，你只是心存感激，而且你觉得它不属于你，你只是在这里接收它并把它带给世界。>> 我真的很喜欢那个创造力的框架，部分原因是我记得读过一本书，Keith Johnstone 的《Impro》。我不知道你是否读过，但它理论上是关于即兴戏剧的，但他谈到不同文化对创造力的联系是多么不同，他们将其与神圣联系起来，而这让你作为一名艺术家更加自由。因为如果你只将创造力与你的自我联系起来，那么你就会对你向别人展示的东西感到非常不自在。而如果你将自己视为一个渠道，那么你就可以在某种程度上将自己与之分离。>> 完全正确。你仍然会感到责任，但你只是无条件地创造。而且我经常思考自我。老实说，经营一家企业是对任何人自我最大的考验，因为你面临竞争。你面临各种各样的恐惧，但你也面临着积极的方面，它们会滋养你的自我。所以，你总是必须强迫自己保持脚踏实地。但这也带来了所有权的问题，对吧？我们创造的东西真的不属于我们吗？它绝对属于我们，但它属于你吗？不，真的。所以，这又回到了 Gregori Perelman 的观点。他在研究人们长期以来一直在研究的东西，你不能孤立一个人说，哦，他显然很聪明。他是天才。他把所有这些拼图碎片拼凑在一起。但实际上，这些拼图中的每一块都是多代数学家非常努力的成果。这在每个科学领域都存在。所以，老实说，我我我不太喜欢诺贝尔奖这个想法。它只是给一个人或一个团队，但它应该给整个社区，因为我们所有人都很重要，我们都联系在一起，并且集体为它的最高意志做出贡献。>> 是的。也许在你的博士论文或其他地方。你提到过你曾经有过一段更偏向实验物理学的时期，而且那更具挑战性，你再也不想回到实验室设备了。那种模式或它的表达方式对你来说有什么问题？>> 嗯，我天生就很爱讽刺。所以，这就像给我当时的实验团队发了一条信息，他们在我的博士期间拯救了我，我爱他们，那是我的博士期间最好的部分之一，但他们说，如果你只需要做点别的事情，因为>> 太麻烦了。我老实说也不认为有必要区分实验科学和理论科学。我知道有些人认为理论最重要，有些人认为实验最重要，但对于现实世界，你需要两者兼备，并且你需要对两者都有相当的了解。所以，例如，有一些超对称理论，人们说，哦，现在我们理解了粒子物理学是如何运作的。我们将建造大型强子对撞机，我们将发现它，但当他们实际建造它时，发现与他们预期的不同。所以，实验方面告诉你什么是真实的，什么不是真实的，对于物理世界来说。而理论告诉你不同的选择，给你假设。所以，如果你只专注于实验，你就会感到受限。你仍然需要理论来检验，但你只专注于物理世界的局限性，你的科学，你的约束。而如果你只专注于理论方面，你可能会最终研究一些可能永远没有用的东西。这没关系，我我我，我在博士期间有很多无用的主题，比如多维甜甜圈，这些都不会有用。所以，没有评判。也许我们跳到你职业生涯的某个时期，当你开始认识到你所思考的事情在人工智能方面的适用性时。你刚才稍微提到了这一点，但它是如何开始形成的，以及这个过程是如何真正正式化为“嘿，也许我真的应该创办一家公司来做这件事”的？>> 最初的想法是，我发表了一篇带有那个解决方案的论文，并获得了终身教职，然后一辈子都当教授。第二个想法是，有很多学术论文，而现在我们正面临这个问题，甚至是一场危机，人们正在使用人工智能来发表论文，一些非常深入的论文，非常深入的主题，如果你不是真正的专家，你就无法分辨区别，你不知道什么才是真实的，什么不是真实的了。我的博士论文在 arXiv 上每天有 500 篇论文。所以，有很多噪音。这是信号与危机的斗争，我们没有工具来真正识别什么是真实的，什么是相关的，以及如何找到它。我想，如果我发表我的论文，它只会是每天 500 篇论文中的一篇，它可能会被埋没，它只会留在学术界。而在工业界，我有机会真正把它带到生活中，并与真正会使用它的人一起工作，获得真实的反馈，并弥合市场差距。市场差距巨大，因为现在人工智能只是基于语言的模型，而我们周围的世界不一定是基于语言的模型。所以，我想，如果我有这个机会，为什么不专注于弥合这个差距呢？机会来了，宇宙在我的博士论文结束时提供了，我遇到了一位投资者，他只是说，“好吧，你有你的团队，所以你有你的东西。让我们继续下去。”我说，“是的，当然。”>> 也许退一步在你遇到这位投资者之前，我很想听听，但听起来你花了很多时间分析大型语言模型以及它们能做什么和不能做什么。你看到了哪些让你觉得与你的工作非常契合的挫折或局限性？>> 显然，我一直在研究大脑，我想，“好吧，让我们看看大型语言模型。它是一堆神经网络，有一些层，我们正在以正确的方式为某些事情进行优化，而且它能像真正的智能一样推断知识吗？答案是否定的。大型语言模型非常擅长在现有空间中操作事实，有时人们说，哦，它创造了一些新东西，但你不知道它有多新。它已经在互联网上，你从未见过。>> 是的。可能是这种情况，或者它可能只是互联网上的一些事实，一些论文被组合在一起，是的，这是新的，这很棒，人们可以做到，这就是科学在某种程度上运作的方式，将事实结合起来，这是事情的一方面。我担心的是，大型语言模型无法创造真正根本性的新事物。我还担心它的可扩展性，以及当环境变化时，保持相同性能水平的容易程度。所以，回到图像。>> 是的。>> 所以，对我来说，大型语言模型只是在模仿智能，而且有一个庞大的生态系统，各种公司都在尝试宣传工具，如何更好地模仿智能。但现实是，你只需要使用不同的架构来进行推理，而这种架构需要从我们的大脑中获得灵感。我们是如何进化的，我们有潜在空间，基本上它在你的脑海中保留了你任务的想法，并用有限数量的神经元工作。你不需要巨型工厂和你知道的 GPU 和所有这些。所以，你的大脑在 20 瓦的功率下运行，而你有>> 你有方法来选择信息，比如信号与噪声，并以不同的形式解码它，比如语言、舞蹈、唱歌、绘画，语言只是这个世界的一小部分，尽管它非常困难。我想，我不能只是拿一个大型语言模型，让它变得更好来创造新东西。这只是渐进式的改进，但它仍然与语言相关。我需要创造一些不关心语言，但如果它愿意，它可以说语言的东西。所以，它必须以抽象的方式思考，就像你的大脑一样。它以抽象的方式思考，然后它有自由选择说什么语言，做什么。如果我开车，我根本不需要语言，对吧？而我们构建的架构正是如此。它在抽象空间中思考，它是一个向量空间，你可以做到。所以，所有的推理都发生在这个空间中，然后你可以有一个大型语言模型的层，如果你想让人们与你的模型交谈，或者你想与人们交谈，大型语言模型只是一个接口，它只是一个用户界面。但对于字节，你甚至不需要它，对吧？有时你需要控制电路，比如你把人工智能放在某个机器人的大脑里，机器人正在做一些事情，你不需要任何语言来与电路通信。基于能量的推理模型可以直接与电路对话。你需要以毫秒微秒的尺度进行交流，而我们，是的，在这种情况下，你不需要大型语言模型作为用户界面。是的，所以，我一生中的一半时间都在思考这个构建架构，它就在我的脑海里，然后它就来了，就这样。>> 哇。太棒了。>> 本集由 Persona 赞助，这是一个 B2B 身份平台，帮助企业验证用户，打击欺诈，建立信任。欺诈者已经在使用人工智能来伪造面部、声音和文件。所以，你的防御也需要同样快速地适应。Persona 帮助保护了互联网上一些最大、最值得信赖的平台，提供身份验证。如果你正在构建一个信任至关重要的产品，身份应该是优先事项。你可能已经在不知不觉中体验过 Persona。验证你的 LinkedIn 个人资料，注册 Etsy，或者用 Lime 租用滑板车。Persona 得到了 Square、BS 和 Twilio 等领先公司的信任，它提供了构建块，用于创建适应你的客户、风险承受能力和运营地点的身份流程。无论你是验证年龄、入职企业还是自动化 KYC，它都是完全可配置的，因此你可以在几天内而不是几个季度内启动。想亲眼看看吗？Generalist 的听众可以免费获得一年的入门计划。访问 withpersona.com/generalist 查看。你网站上有一个例子，展示了 Logical Intelligence 模型如何与传统大型语言模型不同地工作并解决不同问题，这真的很令人着迷。这真的让我大开眼界，对于那些可能想去看看的人来说，我推荐它。但你生成了一个超级难的数独，然后同时测试了 Logical Intelligence 解决该数独所需的时间，以及 Gemini、ChatGPT、Opus 等模型，然后你就可以选择任何一个。看到你的方法如此即时，而其他模型要么根本无法解决，要么错误地解决了，这真是太迷人了。所以，这可能是这种方法表现不同的最小红利。你知道，显然，在成熟时，这具有广泛的适用性，但可能有一些初步的应用是最有意义的。所以，我想知道你如何看待这方面。>> 是的。所以，它有意义的领域是任务关键型领域。所以，有些地方你不想犯错，而且也不一定与语言相关。所以，机器人硬件是未来。在机器人领域，不幸的是，你不能使用大型语言模型，尽管很多人尝试过。因为它非常昂贵。它仍然是在玩猜测游戏。需要非常快速的推理，就像将大型语言模型带到微秒级或电路级规模一样困难。我的意思是，我们瞄准的用例几乎是机器人、芯片设计、创建形式验证的芯片设计、代码生成、形式验证的代码生成。所以，当我说的形式验证时，它意味着它保证了事物的数学正确性。例如，每个人都喜欢 VIP 编码，而 VIP 编码正在推动行业发展，优化人们的管道等等，但仍然需要人们进行调试。我们希望帮助人们不必调试，而是专注于创造性地创造事物，而不是专注于我将使用哪种语言，我将面临什么类型的错误，我将进行什么类型的测试。而且你想大规模交付，这意味着你需要停止 VIP 编码，你需要转向 VIP 代码规范，这样你就可以生成始终正确的代码，但你仍然会指导整个过程。你会说，“嘿，给我生成一个自动驾驶仪。这是我拥有的硬件，以及这辆车的要求，比如我希望它始终遵循方向，始终听从人们的指示。”所以，你作为人类负责约束。对我来说，这是一件大事，因为我们希望在人工智能驱动的世界中保护人们。我希望人们始终掌握人工智能可以做什么的主动权。所以，我最大的噩梦是人工智能在做它不应该做的事情。所以，做到这一点的方法是让人类提供这些约束。它可以是自然语言。但然后人工智能在做事，并且它始终遵守这些约束。所以，它不允许偏离任务。所以，大型语言模型永远做不到这一点，因为大型语言模型会产生幻觉。所以，你需要使用不同的架构，这些架构可以自我对齐，可以适应其行为，可以在需要时做到精确。所以，对人类来说，精确性不是自然而然的，对吧？就像我们，是的，如果我们想建造一座桥梁，我们会去工程学院。>> 是的。>> 但数学不是我们大脑的自然组成部分，我们是靠跳跃和吃香蕉进化的，对吧？这就是为什么如果你给你的大型语言模型输入数学，它并不能真正帮助它成为一个更伟大的数学家之类的。而自然智能，我梦想中的人工智能，默认情况下不是精确的，但它有精确的选项。就像你的大脑里有一个计算器，你知道，当你需要它的时候，你就把它拿出来。所以，任务关键型行业是有意义的。任何类型的机器人，任何类型的制造，任何类型的芯片设计，芯片设计是它最需要的地方。人们可以使用人工智能将电路设计放到晶圆上，但他们无法保证这些设计的正确性，这是一个非常难以解决的问题。而且，如果你在这个阶段犯了一个错误，可能会让你损失数百万美元，因为它会进入生产阶段，然后你才发现它不起作用。所以，所有这些时间和精力，它都会拖慢你的速度，拖慢你的生产速度，你会感到沮丧。所以，我们正在解决所有这些问题。这是其中之一。第二件事是，有很多医疗保健领域，机器人技术可能至关重要，比如手术机器人。想象一下，如果你让大型语言模型来驾驶它。有人说，“哦，你知道，在大脑手术期间，有 20% 的时间它可能会进入错误的区域。非常抱歉。”下一个词是错误的词。所以，你不能那样做。所以，智能电网，驱动你整个城镇的系统根本不涉及语言。它涉及实时的大规模数据分析。实时搜索模式，进行估计、预测，根据许多变量预测接下来会发生什么。所以，这是基于能量的推理模型的一个非常好的用例，最后是数字资产，人们想把人工智能放到股票交易所，你知道，同样的问题，实时预测和分析各种数据。也用于药理学，抱歉，我只是看到用例太多了。但药理学涉及对某些患者的实时数据进行分析，你需要分析你的血液样本，拥有遗传背景，拥有语言部分，因为患者会与你交谈，并为某些疾病提出实时解决方案。>> 作为一种背景或澄清，你为什么称之为基于能量的模型？为什么这是思考你所做事情的正确方式？>> 其实不是。它应该是基于能量的推理模型，带有潜在变量。好的。>> 但它太长了，而且这是一个全新的领域。目前除了我们和 Jan 的公司，我不知道还有谁在做这个。但我相信当我们谈论更多，人们了解它时，会有更多人加入。但能量，让我分解一些词，也许可以给你一个全景。>> 完美。>> 嗯，是的，能量基础原理并不新鲜。它在物理学中无处不在。例如，你从办公室去家，你想走最短的路径。你在最小化你的能量。当你在这档播客上和我说话时，你不会跳起来，因为你想最小化能量并集中注意力。能量最小化原理。光线走最短的路径，笔直地射入你的眼睛。所以，自然界中的一切都想最小化能量。这就是我们所说的能量基础原理。有一些大型语言模型利用能量基础原理来导航某些网络，比如层等等。所以，这是一个巨大的术语，非常广泛，它并没有使我们拥有这个术语的任何东西变得独特。所以，独特之处在于潜在变量。那么，什么是潜在变量？再次，灵感来自我们的大脑，它有一个潜在空间部分，称为大脑中保留世界某种心理图像的部分。例如，世界心理图像，你知道，我们知道一些关于数据的规则。我最喜欢的例子是，我是一个咖啡成瘾者，我可以一直喝咖啡。如果有人知道这个事实，这个规则，他们看到，哦，这里有一个咖啡杯，这里是 Eve。规则必须是，如果她看到咖啡，她就会喝咖啡。别人给我咖啡，我会接受。我永远无法拒绝咖啡。所以，无论你提供多少数据点，规则仍然是相同的。所以，这些关于世界由你的大脑的潜在空间以及我们的模型收集的规则。所以，我们的模型不仅仅是获取周围的数据，而数据可以是任何形式。它可以是视觉的，可以是音频的，可以是视频的，可以是语言的，可以是任何东西。它获取这些数据，并学习关于数据的规则，这些规则进入其潜在空间，而我们导航它的方式是使用这个能量基础原理。>> 是的。>> 所以，完成了整个画面。我可以讲得很远，我就不讲了。>> 好的。好的。完美。如果你觉得有什么是你认为“嘿，你绝对应该解释一下”的，但我认为这真的很有趣，你知道，当你解释你正在构建的东西的不同应用时。我想到的问题是，这种模型与大型语言模型相比，有什么权衡，如果有的话？因为听起来它能够实现更高的精度，这显然更好，而且似乎更节能，而且我想也更具成本效益，或者也许这就是权衡？>> 非常具有成本效益。>> 所以，要变得聪明，你不必成为一个庞大的模型。有些任务我们比大型科技公司的大型语言模型快数千倍。对于大型语言模型可以解决的任务，我们可以在一个单独的 H100 GPU 上运行它。所以，这是最便宜的 GPU 类型，而且只有一个。所以，我们有模型参数的范围。我们有大约 2000 万个。我们目前最高的参数是 2 亿个。相比之下，大型语言模型有数十亿个参数。我们正在构建小型模型，这允许你将其放入芯片中的电路，放入你的电网中。这是大型科技公司的大型语言模型永远无法做到的。它们构建了一个大脑用于所有目的，而这个大脑被迫扮演所有可能的角色，比如医生、工程师等等。所以，这有很多问题，因为大型语言模型的推断问题，比如它无法推断知识，至少目前形式的架构是这样。>> 所以，你正在构建更专业的模型。是这样吗？>> 它是专业的，但它不一定如此，它实际上非常通用。因为它不玩猜测游戏，所以它的架构非常便宜。它同时看到所有可能的场景。所以，我们网站上的演示花了我们 4 美元，有大约 2 万人使用它，而对于大型语言模型来说，解决那 2% 的问题花了 15000 美元。成本效益在这里简直是疯狂的。而这应该是这样的，对吧？就像如果你创造了一些东西，它很糟糕，你就不会再玩猜测游戏了。你应该直接知道答案。>> 圣达菲研究所所长 David Crackour 对智能有一个非常恰当的描述，那就是“用更少的资源做更多的事情”。而大多数这些大型语言模型都是用更多的资源做更多的事情，有时用更多的资源做的事情并没有多多少。听起来就像。
你算是找到了一种方法，是的，可以限制，比如使用数量级更少的参数、成本和能源，但却能在这些应用中获得更多，正如你所描述的，这些应用可能具有，是的，能够推断和泛化更多的能力。或者，我认为你曾说过你的一个模型显示出 AGI 的可信迹象。是什么让你这么认为的？ >> 那不是我说的。那是记者说的。 >> 哦，真的吗？好的。是记者这么说的。 >> 我在开玩笑。所以，嗯，我们来谈谈 AGI。 >> 哦，这是我们谈话的第一个部分，我看到你把手捂在头上，显得很沮丧。 >> 你知道，对我来说，AGI 是什么就像意识是什么一样。有不同的哲学观点，比如哦，这就是我们称之为 AGI 的东西，每个人都有自己的看法，就像你对 AGI 有自己的版本一样。 >> 没有人定义这种形式的 AGI，而且它会随着时间而改变，所以 10 年前不同人所说的 AGI 可能不是我们现在所说的。所以在我谈论 AGI 之前，我会告诉你对我来说 AGI 是什么。所以 AGI 应该就像自然智能一样，能够规划，能够预测，产生新知识，成本低廉且高效，能够适应环境。嗯，它应该能够推理，它不应该模仿任何形式的推理，但它也应该与我们可能拥有的所有工具兼容，比如我们拥有用于语言的 LLM。所以你需要让你的模型与语言组件兼容，因为语言是我们世界的重要组成部分。所以我相信会有很多不同形式的 AI，对我来说，GI 就是拥有那个生态系统，以最安全、最有效的方式为我们人类服务。所以我们作为人，就像有一个集体的意识概念，也有一个集体的努力。我们建造城市，有不同的职业。我们每个人都擅长某件非常具体的事情，这就是我们将才能带给世界并将其货币化的方式。所以我们得到了回报，但也为世界做出了贡献。所以我们创造了一个为我们人类服务的生态系统。我认为 AGI 对我来说就是那个生态系统，但它是为 AI 模型服务的，为我们人类服务。所以我看到 Kona 非常便宜。它非常高效。它不需要任何特殊的硬件。所以我们不需要制造特殊的芯片来运行这个架构。它是自适应的。它是自我对齐的。自我对齐是一个重要部分，就像如果你的数据发生变化，如果你的环境发生变化，你需要能够识别它并改变你的行为，而你的行为始终需要受到人们设定的约束。所以我们确实看到，我已经提到了这一点，自我对齐是至关重要的一部分。所以 LLM 没有自我对齐功能。嗯，LLM 在你训练它的方面很擅长。所以如果你在某个特定任务上训练它，你就不能让它做其他事情。人们寄予厚望并相信，如果 LLM 变得更大，它就会突然改变行为，突然变得自适应、规划和预测未来、进行预测等等。嗯，但我还没有看到。>> Kona 做过的最令人印象深刻的事情是什么，可能让你最震惊？>> 知识外推。我没有预料到，理论上我没有预料到会这么快地在实验层面看到它。所以这个基于能量的推理模型的优点是它们不依赖于任何语言，你可以为你的世界构建关于规则的空间，比如如果你是自动驾驶汽车，比如关于我如何与人相处，如何与城市环境相处，你知道有时道路封闭了，这条路我不能走，它们会改变我的行为，还有天气也会改变。所以你可以有不同种类的规则，存在于不同的潜在空间中，并且有一种美妙的数学方法可以迫使它们相互交流，但速度非常非常快。当这个想法出现时，我们就像，我不知道。它听起来很美，就像超对称一样。让我们建造一个粒子对撞机来测试什么是真实的，什么不是。它确实是真实的。而且模型非常小。我曾期望看到某种复杂性的变化。我的意思是，有时不同的无序系统，当它们足够小时，它们的行为方式不同，当它们足够大时，它们的行为方式就不同了，所以我想如果系统足够大，比如如果我们把模型扩展到 80 亿参数，我们可能会看到这种行为，我们立刻就看到了，1600 万参数，它非常小，这让我非常震惊。>> 你的团队非常有趣。你和你丈夫一起创立了 Logical Intelligence。你的团队里还有一位菲尔兹奖得主，Yan Lun 也是顾问。这个团队是怎么聚集在一起的？>> 顾问。Jan 是我们技术委员会的创始主席。>> 创始主席。>> 好的。也许 Jan 是个不错的起点。考虑到我记得你提到过，也许只有你和 Jan 的公司在这个领域以这种方式运作。>> 嗯，当你发明一些相对新颖的东西时，人们通常会去网上阅读相关的论文。当我们创造这个时，我们不能只是去读关于它的东西，然后看看，哦，我们可以预测接下来会发生什么，它将如何扩展。所以我们没有这种奢侈，这曾经是一种真正的科学方法，你必须提出一系列实验来评估你发明的边界和限制。对我们来说，Jan 是唯一可以谈论这件事的人，因为他在这个领域已经很长时间了。他非常了解这个领域，并且在工业和学术界都有经验。所以一旦它奏效了，我们就向他展示了，然后说，好的，让我们扩展它。所以 Jan 正在帮助我们的团队扩展模型，并评估我们在扩展过程中可能面临的任何关键限制，因为再次强调，没有人做过这件事，但我们对正在发生的事情和即将发生的事情有非常深刻的理解，而且在任何时候，我们都知道我们现在在做什么，但当时我们不知道。>> 当时我们有一些猜测和预测，但现在我们就像理解了，我们知道，现在我们解决了。所以 Jan 很棒。他的知识非常渊博，而且他也是一位教授，也在教学。所以有一个社区的人也接触过不同类型的基于能量的架构。所以与这些社区互动总是很棒的。我很高兴 Jan 正在创造这个生态系统。你简直是这个生态系统的父亲。所以我们很荣幸能一起工作。他的公司专注于 Japas，但他们也在做很多其他事情，我会让他们自己来说。但是，我们合作的美妙之处在于我们的模型与 Jan 的模型兼容。所以他的 Japas 在我们能看到它的光电效应时，它正在选择信号与噪声，它们的输出可以成为我们的输入，我们正在进行较低级别的推理规划，而我们正在进行更高级别的推理规划。所以我们的架构彼此非常兼容。所以我很期待看到我们接下来会一起创造什么。所以这就是关于 Jan，我的丈夫。我结婚 14 年了。差不多我生命的一半。我和我丈夫一起成长，我们一直在谈论数学，当它合法时，我就结婚了。所以我 18 岁就结婚了。我们有两个孩子。嗯，数学、AI 和 ABM 始终是我们家庭的一部分。是的。所以我很高兴我们一起做这件事。你知道，我丈夫是 ICPC 冠军。他于 2009 年赢得了这项冠军。这就是我们搬到美国的原因，因为当时 Facebook 邀请了他，嗯，我当时帮助招募了一些来自 ICPC 世界的人才，因为我会说多种语言，这很有用，而且 Facebook 当时还很小，因为有这种 ICPC 的经验，他们通过这项比赛训练出才华横溢的人，他们被迫在 5 小时内解决非常困难的问题，而且不仅要解决它，还要编写代码，编写算法，并确保它有效。这在初创公司环境中很常见，而我和我丈夫就是在这种环境中长大的。我们自己也做过，我们有很多童年朋友，他们成为了这家公司的核心。所以我们公司现在有八枚 ICPC 奖牌，我也引进了 Mike Freriedman，因为他对同一个主题感兴趣，他对 AI 的工作方式感兴趣。大脑和 AI 之间是否存在任何相似之处？我在读博士期间遇到了他，当时他在 Google 量子 AI。>> 你提到了这家公司的故事的一部分，也许从写一篇关于这项发现的论文到将其变成一家公司的一个关键步骤是找到一位投资者，这使得它更加正式。谁是第一个投资者？它如何改变了潜在的轨迹？有三位在硅谷非常有才华、人脉广泛的人，我没有找到他们，是他们找到了我，其中一位找到了我。>> 哇，太棒了。>> 我们在一个会议上见面，开始交谈，是的，他在硅谷很有名。>> 我在推特上看到你引用了费曼信件集，我记得它好像叫《合理偏离常态》之类的。这是一个非常精彩的合集。我为这次谈话读了几篇，其中一篇对我很有趣，因为他确实在谈论 AI 的不同版本，我认为他引用了这样一个观点，即“无法攻克的挑战是让一台计算机变得更聪明，而不会让它的内存变得更慢。”我想知道在你构建这个的过程中，你是否考虑过这个问题，或者你是否经常回顾那个合集？>> 当然。我不是经常回顾，但我一生中在某个时候读过这本书很多次。嗯，不仅是出于那个原因，还有其他多个原因。但是，是的，自然智能能够产生新的数据并利用这些新数据来导航世界。这并不意味着你需要很多数据。但这不公平，因为我们已经进化了数百万年。但对人工智能来说，进化将是不同的。但我坚信你需要从一些数据集开始，这些数据集非常丰富，不仅包含数据，还包含 AI 能够处理的数据规则，而这些数据集本身应该是基础，然后它应该能够基于这些数据创造新知识。所以，例如，人们的类比就像你学习弹钢琴，你开始弹奏一些曲子，但然后你可以弹奏莫扎特。你之前没有学过任何莫扎特的作品，对吧？你只是运用同样的规则。你知道键盘是如何工作的。你知道该期待什么，你就可以开始了。所以你能够创造一套新的技能来弹奏莫扎特。然后人们开始学习吉他。嗯，从技术角度来看，吉他离钢琴很远，但音乐的基本原理是相似的，你可以推断。所以，能够以最便宜的方式进行推断，同时又是一个小型模型，这些对我来说是关键。>> 我记得你提到过，钢琴是你除了数学之外最热爱的东西。但你现在没有多少时间练习了。你真的在研究我的推特吗？>> 这很有趣。在某种程度上，这就像人们的日记。你真的能深入了解论文之外的东西。>> 我知道。是的，这就像日记，我应该让它少一点像日记，因为公关团队对我的推特有很多评论。我只是好奇，你知道，音乐在你生活中扮演了什么角色，以及你如何产生想法，因为我猜想，你知道，你显然依赖于大量的创造力来构思这个版本的东西，但我猜想，你知道，你需要在公司生命周期中不断培养这种发明精神，而且，是的，我想知道你现在是如何找到它的，如果不是通过钢琴的话。>> 这是我对自己普遍信奉的创造力原则，你需要能够抽离。这样你就可以回到问题上来，带着全新的视角来看待问题。你也需要让你的思绪抽离，而你的思绪是你最大的敌人。它会告诉你所有的胡思乱想，并产生怀疑和担忧。所以有很多方法可以以积极的方式关闭它。所以你可以冥想，你可以弹钢琴。我有两个孩子，所以我花时间陪伴他们，花时间陪伴朋友，是的，如果可以的话弹钢琴。嗯，尝试学习一些我以前从未弹奏过的复杂的钢琴乐谱。我一直喜欢学习，也喜欢读很多书，如果可以的话。但现在显然我的时间越来越少，但我自己也很享受做研究。所以我只是喜欢有时去阅读不同架构的新论文。让我非常高兴的是，我收到了来自世界各地的许多电子邮件，更多的人公开谈论这个，它引起了很多人的共鸣，很多人说，嘿，我受到了启发，我想创造我自己的架构。这些事情让我的一天变得美好。我喜欢看到人们因为喜欢某样东西而想要有创造力，并与你分享。所以我非常感激，有时我会与这些人互动，其中一位成为了我们内部的研究员。>> 我总是喜欢以几个轻松的思想实验来结束谈话。一个是你拥有无限的资源和零运营限制，你会进行什么实验？>> 我会做现在正在做的事情。>> 和你现在做的一样。>> 是的。>> 这总是好兆头。我不是为了赚钱而做这件事。我曾经在学术界，那绝对不是一个能赚钱的地方。我只是全心全意地热爱它。我喜欢为人们创造环境，让他们作为研究员、工程师等发挥最高潜力。学术界是一个将这两个世界结合在一起的地方。但工业界也可以做同样的事情，但规模要大得多。所以 100% 我会做同样的事情。>> 好的。太棒了。然后是最后一个问题。如果你有能力给地球上的每个人分配一本书来阅读，并且知道他们能够很好地理解它。你会想分配什么给人们？>> 嗯，我也坚信我们周围的大部分问题都是我们自己用思想创造的。所以，我非常喜欢任何一种东方哲学书籍和技巧。当你的思绪不堪重负时，你如何驾驭它？所以，我没有想到一本具体的书，因为有很多这样的书。但这就是我会推荐的方向，因为如果你能安顿下来，如果你内心感觉良好，外面的一切都将是你内心感受良好的体现。所以如果你天生快乐，你就会分享你的快乐。你与周围的人分享你的创造力。所以要照顾好世界，你首先要照顾好自己。反之亦然，对吧？如果你对某事感到愤怒，你就会对周围的每个人都感到愤怒。所以这是会传染的。嗯，所以我建议我们首先要关注自己，这是创造力的基础。这是成为社区中有价值的创造性成员的基础。无论你在哪里，无论是 AI、医学院、工业界还是学术界，这都不重要，人就是人。是的。所以《放手吧，霍普金斯》是我最喜欢的。那是一本受东方哲学启发的书。>> 是的，这是西方人对东方哲学的看法。而东方哲学源于大乘佛教。那个分支的佛教，大约有 2000 年的历史，就像他们开始有书写方式而不是依靠记忆的时候。那是一个新的佛教分支。印度教也有同样的传统。我喜欢它如何重叠。它包含心理学，它包含精神的概念，并且用一种语言来解释，这种语言适合那些在阅读过程中没有接触过这两个分支的人。>> 太棒了。嗯，我一定会去看看那本书，我非常享受这次谈话。非常感谢你，伊芙。>> 谢谢。我很感激你。>> 就是这样。感谢您收听《The Generalist》播客的这一集。请在 Apple Podcast、Spotify 或您喜欢的播客应用上订阅。评分和评论有助于他人发现这些讨论。所以如果你喜欢这次谈话，如果你能花点时间留下一个，我将不胜感激。有关所有过去的剧集和更多内容，请访问我们的网站 thegeneralist.substack.com。下次再见，我们将继续探索未来。