Transcription
心理学家会告诉你，人类是糟糕的思考者，非理性，有偏见，不断犯错。与此同时，计算机科学家会告诉你，人类是不可思议的，足以启发他们围绕整个人工智能领域进行建模。今天的嘉宾就生活在这两个世界里，他已经弄清楚了为什么他们都说得对。欢迎收听超级数据科学播客第 969 期。我是主持人 John Cron。我们今天非凡的嘉宾是 Tom Griffiths，普林斯顿大学心理学和计算机科学教授，以及普林斯顿人工智能实验室主任。他是畅销书《生活算法》的作者，我们将在本期节目中讨论这本书。但主要焦点是他轰动一时的新书《思维法则》，该书深入探讨了生物和人工智能的数学模型，以及今天和明天的影响。请享用。本期超级数据科学播客由戴尔、英特尔、思科和 Excel Data 赞助。Tom Griffiths 教授，欢迎来到超级数据科学播客。能邀请到您来到节目，我感到非常荣幸。感谢您抽出宝贵时间。您怎么样？您是从哪里打来的？>> 谢谢。很高兴来到这里。我从新泽西州普林斯顿打来。>> 是的。是的。您在那里任教。我们将在本期节目中详细讨论这一点。您是普林斯顿计算认知科学实验室的主任，这是一个专注于理解人类认知的数学基础的研究小组。太迷人了。这也是今天节目的核心焦点，但您也是普林斯顿人工智能实验室的主任，这听起来像是一个较新的实验室，专注于人工智能及相关领域的创新研究。您能稍微谈谈您的研究吗？>> 是的。嗯，人工智能实验室是我们内部的人工智能研究加速器。因此，整个大学都在努力弄清楚如何最大限度地利用人工智能来处理我们在校园里进行的各种事情。所以，我们在人工智能实验室的工作是找到那些具有，你知道，通过使用人工智能方法产生影响的非凡潜力的项目，然后为它们提供所需的支持。人们，你知道，嗯，计算，这是最常见的两个请求，以便能够实现那种研究。我自己的研究则正好处于心理学和计算机科学的交叉点。所以，它试图利用计算机科学中的思想来理解人类思维的工作方式，同时也试图通过研究人类思维获得的见解来思考如何使计算机更聪明。您也写过关于这两者交叉领域的书籍，关于人工智能和人类思维的交叉领域。您已经有一本畅销书叫《生活算法》。我们将在节目晚些时候讨论它，但首先我想谈谈您的全新书籍，它也处于这两个领域的交叉点。它叫做《思维法则：追求心智的数学理论》。太迷人了。在书中，您追溯了从 George Bool 到现代人工智能的逻辑和统计学历史，以定义支配生物和人工智能的基本法则。在这本书中，您开篇就指出，我们擅长理解物理世界，但对精神世界的理解却远不如此。您能稍微谈谈吗？>> 人们可能会感到惊讶的是，我们习惯于使用数学来描述物理世界是如何运作的。所以，如果你去上学，你可能会上化学或物理课，你会学到自然法则。这本书的前提是，有一套互补的思想，它们实际上起源于人们思考这些自然法则的同一时期，这些自然法则被视为描述外部世界的数学原理。嗯，那些就是我们可以称之为思维法则的东西，描述我们内部世界的数学原理。那些对，你知道，用数学来理解物理学和其他事物感兴趣的同一些人，同样对用数学来理解心智如何运作感兴趣。只是花了一点时间才弄清楚如何解决这个问题。嗯，一直到 19 世纪，我们才有了解决问题的初步迹象，然后在 20 世纪将其发展成一门实证科学，也就是我们所说的认知科学。在我说话的时候，有一个词在我脑海中闪过，嗯，我本科是神经科学，博士也是神经科学，但那已经是很久以前了，我专注于将机器学习应用于神经科学领域。所以，这个词在我脑海中闪过，我不知道它在这里有多相关，但它是“心理物理学”。是的，心理物理学是指，嗯，心理学和物理学在感知方面的交叉点，对吧？所以，如果你想想感知是什么，>> 它是这两者的结合，你知道，就像你的视觉感知，一个光子进入你的眼睛并击中你的视网膜，对吧？这是一个物理过程，但然后你将其感知为一道闪光。这是一个心理过程。而这实际上是心理学科学的起点之一，就是试图理解这些，你知道，物理世界和我们主观体验之间的相互作用。嗯，所以最早的心理学实验室进行的实验是，他们会要求人们在经历不同类型的物理刺激时，就他们所经历的进行反馈。嗯，你知道，心理学科学的其余部分确实是从那时开始发展的。>> 对。所以心理物理学实际上是关于感知的。这些是你书中的第一层神经处理，在你和你的研究中，似乎总体上你更关注更深层次的相互作用。嗯，你知道，我们的潜意识或有意识的思想，我们额叶和其他感觉叶之间的连续流动，以及能够，你知道，对世界有一些有组织的理解。>> 是的。所以那些早期的心理学家，你知道，正如我所说，他们试图描述感知方面发生的事情，但他们也对思想方面发生的事情感兴趣。但事实证明，思想是一个更难研究的问题。所以，在 20 世纪初，另一群心理学家说，“事实上，依赖于人们的主观体验，如果我们想理解思想和情感之类的事情，如果我们想拥有严谨的科学，那就走不远了。”所以他们说，“让我们摆脱那些东西。”这是一个叫做行为主义的运动。让我们只关注我们可以测量的事物。所以我们可以测量人们的行为。我们可以测量他们所处的环境。这就是我们走向严谨科学的道路。所以他们基本上摆脱了我感兴趣的所有东西，这些内部的思想过程等等。所以，这本书讲述的故事的一部分是如何克服这一点并达到能够拥有心智科学的程度。而这确实是数学使之成为可能。所以，逻辑等思想以及计算机的发展为心理学家提供了一种新的语言，能够严谨地谈论思想，并提供一种表达关于思想如何运作以及语言如何运作等精确假设的方式。然后，这导致了一种新的严谨心智科学的实践方式。嗯，这，你知道，是我所做工作的基石，我们问这些关于人类思维和计算机之间联系的问题。>> 太迷人了。您能给我们一两个您研究中的具体例子吗？比如，您是如何进行这项研究的？我的意思是，您是否有人描述他们的经历，然后试图从中找出数学方程？>> 所以，我们实验室的大部分工作都是在思考人类思维必须解决的计算问题以及这些问题的理想解决方案是什么，然后进行实验来测试人们的实际行为与此有多吻合。我说实验，它们实际上看起来更像是一项调查，我们向您展示一些东西，然后说，你知道，您对此的答案是什么？用数据科学家的语言来说，对吧？我们向人们提供数据。我们要求他们形成假设，我们想知道人们从这些数据中得出的结论是什么。所以你可以把它看作是一个问题，嗯，然后我们试图弄清楚，如果你把心智看作一个直观的数据科学家，对吧？心智用来理解呈现给它的数据的技巧和方法是什么？>> 对，所以本科生通常是这类心理学实验的“主力军”，他们似乎承担了大部分工作。所以在这个例子中，你会让本科生来到你的实验室，他们会看到问题，然后你让他们提供答案。>> 我们以前就是这样做的。嗯，现在我们的大部分实验都在网上进行。这样做的部分原因是我们可以更快地获得更大的样本。所以，心理学在过去十年中发生的变化之一是，通过能够接触到越来越多的参与者群体，这使我们能够以以前在实验室里无法做到的方式提出问题。这也是我们实验室真正关注的事情之一，就是思考，好的，如果你能够接触到更多的人群，这会如何改变我们进行科学的方式？嗯，我们做过一些实验，比如我们研究人们做出的决定，我们问人们，嗯，比如，在不同的赌局之间选择。所以，你知道，你可能会得到 5 美元，这是确定的，或者你可能有 50% 的机会赢得 10 美元，嗯，50% 的机会什么也得不到，对吧？你会在这两者之间做出什么选择？所以，从历史上看，关于人们如何做出这些决定的问题一直基于人们对本科生进行的实验。也许有，你知道，几百个决策问题是制定理论的基础。在我的实验室里，我们收集了一个数据集，其中包含超过 10,000 个这样的问题，方法是让人们在线上完成。然后，我们可以使用人工智能神经网络等方法，一些来自现代机器学习的工具来分析这些数据并提出新理论。>> 对。所以使用现代人工智能系统来分析所有这些数据。您刚才给出的具体例子，我不知道这是否是，你知道，这听起来有点像经济学例子。它让我想起了丹尼尔·卡尼曼式的实验，嗯，我想自 20 世纪 60 年代以来，卡尼曼和特沃斯基就专注于这类研究，他们试图弄清楚经济思想家如何在世界上做出决定。经济学是否在您提出的问题中占很大比重，还是您的实验室有更广泛、更多样化的问题？>> 是的，所以我们对如何推断数据以及如何做出决策的问题感兴趣，对吧？而且，你知道，再说一遍，我认为这与数据科学家面临的问题非常吻合，对吧？你有两种问题。一种是数据所支持的归纳推理是什么，然后，你知道，基于该发现你采取什么行动，而且，你知道，不应该感到惊讶的是，这两者对于人类思维必须解决的问题类型来说都相当基本。我们正在努力弄清楚我们的世界是如何运作的，然后我们在此基础上采取行动。所以，我们研究诸如，你知道，人们如何学习因果关系，人们如何形成类别，人们如何，嗯，你知道，推断其他人正在思考什么。这些都可以被视为统计推理问题。然后我们也研究，是的，在什么情况下人们会做出特定的选择。与特沃斯基传统的一个区别是，我们实际上有兴趣询问是否可以以一种似乎更理性的方式来理解这些决定，而我认为，人们使用的许多策略都被视为人们正在做的不理性之事。嗯，如果你仔细想想，我生活在这两个世界里。一个是心理学家的世界，另一个是计算机科学家的世界。我们看待心智的方式在这两个世界里截然不同。所以，如果你去，你知道，和心理学家交谈，他们会告诉你，“人们是糟糕的决策者。我们是非理性的。我们做所有这些有点愚蠢的事情。”如果你去和计算机科学家交谈，他们会告诉你，人类是令人印象深刻的。我们希望能够构建能够做人类所能做的事情的系统，对吧？人类在所有这些方面都令人鼓舞。所以我试图弥合这两种观点之间的差距。通过将人类认知视为在有限的，你知道，可用的计算资源下，很好地解决了世界提出的问题，来理解为什么人们会犯错误以及人们为什么仍然如此令人印象深刻。>> 真的很有趣。多么迷人的领域。您一定很享受它。嗯，而且，我的意思是，这体现在您的写作质量和您的研究成果等方面。嗯，当人们进行这些在线调查时，嗯，需要多长时间？我和我们的听众有可能参与吗？我们可以去某个网站做吗？>> 是的，我们主要使用众包服务来招募实验参与者。嗯，所以任何人都可以注册这些服务。嗯，我们使用的主要服务之一叫做 Prolific。嗯，这是一个人们可以注册的服务。嗯，您会看到您可以参与的实验列表以及其他类型的任务，并且您会为完成每个实验获得一点报酬。所以，如果人们对此感兴趣，肯定有机会参与。>> 现在，这就是我接下来要问的，那就是激励是什么？所以，如果人们得到报酬，那么人们也有可能试图弄清楚如何设计 LLM 来做这项研究，那么您如何防范这种欺诈行为呢？>> 嗯，这是一个合法的问题。嗯，这是我们每次提出解决方案时，人们都会找到绕过该解决方案的方法。所以，你可以把它看作是实验者和运行我们实验的机器人之间的一种军备竞赛。嗯，我有一些前学生创办了一家公司，实际上专注于解决这个问题。嗯，所以，他们有很多很好的工具来做到这一点。嗯，嗯，但这是当我们试图以某种方式设计我们的实验时，我们问某些类型的问题，这些问题会，你知道，抓住一个 LLM。我不会告诉你那些问题是什么，因为一旦我告诉你>> 我们就会泄露我们的秘密。>> 数据科学家们，是时候谈谈你们的技术了。随着 Windows 10 支持的结束，现在是重新思考您的设置的绝佳时机。进入由英特尔酷睿 Ultra 处理器驱动的戴尔人工智能 PC。这些设备专为满足现代数据科学的需求而设计，可提供更快的性能、更流畅的多任务处理以及处理最复杂工作流程的能力。无论您是训练机器学习模型还是分析海量数据集，这些 PC 都旨在让您保持领先地位。不要让过时的技术拖累您。访问 dell.com/shop pcs，了解如何升级您的设备并提升您的工作。网址是 dell.comshopcs。>> 对。嗯，是的。所以，您在那里回答了我的问题，这是一个非常重要且日益重要的问题。我的意思是，我们经济的很大一部分现在依赖于，例如，数据标记服务。你知道，全世界有数百万数百万的人正在为前沿实验室标记数据。例如，Meta、OpenAI、Anthropic、Google，花费数十亿美元让人们解决，你知道，如果你回想十年前，那将是非常简单的问题，主要是，例如，对于机器视觉算法来说，这是狗还是猫？但如今，您可能会花费一位化学工程博士生的日薪来解决一个多步骤的化学工程问题，并为多步骤推理算法提供答案。像 OpenAI 的 one 或 03 这样的算法是那里流行的推理算法。它们需要非常复杂的问题和答案，您需要对准确性有信心，因此您正在支付高智商的人很多钱来为这些算法创建数据，而且，是的，当然，该系统中的每个人都有动力让自己的生活更轻松，无论是从 LLM 获得帮助，还是直接使用它们。你知道，你可以想象，如果你能弄清楚如何破解它，你就可以大规模地做到这一点，你知道，LLM 从这类实验室中获取金钱。所以，是的，这是一个巨大的欺诈问题。所以我很确定，你知道，你是否知道你学生创办的公司的名字？>> 是的。>> 它叫 Roundtable，虽然我应该披露我在这家公司里是极小的投资者。Roundtable。是的，他们有一个很大的市场，并且有一个不断增长的市场来提供解决方案。真的很酷。好的。所以，我们现在已经讨论了一些关于您的研究如何理解人类思维，甚至了解您如何使用人工智能工具，例如神经网络来分析您在线收集的大量数据。但您也对朝另一个方向发展感兴趣。所以，利用您对人类思维工作方式的理解来理解人工智能系统如何工作或开发更好的人工智能系统。在这方面，您的书中有趣的一部分谈到了符号人工智能研究人员，他们几十年来一直是人工智能的主要方法，但他们面临着逻辑和智能之间的根本不匹配。花了数十年才转向概率和神经网络方法，这些方法现在驱动着我们现代的人工智能系统。那么，今天我们是否严重忽略了什么？我们如何意识到我们在设计人工智能系统的方式上犯了这些大错误，以及我们如何克服它们？>> 这是一个很好的问题。我的意思是，我认为不一定是我们犯了错误，但我想，如果你看看人们追求这些不同智能理解方法的过程，你会看到一种轨迹，人们尝试一种方法，然后他们会说，“哦，就是这个。”他们会全力投入，然后尽可能地将其推向极限，然后他们会遇到某个限制，对吧？然后他们会找到另一件事，有另一个突破，让他们能够解决那个问题，然后他们会全力投入，然后继续推，直到遇到某个限制。所以，我认为这是这些周期中的一个正常部分，我们嗯，你知道，想出一些似乎真的有效的东西，而且它确实有效，但它也可能有一些根本性的限制，直到我们用那种方法走得尽可能远，这些限制才变得清晰，对吧？特别是神经网络，因为它们很难理解，你知道，就像你写下一个模型并编写实现该模型的代码一样，它真的不清楚它的限制是什么，它可能学会或做什么，嗯，我们很难确切地知道这些限制可能是什么。我们可以从中获得一些想法的地方是回顾历史。对？所以神经网络嗯，它们面临的一些挑战是它们对训练数据非常敏感。真的，用我们数据科学家的语言来说，神经网络是一种非参数方法，对吧？它是一种能够捕获你可能想要学习的任何函数的东西。原则上，你可以用一个足够复杂的神经网络来学习它。所以，它在某种意义上能够学习任何东西。但结果是，它实际学到的东西将很大程度上受到其训练数据的影响。嗯，所以有很多，你知道，由此产生的东西，关于，你知道，我们的语言模型以人们可能觉得违反直觉的方式行事，部分原因是它们对训练数据的敏感性。嗯，所以我们有一篇论文，我们研究了这一点，当 GPT4 发布时，人们非常兴奋。他们说它展现了通用人工智能的火花。我们写了一篇论文，我们称之为“自回归的余烬”，关于该模型训练方式如何影响其行为，以人们可能意想不到的方式。所以，自回归是模型的训练方式。它被训练来预测下一个标记，一个单词或单词的一部分，基于之前的标记，所有它看到的之前的单词。所以，这意味着模型在生成答案时将非常敏感于标记序列的概率。你可以证明这会产生一些违反直觉的后果。其中之一是，如果你只是让它计算一个序列中出现的字母数量，如果正确答案是 30，它给出正确答案的可能性比正确答案是 29 的可能性要大。原因在于，数字 30 在互联网上出现的频率比数字 29 要高。对？所以仅仅因为这些数字的原始统计数据，模型在生成其输出时对此非常敏感。这对人类来说是违反直觉的。>> 那确实是违反直觉的。在我从事这个领域的所有这些年里，并且作为一名专业人士和播客主持人密切关注 LLM 的发展，我从来不知道会发生这种情况。但这是有道理的，是的，更可能的词语，例如 30 相对于 29，更有可能被模型预测，而且有趣的是，现在我们真的不知道幕后发生了什么，你知道，当你使用像 chbt、gemini 或 claude 这样的东西时，你不知道有多少不同的算法在起作用，而且似乎今天与 GPT4 首次发布时不同，存在某种数学推理，你得到一个确切的答案而不是一个概率答案。>> 是的。所以事实上，你知道，与这些模型打交道的人已经注意到它们有这种缺陷。所以，如果你，如果你让一个现代模型做这样的事情。所以，在我们的论文中，我们关注的是我们称之为确定性问题。问题是，基于你提出的问题，只有一个确切的答案。我们表明，对于这些确定性问题，模型仍然会产生概率答案，对吧？它们受到对语言分布的期望的影响。所以，如果你问它们一些低概率的答案，它们不太可能产生。嗯，所以这个特征对于现代模型仍然适用。我们可以证明它们仍然对输出的概率敏感。它有所减弱。但是，如果你实际上与模型互动，比如通过嗯，你知道，聊天界面或类似的东西，它会进行所有的思考并做所有其他事情，如果你给它一个确定性问题，它倾向于做的一件事是编写一段代码来检查它的答案。所以，它已经被训练过，对于某些类型的问题，它不应该依赖于其概率骨干。它应该做一些适当的确定性事情，以便能够给你答案。但这也被我认为是与我们在认知科学历史中看到的东西相呼应的。所以，当人们使用基于规则的模型时，在老派人工智能中，他们嗯，他们意识到他们需要有一些结构来使这些模型能够做他们想让他们做的事情。所以，这是在 20 世纪 80 年代构建所谓的专家系统，基于具有这些规则模型的生产系统。嗯，所以它们有大量的“如果-那么”规则列表。如果发生这种情况，则执行此操作。如果发生这种情况，则将目标更改为这个。如果发生这种情况，你知道，如果你的目标是这个，那么就做这个。所以，所以有所有这些指令，它们会遵循，他们意识到他们需要有一些架构来围绕它，然后，你知道，通过使用所有这些规则，使系统能够做出好的决定。你可以看到这在现代语言代理正在发生的事情中得到了回响，其中语言代理实际上是在核心技术周围构建相同的认知架构，而核心技术是基础语言模型。>> 真的很有趣。我喜欢你将其与历史专家系统联系起来。你的书中有另一件在人类和机器认知之间架起桥梁的事情，我们在研究中发现它很有趣，那就是在你的“概率是新的逻辑”一章中。你展示了结论如何根据先验概率发生巨大变化，并且你使用了一个易于理解的猩猩例子。您能告诉我们吗？>> 当然。我的意思是，嗯，让我，让我先退一步。对？嗯，你提到的一件事是，人们开始意识到逻辑无法做到他们想要的所有事情。所以，其中一部分是，当你思考人类思维必须解决的问题类型时，你可以将它们分为两种。一种是我们称之为演绎问题，对吧？这些问题是，你已经获得了足够的信息，你可以确切地找出答案是什么，对吧？你拥有解决问题所需的所有信息，对吧？所以，如果我给你一个数学问题，比如，你知道，2 + 3，你拥有解决问题所需的所有信息，对吧？嗯，或者即使我给你一个带有未知数的方程，对吧？所以，比如，你知道 x + 2 = 5，你很容易就能算出 x 是什么，对吧？而这就是一个演绎问题的例子。所以，那些符号规则系统非常擅长解决演绎问题。你可以把它想象成，你知道，代数、逻辑、国际象棋，你知道，这些都展示了这类系统的力量。它们不擅长的是另一类问题，我们可以称之为归纳问题。这些问题是，你获得了一些信息，但不足以确定地知道答案是什么，对吧？而事实证明，人类的很多工作都是归纳。嗯，你知道，如果它感知世界，对吧？光子击中你的视网膜。外部世界发生了什么？你获得了一些数据，但你没有足够的信息来确切地知道是什么，你知道，是那个通过你的视网膜提供信息的外部世界的三个维度结构。嗯，如果你听到有人说话，你听到一些嘈杂的信号，你对其进行解释，你试图根据他们的行为来思考他们正在想什么，你有一些行为形式的数据，或者你猜测他们的精神状态。如果你甚至在学习语言，对吧？你可能对语言结构有一些假设。你的数据是你听到的语言中的内容，你试图用数据来约束这些假设。所以，所有这些都是归纳问题。而这正是逻辑，你知道，符号规则方法在试图解释人类认知的这些不同重要方面时遇到的障碍。所以，概率论是我们用来嗯，你知道，解决这些归纳问题的工具，因为它为我们提供了一种在信息不足以确定时，如何让数据影响我们信念的方式。它通过，你知道，基本上允许我们为我们可能处于的不同可能世界分配信念程度来做到这一点。然后，当我们获得数据时，这些数据有助于我们缩小这些可能世界的范围，使我们能够，你知道，嗯，更新我们的信念，在这些可能世界之间重新分配这些概率，嗯，并能够得出某种结论，即使我们无法达到确定性。所以，我在书中举的例子是，它有点，嗯，它来自一个老侦探故事。我不知道这是否是，嗯，嗯，嗯，故事《房间里的谋杀案》，对吧？这是最早的侦探故事之一。嗯，我不想剧透，但我想我必须剧透。所以，如果你还没有读过这个故事，并且想读，你应该，你知道，稍微跳过一点。嗯，但关键的事情是，侦探米奥·德昂发现，嗯，罪犯是一只猩猩，对吧？嗯，你知道，这是基于一些线索，比如有人听到了一个声音，但他们不认识那种语言。有一些，你知道，发现了橙色的毛发，然后房间必须通过一个，你知道，一个很高的窗户进入，对吧？爬上去会很困难。嗯，所以，你知道，这些事实中的任何一个都不能让你确定罪犯是猩猩，对吧？没有侦探会去犯罪现场看到这些东西然后立即说，“哦，又是猩猩。”嗯，但每一个都给了你一些证据来支持这个结论，然后概率论是我们用来衡量我们应该如何整合这些证据来更新我们信念的工具。>> 对。所以基本上，其中一些事情对人类来说会非常难以做到，比如能够进入那个窗户，能够进入房间，同时他们还有红色的头发。所以，基本上所有这些概率相乘。嗯，唯一的，是的，你能得出的最可能的结论是，这是一只猩猩。>> 是的。而且我们在概率论中表达这一点的方式是通过所谓的贝叶斯法则，它以 18 世纪的牧师托马斯·贝叶斯的名字命名，他首先提出了概率论的数学是我们应该如何改变我们信念的描述方式。贝叶斯法则说，你一开始就相信某事到一定程度，对吧？我们将称之为该假设的先验概率。然后，为了计算在看到一些数据后你应该相信它多少，也就是所谓的后验概率，你取那个先验概率，乘以如果该假设为真，这些数据的可能性有多大，然后对你所有的假设都这样做，然后只是除以这些数量的总和，这样你最终得到一个概率分布。但关键思想是，在你之前的信念程度，然后乘以如果该假设为真，数据的概率。所以，如果这对人类来说很难做到，人类很难爬到那个窗户，但猩猩很有可能做到，那么即使你对猩猩的先验概率非常非常小，这也会增加你对它是猩猩的信念。快速现实检验，任何构建 AI 代理的人。您的代理可以互相发现。它们可以传递消息。它们可以协调任务。但它们不能做的是：它们不能一起思考。当您的代理弄清楚如何处理复杂的工作流程时，该知识仍然是孤立的。行业一直专注于垂直扩展人工智能。更大的模型，更多的计算，这些突破很重要。但智能也呈水平扩展。代理在网络中共享知识，协调共同意图，一起推理。这种第二个水平轴的基础设施尚不存在。思科的 Outshift 正在将其正式化。他们称之为“认知互联网”。他们正在发布架构并构建参考实现。阅读“扩展超级智能”。我们在节目笔记中提供了链接。然后查看第 961 期节目，其中思科 Outshift 的负责人 Vjoy Pandandy 详细介绍了智能的水平扩展如何工作以及为什么它很重要。现在，这种利用先验概率的方式，似乎我们今天训练大型语言模型的方式，无论是预训练监督学习还是后训练强化学习，似乎我们都没有以任何方式利用先验。>> 是的。在许多方面，这是我们从机器学习中学到的一个教训，我认为这可能会很快给我们带来麻烦。对？所以，嗯，所以这里的第一个观点是，这正是我们想要描述为什么人类儿童可以在五年内学会语言，而我们的 AI 系统需要大约 5,000 或 50,000 年的语言输入才能达到相同的状态，这种差异归结为先验，即拥有不同的关于语言结构是什么的期望。所以，在我们人类的大脑中，有很多东西使我们更容易学习我们最终说的语言。而这些东西不在我们的神经网络中。所以，在某种意义上，这是故意的，对吧？也就是说，在 2012 年之前，机器学习的主流方法是人类会设计进入机器学习系统的特征。然后，你将有一个在其之上运行的机器学习系统。你可以把那些被设计的特征看作是先验的来源，是归纳偏差的来源，它设定了模型可以找到的解决方案类型。嗯，那是因为我们没有很多数据，所以你需要，你知道，设计那些偏差，以便让系统正常工作。然后，嗯，在 2012 年，我将事情与那个时间点联系起来，因为那时，嗯，嗯，嗯，AlexNet 这个卷积神经网络赢得了 ImageNet 挑战赛，对吧？嗯，那是一个非常大而复杂的神经网络模型，尽管与现代标准相比很小，但它是在大量数据上训练的，尽管同样，与现代标准相比相对较小，对吧？但这里的见解是，你不需要手工设计输入的内容。你不需要手工设计那些归纳偏差。如果你有足够的数据，你就可以以端到端的方式解决这个问题。如果数据足够多，神经网络实际上可以找到比人类工程师更好的解决方案。所以，从那时起，机器学习就一直在这个非常弱的先验、非常弱的归纳偏差的范式下运作。你唯一能放入系统的偏差是通过你选择的架构，对吧？也许使用 Transformer 或卷积神经网络之类的东西。嗯，然后你只需要投入足够的数据，它就能解决问题。所以，这种范式与人类的范式非常不同。对？你可以把机器学习工程师的问题看作是我要从这里开始。我需要到达这里。所以，我需要足够的数据才能从这里到达这里。认知科学家的难题是，我知道人们开始，你知道，从这么少的数据中学习。所以，我必须弄清楚所有那些填补了其余空白的东西，对吧？而我们可以量化这一点，对吧？所以，如果你需要 5,000 年的语音来训练你的大型语言模型，而人类儿童从 5 年的语音中学习，那么就存在一些，你知道，先验分布，一些信息，一些归纳偏差，它解释了 4,995 年的语音。你知道，那有很多数据必须包含在那里。所以，我们实验室的一部分工作就是试图弄清楚那些人类方面的偏差是什么，并试图开发技术来帮助我们制造表达这些偏差的神经网络。嗯，我们使用的一种技术叫做元学习，这是一种学习神经网络初始权重的方法，它不像以前的机器学习方法那样是硬性偏差，即限制模型获得的特征类型。它是一种软性偏差，因为它说我将把你放在一个特定的，你知道，空间，解决方案空间中的一个特定部分。如果我能让你靠近你需要找到的解决方案，你就会更容易地，你知道，发现你想要的特定解决方案。嗯，所以元学习技术试图通过创建能够解决一系列学习问题的神经网络来找到好的初始权重，这些神经网络在每个问题上从更少的数据中学习。>> 太迷人了。是的，您可能对这种剧烈转变何时何地发生有看法，但对我来说很明显，您所描述的当前方法，例如为 LLM 训练 5,000 或 50,000 年的数据才能拥有 5 岁人类的能力，存在巨大的差距，而且听起来像元学习或其他您在实验室中进行的工作可能是解决方案。而且我认为它可能会像 Transformer 架构一样突然出现，并且现在无处不在。所以，看看它将走向何方以及您将在其中扮演的角色将会很有趣。嗯，我实际上下一个预先计划好的问题，与我们过去五到十分钟的有机讨论非常吻合。所以，在您的研究中，您将人类智能定义为在严格限制下的理性适应。因此，解释了偏见、启发式和少量学习，即从少量示例中学习，而 LLM 却做不到，这是有限时间、有限计算资源和有限通信带宽的最佳利用。所以，似乎我甚至还没有提出一个问题，但您已经开始回答我将要提出的问题了，但也许有了这个背景，您可以进一步阐述您的答案。问题是，这些限制应该如何指导我们现在构建的人工智能系统的设计？>> 我认为有一件事是，它们不一定必须这样做。所以我认为这些限制是描述人类思维和我们的人工智能系统之间差异的好方法。对？所以人类思维解决了一系列计算问题，这些问题由这些限制所表征。嗯，我们只活了几十年，你知道，或多或少。嗯，我们必须做所有我们将要做的事情，只使用几磅的，你知道，神经元，对吧？而且我们只能通过，你知道，发出奇怪的嘶哑声或摆动手指在键盘上与彼此交流，对吧？就像这些是人类运作的限制，对吧？因此，我们必须能够从少量数据中学习，因为我们活得不够长，看不到大量数据，对吧？不像 AlphaZero，或者嗯，Alph Go，它是在人类生命中无数次围棋比赛中训练出来的，对吧？你就是做不到。人类围棋玩家将受到人类一生中可能学到的东西的限制。嗯，嗯，你必须能够识别问题的结构，这样你就可以利用以前找到的解决方案，或者想出好的，你知道，有效的策略来解决这些问题，利用有限的计算资源。对？所以，不像深蓝，人类国际象棋玩家每秒无法搜索 100,000 个位置。他们可以搜索的少得多，而且他们必须专注于找到要搜索的好位置。嗯，而且，嗯，你不能通过，你知道，能够转移我们经历过的数据或直接调用我们的计算资源来克服这些限制，因为我们必须在这些带宽限制下运作。所以，我们必须想出好的约定，以便我们能够做到诸如合作和共享数据之类的事情，比如写作，你知道，首先是语言，但写作，你知道，科学，创办公司，这些都是我们可以用来协调我们可用资源的机制。所以，这些事情在某种意义上确实定义了作为智能系统的人类是什么，而我们的人工智能系统不受任何这些限制。对？它们可以从任何人类生命中学习。它们可以增加计算量。它们可以传输状态，或者，你知道，共享它们训练的数据。嗯，所有这些事情对人工智能系统来说都更加直接。所以，一个后果是，你可能会期望人工智能系统将是一种不同于人类智能的智能，对吧？因为它们没有在相同的限制下运作。它们没有解决相同的问题。它们可能能够解决问题，而且在某些情况下，它们将比人类更好地解决这些问题，但它们不一定以人类可识别的方式解决这些问题，或者以人类找到的解决方案相同的方式解决这些问题。所以，这设定了两种可能性。一种可能性是，我们说没关系。我们只想设计出最好的系统。我们应该继续这样做，继续朝着那个方向前进，我们将看到人类智能和人工智能之间的这种分歧。而且没关系。另一种方法是，你说，“哦，实际上我们希望人类智能的某些属性存在于我们的人工智能系统中。特别是，它可能有助于我们制造出更容易让我们理解的人工智能系统，对吧？嗯，在它们找到的解决方案方面。嗯，所以，如果我们想这样做，那么我们真的需要了解人类方面正在发生的事情，并思考我们如何将其转移过来。”所以，我们谈到了元学习。
学习作为一种构建具有可能更像人类的归纳偏见的系统的方法。如果您想这样做，这当然是一条您可以走的途径。但是，工程化归纳偏见是困难的。你知道，扩展比工程化归纳偏见容易得多。这就是我们目前在人工智能领域所处时刻的原因，因为那是一种有效的方法，而且它是一个工程问题。我们知道如何解决它。嗯，嗯，但是工程化归纳偏见确实需要对我们正在解决的问题以及这些问题的合理归纳偏见有所了解。而且，人们仍在努力弄清楚如何做到这一点。好吧，是的。让我们多谈谈这个归纳偏见的事情，因为我认为这是一个非常重要的观点，而且当我们稍微解释一下时，它可能会对我们的许多听众显而易见。当我们想到我们今天拥有的 LLM 时，据我所知，它们是有限的，也许您可以纠正我，但我认为它们在多大程度上能够归纳出某种超出其训练数据的东西方面是相当有限的。所以，这与人类认知非常不同，我们不仅仅依赖于提供的信息。我们可以使用归纳偏见，我们之前谈到的先验知识，假设来对我们生活中从未遇到过的、与我们之前遇到的任何情况都截然不同的情况做出某种猜测。据我所知，我们今天拥有的任何人工智能系统在这种情况下都确实会遇到困难。我认为在某些方面，这是，我想说这是一个更开放的问题，对吧？这在多大程度上是可能的。嗯，我可以告诉你的是，我们知道大型语言模型可以进行某些类型的泛化。嗯，所以我在普林斯顿的一些同事有一个很好的演示，你可以让他们将想法组合在一起，对吧？所以你可以给他们一套属性，然后他们可以产生新的东西，这是结合这些东西的结果，而且它肯定不是某种曾经存在过的东西，因为那些东西以前从未组合在一起过。当然，那种内容和风格的融合非常令人印象深刻。所以，就像，给我，你知道，用 Snoop Dogg 的风格解释一首莎士比亚十四行诗，或者类似的东西，你肯定会得到一个我们以前从未见过的输出。嗯，我的意思是，这在某种程度上挑战了他们无法做训练数据中不存在的事情的说法。对吧？所以，我认为，我认为这不完全正确。他们能够做到我们称之为组合泛化，对吧？他们能够组合他们看到的东西并创造新的东西，并且他们可以做到一定深度，对吧？我认为有趣的问题是，他们是否能够，嗯，嗯，产生真正新颖的东西，也就是说，可能甚至无法被识别地组合出你以前看到的东西，对吧？比如创造一种全新的艺术风格，而不是一种以新颖的方式混合风格的东西，或者类似的东西。嗯，我认为，这是一个问题，你知道，它仍然是一个更开放的问题。嗯，我们，嗯，我的实验室已经研究过一些与此相关的问题。所以，我有一个博士后，他一直在研究一些相关的事情，研究这些模型中的创造力。嗯，我可以告诉你一些我们那里的最新结果。但是，她发现的一件事是，如果我们要求 LLM 想出新颖的产品创意，他们在产生人们评价为新颖的创意方面实际上比人类做得更好。嗯，有趣的是，一种对人类有效的方法是让他们通过类比来做到这一点，对吧？所以你说，你知道，想出一个新的烤面包机创意，它使用了来自，你知道，章鱼吸盘工作原理的原理，或者类似的东西，你知道，这是让人类更具创造性的好方法，但事实证明这对大型语言模型不起作用，而且原因可能是，语言模型已经在一个非常广泛的概念集上运行，以至于它们不需要额外的外部刺激就能进来。所以，有一些方法，你知道，它们似乎可以做一些创造性的事情。我认为我们还没有看到的是它们真正创造出我们能够识别为突破性的东西。我最喜欢做的事情之一是，每当出现一个新模型时，我都会让它想出我们可以做的科学研究的创意。你知道，有时它们会变得有点有趣，但我认为也值得记住的是，因为模型试图产生高概率的东西，对吧？它们试图产生高概率的标记序列。它们在做事方面会相当保守。所以，它们不会建议一些完全疯狂的事情，因为它们没有经过训练去做那样的训练。它们经过训练，根据它们之前看到的东西产生高概率的东西。所以，如果你认为创造力的一个重要部分就是完全跳出框框思考，那么完全跳出框框的行为可能与它们的训练方式不一致。本集由 Excel Data 提供，即智能数据管理的领导者。如果您曾经希望您的数据管道能够思考、诊断甚至自我修复，那么您一定会想看看 Excel Data 的全新全交互式沙盒 Studio Lab。在 15 天内，您可以获得对人工智能驱动环境的动手访问权限，您可以在其中探索数据可靠性、治理和自动化，并使用真实的智能工作流。无需设置，无需开销，即时生效。体验人工智能如何改变您的数据操作。在 exceldata.io/freetrial 开始您的免费 Studio Lab 试用。即 accel.io/free trial。我们在节目笔记中为您提供了一个链接。好了，我们又回到了那个概率更高的答案 30 而不是 29。这让我想起我的一位朋友，他是我们这个时代最畅销的作家之一。我不会说出他的名字，因为这有点涉及到与他的幕后对话，但他有兴趣，我想他有兴趣使用 LLM 来挖掘他所在领域的稀有信息。所以，你知道，那些常见的东西已经出现在他的书中或其他，你知道，他所在领域的畅销书中。所以，他想能够挖掘稀有的。他，而且很难得到，你知道，一种可以到达那里的一种方法就是不断地要求更多、更多、更多、更多、更多的例子，然后最终可能一些例子开始变得相对稀有，但它非常困难。>> 是的。>> 得到那种输出。>> 那是正确的。这就是我们所期望的，因为它在某种程度上违背了它们的训练方式。我们用来实际实现这一目标的一个技巧是，他们因为他们正在计算条件概率，对吧？所以他们正在利用他们之前看到的信息，他们正在以这些信息为条件，对吧？进行信念更新，关于接下来会发生什么。嗯，你可以通过做一些事情将它们推入概率较低的区域，即通过组合式地创建提示，对吧？所以，它不太可能自发地产生一些不寻常的事情。但是，如果你写了一点代码，它会以程序化的方式生成提示，你在其中输入，你知道，不太可能的事物的组合，然后你说，“好吧，告诉我这个。找一个例子。”然后它就会说，“哦，是的，一个很好的例子是这个。”对吧？所以，你实际上可以通过构建将它们推入这些空间的不太可能角落的提示来使用它来搜索不太可能的事物的空间。那很有趣。对于我们许多试图工程化 LLM 来完成这些我们可能出于任何原因想要的稀有超常表现，包括出于创造性原因的人来说，这是一个很好的技巧。嗯，我一会儿就会谈到好奇心，因为这是一个迷人的话题。但在我们开始之前，我想在您大约 10 分钟前谈论的事情上划一条线，我们已经进入了对话的其他部分，但您谈论的事情对我来说现在是如此显而易见，一旦您说出来，我想在某种程度上我一直都知道这是真的，但我从未像您谈论它时那样清楚地感知到它，那就是我们如此专注于，我们中的许多人，你知道，我来自生物神经科学背景，然后在我的博士期间，我越来越专注于人工智能，所以我自己，我认为很多人都在寻找生物学上的灵感，尤其是在人类大脑中，如何设计人工智能系统，但由于人工智能系统和生物系统在约束方面如此不同，就像您刚才给出的关于深蓝的例子一样，能够在不到一秒钟的时间内思考成千上万种可能的下一步，这对于今天的系统来说当然是可能的。这显然是人类无法做到的。所以，我想，也许我们应该在某种程度上从人类智能或生物智能中寻找灵感，但这很有意义。但我们必须记住，我们确实在我们应用的系统中有完全不同的约束。所以，什么最终奏效得很好，你知道，它可能是像扩展一样的东西，你知道，它就像，它，它让我震惊的是扩展所能取得的成就。采用这种 Transformer 架构，通过更多数据、更多计算进行扩展。嗯，当我 2012 年完成博士学位时，如果有人问我，我们能否在 2026 年拥有像今天这样具有能力的 AI 系统，我会说这听起来像科幻小说，我不确定。>> 是的。不，我认为很多人都会同意这一点。这很容易。这是人工智能领域面临的挑战之一，那就是人们会迅速适应，将上一次重大进展正常化。所以，嗯，一些人工智能从业者会说，哦，人工智能的定义是任何我们还不能做的事情。所以，你不断地移动边界。>> 确切。嗯，所以，你知道，我认为这构成了一个有趣的挑战，对吧？所以，你知道，你有这两条路，你可以继续构建与我们不同的系统，并利用我们可以利用计算机所有特性的方式，或者你可以尝试，你知道，构建可能更像我们的系统，并思考我们如何应对我们应对的约束。嗯，嗯，所以，我认为，你可以把它看作是人工智能中的一个经典类比，对吧？嗯，如果你想建造一架飞机，那么看看鸟儿是如何飞行的会很有用，但总会有一个时候你会说，“好吧，我们已经掌握了基本原理，现在更重要的是制造更快的喷气发动机，对吧？”而你不会通过观察鸟儿如何飞行来学会制造更快的喷气发动机，对吧？所以，这就是说，好吧，我们从生物智能中获得了灵感。我们已经弄清楚了基本原理，现在让我们来构建这个东西。嗯，我认为我思考这个问题的方式是，鸟类所做的和飞机所做的最根本的相似之处在于它们都遵循相同的自然法则，对吧？你知道有一套空气动力学原理，它们塑造着鸟类身上发生的事情，也将塑造着你的飞机上发生的事情，而理解这些空气动力学原理对于你想制造更好的飞机至关重要。所以，这就是我思考我们作为认知科学家所做的事情以及它对思考人工智能有多大用处的方式，那就是如果我们能够弄清楚哪些更广泛的原理与描述智能相关，什么是思维定律，那么思维定律就是我们期望在自然智能和我们正在构建的人工智能之间存在并行关系的东西。而以数学术语表达这些内容，让我们有机会说，“哦，这里有一个见解可以从一个方向或另一个方向转移。”但是，这些见解可以转移的水平不同，对吧？它们可以是关于我们必须解决的问题以及解决这些问题的正确方法的最高抽象事物，例如逻辑、概率论和贝叶斯定理出现的地方。或者，它可能是在，哦，嗯，你知道，我们如何实际构建一个产生这种智能行为的系统，而这就是像人工神经网络等等有用的地方。嗯，但是，嗯，我认为它为我们提供了我们需要的框架，以便然后弄清楚，是的，我们如何让这次对话变成一次富有成效的对话，可以双向进行，以及我们如何认识到何时不一定使用这些生物学原理是有用的。>> 这是一个很好的框架，用于尝试理解何时应该在人工智能系统中利用生物学灵感。与此相关的是，好奇心，我们这个时代最著名的实业家之一，通过最大化好奇心的想法创建了他现在处于前沿的人工智能实验室。在一篇 2020 年的论文中，您将好奇心建模为理性的信息寻求。在您的书中，您引用赫伯特·西蒙在海滩上蚂蚁的寓言，您认为许多智能行为的复杂性来自于环境的复杂性，而不是代理的内部复杂性。所以，我谈论了很多不同的事情，但共同的主线是，你知道，有些人认为好奇心以及在人工智能系统中对其进行建模可能是实现人工智能重大突破的关键驱动力。嗯，您显然花了很多时间思考好奇心及其含义，我很想听听您的见解。是的。我关于好奇心的工作，这是与我以前的博士生 Ret Dubai 一起进行的，我们正在研究如何思考好奇心所解决的计算问题，对吧？我们设置它的方式基本上是，当你对事物感到好奇时，你正在收集信息，这些信息可能会增加你未来能够采取的行动的价值。对吧？所以，如果我们发现这是一个相当好的人类好奇心模型，那就是，我们的好奇心被那些事物所吸引，如果你想想的话，它不一定是你只是被你从未见过的事物所吸引，因为你不断地看到你从未见过的事物，对吧？嗯，你也不会被你见过很多次的事物所吸引，因为你知道，你见过很多次了，它们不再有趣了。你感到好奇的通常是你见过几次的事物，然后你想，“哦，也许我应该注意一下，对吧？”嗯，你可以从这个角度解释为什么你会有一个这样的，你知道，好奇心的倒 U 形曲线，因为你正在寻找那些将最大化信息价值以供你未来采取行动的事物。因为你从未见过的事物，你也不会再见过它了，对吧？所以，如果你从未见过它，你可能永远不会再见过它。所以，学习关于它的任何东西都不太值得，因为这可能只是一次性的。而你见过很多次的事物，你已经有很多经验了，所以你已经学会了如何处理它。但是，如果你见过几次，那么这表明该事物将来会再次出现。而且，因为你只见过几次，所以你可能对它了解不多。因此，出于这个原因，它应该引起你的好奇心，对吧？嗯，我们表明，这实际上为我们提供了一个相当好的模型，说明人们在学习新事物时实际上是如何选择他们将参与其中的。嗯，在人工智能领域，有些人已经探索了好奇心作为定义人工智能系统目标函数的一种方式，你知道，传统上你可能会认为通过说，这里有一些你可以获得的奖励，当你解决一个问题时你会得到奖励，当你导航迷宫时你会得到奖励，或者当你把足球踢进网时你会得到奖励，或者无论你试图做什么。而另一种方法是，不是让奖励依赖于外部世界发生的事情，而是让奖励依赖于内部发生的事情，对吧？所以，你得到奖励是因为，你知道，你学到了一些关于你可能没见过但见过几次的事情，对吧？你就像，你建立了一个与这种关系相符的奖励函数，就像，你知道，你正在减少你的信念的熵，对吧？嗯，就像你正在减少你对事物的确定性，与你看到这些事物的频率成正比，然后它产生了相同的倒 U 形。嗯，所以，这是创造一个将要出去探索的人工智能系统的一种合理的方式，对吧？嗯，因为它将由试图，你知道，识别那些它可能在未来使用的信息片段来驱动。嗯，所以，我认为，你知道，这就是为什么你在心理学和计算机科学的这些不同地方看到相同的概念。真的很有趣。我很想在您的实验室里做您正在做的研究。这是如此酷的东西。嗯，快到我技术问题的结尾了。我认为这是我为您准备的倒数第二个话题领域。这是关于评估系统。所以，这是一个有点长的问题，但是，当您离开普林斯顿人工智能实验室时，其中一个担忧是确保这些系统与人类价值观保持一致，并且我们拥有强大的协作系统，能够理解人类判断的细微差别。您以前曾认为 LLM 和人类表现出相同的核心可解释性挑战。因此，不透明的训练数据，不可访问，不可访问的机制，复杂的内部结构，因此 LLM 和人类一样，我们的内心生活最好通过行为来研究。我的意思是，这回到了本集开头谈论您如何通过调查等方式评估人类智能。然而，您警告不要拟人化人工智能系统，因为它们很可能在各种方式上是陌生的，正如我们在本集中所讨论的。因此，像不同的约束意味着，你知道，它们的行为方式会与我们不同。嗯，所以，我们如何才能设计我们的基准来评估人工智能系统，以便我们能够更好地了解我们实际上是在理解正在发生的事情，而不是模式匹配？所以，这是一个非常长的问题，但您正在点头，所以您似乎跟上了思路。我首先要说的是，我不太喜欢基准测试，对吧？基准测试是一种工程设备，而不是科学设备。对吧？所以，如果你为人工智能系统制作基准，通常这意味着你说，这里有一些我希望我的人工智能系统拥有的能力，我将创建一套任务来衡量系统是否拥有这种能力。然后我就可以说，好吧，它完成了，你知道，80% 的任务，对吧？所以，我们会说它，你知道，得分 80%，这就是它在这种特定能力上的表现。嗯，这与我们在实验室研究 LLM 的方式略有不同，我们更感兴趣的是我们可以进行的有针对性的实验，这些实验将为我们提供关于，你知道，它们内部发生的事情，它们犯的错误的种类，你知道，对该系统的更深层次的理解。所以，这更多的是关于设计一套问题，其中它们正确或错误地解决的问题是诊断系统内部正在发生的事情，而不是，你知道，制作一套大任务，你知道，看看它们能正确完成的百分比。嗯，所以，正如我所说，这是工程师的方法和科学家的方法之间的区别，我们使用认知科学和心理学的大量方法来研究这些系统，我们进行旨在阐明哪些原理在幕后起作用的实验。如果您过去使用过代码生成工具，并认为，“是的，这很不错。”或者，“是的，这让我完成了大部分工作。”您必须尝试 Claude Code，它运行着最新的 Anthropic LLM，它非常棒。最近，例如，我正在调试一个模型训练管道，但指标不匹配。我将 Cloud Code 指向了存储库，它将问题追溯到了一个微妙的错误，该错误将目标数据泄露到了我的特征中。它处理了整个代码库，确定了根本原因，并编写了修复程序。不是差不多，而是完美，而且在几分钟内。Claude 是为永不满足于“足够好”的头脑而设计的 AI。它是真正理解您的整个工作流程并与您一起思考的协作者。无论您是在深夜调试代码，还是在制定下一个商业策略，Claude 都能扩展您的思维，以解决重要的问题。而且它会展示它的工作过程，所以您不仅仅是把代码写出来。您实际上是在理解出了什么问题，并且也在提升自己。准备好应对更大的问题了吗？立即在 claude.ai/supdata 开始使用 Claude。即 claude.ai/supdata。并查看 Claude Pro，其中包括今天节目中提到的所有功能，claude.ai/supdata。好了。嗯，很好。从人类认知到理解人工智能系统再到对其进行基准测试，这真是一集引人入胜的节目。今天节目中我们谈论的大部分内容都来自您的全新著作《思维定律》，在录制时这本书甚至还没有出版，但在出版时，本集出版时，它应该已经上线了。它应该在大多数市场都可以订购。根据您上一本书《生活算法》的成功程度，您可以预期它将成为一本畅销书，就像那本书一样。我不知道它具体卖了多少本，但它在亚马逊上有超过 6000 条评论。所以，您可以预期销量将是那个数字的数倍，这对于我们这个领域相对技术性的书籍来说真是太疯狂了。我必须祝贺您。所以，我也想在节目结尾稍微谈谈您的书《生活算法》。从您早期作为一名狂热的击剑运动员到合著那本书，您一直将计算机科学应用于混乱的现实生活。您的书《生活算法》将日常人类程序重新定义为计算策略。因此，最优停止、探索-利用权衡、计算善良，以及成长，您将击剑描述为涉及有趣的计算问题，甚至试图将复杂的动作分解为序列。那么，那些早期的解决问题经验是如何塑造您现在对认知和算法的思考方式的呢？对我来说，用计算的术语思考世界是很自然的。所以，我成长的另一个形成性经历是玩了很多桌面角色扮演游戏。你可以想想你在桌面角色扮演游戏中做的事情基本上是定义一个系统，该系统应该以某种方式近似真实生活，对吧？所以，你知道，你把所有关于采取各种行动的成功几率的东西都放进去，你知道，你如何变得更擅长做事等等。所以，你实际上可以思考，你知道，你的角色扮演游戏封装了某种心理学理论，关于认知，你知道，当你学习新东西时的认知进步等等。嗯，所以，我认为我们在《生活算法》中所做的是真正说，这些计算原理比人们预期的要广泛适用。对吧？所以，我认为我们有两类读者。这本书之所以卖得相对较好，部分原因在于我们有我们最初为之写书的人，也就是那些习惯于用计算术语思考的人，我们告诉他们，哦，你可以如何将它应用于日常生活。然后我们有了另一类读者，他们大致了解日常生活是如何运作的，但想更多地了解计算机科学。所以，我认为正是这两种事物的结合，嗯，嗯，真正，你知道，吸引了人们，你知道，从这些不同的角度来看。嗯，心理学和计算机科学的交叉点，它所包含的，你知道，与当前的书非常相似，但它以不同的方式处理它，你知道，这是同样的事情，试图思考我们如何形式化某事，但你可以在《生活算法》中稍微多地思考，我们试图形式化关于外部世界的东西，而新书是关于我们如何形式化我们的内心世界。>> 是的，这整个时间以来一直是您研究的重点的重大问题。真的很有趣。所以，再次，当然，《生活算法》是您畅销的书，您可以买到，但今天的大部分采访都涉及人类和机器的内部过程。所以，如果今天的谈话让您着迷，您一定会想拿起汤姆·格里菲斯全新的著作《思维定律：对数学思维理论的探索》。非常感谢您今天抽出所有时间。在让您离开之前，我问我所有的客人都同样的最后两个问题。对于像您这样的作家来说，这个倒数第二个问题几乎是愚蠢的，但您有什么除了您自己的书之外的书籍推荐吗？是的。我推荐的是，我在《生活算法》中的合著者布莱恩·克里斯蒂安写了一本很棒的书，叫做《对齐问题》，它触及了我们在这里提到的其他一些关于我们如何创建与人们价值观和他们将要采取的行动相符的人工智能系统的事情，我认为它是一个很好的介绍，既介绍了现代人工智能的一些基本原理，也介绍了我们在部署它时面临的一些挑战。完美，谢谢您的推荐。对于喜欢今天谈话的人来说，除了购买《思维定律》之外，他们如何在社交媒体等实时平台上关注您的想法？我，我，我不太擅长社交媒体。嗯，那么这次播客将是一个难得的机会，让人们能够深入了解您的想法。所以，我有一个领英页面，您可以在推特和蓝天（Blue Sky）上找到我的实验室。所以，它是，嗯，它是计算认知科学实验室。所以，它是 cocoai_lab，嗯，在推特和蓝天（Blue Sky）上。很好。我们将在节目笔记中提供所有这些链接。汤姆·格里菲斯教授，非常感谢您抽出您无疑非常繁忙的时间与我们一起录制这集精彩的节目。是的，当您发布下一本书时，我们很乐意再次邀请您。感谢您的邀请。这是一次很棒的谈话。今天的节目非常精彩，有汤姆·格里菲斯教授。在节目中，这位普林斯顿教授谈到了思维定律是如何描述我们内心世界的数学原理的。心理学家倾向于将人类视为非理性决策者，因为他们关注我们的偏见和错误。而计算机科学家则认为我们令人印象深刻，因为我们用极其有限的计算资源完成了非凡的壮举。他谈到了 LLM 如何被训练来预测高概率的标记序列，这意味着它们更有可能输出 30 而不是 29，例如在计数任务中。人类儿童如何从大约 5 年的语音输入中学习语言，而 LLM 需要相当于数千年的时间，这个差距代表了人类认知中内置的归纳偏见和先验知识。以及正如飞机工程师从鸟类那里获得灵感，但最终专注于喷气发动机而不是羽毛一样，人工智能研究人员应该理解何时生物学原理能够有用地转移，以及何时像扩展这样的机器特定方法提供了更好的前进道路。一如既往，您可以在 superdatience.com/969 上找到所有节目笔记，包括本集的文字记录、视频录制、节目中提到的任何材料、汤姆的社交媒体个人资料以及我自己的链接。感谢 Super Data Science 播客团队的所有成员，我们的播客经理 Sonia Bredovich，媒体编辑 Mario Pombo，合作伙伴经理 Natalie Jyski，研究员 Serge Miss，作家 Dr. Zara Care，以及当然还有我们的创始人 Carol Aramco。感谢他们所有人为我们制作了又一集精彩的节目，使这个优秀的团队能够为您免费制作这个播客。我们非常感谢我们的赞助商。您可以通过查看节目笔记中的赞助商链接来支持本节目。如果您自己也想赞助本节目，您可以在 johncone.com/mpodcast 上找到方法。否则，请通过与喜欢学习的人分享本集来帮助我们。在您喜欢的播客应用程序或 YouTube 上评价本节目。如果您还不是订阅者，请务必订阅，但最重要的是，请继续收听。我非常感激您收听，希望我能在未来很多年里继续制作您喜欢的节目。下次再见，继续加油，我期待着很快与您一起享受另一轮 Super Data Science 播客。