Transcription
作为一名人工智能教授，尤其是考虑到我们今天看待大型语言模型（LLM）统计模型的方式，我发现你更具创造性思维，而非数学思维。哦，这完全是计算机科学家的意外。我同意。欢迎来到我们最新一期的“投资”节目。我非常荣幸能邀请到亚夫·沙姆（Yav Sham）博士，他曾多年担任斯坦福大学教授，现任总部位于以色列的基金模型公司AI2的首席执行官兼创始人。但与其由我来介绍您，不如您自己来介绍一下自己？嗯，首先，我可以确认我年纪大了。我在斯坦福待的时间比我愿意承认的要长。但我需要纠正一件事：我是AI21 Labs的联合创始人兼联合首席执行官。好的，否则就完美了。您就说这么多吗？能多谈谈您的背景吗？我能说什么呢？出生在以色列，在海法长大。因为父母认为我应该学点东西，所以就误打误撞地学了计算机科学。我当时并不太在意，后来发现了人工智能。我开始在网上阅读，哦，那时还没有互联网，但我去了图书馆阅读。我去美国读了博士，然后回到了以色列，做了一个简短的博士后研究。但那时，斯坦福的工作已经在1987年等着我了。是的，我现在已经这么老了。今天听播客的每个人都在谈论人工智能，但你说你发现了人工智能，这不是在大型语言模型的当前时刻，对吧？你很久以前就发现了它。没错。有趣的是，今天，今天这些聪明的年轻人，真的认为人工智能几乎等同于，如果不是大型语言模型，至少也是深度学习，更广泛地说，当然，在机器学习中，更广泛地说。但人工智能有着更长的历史，它是一个更广泛的、更广泛的保护伞，而大型语言模型目前存在的许多局限性，如果你真的想克服它们，就需要有这种更广泛的视角。啊，这正是我大约15分钟前想去的地方，但我们现在就去。所以，请告诉我们你发现的关于人工智能的事情，很久以前，现在已经40年了。我被人工智能吸引，仅仅是因为智力上的好奇心。这似乎是一个思考的机会，不仅仅是关于计算机，也关于人，以及他们之间的关系，以及这对机器意味着什么，对我来说，意味着什么才能成为智能。所以，这就是我被吸引的原因，一个在获得计算机科学“薪水”的同时，有机会从事哲学和心理学研究的机会。但是，但是，这仍然是我的兴趣所在。但是，但是，那时，机器学习一直都在，但当时的重点是，所以人们没有意识到，人工智能在80年代有过另一个人工智能时刻。而且，所以在80年代，这是一个类似的现象，你去参加会议，人满为患，风险投资家们无法足够快地向人工智能投入资金。那就是80年代。然后是90年代，我们经历了所谓的“人工智能冬天”，那时你不能承认你在做人工智能。然后2000年，新一轮浪潮突然出现，但技术非常不同，或者说技术上的重点非常不同。80年代，一切都围绕着符号系统，如何明确地表示知识，并以一种非常审慎的方式进行推理。机器学习作为一种智力活动存在，但没有发挥任何重要作用。而现在，当然，情况恰恰相反。我们进行统计，我们大规模地进行统计。我们无法想象，这并非完全因为算法的进步，虽然也有，但主要是因为海量的数据和计算能力。而且，它所做的令人惊叹。但是，当我们从推理转向统计时，我们似乎错失了一些机会。解释一下，这可能是一个关键点，也许最好的解释方式是，看看今天的大型语言模型。它们所做的令人惊叹，其中之一就是它们能进行算术运算，这在某种意义上是令人费解的。你知道，我们训练模型时并没有期望它们能进行算术运算，但它们却能做到。你给它两个两位数的数字相加，它们会做得很好。你给它一个六位数的数字相乘，你就会得到一堆垃圾。这是因为上帝没有把神经网络放在地球上是为了做算术。我们知道如何做到这一点，惠普在1970年就用计算器告诉了我们。所以，并非所有东西都始于语言模型，也终于语言模型。这是一个推理的例子，一个我们已经优化了如何进行符号化推理的领域。所以，这是一个推理的例子。但是，这还在继续，继续。所以，诀窍是，这也是我们创办公司的原因。我们相信，七年前我们开始时，深度学习和大型语言模型还不是什么东西，但深度学习是必要的，但不是充分的。你需要重新引入推理。我特别想关注你说的“我们错失了一些机会”这句话，通过放弃推理十年，然后才进入这个大数据时刻（我们稍后会回到这个时刻），然后进入大型语言模型。这意味着什么？我们错失了一些机会？这意味着我们当时能很好地做某些事情，某些类型的推理。这不仅仅是算术，你不需要人工智能来做这个。但比如时间推理。我给你一些关于事件的信息，然后问你关于某些事件的问题，以及它们之间的时间关系。这是一个关于时间推理的人工智能领域，以及它的算法。今天的语言模型做不到。我最近和我的一位同事发表了一篇论文，题为“理解理解”，它意味着什么？我们以此为例。所以，这是我们在80年代能做到的事情的一个例子，而大型语言模型却做不到，这就是我们错失的机会。就在昨天，我正在和一个同事一起工作，我们问它，在拜登辩论的混乱之后，以托马斯·弗里德曼的风格写一篇关于某个话题的专栏。我们输入了我们想要的专栏的参数，或者我们想要的观点文章，以托马斯·弗里德曼的风格。它写出了一个令人惊叹的托马斯·弗里德曼风格的作品，关于这个新话题。然后我们问它，那是ChatGPT，我们问ChatGPT，你是如何得到这个结构的？它能够告诉我们它是如何得到的，比如通过解剖。然后我们说，好吧，指出其他托马斯·弗里德曼的文章，其中存在这种结构。它能够做到。我认为这是大型语言模型非常擅长的事情，比如结构化的、结构化的推理。但时间推理对这些东西来说非常复杂，因为它现在不理解时间的概念。是的，顺便说一句，我不知道它为汤姆写的东西是否与他最近写的关于……它是一个稍微不同的主题，我不知道它是否为那个帖子更新了。它基本上试图让弗里德曼写一篇关于拜登总统任期的跛脚鸭时期的文章，他应该做什么。我明白了，而不是他是否应该退出竞选。这实际上是一篇令人难以置信的文章。是的，但是它向我展示的是，顺便说一句，托马斯·弗里德曼实际上有一个他写作的结构，这个结构非常一致和可预测。这很有趣。是的，我知道。所以，听着，首先，语言模型是惊人的，它们确实是，而且它们总是让我们惊讶，它们确实表现出一些你几乎不得不说存在推理和理解的东西。然后它们又没有。而理解它们何时做到，何时不做到，这是一种碰运气的事情。这也提出了一个问题，那么，它们真正理解它们所涉及的主题意味着什么呢？它们非常擅长模式识别。模式，根据定义，压缩信息，这是一种理解模式，通过将高维度投影到低维度，这意味着你以某种方式提取了某种本质，它们通过它们的构造做到这一点。但是它们所聚焦的本质，有多少是相关的和合理的，有多少它们无法提取，这确实是一种碰运气的事情。我的一位同事发表了一篇我认为非常有见地的文章，区分了能够产生专家输出和能够理解输出，以及人类和机器，或者至少是大型语言模型，在这方面有何不同。解释说，对我来说，要写出看起来像托马斯·弗里德曼的文章，真的会迫使我理解，你知道，以一种我能向你解释的方式，我能向我自己清晰地表达出来，然后我才能……我很难写出……不考虑那种结构就说弗里德曼的风格，我不会做得很好，我不会做得像语言模型那么好。而语言模型，正如我刚才所说的，做得惊人地好，它们是否真的理解，这还不清楚。顺便说一句，你承诺解释给我听，它们就给你一个听起来很合理的解释，这并不意味着它们真的理解。就像我之前关于时间推理的例子一样。所以，在这篇论文中，你知道，我提示了，这不是对GPT的批评，因为这对我们的LLM也适用，但我当时提示的是GPT 3.5，给我一个时间推理的答案，它给了我一个非常自信的错误答案，以及对答案的解释。然后我问，你确定吗？我给了它一个提示，它说，哦，我很抱歉，正确的答案是……然后又给了我一个完全错误的解释。所以，解释的表象可能只是表象，而不是真正的理解。等等，关于这一点，如果我是一个用户，这发生在我身上了，你知道，在ChatGPT早期，我问了一个关于历史事件的问题，我以为是历史事件，关于……是的。我记得我当时在脑子里读到它，它给了我一个日期，还给了我三个犹太文本的来源。我去看那些犹太文本，它们不在那里。它给了我实际的文本，而它们却不在那里。我开始困惑，我怎么能想起我30年前记得的事情，而它却知道？所以我把它发到了推特上，我大学的一个同学写道，我们看过一部关于……的电影，其中出现了这个场景。太棒了。它一定是以某种方式，我想ChatGPT在它的索引或训练过程中找到了剧本，然后把它带回来，并以某种方式发明了资源。所以，我问自己的问题是，考虑到这一点，而且它非常令人信服，它非常令人信服，我甚至根据它写了一些东西，我作为一个人怎么知道该信任什么，不该信任什么？我认为这是关键问题。我的一位最宽容的同事称之为“权威性”。我知道有些人也这样。而且，其中一些人还在办公室里。所以，我认为这很有趣，它不仅有趣，而且出于智力原因，也出于实际原因。你知道，这个时代，我不喜欢“假新闻”这个词，但你知道，后真相时代，我认为我们作为一个现代社会，希望维持自由民主，最大的问题之一就是，我们正在侵蚀我们社会赖以生存的信息层。而且，在越来越依赖自动化工具来生成和展示信息的情况下，我们怎么知道，这是至关重要的。我首先没有正确的答案。当我长大后，我想处理这个问题。但以有限的方式，这是我们自己强调的。我们有一个非常成功的应用程序叫做Wordtune，可以帮助你写作和阅读。我们试图做的是，当我们建议你可能添加到文本中的内容时，这些内容在上下文中是相关的，我们提供来源，这样你至少可以检查并说，我信任这个，我信任那个。这是一个关键问题。现在一些聊天机器人也这样做，我引入了指针。但这是一个关于如何信任你获得的信息的问题。你今天会教孩子们什么来帮助他们应对这个时代？我不知道答案。但我认为这必须是一种苏格拉底式的方法。就是教人们批判性思维，无论是来自人还是机器。你该怎么做？你该怎么和你的孩子一起做？我实际上在周末接受采访时被问到关于人工智能的文章。它在周末发表了。他们问我，孩子们今天应该学什么？我说了三件事，但我漏掉了第四件事，我稍后会说到。我说的是数学和编程，因为它们教会你如何以结构化的方式思考。哲学将是关键，因为我认为将会有无尽的伦理问题，你需要学会质疑一切。所以我认为哲学。但是我应该添加的第四件事实际上是塔木德，因为它教会你如何用一种非常批判性的苏格拉底方法来思考，并试图触及真理和多层面的真理。我认为在我自己的生活中，最能服务于我批判性思维的是塔木德研究。我无法吹嘘我拥有那样的背景和知识，但我认识到你说的话。我认为我们在这方面达成一致，挑战在于不要让一切都变得相对化，并且有条件的，并且是视角的问题。归根结底，1+1=2，10月7日发生了，这些是我们无法相对化的事情。话虽如此，我们确实需要质疑所有事实，即使是这些事实。这又回到了，那么，接受某事的基础是什么呢？有趣的是，我正在回归我最近的周末爱好。我写了一篇论文，我和一位同事花了几年时间才完成，顺便说一句，凯特·凯文·莱昂·布朗。我们问了这个问题，真正理解意味着什么。嗯，这里有一些事情，实际上，你知道，这是一篇理论性论文，但它实际上与我们的谈话相关。首先，当我们讨论一个主题时，我们必须具备一定的能力。我们不能真正权威地说，无论是数学、时间模型还是世界政治，而不表现出某种普遍的能力。称之为在这个领域的一个及格分数。但它不会是完美的，有些事情我们会说“我不知道”，这没关系，但我们不能荒谬。如果我说了一些明显错误的话，并且在证据面前仍然坚持，那么就有什么根本性的问题了。当你考虑如何实现这一点时，解释的问题变得非常非常核心。我将尝试解释我的意思。当我问你，好吧，你为什么相信某事？为什么某事是这样？弗里德曼有一个非常有趣的，你可以在YouTube上找到。有人问他，为什么磁铁会相互吸引？他回答说，这取决于你想要什么样的答案，因为……当你问我，为什么这个？然后他进行更深入的解释。所以，解释是很有趣的事情。但归根结底，解释是对一个未经质疑的权威来源的诉求。为什么1+1=2？嗯，这里是加法表，我们接受它为真理。为什么10月7日发生了？嗯，这里有所有证据，这里有我们直播看到的，你可以闭上眼睛忽略，但那样我们就没有共同的对话基础了。有时会更复杂，有时需要更复杂的程序来解释，但不知何故，你需要诉诸于解释者和评判者都同意的共同基础。我认为这是我们需要建立的东西。顺便说一句，这又回到了塔木德，因为那里有一些推理原则。所以，无论是这些确切的原则还是其他原则，我们都需要就它们达成一致。无论是维特根斯坦还是介于两者之间的什么，我不确定。我发现你提到维特根斯坦和解构主义很有趣，因为这在我的大学时代也对我的思维产生了巨大影响。因为我认为语言中反映了很多东西，而这正是他感兴趣的，顺便说一下，这也有助于我们了解文化。我认为，如果你试图理解人们是否在进行相同的对话或不同的对话，了解他们来自的文化背景，他们使用的词语，以及他们使用的比喻和家园的类型，对这一点很有价值。有趣的是，你为什么提到他？我经历了一个时期，我经历了一种信仰，我记得，我想是在大学早期，或者不是大学早期，而是在研究生学习期间，我有机会阅读了很多哲学家和心理学家。其中一位就是维特根斯坦，当然，他做事的方式非常结构化，与逻辑的发展非常相关。当时逻辑和人工智能紧密地交织在一起。我的论文是关于时间和因果关系的逻辑。所以，是的，所以不知何故，我们将不得不更深入地探讨这一点。所以，杰克·克拉克，顺便说一句，你也是斯坦福大学人工智能指导委员会的联合主席，你主持的斯坦福大学人工智能指导委员会是什么？嗯，让我们谈谈人工智能指数。也许你退一步。有一个项目也锚定在斯坦福大学，叫做人工智能100。这是一项关于人工智能的百年研究。我的朋友和同事埃里克·科尔贝特，来自微软，他发起了这项研究。我被邀请加入它的创始委员会。那里的愿景是每五年左右进行一次关于人工智能的大型研究，有专家参与，他们也这样做了，而且很棒。但当时我的感觉是，人工智能的变化速度太快了，即使是在最近的疯狂之前，大约十年前，变化速度太快了，不能只做这些事情。所以，让我们做一些持续的事情，就像一个我们实时更新的指数。所以，这就是愿景。我从那里开始了一个分支，它变成了一个独立的事物，它发布年度报告，它也做其他事情，但它主要做的是发布这些年度报告，这些报告非常棒。我之所以能这么说，是因为我实际上不再主持它了，我在委员会里，但我不再主持它了，我的同事们在那里做了惊人的工作。它们有厚厚的卷，我认为最新的有500页，全是事实。这个想法不是为人工智能辩护，也不是危言耸听，而是为对话提供信息，提供大量数据。所以，这就是这个项目。正如我所说的，我不再主持委员会，尽管我还在委员会里，直到他们把我踢出去。所以，杰克·克拉克说，他是你在北京的一次小组讨论中的联合主席，2017年，你说你认为通用人工智能，或者说与人类智能相当的通用人工智能，还需要几百年才能实现。杰克特别提到你说的是500年。你仍然这么认为吗？首先，我不想被引用我所说的话。我想看看来源。因为实际上，杰克不是你，而是来源。嗯，我愿意相信杰克这么说了。我需要进一步的证据证明我确实说了他所说的话。但说实话，这有点不像我，因为一旦你提到通用人工智能，我的第一反应是，我讨厌这个词。因为我认为它毫无意义。那是一个强烈的说法。我认为它太松散，定义不清，机器总是在某些方面比人强，它们会继续在越来越多的事情上变得更强。什么时候会变成通用人工智能？我认为这没有被很好地定义。所以，我认为机器是惊人的，我认为，我认为我们，我认为人工智能进化的现状远没有一些人认为的那么遥远。在北京，我实际上还记得那张幻灯片。我用一张我童年时重构的卡通片来描述我们现在的位置。你看到一个孩子通过望远镜看着星星，但站在凳子上才能看得更近。我认为这对于我们现在的位置来说，是一个不错的比喻。我知道我们现在站着的凳子，大型语言模型等等，是惊人的。但我认为真正的智能、理解和我们今天的状况之间存在巨大的差距。现在的流行说法是，我们需要关注通用人工智能。事实上，这一切，我认为并不完全真实，发生在OpenAI的这一切，是因为有人看到了让他们想起通用人工智能的东西。我发现这些东西有点异想天开。那是一个担忧。什么让你担心人工智能？让我从不担心的事情开始。我不担心的是，明天机器会醒来，感谢我为物种进化所做的贡献，然后把我送走，取代我作为物种。我不认为那会发生。哈利路亚。我不知道，你看看有些人，你不确定，但……你现在在想人工智能用于政治，我看到你脑子里在想什么。你太了解我了。但是，我认为存在真正的问题，就像任何技术革命一样，关于包容性，社会哪些阶层将受益，将获得……如何在全球范围内传播到不同地区。存在就业和培训教育影响的问题，这确实存在。我现在相信，每一次技术进步，包括这一次，总是会创造比它消除的更多的就业机会。但它确实消除了某些工作，所以过渡对人们来说可能是痛苦的。我同意你的观点。这当然需要改变工作的性质。例如，写作。编辑基本上已经不是一份工作了。编辑，就像杂志编辑或图书编辑一样，仍然存在，但现在编辑拥有更多的工具，其中一些方面可以自动化。所以我认为工作的性质在那里发生了一点变化。所以我认为这是一个问题，对劳动力的影响。我不知道，有很多研究，我知道你很了解它们。但我记得麦肯锡几年前的估计，是什么？我无法给出更好的估计，但我不知道，数字的依据是什么。在某个时候，人们预测美国会有两百万卡车司机失业。我看不出那会立即发生。我认为，更有可能的是，因为那些东西有监管。我认为更可能的是，我一直提到的，是印度的业务流程外包。你知道，有无数的表格和表格分析，可能是关于保险、401k、福利，或者数百万由数百万印度人或菲律宾人完成的事情。他们看不到客户。所以，随着时间的推移，这可能越来越快，这些工作被取代，就像复制编辑被取代一样。也许人们写营销文案，更广泛地说。我认为任何有表格的地方，你都可以开始。我认为，你说的对，我认为这些是更好的例子。每一次流程自动化，你知道，就像RPA，但更强大。我认为这里很容易受到颠覆，而且正在发生。而那些工作，你知道，不被认为是蓝领工作，现在被认为是白领工作的边缘。我同意。是的。所以，请告诉我们关于AI21 Labs，你联合创立并共同领导的公司。我们真的在2018年开始，正式在2017年底，如果我没记错的话。我们说“我们”，是我和另外两个人，奥伊·戈恩，他比我年轻一半，比我聪明两倍，还有我，亚夫·沙姆，他只是比我聪明。我们创办这家公司的原因很奇怪。我们不是为了解决世界上的一个问题而创办的。我们创办它是因为我们看到了人工智能的轨迹，这与我们之前谈到的非常相似。我们相信深度学习是必要的，但不是充分的。我们需要将推理重新引入人工智能，并决定解决这个问题。是的。最好的例子是什么？所以，如果我为了争论起见，我有ChatGPT或Mistral，或者Claude，你知道，这些聊天机器人，背后有一个大L-L-M。你知道，Claude现在正在做一些更花哨的工作。AI21在这个领域处于什么位置？我认为，看看LLM的近期演变是很好的。一开始，LLM的使用非常简单，你知道，零温度的使用。你有一个LLM，你给它一个提示，你得到一个完成，一个单一的完成，你就满意了。当GPT-3出来时，我们开发了我们的第一个模型，叫做Jurassic 1。当时它比GPT-3稍微大一点，稍微好一点。当时，它们是唯一的选择。这就是第一阶段。但从那时起，事情就发展了。首先，这些是，所以它不总是线性的依赖，但大致上，我们，首先，我们意识到这些是随机系统。所以，即使你只是调用一个LLM，也有一些概率性的东西在起作用，你可能想从分布中采样几次，然后用结果做些什么。例如，在Wordtune中，我们构建在其上的应用程序。我们想让你写点东西，然后给你一些建议，你还可以写些什么。这里的想法不是做文字游戏，文字替换，同义词之类的，而是给你一些在语义上可能更相关的。你可以说“这真的发生了”，你可以说“昨晚见到你很高兴”，或者写下来，然后它会建议“一见钟情”，这显然不是转述，而是你可能想说的。所以，为了做到这一点，你需要语言模型生成多样化的答案。语言模型并没有针对这一点进行优化。所以，这就是下一步，调整推理，以获得多样性并检查结果。这把你带到了我们今天所处的位置，即构建人工智能系统。在各种步骤之间，例如，在2022年，我认为是，我们谈论了工具。对我来说，这是显而易见的。我的意思是，你不想用语言模型做算术，我们说，调用计算器。你无法访问员工数据库，调用数据库。你想做网络搜索，这些都是工具。但是，这有点像油和水。所以，你如何让语言模型技术，它持续的某种反向传播，与这些离散操作结合起来？所以，我们发表了一个叫做Miracle系统的东西，MRK代表什么，现在不重要了。另一位政治家，安格拉·默克尔，不是那个。好吧，但尽管我对她只有好话要说。现在，我认为标准，普遍接受的是，你需要使用工具。你需要反思，你所说的，它也被反映出来。我们正在缓慢地朝着许多人喜欢称之为“代理”的方向发展。这是另一个我讨厌的词，尽管我在1991年创造了“面向代理的编程”这个词。哇。是的，事实上，这是一个有趣的事实。上周我收到AI协会的电子邮件，说这篇论文获得了“经受时间考验奖”。我为此获得了一些奖项。但这更像是一个历史轶事，而不是其他任何事情。我很好奇，考虑到它是一个代理，那个奖项的奖杯看起来是什么样的？我也是。我也是。是的，是的。我们会知道的。我会告诉你的。我还没有拿到。所以，人们谈论代理，我认为人们触及了大象的不同部分，但这是使用工具和进行自我反思以及这种非常模糊的规划概念的这些想法的演变。它有点像康纳曼的“快思慢想”。你知道，现在它非常交易化。你调用一个LLM，事实上，你调用一个，你就是发起者。语言模型思考，引用，从零点几秒到几分钟，然后给你答案的完成。但是，你将会看到系统，执行可能需要更长时间，事实上可能需要数周甚至数月。事实上，系统可能会发起事情。给我一个例子。你想让你的研究代理，持续地进行互联网搜索，并遵循你感兴趣的指导方针。它会去进行互联网搜索。也许你有一个紧急需求，你告诉它，哦，我需要一个小时内的答案，我正在准备演示文稿。也许你说，我需要你核实事实，所以我要你深入挖掘，追溯链接。或者也许不需要这样，也许你为此拥有更多的计算能力，或者更少。这是一个复杂的新型操作系统，需要管理所有这些事情。你具体说人工智能系统是什么意思？所以，人工智能代理可能是你想要的这些行为的流行说法。要实现这一点，你需要一个系统。我给你举个例子，如果你喜欢使用聊天机器人，你正在使用它，它不仅仅是向LLM发出一个单一的提示。有一些预处理，之后有一些检查。上面已经有一些东西了。你会看到越来越多的这种情况，LLM被调用不止一次，不止一个LLM。它们是为处理特定事情而编写的定制软件。有我们提到的工具。所有这些都需要被编排，以解决你提出的问题。这就是一个人工智能系统。当你环顾四周，你谈论了聊天机器人或现在的代理，并且需要构建系统。你环顾四周，看到了OpenAI、Mistral、AI21筹集的巨额资金。AI21筹集了很多资金，但远不及这些数字。它接近Mistral，但不接近OpenAI。有获得巨额回报或风险投资规模回报的能力。这对你来说有意义吗？它从何而来？这更多是你的问题。你筹集了资金，你获得了回报。我们希望如此。我会告诉你为什么我们需要它，无论它是否是一项好的投资。我希望如此。我们需要它有两个原因。主要原因是计算能力。你知道，训练这些语言模型非常昂贵。训练它们需要多少个，我们都可以谈论，但这是昂贵的。顺便说一句，训练它们不必花费数亿甚至数十亿美元，可能只需要几千万。几十万在这里，几十万在那里，加起来就是这样。但这是主要来源。另一个是人才。我们很幸运拥有真正优秀的人才。你知道，这需要花钱。所以，我想说，我们已经筹集了超过3亿美元，我们对此感到满意。我们可能会筹集更多，因为要训练下一个模型，我们需要资助。模型训练是护城河吗？还是不是？这是一个非常重要的问题。首先，它对年轻的初创公司来说是护城河，因为它们很昂贵，没有钱。对于富有的公司来说，它不再是稀缺商品。构建一个好的语言模型的人才确实稀缺，构建一个优秀语言模型的人才更是如此。这是一个关键的区别，这是一个关于人才的问题，而不是数据或计算的问题。是的，你需要所有这些，但一个护城河是人才，它将永远是护城河。你知道，信息会扩散，计算成本通常会下降。是的，让我们看看，你知道，这些曲线如何相交。你知道，风险和……因为这不仅是数据量，还有训练时长。是的。所以，我认为，哦，另一件事是，并非所有语言模型都生而平等。不是质量上，而是它们需要做的东西的类型。举个例子，我们拥有更易于管理的开销的一个原因是我们不追求完全多模态的语言模型。你知道，我们面向企业，并询问企业中的数据是什么？80%的数据是文本，而不是文本的数据通常是图表和图形，但不是月球上的驴子。这从来不是我们追求的东西。所以，我们的模型在这方面真的很好。即使你没有一个吸引眼球的多模态模型。但更具体地说，你有模型，它们可以完成某些任务。所以我认为我们将看到多个模型，拥有一个非常强大的通用模型是一种优势。所以，你相信我所说的“大型语言模型”，而不是“小型语言模型”或更受限制的、专注于特定领域的模型。你之所以犹豫，是因为我们开创了这样一个主题，加特纳刚刚有一个新的类别叫做“任务特定语言模型”。现在，这个领域已经成熟了，现在它是一个加特纳模型。我认为他们将我们视为这个术语的创造者。所以，我们非常相信这一点。但一个原因是我的犹豫，因为要创造一个真正好的模型，无论它是在特定领域还是特定任务，或者其他什么，你真的需要一个非常强大的基础来从中推导出这个模型，而这个模型通常会更小，并且在任务上更好。所以，这不是“要么”而是“和”。你看看穆斯塔法·苏利曼的公司发生了什么？它基本上被微软以零件的形式卖掉了，昂贵的零件。你看看周围，有多少公司已经筹集了数亿美元，如果不是数十亿美元的话。你知道，Character刚刚筹集了一大笔钱。你认为有多少公司能成功？我以为你会提到Inflection。我认为有一些公司在特定应用上押注。这是一个……哇，我没有英文术语。你要么得到一个……你知道，紫心勋章，荣誉勋章，要么你就羞愧地低头。是的，它在希伯来语中押韵，但在英语中不起作用。是的。希伯来语在某些方面优于英语。所以，是的，我的意思是，创造一个……所以，我认为，当你押注一个特定的应用程序时，它变得更加不稳定。顺便说一句，我们意识到，例如，写作助手将变得非常普遍，无论是来自许多公司还是来自大公司。所以，我们一直相信Wordtune是一个，因为当时企业市场还没有准备好。所以，这是我们了解如何构建基于语言的应用的一个很好的方式。也许是少数几家公司之一，我们在这两个领域都有涉足。而且它在收入等方面做得非常好。但是，如果我们把公司的未来押注在那上面，我们就不会像现在这样做得好。所以我认为，这就是你看到的一些公司，它们正在创造基础技术，我不想说它们是不可知论者，但它们并没有将成功局限于某个特定的应用程序。公司正在把所有的鸡蛋都放在一个篮子里。你担心谷歌、微软这些大公司会把你压垮吗？我一直担心很多事情，包括这一点。我是一个战士。听着，我对这些公司只有巨大的尊重。当然，如果我想，如果我只是做写作助手，我会更担心。但是，顺便说一下，我们与谷歌和AWS有非常密切的合作关系。我们现在也出版，我们公开宣传，我们也有……所以，我们生活的世界不是一个非赢即输的世界。但是，我们确实想确保，我们在哪里强调，我们在哪里集中精力，我们有理由相信我们会赢，要么是因为我们专注于……归根结底，在谷歌，强大的谷歌，有50人的团队，这已经是一个很大的团队在专注于这个问题。所以，我们有100人。所以，如果我们集中精力，我们可以……我们没有规模问题。另一件事是，这不是对任何公司的批评，但大公司很难快速行动。我记得我以前的公司，我们把它卖给了谷歌，顺便说一句，它在双方都很成功，叫做Timeful。我们稍后会谈到它。但是，你知道，我们有一个日历和待办事项列表的结合。而强大的谷歌，我们得知了一个新的日历即将推出，叫做Timely。我们即将推出Timeful。这很可怕，但事实是，我们能够做得比他们多得多，而且速度快得多。所以我认为这也能为我们服务。我们有100万美元可以投资于任何人工智能公司，除了AI21，你会把钱投在哪里？我会请你投资Alpha。所以，你可以替我投资。那几乎是政治性的回答。有一天，我不想……不，说实话，这是一个题外话。八年前我回到以色列时，我想成为一名投资者。我加入了一个由我和你认识的同事们组成的投资俱乐部。我意识到，第一，我并不真的在意。我没有参加任何会议，它没有打动我，没有触动我。而且，这是一份职业，我没有精力去学习这份职业。公平地说。你也担任以色列人工智能政策论坛的董事长，再次，如果允许我稍微纠正一下头衔，以色列有一个国家人工智能计划，就像世界上任何一个国家一样。它构建的方式很有趣，他们想要一个科学咨询委员会，所以他们请我组建并主持它。所以，这就是我所做的。你会在国家层面提出哪些核心政策建议？现在，各国，特别是小国，应该如何处理人工智能？首先，投资。我们正在谈论钱应该花在哪里。但是，你看，我让你成为一名投资者，就像这样。这只需要一秒钟。好了。但是，问题是，你无法在投资方面与沙特阿拉伯或阿联酋竞争。所以，你必须聪明地投资。你必须投资于计算能力，并使其对学术界和创业生态系统都可用。而且，你真的想投资于人力资本的发展。你知道，我们在以色列有非常强大的学术界。但在好日子里，如果你数一下教授中做核心人工智能的人数，你不会超过100人。我们需要更多。我们有很多。
有在美国或英国或法国的以色列人这样做，我们也是。一个机会是，嗯，让这里的环境对他们非常有吸引力，让他们来到以色列，无论是永久居住还是部分居住。我认为如何让它变得有吸引力？嗯，真正的答案是，国家作为一个整体想要成为一个有吸引力的地区，无论如何，但这可能超出了我的能力范围。关于人工智能，嗯，我认为，嗯，你，你想提供基本的，你知道，基本条件是计算能力和薪水。嗯，而且我们确实有一个内置的限制，以色列，因为以色列的建造方式，所以很难为教授支付有竞争力的薪水。但我认为有办法解决这个问题。嗯，并向他们提出巨大的挑战，智力上的技术挑战。举个例子，嗯，我宁愿不，但原因是，在这个自然应用程序项目中，我建议除了所有正在发生的好事之外，让我们宣布一些“登月计划”，这会激发人们的参与，而且如果成功，将真正使我们在人工智能领域达到更高的地位。目前，那些“登月计划”是什么，我认为在讨论中，我宁愿不参与讨论。你明白了。你认为政府目前在投资计算能力和吸引人才方面做得怎么样？嗯，我认为有非常好的人，嗯，他们正在努力做正确的事情。嗯，有很多投资的意愿，而且，嗯，它在前进，也许不像我们能达到的那么快，但例如，现在在计算能力方面，我认为终于，而且我对此不居功，但将有一个号召，一个招标，要求供应商提供，不是数万个 GPU，而是至少数千个 GPU，供社区使用。我认为这是一个非常好的开始。我认为教育部已经同意出资增加博士后和研究助理的奖金，我认为我们需要做得更多。我想回到你在 Timeful 的时光，一秒钟，你卖给了谷歌，回到 Timeful，是的，所以雅各布·班克，我们请他看看他想问你什么，所以他是你在 Timeful 的联合创始人，他说我应该问你，你的另一个办公室在哪里？这很有趣。嗯，所以碰巧我将在两个小时后与雅各布交谈，我并不经常和他说话。嗯，我将在两个小时后与他交谈。嗨，雅各布。嗯，雅各布太棒了。我另一个办公室总是在那里，听起来很糟糕，但嗯，我喜欢抽雪茄，那是我的另一个办公室。所以回到 Timeful 的日子，我应该问你你喜欢在哪里抽雪茄？在哪里？是的，就像那个实体办公室在哪里？哦，在 Timeful 的停车场，停车场，好的。是的，我车里真的有一把折叠椅，我把后备箱打开，在停车场分享。是的，正是如此。嗯，这太棒了，所以每个人都可以过来看着你在外面抽烟，因为你不能抽烟。为什么是加州湾区，当外面很冷的时候？你不能在波士顿这样做。你在停车场那把沙滩椅上做出的一个重要决定是什么，抽着雪茄？有趣。嗯，所以，嗯，我们需要一个名字。嗯，我们公司有一个临时名字，你会喜欢的。它叫 Cafe Bots，或者希伯来语叫 Cafe。所以实际上是黑咖啡，或者你知道的，脏咖啡。是的，所以，嗯，我，我，我得到了 URL，我们继续了，但我们需要一个真正的名字。所以我们有一个品牌机构，我们与之合作，我真的很喜欢这些人，非常聪明，很好，我们去了他们的办公室，他们拿出杂志和期刊，我们给了我们剪刀，我们剪下短语。你知道，我，我觉得我好像在幼儿园。然后我们得到了一份候选名单，没有人真正满意，但我们说我们会选择其中一个。我去了停车场，想出了 Timeful，我们称公司为 Timeful。太棒了，抽着雪茄，在沙滩椅上就可以做到。太棒了，你刚在海滩上完成的，如果那样的话会更完美。是的，尤其是在以色列。是的，你来这里海滩吗？我来了。是的，你是个大海滩爱好者。我没有我想象的那么多时间，但我喜欢在海滩上慢跑。我喜欢，你知道，站立划桨。你带雪茄吗？嗯，我不确定我是否愿意承认。好吧，下次你主持办公时间时，我只想得到邀请，就这样。这是我的游戏。你知道，我会带一杯酒，你带雪茄，会很好的。我，我，我有点自我，因为我知道有抽雪茄的形象，以及某个特权阶层。我实际上喜欢它，在我发现政客们这样做之前。你看，或者你知道，在烟雾缭绕的房间里。这很有趣，我前几天与投资人开会，我在 Zoom 上，我在我的门廊上，我说这是我第一次与投资人见面，而我却在抽雪茄。我喜欢这样。所以，嗯，雅各布也说你以一种有趣的方式招募团队。他在说什么？天哪，我的意思是，你说你招聘的方式有点不寻常，老实说，我不确定我是否需要问雅各布。嗯，我，我会说我通常，所以我想我，我，我得到人们，我喜欢聪明又善良的人。我不知道这是否与雅各布所说的有关，但他说这并不完全是一个有组织的流程，对吧？你找到他们，招募他们，说服他们。好吧，我必须说，我们以前的公司和我，在 AI 21，都没有怎么和招聘人员打过交道。很多都是口碑相传，人们认识人。是的，我再次不知道雅各布的想法，但我想，如果你对某事感到兴奋，很容易就能吸引人们加入你的旅程。对于人工智能教授来说，尤其是我们今天如何看待你所说的关于大型语言模型的统计模型，我发现你比数学大脑更具创造性。这完全是偶然的，我是一名计算机科学家。我同意，你是一名计算机科学家是偶然的。我想成为一名建筑师，但当时我正在国外旅行，顺便说一句，在法国的一次葡萄酒之旅中，我的父母非常明确地表示我应该学习一些东西，但对于建筑学，我必须回到以色列参加一个绘画考试，而且我也不想这样做，但我不会画画，所以我报名参加了我可以进入的任何东西，因为我的高中成绩很高，所以报名参加了计算机科学。太棒了，说到你偶然的计算机科学家生涯，你仍然在斯坦福大学当了 29 年教授。嗯，我想知道，你现在回到了以色列，你看看美国大学校园和斯坦福大学校园正在发生什么，你怎么看待这件事，你怎么看待，因为你知道你当时在那里非常不同，事情已经腐烂了，或者以不同的方式发展了，你怎么看待这件事？我的意思是，你怎么看待这件事？它如此真实，如此令人不安。嗯，而且，即使我不在斯坦福大学了，我也会回去，我和我的同事们有联系，顺便说一句，那里也有不少以色列人。而且斯坦福大学并不是一个极端案例，但即使在那里，它也如此令人不安，以至于我感到有义务联系校长，最初是联系多人，然后说，你知道，现在不是道德上含糊其迟疑的时候，是时候展现道德领导力了。嗯，我记得我说过，这是在 10 月 8 日写给我的同事和校长的，说发生了什么。如果你能忍受，去 Telegram 上看看发生了什么，但你之后睡不着觉，但它发生了。现在将要发生的事情对双方来说都将是可怕的，我不会深入探讨我认为应该发生什么，但它将是可怕的，但不要忘记这个时刻，因为这就是它的开始。嗯，我仍然这么认为，我感觉到所有这些社会暗流，我并不觉得自己是这方面的专家，关于身份政治和压迫者与被压迫者，以及不知何故，你知道，一切都被投射到这个非常无知、简单的观点上，即使是出于好意的孩子。我认为大学领导者有道德义务冒着不受欢迎的风险，说出正确的话。你认为他们履行了这项道德义务吗？我不认为。你不认为？我不认为。你为什么认为他们不能履行它？首先，我认为他们有一项非常艰巨的工作。我认为他们有多个利益相关者需要服务，学生是重要的利益相关者，学生家长是重要的利益相关者，教职员工是，我必须说捐助者是，而且很难平衡所有这些。所以我不怪他们，这并不容易。尽管如此，我认为这并不能成为不做好事的借口，而且我必须说，我认为这是懦弱。你提到了平衡这个词，你必须平衡所有这些，鉴于你对人工智能和哲学的看法，我发现自己想知道，这种对平衡的痴迷是否让世界失去了道德立场？让世界失去了领导者？我们没有领导者，因为每个人都在试图找到平衡，而在现实生活中没有平衡。我在很多情况下都说过，没有平衡，当然，当有道德问题时，根本没有平衡。而且为了成为一名领导者，你需要打破平衡。顺便说一句，如果你想成为一名人工智能领域的领导者，你知道权重，你如何加权，权重和衡量标准很重要，对吧？你永远不会因为平庸而获胜。我完全同意。嗯，危险，嗯，相反的危险是过于简单化，并且倾向于极端立场，嗯，嗯，那永远不会赢，事实上通常在道德上是错误的。所以我认为你需要有一个清晰的道德指南针，并据此行事。我同意，这不仅仅是计算所有这些影响的向量，然后走，你知道，最低的摩擦方向。我完全同意。顺便说一句，你知道，这比我在商业上做得更好，如果你那样做，你就永远不会赢。不，如果你不押注，你就无关紧要了。而且，你必须做出艰难的选择，我觉得我们今天让人们轻易做出选择，或者不表明立场，这就是为什么我们没有领导者。在这个时刻，在 20 到 30 年的平衡之后，我们没有领导者，这不是偶然的。你认为这种情况是普遍存在的，还是在某些自由民主国家？我认为目前主要存在于自由民主国家。嗯，太多的利益相关者，包括社交媒体，人们不怕在公众面前受到批评，因为代价很高，但所有领导者都要付出代价。我同意。现在我不用当政治家，不用竞选公职，这很奢侈，这是一件难事，但学院院长也不用竞选公职，他们需要，他们需要。是的，但你是对的，我的意思是，他们需要说服的人数较少，在你的舒适区之外说话，也就是说，不在你的媒体圈子里。你知道，克劳迪娜·盖伊，因为她缺乏道德立场，她的职业生涯和生活将以耻辱告终。对不起，我没听懂你说的话。不，我其实没听懂问题。我说我不会去斯坦福大学一段时间，但你知道，你可以看到像哈佛大学的克劳迪娜·盖伊这样没有表达或发挥领导作用的人，最终他们的职业生涯和生活都以耻辱告终。所以不作为领导者确实有代价，这很明显。我认为，嗯，嗯，我认为问题是，你是否能看着镜子里的自己，无论他是否很好地服务于你的职业生涯。是的，我认为很多人会给自己讲很多故事，一段时间，也许吧。我完全同意。所以，为了总结丹·阿里埃利对你的评价，你说你结合了计算机科学和哲学。我会接受的。但这意味着什么呢？问他，你问我什么？我喜欢问大问题，这并不总是对我有利。我的意思是，例如，为了在学术上取得非常大的成功，标准的做法是写很多论文，每篇论文可能不重要，但你知道，只是让它，你知道，最小的平行单位。我从来不喜欢，我总是问，我喜欢问大问题，有时这些问题没有令人满意或好的答案，但也许这就是我成为一名哲学计算机科学家的原因。你现在问的最大问题是什么？我问过的，并且部分回答过的最大问题是，理解意味着什么？这有点涉及到我们之前讨论过的内容。所以有几件事。首先，如果你想到人，但这对机器来说也是如此，你从不说哦，这个人或系统理解，他们理解某事。他们理解主题，他们理解数学，他们理解哲学。所以这是第一点，你做什么或不理解什么。第二是，你如何展示你的理解？而且，再次，我很抱歉，如果这有点多余，我之前说过的话，但你必须在一定程度上熟练。如果我无法回答数学中的任何问题，我就是不理解数学。我不需要能够回答每个问题。即使我明确地说我不知道答案，也没关系，而且有些事情是荒谬的，但我可以通过给出错误答案或不知道来变得荒谬。有时荒谬的是我不知道一加一等于多少，无论我在其他加法方面有多好，我都不理解加法。所以，这些是理解的一些迹象。你可能会问，是否存在更深层次的理解，这只是你展示它的方式，但内在的，这在人工智能和哲学中有大量的讨论，我实际上相信，嗯，答案是否定的。这非常像图灵测试，它不仅仅是一个测试，它实际上是理解的本质，能够回答一个问题。但然后，你知道，我们有直觉，好像当我们理解事物时，有一些更深层次的原则正在显现。这不仅仅是人工智能，有一个著名的故事，关于一位数学家，我认为是高斯，但我不确定，他小时候被给了一个算术级数，并被问到总和是多少，他立即给出了答案。他们说，哦，你知道公式吗？我说不，我只是加起来了。但当然，你知道，我们凡人大多数人的方式是我们知道一些更普遍的原则，这有点亲密，理解，然后，然后，这如何融入画面？我认为这就是解释的用武之地。为什么我们知道？我们在学校问老师，你知道，解释你的答案。为什么他们这么说？因为如果你能解释答案，老师就可以推断出你可能已经回答了老师没有问过的许多其他类似问题。这是一种探究你更深层事物的途径。所以基本上，一个解释值一千个答案。所以我认为这就是理解的主要要素：普遍熟练，避免荒谬，以及解释。是什么让你成为人类，或者是什么让我们成为人类？我希望我知道。嗯，我们都有这种直觉，嗯，我们以某种方式与机器不同，比机器差一点。这是对诗篇中一节经文的改述，其中说你创造了人，比神差一点。是的，你必须重新解释或改写为我们创造了它，比什么差一点，但至少我们是不同的。我们都有这种直觉，我们不仅仅是一个被美化的烤面包机，对吧？所以我有一个，我过去在斯坦福大学为新生开设了一门课程，为年轻的孩子们，在他们被腐蚀之前。课程标题是“电脑能思考吗？”“它们能感受吗？”我，我用六个问题开始课程。让我看看我能不能重构它们。机器能思考吗？它们能理解吗？它们能有创造力吗？它们能感受吗？它们有自由意志吗？它们能有意识吗？并让他们思考一般的机器，你不是指现在的笔记本电脑。我会在课程开始时强制投票，你知道，你必须投票，你不能含糊其辞，取决于你的意思，是或否。然后我们谈论人工智能和机器学习，所有这些。最后再次投票。我注意到两件事。首先，显然，最后人们对他们的答案都更加不确定，也更加宽容。哦，当然不能，那消失了。男女之间似乎也有区别，但这在统计上不显著，所以我不会愿意。但总的来说，似乎女性认为有区别，而男性则无法区分。但这需要更多的研究。这说明了很多问题。嗯，嗯，但我做了一个关于这个的 TED 演讲，我专门谈到了自由意志。我稍微看了一下。这很有趣，因为显然我们有一种感觉，它在某种程度上是与生俱来的，是我们人类的特征之一，对我们的行为负责，等等，道德的人。而且，你知道人们对此写了什么？嗯，艾萨克·巴什维尔·辛格在他的诺贝尔奖演讲中说，我们必须相信自由意志，我们别无选择。嗯，这位哲学家雷·斯曼，他去世了，这很有趣，我记得听他讲过，他看起来像邓布利多，但他实际上也是一位魔术师，他是一位了不起的人。他有一个寓言，简短的故事，关于凡人请求上帝免除他所谓的自由意志的负担。通过一系列苏格拉底式的提问，上帝传达了一个信息，不是说这是一个糟糕的请求，而是一个不连贯的请求。然后你有 R，一切都是可预见的，自由意志被赋予了，这意味着什么？我认为这很有趣，这是人类的例子。我认为我们不知道答案，问机器是否能拥有这些品质只是一个新视角，不仅要理解机器，还要理解我们自己。所以，最后，你最核心的人类价值观是什么？不，这不是我的核心，但我真的很想知道，只是好奇，只是好奇，是什么让你最好奇？你最好奇什么？做人意味着什么？做得好，感谢大家的参与。感谢福雷斯特，如果你喜欢这个播客，请在 Spotify、Apple Podcast 或任何其他你收听播客的地方给我们五星好评。如果你想了解更多关于 Yav Sham 的信息，你可以在 X 上关注他，Y H H M Yav Sham。谢谢，Yov，我很感激。谢谢。