Transcription
开发者在很多情况下都在寻求像语料库构建的解决方案，因为它们能解决他们的问题，而这最终是开发者想要的。开发者想要构建东西，他们不想花大量时间将一辆本田雅阁改装成 F1 赛车。他们只想出发，只想构建一些东西。[音乐][音乐]欢迎来到“创立与资助”。我是 Madrona 的数字编辑 Coral Garnik Duncan。本周，Vivek Ramaswamy 与 Chroma 的联合创始人兼首席执行官 Jeff Huber 进行了对话。Chroma 是一个开源的向量数据库，而向量数据库最近席卷了人工智能界，Chroma 迅速成为该领域领先的产品之一。Jeff 的背景是机器学习，对于 Chroma 的联合创始人来说，创立 Chroma 是一个经典的“必须有更好的方法”的时刻，当涉及到从演示到生产时。Vivek 和 Jeff 谈论了为什么我们需要另一个数据库，当前正在发生的新一轮软件工程，社区驱动的增长，竞争格局等等。话不多说，我将把时间交给 Vivek。但首先，我想告诉大家，我们的智能应用峰会将于今年 10 月 10 日和 11 日举行。如果您想申请邀请函，请访问 i-40.com/summit。现在，我将把时间交给 Vivek。我是 Vivek Ramaswamy，Madrona 的合伙人，今天我将与 Jeff Huber 一起。Jeff 是 Chroma 的联合创始人兼首席执行官，Chroma 是一个原生于人工智能的开源嵌入数据库，它也更常被称为向量数据库。Jeff，非常感谢您今天加入我们。是的，感谢您的邀请。期待这次对话。Jeff，您在科技和初创公司领域有着悠久的历史，这可以追溯到您创立 Chroma 之前。我很想听听这方面的内容。也许您可以简单介绍一下自己，您是如何进入这个领域的？您是如何创立 Chroma 的？是的，也许这是快速的人生故事版本。我出生在半岛，在北卡罗来纳州长大，大约 11 年前搬回湾区，在早期初创公司工作。从零开始构建东西真的很有趣。在那里有过几次尝试。最先是一家名为 Standard Cyborg 的公司，我们参加了 15 年冬季的 Y Combinator。当时感觉像是迟到了 YC，而现在有 23 年冬季或什么的，还有 23 年夏季。所以现在 15 年冬季感觉像是很久以前了。我有很多经历，我认为其中一些经历可能与我们今天的对话有关。我们为 iPhone 构建了一个开源的在线密集重建管道。iPhone 10 大约在 2018 年发布。我们认为这非常有趣，每个人口袋里都会有一个新传感器，这将首次使精确的 3D 扫描进入每个人的口袋。所以苹果只提供了原始深度数据。我们围绕它构建了整个 SLAM 管道，并将其开源。然后我们与许多公司合作，开发传统的基于计算机视觉的方法以及基于机器学习的方法来大规模分析这些数据。我们做了诸如虚拟头盔试戴、为智能眼镜公司提供动力、虚拟试穿和试戴解决方案、与一家自行车公司合作进行鞋码和试戴等各种有趣的试戴和试穿应用。我们还做了一些机器学习方面的事情。这很有趣，是狂野的西部。当时 TensorFlow 1.5 刚刚发布，Pytorch 还没有真正成为主流。我们正在做诸如点云分割之类的事情，远远超出了图像对象检测的范围。我认为我们真正深切体会到的痛苦是，将任何包含机器学习的东西从演示阶段推广到生产阶段是多么困难。这是我和我的联合创始人 Anton 产生共鸣的痛点：哇，机器学习非常强大，并且有可能改变我们构建软件的方式，并更广泛地改变世界，但从演示到生产的过程极其困难。这实际上也是我试图成长以解决这个问题的部分原因。是的，这确实是一个非常有趣的游戏。首先，您在机器学习成为当前这个周期中的热门话题之前就已经在构建机器学习了。考虑到所有这些兴趣，与今天相比，那个时期的构建面临哪些挑战？是的，显然大型语言模型是一个范式转变。以前，如果您想构建一个机器学习模型来做某事，比如说，在图片中的所有汽车周围画一个边界框，这是经典的计算机视觉用例，您必须从头开始训练一个模型来精确地做这件事，在很多情况下，或者您可以使用基础架构并在此之上进行微调。汽车是足够常见的，您可以相对容易地找到一个模型并获得不错的结果。但假设您想围绕汽车画边界框。可能没有这样的数据。收集数据是一项巨大的努力，标记数据是一项巨大的努力，训练任何东西都是一项巨大的努力。在您甚至能初步了解这个东西有多好之前，您就付出了所有这些努力。然后，您可能需要花费一个月或更长的时间进行每次迭代周期。所以您使用您构建的东西。好吧，它工作得还可以。我们大致了解了情况。让我们收集更多数据，尝试使其变得更好。然后您需要等待两到四周才能得到下一个答案。所以这是一个非常长的反馈循环。您基本上很少了解为什么这个东西会这样做，并且说实话，您只能凭经验猜测如何改进它，这使得开发人员周期极其令人沮丧。以一个也构建过 React 应用程序的人为例。您知道您可以更改样式表，它会立即动态更新。您可以将反馈循环缩短到毫秒。长达数月或更长的反馈循环在软件开发中非常痛苦。所以，是的，这些是传统深度学习的挑战。我认为，就语言模型和这些新事物而言，人们称之为生成式 AI。有趣的变化是，您现在拥有通用模型。所以您可以使用基础模型做一些以前需要大量努力才能完成的事情。现在应用程序开发人员可以拿起 GPT-3 API，拿起一些嵌入，并在周末构建出有趣的东西。这是一个非常新的事物。以前，即使是小型演示的构建也只是机器学习工程师、数据科学家（最多）的领域，对于普通开发者来说是无法触及的。不是指技能水平上的普通，而是指后端开发、前端开发、全栈开发、基础设施方面的普通。现在，这些工程师可以构建东西，当他们构建东西时。这是一件非常令人兴奋的事情。是的，您现在作为该领域的构建者所拥有的资源和工具显然比五年前甚至一年前要多得多，这对于该领域的开发人员和工程师来说是极好的。我当然想深入探讨您对生成式 AI 的看法，甚至在深入探讨 Chroma 本身之前，让我们从一个更高的层面开始。我们都在谈论 AI，谈论向量数据库，谈论所有这些东西。就这个市场而言，为什么 AI 内存很重要？当我们谈论 AI 内存检索时，它如何描绘出为什么它很重要，它如何与我们看到的生成式 AI 繁荣以及我们许多人熟悉的 ChatGPT 等应用程序联系起来？是的，有一种看待当前 AI 发展的方式是，新一轮软件工程正在开始。历史上，让计算机做某事的唯一方法就是以代码的形式编写明确的指令，希望计算机编写了这些指令，希望您没有编写任何错误。如果您遵循了这些准则，您就没有编写任何错误，该程序将运行 99.999999 次中的 9999 次。它总是会起作用。但今天的情况并非如此。我们还没有达到能够获得这种可靠性水平的工具。话虽如此，传统软件也有其局限性，因为只有非常狭窄的一系列用例，您可以如此严格地定义所有输入，以至于传统软件开发能够正常工作。您想象一下所有可能存在的程序空间。人类编写的代码可能只覆盖了所有可能存在的程序地图的百分之一。这是一个经典的 XKCD 例子，经理对他的员工说：“嘿，你能为我们添加一个新列来存储我们的姓氏吗？”那个人说：“是的，只需要三分钟。”然后他说：“嘿，你还能添加一个功能，可以识别上传的照片是猫还是鸟吗？”那个人说：“是的，那需要三年。”那是一个很久以前的 XKCD 漫画，现在已经改变了，而且变得容易多了。但仍然是这样，将 AI 的东西投入生产仍然很困难。所以，我认为有很多令人兴奋的工作正在进行，显然检索是一种方法。让我们再次放大。我们想构建语言模型。我们希望人们能够每次都按照我们的意愿行事。您基本上有两种选择，而且它们并非相互排斥。一种选择是更改模型在训练中看到的数据，您通常通过微调来做到这一点。另一种方法是更改模型在推理时可以访问的数据，这是通过上下文窗口实现的，通常是通过检索实现的。所以，我们不是用代码编程，而是用数据编程。这就是这一新编程时代将要讨论的内容：我们如何指导语言模型的执行路径，这个新一代软件，我们如何使用数据来指导它？再次强调，检索是一个非常非常有用的工具。我认为今天大多数生产用例都需要使用检索，我认为未来大多数生产用例也将需要使用检索。我认为今天的微调可能只占一小部分用例，也许是 10%。您需要微调吗？我预计这个数字会随着时间推移而增加吗？这很有道理。所以检索很重要。我认为正在建立一批新的公司，特别是如果您正在利用我们今天拥有的所有 AI 工具，检索变得越来越重要。同时，有人可能会说，已经存在许多数据库了。您可以在 DB Engines 上找到 400 多个。我们为什么需要一种新型数据库？为什么我们听到这么多关于新数据库、新向量数据库涌现的消息，不仅仅是您的，还有其他的？您认为为什么会出现这种新颖性？我认为每一代软件，无论是 Web 还是移动 Web 1，它们都有不同的用户体验，并且有不同的开发者需求，这导致了新型数据库的出现。所以，当 Web 和移动开发者都想要更快的开发速度时，他们想要摆脱严格的固定模式和迁移，然后他们还想要支持更大的规模。有一个经典的梗图版本，就是 MongoDB 是 Web 规模的，这 pretty funny 去回顾一下，但其中有一些真相，就是不同的工具在不同的事情上更好。您可以在本田雅阁上装赛车轮胎，但这并不能让它成为赛车。在我们目前的阶段，我对应用程序开发者的建议是，不必试图采用一种已经添加了所谓的向量搜索功能的现有技术，并尝试让它适用于您的应用程序，因为应用程序开发者需要榨取所有潜力，并从最新最好的技术中获得所有优势。您不能落后六个月或一年，因为您已经远远落后了。此外，您确实需要拥有像非常好的召回率这样的东西，再次强调，在这个世界里，生产非常困难。所以，像在现有数据库中获得更差的召回率这样的事情，我认为开发者不应该做出这样的权衡。所以还有更多内容可以讨论，我可以谈论从集成、用户体验、可扩展性维度，甚至还有关于传统关系数据库内部的低级数据结构和某些存储算法的优点和缺点。但我认为，在某种程度上，事实胜于雄辩。开发者在很多情况下都在寻求像语料库构建的解决方案，因为它们解决了他们的问题，而这最终是开发者想要的。开发者想要构建东西，他们不想花大量时间将一辆本田雅阁改装成 F1 赛车。他们只想出发，只想构建一些东西。如果这两种工具都是开源的，并且这两种工具都是免费的，那么答案就很明显了。我认为您提到了许多维度，正如您所说，您不能用不同类型的轮胎改装一辆非常不同的汽车。它需要为工程师和开发者正在做的事情量身定制。是的，也想补充一点，我们还处于这个领域的早期阶段。我们还处于这个阶段。所以我认为人们将向量搜索添加到现有数据库中的做法非常可笑，通常是相当糟糕的向量结构版本，有很多修饰，它们不宣传，但它们添加了它，然后他们发布了营销页面，营销副总裁很高兴，CEO 也很高兴，公众市场可能也很高兴。我们还处于这个阶段。也许 18 个月后，余弦相似度搜索将成为主流工具，这一点甚至还不清楚。但点切换向量和花哨的标尺，以及标尺搜索是点和标尺，我认为这不足以构建生产应用程序。还需要更多东西，而且必须在数据库层面存在。所以我认为这是另一个观点，就像我们对 AI 的记忆意味着什么以及它看起来像什么还很早一样。而且很可能，学习表示最终是最好的。您真的想让神经网络在您的数据上运行吗？在这个非常低的层面来驱动检索，这样您才能获得最佳的记忆。如果这就是您获得最佳记忆的方式，那么这就是您想要使用的。是的，您提到了这一点。这就像每个应用程序都在试图弄清楚它们的生成式 AI 策略或生成式策略，而它们只是在 OpenAI 或 GPT-3 或 GPT-4 之上创建一些东西。现在，每个数据库都说：“嘿，我们可以添加这个向量功能。”但时间会证明这在多大程度上会奏效。为了记录在案，对于收听此节目的数据库公司来说，请继续这样做，因为您正在教育市场，并且对我来说是一个巨大的帮助。我们很感激。这太棒了。那么，让我们来谈谈 Chroma。您非常清晰地阐述了市场格局以及当今开发者的需求，以及他们所需的数据库类型，尤其是在他们构建这类产品时。那么，创立 Chroma 的故事是什么？您和您的联合创始人看到了什么独特的需求，导致了您的“啊哈！”时刻？我首先要说，在很多方面，我们真的很幸运，而且我认为社区最终是这个项目得以发展的原因。我们在今年的情人节发布了这个项目，比原定发布日期晚了一天，因为我们有一个 bug 需要修复。从早期到现在，我们在用户数量和人们在线讨论方面看到的增长基本上是完全有机的。今年大部分时间我们都是一个非常小的团队，至今仍然是一个非常小的团队。这在未来可能还会持续一段时间。一个小团队只能做这么多事情。我们选择专注于为使用 Chroma 的开发者提供最好的服务，认真听取他们的反馈，尽快在 Discord 上为他们提供帮助。社区也帮助我们改进了它，包括提供反馈、提交拉取请求、提交问题。所以我认为我们迄今为止很幸运。我们再次创立这家公司是因为我们觉得从演示到生产的差距，以及构建任何机器学习或 AI 的东西都太难了。我们怀疑嵌入很重要，潜空间和嵌入有一些东西，您（双关语）有一些潜在的优势。那里有一些东西还没有被完全探索。所以，当您进行探索时，您可能会有一种预感，旅程的另一端有一个应许之地，您不知道，您不确定。所以，您想做的是进行非常干净的实验，在时间上严格限制，对某件事是否有效持非常明确的观点，不要自欺欺人。不要欺骗自己认为“哦，这已经足够好了，我们得到了足够好的反应，让我们再花三年生命。”我认为，作为前创始人，我们对人们喜爱现有事物而不是不得不多年来推动它有着很高的期望。所以，是的，这是一个更长的故事，但基本上我们自己构建了大量的检索系统，以服务于我们为其他用例进行的一些分析。在嵌入空间中，我们发现我们觉得现有的任何解决方案都没有真正地满足我们作为开发者的需求。我们觉得它们非常难以使用，非常复杂，部署模型非常奇怪，定价模型也非常奇怪，就是不合适，就是不合理。就像那些经典的“必须有更好的方法”一样。是的，我开始与更多的人交谈，更多正在构建东西的用户。这可以追溯到 2022 年 12 月，当时 LangChain 是一个非常早期的项目，OpenAI 的嵌入价格因为 8 或 2 个嵌入而便宜了 100 倍左右。是的，我只是想向您展示很多用户，并发现他们有着相同的感受：易于使用且功能强大的东西不存在。所以我们说：“好吧，这很有趣，让我们看看会发生什么，让我们跟随这条线索。”这又导致我们开源了这个项目。现在，自发布以来，Python 项目的总下载量已超过 150 万次，其中超过 60 万次是在过去 30 天内。让我们谈谈社区。它对 Chroma 的故事和您现在看到的势头以及您的发展方向至关重要。您谈到您获得了一些用户，人们开始了解您，有一些有机增长。我敢肯定，很多收听此播客的创始人，尤其是那些构建开源产品的人，都在想：“我该如何吸引最初的几个人？我该如何喂养最初的社区并开始吸引更多人？”您和您的联合创始人是否做过什么来帮助建立它，或者您认为它是完全有机的？我敢肯定两者都有一些元素。总的来说，如果“你建造了，他们就会来”，那是不对的。我当然一直相信这一点，因为人们低估了分销，高估了技术，日复一日。我以前也这样做过。感觉这里不知何故不适用。我不确定为什么。感觉我们好像真的建造了，他们就来了。所以我不知道有什么值得学习的。我认为我们无意中做的一件事是，在 12 月底，我联系了 Twitter 上许多发过关于 LangChain、嵌入等推文的人，只是为了获得他们对我们正在构建的东西的反馈，看看他们是否与我们有同样的看法。我现在意识到，我们不仅在进行用户测试和用户反馈，而且还在与那些拥有大量粉丝的活跃用户交谈，他们通常在 Twitter 上非常活跃，并且正在思考这项技术的边缘。所以，以一种奇怪的方式，我认为我们得到了很多早期采用者，早期活跃的能够了解我们正在构建什么以及为什么构建它的人，并且在许多情况下使用我们正在构建的东西。再次强调，这是非常无意的，但我认为这并没有坏处。这很有趣，因为您谈论它很有趣，当我们说“早在 12 月”时，好像那是很多年前，而实际上是八个月前，但感觉是这样，因为自那时以来整个生态系统发生了多大的变化。您谈论 LangChain 的早期日子以及他们现在的用户数量以及社区的样子，以及 Chroma 正在发展成什么样子。那么，您是否发现，而且我认为听听您的看法会很有趣，在这个时代、这个周期、这个 AI 领域建立社区与几年前建立社区有何不同？我问的原因之一是，我认为我们都看到了 GitHub 星的数量。达到 50,000 颗星比以前更容易实现。您可以查看相关的指标，并思考这个开源社区。那么，您今天如何看待建立社区、发展和维持社区？因为所有这些都将与过去的开源产品有所不同。我不知道最好的做法是否改变了。我认为您需要关心与您的产品互动的人。我认为您需要为他们提供良好的支持。我认为您需要尝试让他们参加 Zoom 会议，了解他们的名字，了解他们在做什么，并找出如何让他们正在做的事情变得更好。如果您能做到，我知道有很多“样板社区”的东西，这并不特别光彩，但这就是方式。也许在 AI 方面有一些区别，有些是好的，有些是坏的，对吧？所以，在某些方面，这是一件好事，就是有很多人关注这些东西，人们也在关注它。就像漏斗顶端的问题比您试图吸引人们关注的其他领域更容易解决。我听说过像 HashiCorp 早期关于“基础设施即代码”运动的故事，以及人们需要花很多年时间参加会议和大量的宣传才能让人们理解这是什么以及为什么他们应该喜欢它。这并不完全是那样。感觉人们至少想喜欢它，而且你知道，CEO 说他们应该有 AI 策略，或者有这种趋势。缺点是，您会得到更多“试探性”的应用程序，或者不是每个加入他们 Discord 的用户都会保持参与。所以 Discord 比我们 2017 年或更早时候构建基础设施即代码时可能要大，但参与用户的数量也可能比当时要低。所以，我不知道，这有点好坏参半。拥有漏斗顶端问题一半解决的状态，这有点奇怪。是的，我喜欢您提出的漏斗顶端类比，因为这就像“好的，您有很多感兴趣的人，他们愿意尝试一些东西。”现在的问题是，您能让它有多粘性？所以您有一个大的漏斗顶端，然后您会有一部分人会下来，您如何留住他们？那么，您从这个过程中学到了什么经验？也就是说，我们有这么多人，有很多初步的试探性兴趣，您如何让他们继续使用？是的，在某些方面，我们并不太关注这个指标。我的意思是，显然，如果您让某人使用它，然后他们停止使用，可能是因为您制造的东西很糟糕，在这种情况下您应该关心。这也可能意味着，我不知道，他们有一个周六的几个小时的空闲时间，他们的孩子在参加足球训练，他们只是为了好玩而匆匆忙忙地做了一些事情，然后他们周一回到工作岗位，然后就停止了。这算坏事吗？我认为不是。我认为我们正处于这个时代的实验阶段。在某些方面，我们关心的是最大化构建事物的数量，即使其中许多事物不一定能立即坚持下去。我们采取非常长远的观点。所以，现在重要的是构建最好的东西来服务社区，并确保人们不被卡住。然后也试图增加他们进入生产的机会，让他们足够可靠，以至于他们愿意使用它。然后我认为这只是时间的回报。就像我们已经进行了五个月。五年后会是怎样？十五年后会是怎样？继续前进。所以，如果您痴迷于流失和留存率，您就会做出很多糟糕的行为，这实际上是反社区的。所以您开始收集人们的电子邮件，发送糟糕的滴灌内容营销，只是为了让他们保持参与。您会做一些奇怪的糟糕的事情。我从来不想加入一个这样对待我的社区。所以我认为在某种程度上，您可以过度强调这一点。我认为这是一个很好的提醒，我们在这个领域还处于多么早期的阶段。我的大脑会想到漏斗指标，随着时间的推移会是什么样子。但实际上，这是实验。我的意思是，我们还处于这个领域的早期阶段。所以，正如您所说，讽刺的是，我相信很多经典的营销元素会把人们推开，而不是让他们保持参与。正是如此。开发者普遍想要的是真实性，而开发者首先想要的是真实性。这显然是我们目前看到的向量数据库和更广泛的 AI 领域中最令人兴奋的领域之一。这也意味着有很多人做得对，也有很多竞争对手。团队，我们更频繁地听到新的竞争对手出现并获得资助等等。那么，您如何看待在一个新公司涌现并获得资金的空间中运营？我将从两个方面来问这个问题。一方面是随着时间的推移争夺用户，最终是客户。但另一方面是争夺人才，这在任何环境中都不容易，但我认为尤其是在这个竞争激烈的领域。所以，我很想听听您在这两方面的想法。是的，在开源领域，我们不称之为竞争，我们称之为替代方案。在某些方面，竞争的第一条规则是不要被竞争分心。如果它们是完美的，它们早就赢了。您没有犯错的空间，也没有获胜的空间。我认为我们不花太多时间去关注替代方案在做什么。我们花大量时间关注我们的用户以及他们的需求，以及反应和实践方面，再次回到我一直在强调的这一点：演示和生产之间存在差距。对于传统的深度学习来说是这样，对于语言模型和嵌入来说也是如此。周末构建一个性感的演示很容易，人们应该这样做。构建一个健壮、可靠的生产系统仍然非常困难。仍然非常困难。需要很多东西才能让人们达到那个水平。所以我认为，当您考虑我们对开发者体验的痴迷，我们丰富而深入的 AI 背景，我们在旧金山的地理位置时，我认为这些将成为差异化的特征和因素。我祝愿您的竞争对手（替代方案）一切顺利，因为我们都对这里正在发生的事情以及那里正在发生的事情有着不同的看法。也许有一点我想说，无论好坏，我们都在 2023 年构建了许多这些东西。从这个意义上说，与其他人相比，我们可能已经晚了，但我认为我们在我们构建的东西的架构方面做出了一些不同的决定。这些决定可能在几年前是看不到的，因为几年前没有人能看到。而且这些决定如果已经做出了，就很难撤销。所以，不一定需要详细说明。我认为真正重要的是为我们服务的社区做好服务。我们只需要这样做。当我们为社区服务好时，好事就会发生。而且，正如您所说，我认为 2023 年我们说“我们不能称之为迟到，因为下一个浪潮现在就来了”，所有这些东西都在发生，这就是您想加入的时候。我想听听您的想法，如果我们暂时放大一下，我们正接近我至少称之为我们现在所处的生成式 AI 繁荣的第一年。如果我将 ChatGPT 于 2022 年 11 月的发布视为一个起点，那么我们可以说我们正在结束第一年，并且我们已经开始看到一些应用程序的增长有所下降，至少是新用户增长趋于平缓，您知道，与一年前的指数增长相比，尤其是在应用程序方面，增长有所放缓。您作为一名在这个领域构建的创始人，拥有一个非常独特的视角，更多地关注基础设施方面，而不是终端用户应用程序方面。请给我们您的视角：这里发生了什么？我们现在处于什么阶段？为什么我们会看到增长趋于平缓？您认为这一切是怎么回事？我认为这很自然。就像有一项新技术。我的意思是，如果您看看 LK-99 的曲线，它会非常快地飙升，每个人都在想“发生了什么？快点，快点”，然后它就会趋于平缓，然后会有很多人尝试各种变体，看看是否可以……我不是这方面的专家，但我倾向于认为最终会有人找到有效的变体。然后它会有一个“生产力高原”和“采用周期炒作周期”。感觉 Twitter 和 AI 的东西往往是这些炒作周期被极度压缩。实际上观看它很有趣。就在我们筹集资金之前，数据库正处于上升期，然后 Twitter 上的每个人都说“数据库很愚蠢，立即盈利”，在四处筹集资金后四周就感到幻灭。然后现在又是一条漫长的上坡路，人们说“哦，实际上，长上下文窗口可能不是当前架构的万能药。也许能够控制进入这些上下文窗口的内容是有用的，如果我们不只是把所有东西都扔进去，因为它会分散注意力，它只是……炒作周期太愚蠢了。但我的意思是，我认为这里最大的风险，对整个这个领域来说，就是我们能否作为一个社区、作为一个行业，找到一种方法来跨越从许多已构建的演示到许多有用的生产应用程序的鸿沟。这意味着许多可靠性，不仅仅是 90% 的可靠性，即使这对我们基于专辑的今天来说已经相当不错了，而是许多可靠性。如果我们能解决这个问题，那么通过这种技术创造的价值将是数万亿美元。我的意思是，这只是非常非常非常非常大的。如果我们不能，如果它仍然更多地是“好吧，这对于一些内部工具来说很棒，对于一些创意的东西来说很酷，但我们不会把它提供给用户，因为它不够好，或者我们无法预测它会做得有多好，所以我们不会把它提供给用户，我们无法信任它。”最终，如果我们不能达到这一点，那么好吧，它仍然有价值，但它不会那么有价值，它可能只有十分之一，甚至百分之一的价值。所以，这是我们经常思考的问题，我认为其他语言模型公司也在思考，语言模型公司也在思考，该领域的许多其他可观察性公司也在思考。每个人都有相同的目标和使命，那就是：我们如何将这个今天被视为炼金术的东西变成工程学？哦，这是一个很好的观点，“炼金术到工程学”。我认为回到您之前所说的非常正确，那就是炒作周期在科技领域总是很快，但它一直在变得越来越短。我在这里谈论九个月前，有欣快感，现在就少了。所以整个事情被大大压缩了。而且，我们意见一致，您会看到这些东西自然而然地趋于平缓。但我确实认为这鼓励了该领域的每个人。正在进行大量的实验，然后下一阶段将是什么有用？我们如何将其投入生产并让某人真正使用它？而不是谈论所有酷炫的营销说辞。我认为当这种情况发生时，毫无疑问，它将改变我们能想到的每一个应用程序、每一段软件、每一个工作流程。正是如此。就像大型语言模型，更广泛地说，多模态大型模型辅助软件开发将更全面地接近所有可能的程序空间。这对人类来说是一件好事。在进入闪电轮之前，请带我们了解 Chroma 的下一步发展。您已经建立了令人惊叹的社区，获得了令人难以置信的关注度，就像您所说，仅在过去一两个月里，您就看到了大部分的使用量和增长。所以有一个惊人的复利效应。公司、社区和业务的下一步是什么？再次强调，我们希望为今天和未来的 Chroma 用户开发者做最好的事情。因此，为了比今天做得更好，需要做几件事。第一，我们需要有一个关于 Chroma 分布式版本的良好故事，这主要与规模有关。我认为，大多数数据不是大数据，但大数据确实存在，人们希望有扩展的途径。我理解这一点。所以我们现在正在努力。我说的是分布式的、云原生的 Chroma 数据库版本，它将在云中无限扩展。接下来，我们正在开发一个托管服务。许多开发者在从本地计算机上快速构建东西到想要将其部署到托管服务，只是为了方便与团队或朋友共享。需要有一个答案。感觉现有的解决方案都不是这个答案。所以我们对此感到非常兴奋，它很快就会到来。然后，另一项重要的工作是，我们希望帮助社区回答每个开发者在构建应用程序时面临的许多问题。所以，这是非常基本的事情：我应该如何分割我的文档？哪种嵌入模型最适合我的数据，包括我的数据和我的查询模式？我应该检索多少个最近邻居？三个、五个、十个？这些最近邻居是否相关？我是否得到了五个相同的邻居？我是否得到了五个非常远的邻居？这是每个开发者在使用这些工具和技术构建时面临的最基本的工作流程。而且，至少还没有真正产品化或普及化的好工具或策略来帮助人们跨越鸿沟。所以，这是我们的应用研究团队将首先关注的问题。深入研究和更长远的研究。再次强调，我们的目标是为 AI 创建可编程的内存。正如我之前在对话中提到的，我认为将余弦相似度搜索视为可比 AI 内存进步的终点将是极其愚蠢的。我们不会那样做。所以我们将继续积极研究和构建越来越强大的方法来实现这一目标，因为这很重要。我们必须跨越这个鸿沟。所以，这是一个非常令人兴奋的路线图，我很高兴看到这一切的发展。但让我们进入闪电轮。所以，让我们从第一个开始。除了您自己的公司，您最兴奋的 AI 领域的初创公司或公司（总的来说）是什么？为什么是它们？让我们说 Meta，它显然不是一家初创公司。但我认为它们很有趣，与许多其他实验室形成了对立的立场。我认为开源运动非常大胆。我认为开源在这里很重要，原因有几个。第一，它真的很重要，因为我认为许多高级检索和您想构建的许多高级应用程序需要访问模型的一个级别，如果使用闭源模型，权重可能会泄露。再次，那个进入生产的目标。我认为开源模型很重要，因为我认为您想进行这种程度的手术，或者进行我们目前所知和理解的这种程度的手术，对于闭源模型来说将是一个泄露的情况。它们在这里做着惊人的事情。是的，在 AI 之外，您认为未来五年内，下一个最伟大的技术颠覆和创新的来源将是什么？它必须是反主流的观点吗？或者有什么辛辣的看法或不辛辣的看法，随便您。我的意思是，我以前写过这个。我认为在某些方面，进步的两个基本要素是能源和智能。您需要能源才能从地下提取东西，需要能源才能四处移动，需要能源才能重新包装等等。您需要智能来了解我们应该从地下提取什么，我们应该移动到哪里，以及我们应该如何将它们结合起来。所以，总的来说，降低能源和智能成本并希望提高可持续性的技术正在朝着蓬勃发展的方向发展。所以，显然，我认为 AI 正在沿着智能向量前进，无论您是否相信我们会达到人工超级智能，我对此不确定。然后，我认为在能源方面，已经有很多有趣的事情正在发生，比如净正融合、新的地热技术等等。您可能比我更了解，但这也很令人兴奋。我本想说，这可能是我们第一次提到 LK-99，因为这可能是第一次也是唯一一次。是的，是的，正是如此。正是如此。正是如此。我们抓住了这个时刻。这太棒了。好的，最后一个问题。您在创业旅程中学到的最重要的教训是什么？特别是与人才有关。您曾是联合创始人，曾是创始人，在这个领域摸爬滚打了很多年。您知道人才很难获得和留住。所以，您有什么经验可以与听众分享吗？我认为我非常欣赏“慢即是快”的想法，显然这在招聘方面是相关的。我认为创始人应该对工程师的技术门槛，或者更广泛地说，对其他角色的才华门槛极其挑剔。然后还有文化契合度，以及情商，比如这个人有多成熟，有多少人不是。我认为这一点一再被低估。我认为您想做的是建立一个非常小、紧密的团队，他们拥有相同的愿景，朝着同一个方向努力，并且拥有极大的信任。这非常罕见。如果您想创造魔法，您需要这样做。魔法可能仍然不会发生，但这是您创造魔法的最佳机会。要做到这一点，您必须以一种有点奇怪的方式思考您正在做的事情，可以说是历史性的角度。我认为这是一个奇怪的心态。我认为大多数人不想让自己如此挑剔，他们相信“我将按照我得到的牌来玩。”现在招聘一个人比三个月后招聘一个人要好。但如果您看看许多成功的故事，我认为 Stripe 花了他们一年多的时间才招聘到第一位工程师。我认为即使在那之后，他们仍然在几年内不到 10 个人。但 Stripe 的文化、早期 DNA 和文化至今仍在带来巨大的回报。所以，换句话说，如果您相信您所做的事情具有跨时间的复利回报，那么您应该优化长期。这既是为了个人健康，也是为了团队构成。做您希望在 10 年后仍然存在的事情。我认为这很难，因为大多数创始人，包括我自己，都不太有耐心。我一直想比现在走得更快。但我认为这是正确的。我们将看看它是否适合我们，但我认为这是正确的。我认为您所说的非常正确，这源于您是第二次创业的创始人，您以前经历过这一切，这使您能够采取更长远的眼光。我认为，与八年前您之前的初创公司和最初的创业历程相比，您更容易退后一步，从更大的图景来看待问题。这为您提供了非常有益的视角。所以，Jeff，非常感谢您的时间。非常感谢您所做的一切，并祝您在 Chroma 一切顺利。非常感谢。这太棒了。感谢您收听本周的“创立与资助”节目。请在您收听播客的任何地方给我们评分和评论。如果您有兴趣了解更多关于 Chroma 的信息，请访问 trychroma.com。如果您对这类对话感兴趣，请访问 i40.com/summit 了解更多关于我们的 IA Summit 的信息并申请邀请函。再次感谢您的收听，并在几周后收听我们的下一期“创立与资助”节目。[音乐]