Transcription
大家好，听众朋友们，欢迎来到 No Priors。今天，我和 Lot 只是随便聊聊。我们要谈谈大型语言模型的整合，芯片领域正在发生什么，我认为在推动人工智能公司应该承担的风险类型方面存在一个有趣的动态，以及一些大型交易。那么，让我们开始吧。
第一个话题，Lot，我们在这里已经完成了吗？是不是太晚了？大型语言模型市场已经整合了吗？这是一个非常有趣的问题，对吧？基本上，我们看到的是，许多公司要么是，你知道的，他们的团队加入了更大的企业，比如 Inflection 的一部分，或者 Character 的一部分，或者其他公司的其他部分，或者 Adapt 加入了 AWS，所以你知道，模型方面有一个动态在进行，而许多这些公司仍然存在，对吧？比如，你知道，一些产品仍在运行，并以不同的方式被使用。
与此同时，有巨大的资本壁垒正在出现，以实现基础模型的最大规模。所以，如果你看看，你知道，这些公司通常不是从超大规模公司（比如亚马逊和微软这样的公司）或主权国家那里获得数十亿甚至数百亿美元的资金，对吧？因为只有这些人才能真正给你数十亿甚至数百亿美元。风险投资行业太小了，无法真正支持这些公司的下一轮融资。所以，大家都在合作，这是一个非常有趣的问题，那就是，对于市场上的所有其他参与者来说，他们将从哪里获得这些不断增长的资金，以及他们将与谁合作？苹果最终会有一个合作伙伴吗？三星会有一个合作伙伴吗？你知道的，XYZ 公司会有一个合作伙伴吗？所以，你可以把所有潜在的合作伙伴和所有模型公司都列出来，然后问这一切将如何发展。
然后，与此同时，大型超大规模公司有动力资助这些公司，仅仅是因为，你知道，在某些情况下，这也转化为更多的云利用率。作为一个行业，总体而言，风险投资、云服务、其他战略投资者和主权国家之间的激励措施开始发生转变，就他们想做什么而言。
确实，越来越难想象大多数公司能够在模型架构、训练成本、推理成本或训练后处理方面取得根本性突破之外保持竞争力。所以，我认为这是一个非常有趣的开放性问题，但感觉我们正进入一个日益整合的阶段。我不知道你怎么看？
大多数情况对我来说都有道理。我会说，在过去一年半的时间里，市场变得更具竞争力，而不是不那么具竞争力。也许它是在你所描述的一群拥有资本壁垒的参与者之间竞争，存在一些突破性的规模，但至少从消费者的角度来看，现在的动态是性能不断提高，并且在基准测试和价格方面存在激烈的竞争。以及，你知道，真正的开源参与者。所以，你可以有整合，人们不一定赚钱。
我认为你提出了一个非常有趣的点，不应该被低估，那就是在过去 18 到 24 个月里，API 成本下降了大约 200 倍，或者在这个数量级上。大卫，我团队里的人实际上整理了一张图表，显示了所有各种模型的定价以及随时间推移的情况。它非常惊人，你知道，每百万个 token 的成本变得多么便宜。
所以，我认为与此相关的是，如果你运行这些东西或推理这些东西的成本降低了 200 倍，其中一部分是蒸馏，一部分是，你知道，你实际使用的 GPU 生成等。从使用的角度来看，可用的收入利润正在增加，但仅仅通过 API 业务出去竞争变得越来越难，对吧？所以，这会迫使你进入专业化，进入其他领域，要么是做专门的模型，要么是做特定类型的训练后处理，要么是垂直应用，或者类似的东西。
我认为另一种看待整合的方式是，从商业角度来看，如此大规模的资本的论据是什么？而大多数未说出口的事情是，真的，它仍然是通用人工智能（AGI）的业务，对吧？模型中会出现涌现的模型、涌现的行为和能力，它会找出如何为我们赚钱，或者它有多么有价值将是显而易见的。但我想在更近的，我甚至不是说这是错的，但我想在更近的，你知道，两到三年内，你知道，你有消费者作为业务，无论是应用程序，比如广告或订阅，而且还没有人真正涉足广告领域，或者企业作为业务。这两者今天都是真实的。
但我认为，这也变成了一个产品竞争，对吧？你在 Anthropic 和 OpenAI 聘请了 Mikey Kay 和 Kevin Weil。我认为你看到参与者试图围绕资本壁垒和他们所做的研究建立护城河，以创造比聊天界面更多的东西。所以，我不认为，我认为双方都会看到提供商试图将客户推向更锁定的路径，就 API 而言，我们看到了这一点，你知道，就像 AWS 一样。你会有复杂的，比如，不要只是说它是一个存储桶，你会有提示缓存和 JSON 输出接口，微调，这实际上使其成为一个不太商品化的市场，如果人们采用它，因为它更容易。
是的，有更多的功能正在构建中。我认为你指的是 Anthropic 在缓存方面所做的事情，这是一个非常有趣的举动，就它如何影响成本、时间和一切而言，或者延迟。是的，我认为我作为消费者非常兴奋，你知道，我们应该期待什么界面，而不是聊天消失，但你可以想象更智能的聊天，具有自动上下文和不同的界面。
所以，我认为，你知道，有一个关于你是否能与整合竞争的问题。有一个关于大型参与者如何竞争的问题。但我认为市场中可能存在的挑战，人们今天正在尝试的，或者你仍然可以追求的原因是，比如，如果人们采取非常不同的推理方法，你知道，你可以收集达到竞争规模所需的资本，你知道，当你在重复已经完成的工作时，这会减少。并且因为你有，你知道，硬件进步持续进行的好处。但在这里，你有人在研究，你知道，用于自我对弈的数学和代码。所以，我认为这很有趣。它不一定是完全不同的架构，而是下一级的扩展是什么。然后就是，你知道，蒸馏和小型模型的相关性，小型模型的微调。我认为这是另一个开放性问题，关于人们将如何真正使用这些东西。
是的，我认为重要的是要澄清，我们特别谈论的是语言模型，对吧？所以，随着时间的推移，会有很多其他类型的模型出现，比如物理学、生物学和材料科学，以及各种形式的图像生成等等。而且，你知道，在某些情况下，这些东西会变得多模态，但在许多情况下，你会为每个模型拥有独特的模型。而我们现在真正指的是，你知道，核心大型语言模型市场，以及你知道，它如何随着时间推移而演变。
然后，正如你所说，还有其他部分，可以用于语言模型或其他类型的模型，就推理模型、代理流程而言。这几乎就像一个正交轴。然后第三部分是模型周围基础设施的差异化。所以，你提到了缓存作为一个例子，然后有长上下文窗口，有 RAG，还有各种其他东西。所以，我认为当我们思考所有这些东西如何发展时，我们将看到这三个轴的演变。而我们现在试图解决的真正问题只是，对于核心 LLM 市场，你正在构建越来越好的大型语言模型，你知道，它如何演变？而且，确实感觉事情已经有点整合了。
但是，你知道，有趣的是，看看社交网络的历史，每个人都认为这家叫做 Friendster 的公司会赢，每个人都认为 MySpace 会赢，然后 Facebook 出现了。当 Facebook 出现时，每个人都说，好吧，这只是一个商品市场，永远不会有长期差异化。然后 Facebook 赢得了核心的社交部分，甚至在那之后，你有了 Instagram，你有了 Twitter，你有了 Snapchat，最终还有字节跳动和 TikTok，对吧？所以，即使在人们称之为社交的终结之后，也存在这些持续的浪潮。我认为这里很可能也是如此，有些人会开始占据市场份额。你知道，LinkedIn 成为了企业身份社交网络，或者你想怎么称呼它，你的简历社交网络。但然后 Facebook 成为一个核心部分，Instagram 成为一个核心部分，Twitter 成为一个核心部分，等等。你知道，Twitter 基本上是新闻和实时信息。同样的事情也应该随着时间推移在这里发生。
你认为其他领域，比如视频或音频，或其他模型领域，会走向商品化的方向吗？我认为现实情况是，对于某些事情，它将是通用模型，然后是针对其他应用领域的专用模型。这可能是错误的，对吧？这取决于你拥有的通用性程度，不仅在模型能力方面，还在围绕它的工具方面。然后，工具是否需要与模型垂直集成？
所以，举个例子，你有一个非常好的图像生成产品，它可能有艺术应用，可能有平面设计应用，可能有 UI 设计应用。这都是一个模型吗？它是在一个模型上进行微调或训练后处理，还是你知道，一个模型用于一个方面，然后是一堆微调模型，或者我应该说，用于其他方面的专用模型？我认为这是一个非常大的开放性问题。而且，你知道，关于 AGI 或更通用的智能，也有类似的讨论，对吧？你知道，如果看看大脑的工作方式，它是一组相对专业的模块，用于视觉和不同方面的情感处理。你知道，心理学文献中有一些非常有趣的东西，比如有人在建筑工地上被钢梁意外击中头部，然后他们会失去一种非常特定的情绪功能或推理能力，但其他一切都很好，对吧？所以，问题是，这些模型会有多专业，多通用？而且，我认为这对于图像生成也是如此。你知道，你会为平面设计使用一个与你用于艺术表达的模型不同吗？我不知道。这是一个有趣的问题，而且我认为时间会告诉我们答案。
我认为有一件事很有趣，在过去几个月里，图像市场似乎开始升温了。之前感觉只有 Midjourney 会成为赢家，然后可能会围绕 Dolly 和 OpenAI 的一些东西，或者 Gemini 在做的一些事情，出现一些多模态的东西。但现在有越来越多的公司出现，它们在模型的保真度方面似乎非常有趣。
让我感到有点愚蠢的一件事是，如果我有一个信念，你知道，视频和图像模型，音频模型，它们将趋向于能力快速提高和某种程度的商品化，然后仍然对速度感到惊讶。而且，所以，我认为，你知道，当 Sora 发布时，例如，这是一个惊人的研究进展，但也有人觉得，谁真的能赶上他们？而且，你知道，你现在可以争辩说，有一小部分公司展示了非常惊人的视频生成能力，而不是有很多小公司落后很多。在 Runway 和 Pika 之间，甚至，你知道，正如你所说，从图像和视频来看，有非常小的参与者，或者中等规模的参与者，比如 Ideogram 和 Hotshots。
令我印象深刻的是，我看到有多少研究人员出来，一个五人团队，没有多少资本，与 AI 市场五六个月前的叙事相比，比如，“哦，你知道，我们可以生产出一些非常有竞争力”的东西。即使是 Luma Labs 也在发布的东西。所以，我认为这是我脑海中的一个更新。
我认为有一件事很引人注目，那就是模型的规模相对于性能来说也在缩小，对吧？所以，这可能是通过蒸馏，也可能是通过其他方式。但总的来说，我们看到越来越多的性能来自于越来越小的模型。我认为这是另一件事，我认为一两年前，当所有这些东西开始启动时，优先级并没有像预期的那样。你知道，有空间可以有效地压缩某些东西，但你知道，在某些情况下，你可以走多远，这真是令人震惊。
而且，再次，大脑可能是一个很好的例子，说明什么是有可能的，因为你有一个 20 或 30 瓦的设备在你头上运行，它在通用性方面相当不错，并且可以进行图像识别和其他事情。你知道，我们有非常便宜的硬件在运行。所以，从那个角度来看，还有相当大的空间，而且它在一个紧凑的空间里。
我认为我们将在图像、视频、音频方面看到非常非常酷的体验，因为正如你所说，如果模型变得更小，它们变得更好，它们也变得，你知道，而且有不同的架构，比如 CIA 正在研究的，你会获得更多的实时性。而且，我们还没有在生产中大规模使用很多实时应用程序。而且，体验上的差异，就像 Mark 谈到的那样，你可以一边说话一边生成图像，这与，你知道，我是一名艺术家，正在创作一件作品的体验非常不同。所以，我认为这将在未来几个月内发生。
在与我们正在谈论的东西相关的创新领域有两个，我们应该都涉及一下。一个是芯片层，以及它如何可能进一步加速某些事情。然后，二是，我认为这有点关于你如何看待你实际做什么，就输出、你训练的数据等而言，以及你在多大程度上推动了这一点。
所以，例如，回到谷歌的早期，谷歌围绕谷歌发生了一些巨大的争议，因为谷歌在做的事情是索引网络。它正在获取所有这些分布在世界各地的内容，并且它正在，你知道，从当时的某些人的角度来看，他们基本上是在抓取网络，对吧？他们正在获取所有新闻内容，他们正在获取所有人写和发布的一切，然后他们对其进行索引，然后从中赚钱。他们会做的一件事是，他们有一个很小的东西，被称为 Snippet，对吧？如果你看谷歌的结果，有一小段文字，然后是链接。这段文字，有些人声称，根据版权法，它不属于合理使用。
有合理使用的概念，你知道，你可以在不支付版权所有者的情况下使用一小部分吗？所以，有所有这些诉讼，人们起诉谷歌，既有新闻方面，也有他们展示的 Snippets，有些人认为这些 Snippets 是受版权保护的信息。而多年后，这一切的结果是三件事。
第一，他们发明了某种叫做 robots.txt 的东西，这是一个文件，你放在你的网站上，告诉像谷歌或必应这样的网络爬虫，它们是否被允许索引你的信息或抓取它。
第二，人们认为这些 Snippets 根据版权法属于合理使用。
第三，有一些内容交易是为内容达成的，特别是围绕非常专业的内容，谷歌正在获取信息流，然后将其纳入他们的 One Boxes 等。
然后，第四件事我认为是，一些人意识到，最好是在谷歌上，而不是不在，因为他们会获得归属。所以，许多退出谷歌索引的新闻机构，当它们被移除索引时，就意识到它们因此损失了大量的流量。所以，他们回去说，实际上，你可以再次开始索引我们，因为我们意识到，不这样做比这样做在经济上损失更大。而这可能花了十年或十五年才得以实现，对吧？这是一种持续的弧线。
谷歌通过推动极限，并且非常周到地考虑这些事情的合法性，他们拥有一支非常精锐的团队，专门关注版权和其他领域，他们基本上是解决了这个问题，并且相对来说毫发无损地出来了。
你认为这对其他公司来说将如何发展，就那些可能看到一些方法受到质疑的公司，或者图像生成，一些音频公司等等而言？你认为初创公司应该承担多大的风险，以及它们应该如何考虑各种方法？而且，再次，我们有这些非常有趣的过去案例，可能对此有启发性。
我们有这些像历史案例一样的企业，它们绝对推动了极限，比如 Airbnb 和 Uber，它们挑战了租赁限制和监管俘获的概念，对吧？而这些消费者喜爱的服务，如果它们没有说，“好吧，我们认为消费者想要这项业务，我们将尝试扩大规模并随着时间的推移了解风险状况”，那么它们就不会存在。
然后在某个时候，当有更多的人使用这项业务的市场力量时，你知道，我们将解决其中一些问题，并提出一个政策观点。而且，我认为许多在人工智能领域运营的公司都必须在整个过程中应对这些问题。
我认为一个非常普遍的问题是，谷歌是否可能会因为抓取 YouTube 数据而起诉你？因为，你知道，而且，如果我发现有办法在不涉及一些 YouTube 数据的情况下达到视频数据规模，我会感到震惊。而且，你知道，我认为对这个问题的总体方向应该是将其视为一项商业风险。
如果你想想你刚才讲的关于合理使用和谷歌的故事，以及它们对抓取的普遍态度，我会问，好吧，为什么他们，你知道，为什么他们允许 SER 业务存在？就 YouTube 数据而言，相对于它们的核心业务，采取某种立场是否是虚伪的？
过去也有一些公司因为走得太远而被彻底摧毁的例子。Napster 就是一个例子，音乐行业起诉它几乎让它破产了。而音乐行业尤其如此，有很多公司因为诉讼而死亡。
而且，我猜那里有两种风险。有一种是法律诉讼风险，它们并不总是相同的事情，对吧？还有第三种类型。第二种风险是监管风险，你是否在做一些挑战监管极限的事情，或者监管非常不明确的事情？加密货币就是一个例子，但现在人工智能领域也有一些例子。
然后第三种几乎是声誉风险。你愿意允许什么样的输出？而且，我认为 Grok 在这方面非常有趣，因为它爆炸性地表示，我们不会过多地审查输出，相对于所有参与者正在做的事情。这包括我们允许生成什么图像，这包括我们允许生成什么样的文本，或者我们允许的响应类型。
在某种程度上，这可能比许多公司一直在做的事情更接近人类行为。许多公司实际上一直在积极地，你知道，专注于阻止这些模型产生各种类型的输出。在某些情况下，感觉是为了用户做正确的事情，而在某些情况下，感觉非常政治驱动，就其方向而言。
所以，我认为这是一个非常有趣的正在进行的实验，就社会对模型输出的关注程度而言，就你允许和不允许的内容而言，相对于言论或其他创意表达的现有规范而言。而且，我认为许多公司实际上比社会的大部分规范限制得更多。社会的一小部分人可能有一种特定的感觉，但对于社会的大部分人来说，你知道，往往存在或看起来存在更广泛的容忍度。当然，有些东西你永远不希望出现，那就是，你知道，真正令人不安的或非法的输出内容。但我认为，观察这一切如何发展将会很有趣。
我认为这也是一个哲学问题，你知道，你是，你是将限制放在生成还是分发上？因为我认为，如果你拥有一个平台，比如控制某些类型的分发，这是一个更强的论点，这是一种责任。生成感觉更像是言论自由。但，但，我认为这是一个复杂的问题。
我们应该谈谈半导体吗？不，我想我们还提到了另一件事，我们想谈谈。一个是内容和风险，以及你知道，你如何看待你应该或不应该推动公司极限的程度。另一个是半导体，由于半导体性能是目前人工智能领域所有事情的基础，无论是训练还是推理等等。
你如何看待半导体初创公司或系统初创公司即将到来的浪潮？这真的又开始出现了。我认为之前有一波，也许是六七年前，那就是 Groq 和 Cerebras 以及其他几家公司。现在似乎有一波新的浪潮，介于 Natix 和 Etched 以及其他几家公司之间，其中一些公司将很快参加这个播客。你认为这个市场有什么有趣的地方？发生了什么？
正如你所说，那波浪潮，你知道，现在已经超过五年了。而且，我真的很欣赏一些公司的远见，它们说，我们将拥有不同的工作负载，AI 工作负载需要不同类型的计算。但对芯片和系统设计进行如此长远的投资是一件非常困难的事情。所以，我认为，你知道，七年前，尚不清楚 Transformer 规模将成为工作负载的重要组成部分。
所以，我想说，你知道，市场以非常不可预测的方式发展。而现在，我认为有一群公司非常专注于优化 Transformer 架构和分配给矩阵数学的区域。而且，所以，我认为这是一个有趣的问题，你是否能够，你知道，超越 AMD 的经济效益以及 AMD 和 Nvidia 的经济效益（性能与经济效益比），它们迄今为止一直是非常强大的高速创新者。你知道，AMD 正在取得进展，特别是通过对 ZT 收购的投资。但我想说，整个芯片投资的问题是，你愿意做出什么样的架构赌注，因为你必须在一个多年的周期内运行，然后是交付速度，然后是价格性能。
但是，感觉这个赌注是值得的。你知道，你对出现的，你知道，需求形状也有很多了解。你知道，也有很多主权云需求，这对公司来说是一个有趣的机会。
你如何看待 AMD 对 ZT 的收购？你如何看待它们为什么没有，目的是什么？AMD 现在这一举动是什么？
我想说，市场对于 AMD 是否能变得有竞争力存在很大分歧。如果你看看它们需要的组件，你知道，它们需要更好的软件，就像你想到与 CUDA 的竞争力一样。所以，它们在不久前收购了这家名为 Cerebras 的公司，这基本上是一次价值 6 亿美元的收购，雇佣了数百名人工智能工程师和研究人员，他们对 AMD 进行了大量工作。所以，这是那一层。
然后你有网络部分。所以，它们是 NVLink 的开源竞争对手 UALink 的一部分。然后是理论上缺失的组件，ZT 填补了它。如果你把它看作是，你知道，一次价值 10 到 20 亿美元的收购，雇佣了 1000 名系统设计人员来支持数据中心规模的 AI 业务，而不是单个芯片或组件规模。因为，你知道，Nvidia 现在真正销售的是完整的系统，通过多年的战略，你知道，提供这些基本上是数据中心，用于研究实验室。
而问题是，AMD 能否组装这些组件，去做到这一点？但是，你知道，有人可能会说，这些都是组件。
很酷。我认为我们时间到了。
好的。那么，我很兴奋能和，你知道，ET、Natix、Cerebras 以及其他一些正在研究这个的公司在下一波中进行交流。
是的，这应该非常令人兴奋。
我将做一个快速的公共服务公告。我非常有兴趣购买一个人类形态/人形机器人，或者一个，你知道，像波士顿动力公司或者，你知道，那些非常有趣的机器人之一。所以，如果你有任何建议或意见，请联系我，或者如果你有要出售的，请告诉我。
在 Twitter 上关注我们 @no_prior_pod。订阅我们的 YouTube 频道，如果你想看到我们的脸。在 Apple Podcasts、Spotify 或你收听的任何地方关注这个节目。这样你每周都能收到新一集。并在 no-priors.com 上注册电子邮件或查找每集的文字记录。