Transcription
Alad，怎么了？你好吗，Sarah？我很好。我无法判断市场是否处于一个非常稳定的时期。比如，它是在具体化为已知的业务和模式，还是像以前一样流动？你的看法是什么？你知道，这很有趣。人工智能是我职业生涯中唯一一个我一直坚持说“我学得越多，知道得越少”的市场。对。其他所有市场，你都会学到更多，知道得更多，不断进步。而且我实际上觉得这在过去几个月里发生了转变，尽管创新步伐很快，所有真正令人兴奋的新模型和研究发现等等，我感觉在某些领域，许多市场已经整合，现在很清楚谁可能是两三个主要领域的潜在参与者或赢家。当然，这可能会改变，对吧？三年后，可能会有另一家新公司成立并取代所有人，或者一家现有公司可能会采取大胆的举动，或者其他任何情况。但我觉得在基础模型市场，至少对于LLM来说，对什么重要、什么不重要有了更清晰的认识。在应用层面，我认为在医疗保健相关的服务，比如医疗记录或其它流程的第一个集合中，谁会是赢家已经很清楚了。在编码方面，似乎已经整合为两三个参与者。嗯，也许是 Cursor、Codium、Cognition，然后是 Microsoft 的 Copilot，对吧？但是，可能没有两打公司还在那里竞争客户成功。似乎事情正在向 Sierra 和 Decagon 整合。所以，你逐个市场地看，你会想，好吧，有很多市场，我们已经清楚地知道谁可能成为赢家，或者至少是未来两三年内重要的参与者，然后我认为还有一些市场仍然是开放的，对吧？所以你看销售生产力工具，那里会有一些非常重要的东西，会有一些财务分析师的东西会非常重要，会有一些会计公司会非常重要，问题是，这是否还没有整合，是因为还没有人做出完全正确的产品方法？是因为模型不够好，能力必须提高吗？所以，感觉有很多事情仍然未知，但比一年前要清楚得多。我觉得这是我两年来第一次，你知道，当我开始投资生成式AI时，你只是去投资那些看起来很棒的人和看起来很有趣的市场，因为竞争不多，对吧？所以那时我领投了 Perplexity 的种子轮，或者投资了 Character、Harvey 或其他一些公司。那是在 ChatGPT 或 Midjourney 之前。哦，美好的旧时光。是的，美好的旧时光，那时没人关心。当 GPT3 出来时，每个人都说这有点糟糕。但缩放定律是清晰的，对吧？所以我想，少数人，包括你在内，我认为我们集体看到了这些东西会很重要。但之后有一段不确定时期，大约两三年，那时有太多的创新，太多的变化，太快的增长。我认为现在终于我们正在进入一个时期，至少有一部分事物正在重新整合。同样，这些可能不是五年后的赢家，但它们肯定似乎是未来两年的赢家。所以，我认为在不确定性方面，这是一个很好的喘息机会，并且对未来会发生什么有了更多的清晰度。我不知道。你怎么看？我感觉我稍微更好地理解了市场的一些暂时性物理学。对。这就像一场争夺相关垂直领域的竞赛，然后让某样东西以用户真正想要的方式发挥作用。也许你必须获取专有数据源，然后可以检索，并获得分发。然后理想情况下，用户可以从这些公司（你刚才提到的那些公司）创建、派生或扩展知识。而且，我认为你没有明确说出来，但我认为 Bridge 和 Open Evidence 也符合这个模式。而且，你和我谈过的一件事是，我对销售感到非常不确定。我不知道如何思考某样东西在那里获胜。比如，你可以从数据角度或采用角度入手，但到目前为止，这是一个非常分散的市场。但我同意你在金融和会计方面的看法。我还会加上制药。就像有一些行业是高度文档驱动的，你可以看到一些东西在那里变得非常，你可以看到一些东西在那里出现。是的。比如制药领域的 Blue Networking 等公司，它们正在做一些有趣的事情。是的。所以，我认为在某种程度上，哪些市场会很有趣已经很清楚了，至少有一部分是这样。只是不清楚谁会赢以及如何赢。你知道，编码是一个有趣的类比，当时大家同时在采取大约四种不同的编码方法。而且我认为其中一些方法会随着时间的推移而整合，但现在的切入点似乎也更清楚了，关于你如何真正赢得那个市场，而在两年前，你可能想象出十几二十种不同的方式。我不知道，这是否是你在谈论的销售方面的情况，现在似乎不太确定，但也许两年后我们会说，当然，那是那个工作流程。我们在公司内部就什么能让新的切入点奏效进行了辩论。而且我认为这需要很多。我持开放态度，但你知道，什么还在变化，比如你，你知道，你越来越多地拥有开源模型和小型模型，它们可以对代码做真正的事情，对吧？比如 CodeStroll 和这个，我认为你会看到更多。微软开源了 Copilot。我们将看到它的影响，但就像他们终于决定需要用自己的开源 VS Code 分叉来对抗 Cursor 抢占他们的午餐一样。有一些机会，比如让工程中的特定工作流程以今天不够高的质量工作，可以创造足够的分发。这很有趣。而且还不清楚，你拥有同步的 IDE 工作流程和异步的，对吧？一个问题是这些异步代码代理的质量会提高多快？比如，OpenAI 和 Codex 押注于异步的、基于云的软件工程代理，然后他们用 Windsurf 购买了 IDE。所以，这是真的，这是真的，你可以相信两者。我认为，我认为所有这些东西都会随着时间的推移而整合。所以我的观点是，市场将看到两种类型的整合：产品整合和实际收购。Kodium/Windsurf 被 OpenAI 收购是第一步。但如果我在一个市场中排名第一或第二，并且是一家初创公司，我会考虑与另一方合并，如果他们是两个主要的初创公司参与者，因为真正的威胁将是与现有公司作战。嗯。所以我会提前考虑，说，“好吧，让我们停止初创公司之间的战争，让我们专注于赢得我们必须对抗的三到四家现有公司。”所以，或者你可以继续战斗，被另一方分心，这有点像 Uber 曾经做过的那样。或者，你知道，还有其他先例。合并的公司是 PayPal，对吧？有 X.com，由 Musk 经营，然后是 PayPal，由 Peter Thiel 经营，他们决定合并，因为他们想，为什么我们要互相竞争，而有如此多的竞争。我认为这两种途径都会发生，但这可能也是人们应该考虑的事情。你认为是什么阻止公司考虑或这样做？嗯，有两件事。一是自负。谁来经营它，或者他们想吞并我。当然，我是第二名，但等等。我仍然会打败他们，或者我会扮演什么角色，或者别的什么。在某种程度上，这就像把那些放在一边，然后去赢，你知道，谁在乎。第二是人们过于担心整合。文化是什么，这个是什么，那个是什么，通常就像，只是合并它，如果它不起作用，关闭部分，然后继续生活。无论是在买方还是卖方，都没关系。但再次，这只是一个，谁在乎，务实的。就像你可以用各种方式解决它。文化要么融合，要么不融合。如果它们不融合，你也不必留住所有人，说实话，因为每个人都会在收购中做得很好。你可以做各种“谢谢”的包裹，然后继续生活。第三是，有时在估值方面存在动态，相对于彼此，对于私营公司对私营公司。有时最简单的方法是选择一个指标，说它除以那个指标。所以，例如，多年前我在 Twitter 时，我曾推动收购一家新兴的主要社交网络。我们构建报价的方式是，我们只是把我们的用户和他们的用户加起来，然后除以比例，并将其作为 Twitter 的一部分来报价。我认为你可以这样做。把你的收入加上我的收入，我们加起来，然后是什么，比例是多少？或者也许是用户。这是你业务的正确指标。但我实际上认为你可以做这样简单的事情，然后说，“看，公平。”就像加上或减去 x% 并不重要，如果我们都能赢的话。所以人们倾向于过度思考这些事情。他们过度思考角色/我放弃/自负，或者文化/生存下来的东西看起来像什么，然后价值/两部分的相对价值是什么。务实地说，就像你想为未来五年而战，还是你想去赢，或者你知道，然后你的战场转移到现有公司与另一家初创公司之间？是的，我见过那个，嗯，简单的相对指标也起作用。我也认为，创始人、董事会成员或投资者都不愿意将某些事情置于“奥弗顿之窗”之内。我认为人们会觉得这是在屈服，但这是为了获胜而屈服，所以我认为这是人们不想看起来像是不愿意开战的一个主要原因。是的。如果你这样做，馅饼基本上会变大，因为你专注于赢得市场，而不是互相竞争，而且你的定价动态也会发生变化。你不会在每一次交易中都与另一家初创公司竞争，你知道，很多事情都会发生变化。所以我认为有各种积极的特征。同样，人们也会在没有这些的情况下赢得这些市场。而且，有些市场非常大，有空间容纳第一名、第二名，也许是第三名，或者也许是现有公司，或者你知道，支付就是这样，对吧？我们有 Adyen，我们有 Stripe，我们有 PayPal，我们有，你知道，十几家其他支付处理商。这是一个非常大的分散市场。所以有些市场也可以容纳多个参与者，这也没关系。我只是说，有时候你只想说，“嘿，让我们放下分歧，一起去赢。”好的。市场的一部分已经整合。一些可以更好地整合，以便初创公司获胜。有一些领域，你和我谈过，它们感觉是明显的商业机会，但我认为人们没有充分追求它们，而且你知道，我们谈论过工程，我认为 AI 将彻底改变它，就像你在生物技术领域有一些想法一样，缺少什么？是的，我感兴趣的生物技术的东西老实说与 AI 无关，尽管模型方面显然有一些很酷的事情正在发生，但还有一整套我只是觉得很酷的东西。我不是一个活跃的生物技术投资者，我不是一个可以被说服的人，等等。我主要投资软件、AI 等等。我创办的公司也主要是软件驱动的公司。我只是觉得现在有一些非常酷的东西，因为科学和生物技术已经足够先进，或者在基础科学方面，而没有人或很少有人在研究它，对吧？我可能会给你两三个例子。一个例子是，现在有来自日本的非常好的生育数据，你可以基本上取一个细胞，你可以对其进行重编程，使其变成精子或卵子，他们已经用两个父亲制造了小鼠，例如，你可以将一个父亲的细胞分化成精子，另一个父亲的细胞分化成卵子，然后你就可以拥有可育的后代。所以，这极大地扩展了任何成年人与任何其他成年人拥有孩子的可能性。所以，如果一个女人超过某个年龄，她突然可以产生精子或卵子。你知道，你可以为不同类型的夫妇这样做。所以有这样的事情，你会想，为什么这么少人研究它？一个更简单的版本是，女孩出生时有 1 到 200 万个卵母细胞，也就是卵细胞。到青春期，她们剩下大约 30 万个，然后没有好的技术来成熟这些卵子。所以，如果你是一个女人，你应该能够在生命的各个阶段成熟你的卵母细胞，并且如果你想生很多孩子，你应该能够收集大量的卵子，对吧？所以有很多这样的事情，没有人去做。这是否会导致人们选择不同的生育方式，比如精子或卵子捐赠市场非常不同？比如我们都和埃隆生孩子，你和我。关于这一点，最疯狂的是，如果你在某个地方遇到埃隆·马斯克或勒布朗·詹姆斯或泰勒·斯威夫特或任何其他人，并设法从他们身上交换一些细胞。你和他们握手，或者别的什么。你有可能复制他们。是的。是的。不，说真的。所以，如果你仔细想想，这些事情的一些后果相当疯狂，对吧？但社会也是如此，它在你可以做什么方面具有如此大的影响力。而且，正如你所说，突然任何人都可以成为任何能力的卵子或精子捐赠者，但即使你只是说我们将它限制在某个年龄以上的女性，它似乎也具有如此大的影响。你知道，突然我们可以，或者那些在生殖上不可行的人，对吧？在我看来，这相当重要。但同样，科学就在那里。他们已经完成了许多实现这一目标的途径，现在就是这样，我知道有一家公司在做这件事，但它是由一位非常好的创始人驱动的，但只有一家公司，仅此而已。另一个领域是，你看肉毒杆菌，人们将细菌毒素注射到皮肤中以看起来更年轻，字面意思是毒素，这是一家价值 400 亿美元的公司，你知道，仅用于美容用途，每年就有 15 亿美元的收入，为什么没有人做真正的衰老药物和治疗？有各种各样的科学，有各种各样的生物学，所以没有人研究皮肤衰老、脱发、白发，所有这些东西。然后是那些对神经感觉有真正影响的东西，对吧？比如你眼睛晶状体支撑的肌肉随着时间会变弱。所以为什么你不让它恢复活力？这就是为什么每个人在 40 多岁时都需要老花镜。或者听力损失，你知道，有解决办法。或者牙齿再生，就像你有一个蛀牙，为什么你不长出一颗新牙？而且有解决办法。同样，很多生物学已经研究清楚了。也许在基础科学方面还需要做更多工作。在许多情况下，例如，对于牙科产品，有像 USA G1 这样的基因，可以在某些动物模型中实现两到三倍的生长。所以为什么我们不在人身上这样做？你对那些似乎有明确需求但科学却不存在的领域有什么假设？为什么它没有得到资助？是的，这是巨大的市场。我认为有三个原因。第一，生物技术或生物制药市场对创始人来说与科技市场非常不同，整体市场结构也截然不同。所以，基本上，如果你看看生物技术，上一次一家价值 500 亿美元以上的生物技术公司是从零开始创立的（不包括 Moderna），那只是一个意外，发生在 80 年代，我认为是 Regeneron，所以差不多 40 年了，我们才有一个从零开始的、价值数十亿美元的公司。所以所有这些公司都有 50 到 100 年的历史。所以想象一下，如果科技现在基本上是 IBM 对 HP，而你没有任何年轻的、由创始人驱动的、积极进取的公司。我们就不会有 iPhone。我们就不会有互联网。我们只会从 HP 笔记本电脑登录 IBM 大型机。你知道我的意思吗？就不会有进步，或者进步非常少。所以这是一个问题。融资模式也不同，很多生物技术资金要么是早期，要么是晚期，很多公司是由生物技术风险投资公司作为孵化器创立的。所以他们向一家公司注入 4000 万美元，他们预先购买 40% 的股份，无论如何，然后他们必须将其发展到足以获得公开市场资金。你知道，很多交叉基金然后开始介入。而这些基金的设置方式，因为它们拥有如此多的所有权，它们实际上是为了将公司转售给制药公司。这意味着你是在针对制药公司的产品线进行建设。所以，如果所有制药公司都关心六七个领域，那就是癌症、心血管疾病和神经科学，你只会在这些领域建立公司，因为你的目标不是建立一个独立的庞大实体。你的目标是将其出售给制药公司。所以很多动态都是由这些驱动的。然后还有大量的监管俘获，这也阻碍了许多创新。你知道，FDA 会要求，他们会对某些可能不存在的终点进行强力推动，或者你知道，所以有很多，这些是导致其他事情难以做到的三个主要因素，但所有科学都摆在那里，对吧？哦，我想最后一点，第四点是，对于其中一些事情，科学家们有点不愿意从事过于商业化的东西。这有点像科学的纯洁性。地位。这是低地位。所以，你怎么敢从事修复皱纹的工作？作为一个科学家，你需要做一些更纯粹的事情，等等，等等。所以，还有一点那种，我该怎么称呼它？围绕商业化的保守主义。我猜我们回到正常节目。我有一个关于 AI 的问题，特别是，我知道你一直在思考世界模型和 RL，以及这些东西如何整体上与能力和能力扩展相关。你想解释一下你说的“世界模型”是什么意思吗？因为我认为，我们这些在 AI 领域的人都明白这些东西。对于更广泛的受众来说，能够解释一下你的想法以及你认为那里正在发生什么有趣的事情会很好。是的，我不知道这是否真的很好，但我认为这是一个非常重要的整体领域，因为如果我们从最宏观的角度来看，我认为现在是比以往任何时候都更开放的研究问题的时候，对吧？所以，扩大大型语言模型的模型规模和训练数据为我们提供了强大的知识和模式识别基础。但是，你知道，每个人都在谈论代理，比如人们从这里想做什么，人们对 AGI 的看法不仅仅是预测文本，他们想走向更广泛的智能，采取行动，而且在实践中，这些行动可能是我觉得，具体描述我们所说的“推理”或“行动”非常重要，因为我不知道每个人对这些事情都有很好的心智模型，但它可能包括规划、阅读文件并得出结论、使用工具、接收反馈、走不同的推理路径、评估自己的工作。这就像在追求一个目标的过程中采取一系列行动，而不仅仅是顺序文本生成。我的理解是，一些实验室花费了大量资金来收集人类执行复杂任务的轨迹。就像 Alad 研究日本干细胞分化研究一样，他做这些任务，他打电话给这些人，然后他们尝试进行行为克隆，猴子看到猴子代理这样做，但对于软件工程或投资研究或其他什么，但当偏离克隆技术时，它往往非常脆弱。模型，猴子按下一个按钮，人类从未触碰过，它就进入了分布外的区域，然后就不知道接下来该做什么了，然后就失败了，对吧？你卡住了。然后人们正在尝试强化学习，带来了一代新的强化学习，它基本上是试错训练。我认为很多关注 AI 的人已经看到了代理玩游戏，比如著名的国际象棋和围棋，或者更复杂的、涉及人类互动。你正在环境中采取行动，并以奖励或惩罚的形式获得反馈，然后你玩，直到你擅长游戏，对吧？对于游戏来说，这很容易，对吧？因为你有明确的规则，所以你很容易知道如何奖励或惩罚一个动作，对吧？而且我认为这与现实世界的任务在某些情况下非常不同。所以，这就像使用 RL 更广泛的问题或开销，如果任务不仅仅是赢得国际象棋或围棋，那么任务是什么？然后，你如何使环境，就像你在尝试复制宇宙，或者至少是其中一个足够丰富以教授有用问题解决能力但足够便宜以运行的小部分。我不知道我们如何才能达到“矩阵”。设计奖励非常困难，然后你就会与现实之间存在差距，对吧？然后你需要多样性，否则你只是在记忆游戏中的一条路径，即使那个游戏是 Alad 做研究工作的游戏，或者是一个软件工程项目的游戏，你正在过度拟合而不是适应。所以，我实际上没有太多结论，但我花了一些时间试图理解它。现在有一群有趣的研究人员，你知道，他们正在努力创建更通用的环境，世界模型，或者只是试图获得更好的轨迹数据。所以，我认为这，我实际上不认为这些模型中任何一个更短期的商业应用是有趣的。人们说，“哦，我们可以生成游戏，或者我们会拥有游戏资产，或者我们会使用数据进行机器人训练或其他事情。”但我确实认为，这是一种通往更 AGI 的概念路径。我认为你所说的其中一点很有趣，而且它是我会过度推断的一点。如果你看看 AI 在围棋等领域所做的事情，因为有一个效用函数但没有其他约束，它想出了各种疯狂的招数，人类不会想到，或者至少到目前为止还没有想到。然后人类开始研究和模仿这些招数，它们完全出乎意料，但最终取得了更好的结果。所以我总是想知道，在人类的其他领域，这会是什么样子？如果编码从“嘿，让我们模仿人们如何写代码”转变为“让我们解决这个问题”。写出来的代码类型会有多不同，或者我们可以从中学习哪些传统方法被打破了，因为你创造了一个具有不受约束的方法来解决它的效用函数。这有时会发生在生物学中，对吧？你会做这些分子进化实验，你会进化一个分子来做某事，有时它会以一种非常奇怪的方式做事情，你完全没有预料到。你知道，你突然有了一个工作方式很奇怪的催化剂，或者一个结合蛋白，它的工作方式完全不像你预期的那样。这是因为它不是设计的，它是进化的。所以，我认为所有这些进化的系统或自选择的系统都可以产生非常奇怪的见解。所以，我真的很期待看到这方面的东西。我也是。我可视化这一点的一种方式就像，你知道，模型正在查看人类没有被传统地教授的搜索空间的一部分，比如围棋规则手册或之前的游戏或其他什么，而且它可能是在蛋白质形状或其他任何问题中。你看过电视节目《万神殿》吗？没有。那是什么？这是一部关于人工智能和思维上传的电视节目。这是一个相当小众的动画电视节目。你应该看看。每个人都应该看看。但我认为这真的很有趣，因为上传的生命在某个时候，就像成为完整的你，或者至少对我们来说，就像人类学会以不同的方式思考。它打破了你如何传统地解决问题或看待自己的约束。所以，我确实认为，从主题上看，这是 AI 最鼓舞人心的事情之一。哦，那很有趣。是的。我觉得有很多科幻小说，最终你会上传你的大脑到云端或其他地方，然后你会突然获得你以前没有的各种控制。所以，例如，你应该能够微调你的情绪或情绪状态，并用旋钮字面意义上地调高和调低。我认为总会有这些非常有趣的元问题，比如，如果发生人类上传，跨人类物种会是什么样子？以及那些不那么明显优先的、你突然暴露出来的能力集是什么？我的意思是，显然你也可以创建自己的实例，让它们为你做事，然后合并回来，也许其中一些不想合并回来，那么谁是真正的身份，你知道，所有这些。所以，这很有趣。有人告诉我，情绪和注意力的调节实际上不需要上传。比如 Fred 和我们认识的一些教授会说，很快就会有超声波设备出现在你附近的消费品货架上。但我们可以明年再谈。好的，没问题。好的，伙计。很高兴和你在一起。市场已经具体化了。下周见。一切都清晰明了，除了大多数事情。在 Twitter 上找到我们，网址是 no prior pod。如果你想看我们的脸，请订阅我们的 YouTube 频道。在 Apple Podcasts、Spotify 或任何你听播客的地方关注该节目。这样你每周都能收到新一集。并在 no-priers.com 注册电子邮件或查找每集的文字记录。