Transcription
Alad，发生什么事了？你好吗，Sarah？我很好。我无法判断市场是否处于一个非常稳定的时期。比如，它是在具体化为已知的企业和模式，还是像以前一样流动？你的看法是什么？你知道，这很有趣。人工智能是我职业生涯中唯一一个我一直坚持说“我学得越多，知道得越少”的市场。对。其他所有市场，你都会学到更多，知道更多，不断进步。而且我实际上觉得这在过去几个月里发生了转变，尽管创新步伐很快，所有真正令人兴奋的新模型和研究发现等等，我感觉在某些领域，许多市场已经整合起来，现在很清楚谁可能是两三个主要领域的潜在参与者或赢家。这可能会改变，对吧？三年后，另一家新公司可能会出现并取代所有人，或者一家现有公司可能会采取大胆行动，或者其他任何情况。但我觉得在基础模型市场，至少对于LLM来说，对什么是重要的，什么是不重要的，有了更清晰的认识。在应用层面，我认为在医疗保健相关的服务，比如医疗记录或流程方面，谁会成为赢家已经很清楚了。在编码方面，似乎已经整合为两三个参与者。嗯，也许是 Cursor、Codium、Cognition，然后是 Microsoft 的 Copilot，对吧？但是，可能没有两打公司还在那里竞争客户成功。似乎事情正在向 Sierra 和 Decagon 整合。所以，你逐个市场地看，你会想，好吧，有很多市场我们已经清楚地知道谁可能成为赢家，或者至少是未来两三年内重要的参与者，然后我认为还有一些市场仍然是开放的，对吧？所以你看看销售生产力工具，那里会有一些非常重要的东西，会有一些财务分析师的东西会非常重要，会有一家会计公司非常重要，问题是，这还没有整合是因为还没有人做出完全正确的产品方法吗？是因为模型不够好，能力必须提高吗？所以，感觉有很多事情仍然未知，但比一年前要清楚得多。我觉得这是我两年来第一次，你知道，当我开始投资生成式AI时，你只是去投资那些人看起来很棒，市场看起来很有趣的东西，因为竞争不多，对吧？所以那时我领投了 Perplexity 的种子轮，或者投资了 Character、Harvey 或其他一些公司。那是，你知道，在 ChatGPT 或 Midjourney 之前。哦，美好的旧时光。是的，美好的旧时光，那时没人关心。嗯，当 GPT3 出来时，每个人都说这有点糟糕。但缩放定律是清晰的，对吧？嗯，所以我觉得少数人，你知道，包括你，我认为我们集体看到了这些东西将是重要的。但之后有一段不确定时期，大约两三年，那时有太多的创新，太多的变化，太快的增长。而且我认为现在终于我们正在进入一个时期，至少有一部分事情正在重新整合。再次，这些可能不是五年后的赢家，但它们肯定似乎是未来两年的赢家。所以，我认为在不确定性方面，这是一个很好的喘息机会，并且对未来会发生什么有了更多的清晰度。我不知道。你觉得呢？我感觉我稍微更好地理解了市场的一些暂时性物理学。对。这就像一场争夺相关垂直领域的竞赛，然后让某样东西以用户真正想要的方式运作。也许你必须获取专有数据源，然后可以检索，并获得分发。嗯，然后理想情况下，用户可以从这些公司中创建、派生或扩展知识，就像你刚才提到的那些公司一样。嗯，我不认为你明确说了，但我把 Bridge 和 Open Evidence 也算进去了。我认为它们符合这个模式。然后你和我谈过的一件事是，我对销售感到非常不确定。我不知道如何思考某样东西在那里获胜。比如你可以从数据角度或采用角度入手，但到目前为止，这是一个非常分散的市场。但我同意你关于金融和会计的看法。我还会加上制药。就像有些行业是高度文档驱动的，你可以看到一些东西在那里变得非常，你可以看到一些东西在那里出现。是的。比如制药领域有像 Blue Networking 这样的公司，它们正在做一些有趣的事情。是的。所以，我认为在某种程度上，哪些市场会很有趣已经很清楚了，至少有一部分是这样。只是不清楚谁会赢以及如何赢。你知道，编码是一个有趣的类比，当时每个人都在同时采取四种不同的编码方法。而且我认为其中一些方法会随着时间的推移而整合，而且现在的切入点似乎也更清晰了，关于如何真正赢得那个市场，而在两年前，有十几种不同的方式你可以想象某人，我想知道这是否是你在谈论的销售方面的一个类比，现在看起来不太确定，但也许两年后我们会说，当然，那是那个工作流程。我们公司内部就“什么能让新的切入点起作用”这个问题进行了辩论。嗯，我认为这需要很多。我持开放态度，但你知道，什么还在变化，比如你，你知道，你越来越多地拥有开源模型和小型模型，它们可以对代码做真正的事情，对吧？嗯，CodeStroll 和这个，我认为你会看到更多。微软开源了 Copilot。我们将看到其影响，但就像他们终于决定需要用自己的开源 VS Code 分叉来对抗 Cursor 蚕食他们的午餐一样。有一些可能性，比如让工程工作中的特定工作流程以今天不够高的质量运行，可以创造足够的分发。这很有趣。然后不清楚的是，你拥有同步的 IDE 工作流程和异步的，对吧？一个问题是，这些异步代码代理的质量会增加多快？嗯，OpenAI 和 Codeex 在异步的基于云的软件工程代理上进行了押注，然后他们用 Windsurf 收购了 IDE，所以这是真的，这是真的，你可以相信两者。我认为，所有这些东西最终都会整合起来。所以我的观点是，市场将看到两种类型的整合：产品整合和实际收购。Kodium/Windsurf 被 OpenAI 收购是第一步。但如果我在一个市场中排名第一或第二，并且是一家初创公司，我会考虑与另一方合并，如果他们是两个主要的初创公司竞争对手，因为真正的威胁将是与现有公司竞争。嗯。所以我会提前考虑，说，“好吧，让我们停止初创公司之间的战争，让我们专注于赢得我们必须对抗的三四家现有公司。”所以，你知道，或者你可以继续战斗，被另一方分心，这有点像 Uber 曾经做过的那样。或者，你知道，还有其他先例。合并的公司包括 PayPal，对吧？有 X.com，Musk 在经营，然后有 PayPal，Peter Thiel 在经营，他们决定合并，因为他们想，为什么我们要互相竞争，而有这么多竞争。我认为这两种途径都会发生，但这可能也是人们应该考虑的事情。你认为是什么阻止了公司考虑或这样做？嗯，有两件事。一是自负。谁来经营它，或者他们想吞并我。当然，我是第二名，但等等。我仍然会打败他们，或者我会扮演什么角色，或者别的什么。在某种程度上，就像把那些放在一边，然后去赢，你知道，就像，谁在乎。二是人们过于担心整合。文化是什么，这个是什么，那个是什么，通常就像，只是合并它，如果它不起作用，关闭部分，然后继续生活。无论是买方还是卖方，都没关系。但再次，这只是一个，你知道，从实际角度来看，谁在乎。你可以用各种方式解决它。要么文化融合，要么不融合。如果他们不融合，你也不必留住所有人，说实话，因为每个人都会在收购中做得很好。你可以做各种“感谢套餐”然后继续生活。第三，有时在估值方面存在动态，即你如何看待私营公司之间的相对价值。有时最简单的方法是选择一个指标，然后说它可以通过该指标进行划分。所以，例如，嗯，多年前我在 Twitter 时，我曾推动收购一家新兴的主要社交网络。我们构建报价的方式是，我们只是把我们的用户和他们的用户加起来，然后除以比例，然后将该报价作为 Twitter 的一部分提供给该公司。我认为你可以这样做。把你的收入加上我的收入，我们加起来，然后是什么，嗯，比例是多少？或者可能是用户。这取决于你业务的正确指标。但我实际上认为你可以做一些非常简单的事情，比如，“看，公平地说。”就像加上或减去 x% 并不重要，如果我们都赢了。所以人们倾向于过度思考这些事情。他们过度思考角色/我放弃/自负，或者文化/幸存者看起来如何，然后是价值/两部分的相对价值。从实际角度来看，你是想在未来五年内争斗，还是想去赢，或者你知道，然后你的战场就会转移到现有公司与另一家初创公司之间？是的，我也见过那个，嗯，简单的相对指标也奏效。我也认为，创始人、董事会成员或投资者都不愿意将某些事情置于“ Overton 窗口”之内。我认为人们会觉得这是在投降，但这是为了获胜而投降，所以我认为这是人们不想显得不愿开战的一个主要原因。是的，如果你这样做，蛋糕基本上会变大，因为你专注于赢得市场而不是互相竞争，而且你的定价动态也会发生变化。你不会在每次交易中都与另一家初创公司竞争，你知道，很多事情都会发生变化。所以我认为有各种积极的特征。再次，人们会不通过这些方式在这些市场中获胜。而且，嗯，一些市场非常大，并且有空间容纳第一名、第二名，也许是第三名，或者也许是现有公司，你知道，支付就是这样，对吧？我们有 Adyen，我们有 Stripe，我们有 PayPal，我们有，你知道，十几家其他支付处理商。这是一个非常大的分散市场。所以一些市场也可以容纳多个参与者，这也没关系。我只是说，有时候你只想说，“嘿，让我们放下分歧，一起去赢。”好的。市场的一部分已经整合。嗯，一些市场可以更好地整合，以便初创公司获胜。有一些领域你和我谈过，它们感觉是明显的商业机会，但我认为人们没有充分追求它们，而且你知道，我们谈论过工程，我认为 AI 将彻底改变它，就像你在生物技术方面有很多想法一样，缺少什么？是的，我感兴趣的生物技术的东西老实说与 AI 无关，尽管模型方面显然有一些很酷的事情正在发生，但有一整条独立的东西我只是觉得很酷。我不是一个活跃的生物技术投资者，我不是向我推销东西的合适人选等等。我主要投资软件、AI 等等。我所创办的公司也主要是软件驱动的公司。我只是觉得现在有一些非常酷的事情，因为科学和生物技术已经足够先进，或者在基础科学方面，而没有人或很少有人在研究它们，对吧？我可以给你举两三个例子。一个例子是，日本有一些非常好的关于生育的数据，你可以基本上取一个细胞，你可以重新编程它，让它变成精子或卵子，他们已经用两个父亲制造了老鼠，例如，你可以将一个父亲的细胞分化成精子，另一个父亲的细胞分化成卵子，然后你就可以有可育的后代。这极大地扩展了任何成年人与任何其他成年人生育孩子的能力。所以，如果一个女人超过某个年龄，她突然可以产生精子或卵子。嗯，你可以为不同类型的夫妇这样做。所以有这样的事情，你会想，为什么这么少人研究它？一个更简单的版本就是，你知道，女孩出生时有 1 到 2 百万个卵母细胞，也就是卵细胞。到青春期，她们剩下大约 30 万个，然后没有好的技术来成熟这些卵子。所以，如果一个女人想要很多孩子，她应该能够在她生命的各个阶段成熟她的卵母细胞，并且应该能够收获大量的卵子，对吧？所以有很多这样的事情，没有人去做。这是否会导致人们选择不同的生育方式，比如精子或卵子捐赠市场非常不同？比如我们都和埃隆生孩子，你和我。关于这一点，最疯狂的事情是，如果你在某个地方遇到埃隆·马斯克或勒布朗·詹姆斯或泰勒·斯威夫特或任何其他人，并设法交换他们的一些细胞。你和他们握手什么的。你有可能复制他们。是的。是的。不，说真的。所以，如果你仔细想想，这些事情的一些后果相当疯狂，对吧？但社会也是如此，它在你可以做什么方面具有如此大的影响力。而且，正如你所说，突然任何人都可以成为卵子或精子捐赠者，无论以何种方式，但它似乎具有如此大的影响，即使你只是说我们将它限制在某个年龄以上的女性。就像，你知道，突然我们可以，或者人们在生殖上不再可行了，对吧？在我看来，这是一件大事。但再次，科学就在那里。他们已经完成了许多相关的研究，现在是时候了，我知道有一家公司在做这件事，但它是由一位非常好的创始人驱动的，但只有一家公司，就是这样。另一个领域是，你看看肉毒杆菌，人们将细菌毒素注入皮肤以看起来更年轻，字面意思是毒素，那是一家 400 亿美元的公司，你知道，仅用于美容应用每年就有 15 亿美元的收入，为什么没有人做实际的衰老药物和治疗？有各种各样的科学，有各种各样的生物学，所以没有人研究皮肤衰老、脱发、白发，所有这些东西。然后是那些对神经感觉有真正影响的事情，对吧？比如你眼睛的晶状体支撑肌肉会随着时间而变弱。那么为什么不修复它呢？这就是为什么每个人在 40 多岁时都需要老花镜。或者听力损失，你知道，有解决办法。或者牙齿再生，就像你有一个蛀牙，为什么不长出一颗新牙？嗯，有解决办法。再次，有很多生物学已经解决了。也许在基础科学方面还需要做更多工作。在许多情况下，例如，对于牙科产品，有像 USA G1 这样的基因，可以在某些动物模型中实现两到三次生长。那么为什么我们不在人身上这样做呢？你对为什么存在你认为需求明确的领域有什么假设，如果科学存在的话？为什么它没有得到资助？是的，这是巨大的市场。我认为有三个原因。第一，生物技术或生物制药市场对创始人来说与科技市场非常不同，整体市场结构也截然不同。所以基本上，如果你看看生物技术，上次一家超过 500 亿美元的生物技术公司是从零开始创建的（不包括 Moderna），那只是一个意外，发生在 80 年代，我认为是 Regeneron，所以几乎 40 年来我们没有一家全新的、数十亿美元的公司被创建，所以所有这些公司都有 50 到 100 年的历史，所以想象一下，如果科技基本上是现在的 IBM 对 HP，而你没有任何年轻的、由创始人驱动的、积极进取的公司。我们就不会有 iPhone。我们就不会有互联网。我们只会从 HP 笔记本电脑登录 IBM 大型机。你知道我的意思吗？就不会有进步，或者进步非常少。嗯，这是第一个问题。融资模式也不同，很多生物技术资金要么是早期阶段，要么是晚期阶段，很多公司是由生物技术风险投资公司孵化的。所以他们会给一家公司注资 4000 万美元，他们一开始就拥有 40% 的股份，无论如何，然后他们必须让它足够成熟，以便他们能够获得几乎是公开市场的资金。你知道，很多交叉基金然后会介入。而且这些基金的设置方式，因为它们拥有如此多的所有权，它们实际上是为了将这些公司转售给制药公司。这意味着你建立的公司是针对制药公司的产品线。所以，如果所有制药公司都关心六七个领域，那就是癌症、心血管疾病和神经科学，你只会在这些领域建立公司，因为你的目标不是建立一个独立的庞大实体。你的目标是将其出售给制药公司。嗯，所以很多动态是由此驱动的。然后有大量的监管俘获，这也阻碍了许多创新。你知道，FDA 会要求，他们会对某些可能不存在的终点进行严格审查，或者你知道，所以有很多，这些是导致其他事情变得困难的三个主要因素，但所有科学都摆在那里，对吧？哦，我想最后一点，第四点是，对于其中一些事情，科学家们不太愿意从事过于商业化的东西。这是科学的纯洁性。地位。地位很低。那么，作为一个科学家，你怎么敢去研究修复皱纹呢？你需要做一些更纯粹的事情，等等等等。所以，也有一点点围绕商业化的“一本正经”存在。我猜我们回到常规节目。我有一个关于 AI 方面的问题，特别是，我知道你一直在思考世界模型和 RL 以及这些东西如何与能力和能力扩展相关。你想稍微解释一下你说的世界模型是什么意思吗？因为我认为，你知道，我们这些在 AI 世界里的人都明白这些东西。对于更广泛的受众来说，能够解释一下你的想法以及你认为那里正在发生什么有趣的事情会很棒。是的，我不知道这是否真的很好，嗯，我认为这是一个非常重要的整体领域，因为如果你从最宏观的角度来看，我认为这是一个比以往任何时候都存在更多开放研究问题的时候，对吧？所以，扩大大型语言模型的规模和训练数据为我们提供了强大的知识和模式识别基础。但是，你知道，每个人都在谈论代理，人们从这里想做什么，人们思考 AGI 的方式不仅仅是预测文本，他们想走向更广泛的智能，采取行动，而且在实践中，这些行动可能是，我觉得具体描述我们所说的“推理”或“行动”非常重要，因为我不知道每个人对这些事情都有很好的心智模型，但它可能包括规划、阅读文档并得出结论、使用工具、接收反馈、走不同的推理路径、评估自己的工作。这就像在追求一个目标的过程中采取一系列行动，而不仅仅是顺序文本生成。我的理解是，一些实验室投入了大量资金来收集人类执行复杂任务的轨迹。就像 Alad 研究日本干细胞分化研究一样，他对这些任务进行研究，然后他打电话给这些人，然后他们尝试进行行为克隆，猴子看到猴子代理这样做，但对于软件工程或投资研究或任何其他事情，但当偏离克隆技术的路径时，它往往非常脆弱，模型所有的猴子都按某个按钮，而人类从未触碰过，它就进入了分布外区域，然后就不知道下一步该做什么了，它就失败了，你就会卡住。然后人们正在尝试强化学习，带来了新一代的强化学习，这基本上是试错训练。我认为很多关注 AI 的人已经看到了代理玩游戏，比如国际象棋和围棋，或者更复杂的涉及人类互动。你正在环境中采取行动，并以奖励或惩罚的形式获得反馈，然后你玩，直到你对游戏更好，对吧？嗯，对于游戏来说这很容易，对吧？因为你有明确的规则，所以你很容易知道如何奖励或惩罚一个动作，对吧？而且我认为这与现实世界的任务在某些情况下非常不同。所以，这就像使用 RL 更广泛的真正问题或开销，如果任务不仅仅是赢得国际象棋或围棋，那么任务是什么？然后，你如何制作环境，就像你试图复制宇宙，或者至少是其中一个足够丰富以教授有用问题解决能力但足够便宜以运行的小部分？我不知道我们如何到达矩阵。设计奖励非常困难，然后你就会有一个与现实的差距，对吧？然后你需要多样性，否则你只是在记忆你的游戏路径，即使那个游戏是 Alad 做研究工作的游戏，或者是一个软件工程项目的游戏，你正在过度拟合而不是适应。所以，我实际上没有太多结论，但我花了一些时间试图理解它。现在有一组有趣的研究人员，他们正在努力创建更通用的环境、世界模型，或者只是获取更好的轨迹数据。所以，我认为这，我实际上不认为这些模型中任何一个更短期的商业应用是有趣的。人们说，“哦，我们可以生成游戏，或者我们将拥有游戏资产，或者我们将使用数据进行机器人训练或其他事情。”但我确实认为，这是一个通往更 AGI 的概念路径。我认为你所说的其中一点很有趣，而且它是我会过度推断的一点。如果你看看 AI 在围棋等方面的做法，因为有一个效用函数但没有其他约束，它想出了各种疯狂的招数，人类不会想到，或者至少到目前为止还没有想到，然后人类开始研究和模仿这些招数，它们完全出乎意料，但最终取得了更好的结果。所以，我总是想知道这在人类其他领域会是什么样子，如果编码从“嘿，让我们模仿人们如何写代码”转变为“让我们解决这个问题”。写出来的代码类型会有多大不同，或者我们可以从中学习哪些传统方法被打破了，因为你创建了一个具有不受约束的方法来解决它的效用函数。这在生物学中也时有发生，对吧？你会做这些分子进化实验，你会进化一个分子来做某事，有时它会以一种你完全没想到的奇怪方式去做。你知道，你突然有了一个工作方式很奇怪的催化剂，或者一个你不像预期的那样起作用的结合蛋白。这是因为它不是设计的，它是进化的。所以，我认为所有这些进化的系统或自选择的系统都可以产生非常奇怪的见解。所以，我真的很期待看到这方面的东西。我也是。我可视化这个的一个方式就是，你知道，模型正在观察人类没有被教导过的搜索空间，比如通过围棋规则手册或之前的游戏或任何东西，而且它可能是在蛋白质形状或其他任何问题中。你看过电视节目《万神殿》吗？没有。那是什么？这是一部关于人工智能和思维上传的电视节目。这是一个相当小众的动画电视节目。你应该看看。每个人都应该看看。嗯，但我认为它真的很有趣，因为你知道，上传的生命在某个时候，就像成为你完整的自我，或者至少对我们来说，就是人类学会以不同的方式思考。它打破了你可能传统上解决问题或看待自己的方式的限制。所以，我确实认为，从主题上来说，这是 AI 最鼓舞人心的事情之一。哦，那很有趣。是的。我觉得有很多科幻小说，最终你会上传你的大脑到云端或其他地方，然后你会突然获得以前无法获得的各种控制。所以，例如，你应该能够微调你的情绪或情绪状态，并用旋钮字面意思地调高调下。我认为总会有这些非常有趣的元问题，比如，如果人类上传发生，跨人类物种会是什么样子？以及那些不那么明显优先的、你突然暴露出来的能力集是什么？我的意思是，显然你也可以生成自己的实例，让它们为你做事，然后合并回来，也许其中一些不想合并回来，那么谁是真正的身份，你知道，所有这些。所以，这很有趣。有人告诉我，情绪和注意力的调节实际上不需要上传。就像 Fred 和我们认识的一些教授会说，很快就会有超声波设备出现在你附近的消费品货架上。但我们可以明年再谈这个。好的，听起来不错。好的，伙计。很高兴和你一起度过。市场已经具体化了。下周见。一切都清晰了，除了大多数事情。在 Twitter 上找到我们，网址是 no prior pod。如果你想看我们的脸，请订阅我们的 YouTube 频道。在 Apple Podcasts、Spotify 或任何你听播客的地方关注该节目。这样你每周都能收到新一集。并在 no-priers.com 注册电子邮件或查找每集节目的文字记录。