Transcription
我们现在生产软件的速度可能快了五倍，但同时我们作为一个行业并没有快五倍。对吧？模型帮助我们构建了能够非常非常有效地生成代码的工具，但直到现在它们还不能帮助我们运行生产。曾有一段时间，我们的 SRE 团队有 90% 的人在 6 个月内因倦怠而辞职。所以我们看到了一个机会，通过 Mayang 彻底重新思考生产应该如何运行。五年后，大部分代码将由人工智能开发。大部分生产软件将在某种程度上由人工智能运行。你如何看待 Resolve 在那个世界中的作用？代理代表你编写代码的方式。同样的事情也将发生在生产中。Resolve 将成为帮助你运行生产的代理集合，而人类将以更高的抽象级别进行移动和操作。我们希望成为每家公司用来运行生产系统和加速工程技术的代理解决方案。大家好，我是 Sebastian Dusthurst，这是投资者备忘录。这个节目让创始人揭示他们业务背后的故事，以及他们将如何塑造行业未来。我与 Resolve AI 的联合创始人兼首席执行官 Spear Santos 一起，Resolve AI 正在构建面向生产的人工智能，一个定义软件工程未来的由人工智能驱动的平台。今天，他们的核心产品自动化事件调查，帮助发现跨基础设施的优化，并帮助工程师更快地发布产品，并提供生产上下文。Resolve AI 已迅速成为人工智能基础设施中最具吸引力的公司之一，其客户包括 Coinbase、Door Dash 和 Salesforce，他们报告了可靠性和工程效率的显著提高，这转化为可观的实际投资回报。Spiros，感谢你的加入。感谢邀请我参加播客。真是个大日子。恭喜你获得了 1.25 亿美元的巨额 A 轮融资。我这里有我们的内部备忘录。我会和你分享，今天我想我们会一起回顾一下。我很想听听你的想法。也许在我们深入之前，我会稍微铺垫一下。在过去的两年里，我们都明显观察到了软件开发方面发生的事情。我们看到了像 Cloud Code、Cursor Cognition 这样的产品，它们真正改变了软件的开发方式。软件开发的步伐发生了巨大的变化，但也造成了许多后续问题。一些在将软件投入生产时存在的挑战，在人工智能编码之前就已经存在，现在变得更加糟糕了，这正是你的用武之地，你称这个新领域为“生产人工智能”，也许对于不太熟悉这个领域的人来说，请描述一下生产中实际发生的一些问题，工程师们不得不处理的那些问题，即使从人工智能编码代理出现之前的世界开始，软件工程师也花费了他们大部分时间来运行、维护和改进生产，而不是构建。通常会看到 30% 到 20% 的时间花在编码上，80% 的时间花在运行上，这并不奇怪。显然，编码代理使情况变得更加困难，因为我们现在生产了更多的软件，但这并不意味着我们前进得更快。模型帮助我们构建了能够非常有效地生成代码的工具，但直到现在它们还不能帮助我们运行生产。这就是我们着手解决的问题。需要大量的代理和模型工作才能处理生产的复杂性并交付结果。当你提到“面向生产的人工智能”或“在生产中运行某物”时，对于那些不自己运行数据库的人来说，这到底意味着什么？对于任何交付其业务软件的人来说，软件最重要的部分实际上是拥有一个可靠的系统并响应人类的请求，对吧？运行生产，与编码不同，你必须处理许多许多不同的工具。你有代码，你有可观测性工具、日志、指标、跟踪，你有本身就非常动态且不断变化的底层设施。本质上，模型解决了编码问题，但它们没有解决软件工程问题。为什么会这样？这是因为大部分生产数据都在模型的训练集之外，而且非常非常难以获取，因为这些数据对每个企业来说都是独一无二的，而且这种类型的数据也很难模拟。更重要的是，你有很多非常非常特定于每个公司的部落知识，通常是人类通过数月或数年的工作积累起来的，而代理和模型却不容易获得。我很想听你从实践者的角度谈谈你在这个领域看到的情况，以及你在这个领域看到的让你创办这家公司的挑战。我之前创办了两家可观测性公司，Login 是一个日志分析平台，源于我的博士研究。事实上，我们最初是想构建一个代码分析工具。那是我在博士期间一直在做的事情。但我们发现，至少当时，以日志和非结构化数据的形式管理大型数据中心数据的痛苦要大得多。所以我们转向了那个。我认为我在代码方面比当时要超前得多。但我们来了。然后在 2018 年，我和我的联合创始人 Mayang 一起创建了 OpenTelemetry。当时我们看到的是，随着我们转向云端，管理生产系统变得越来越困难，因为云引入了更多的复杂性，如微服务和动态基础设施。所以我们的方法是创建一个开源、开放标准的方法来收集数据，OpenTelemetry 自此成为事实上的标准，然后构建一个更强大的可观测性平台。我们最终被 Splunk 收购，我亲眼目睹了管理一个非常大的生产系统意味着什么。有时我们会在黑色星期五和新年之间冻结生产几个月，因为我们的大部分客户都是电子商务客户，我们担心任何中断。曾有一段时间，我们的 SRE 团队有 90% 的人在 6 个月内因倦怠而辞职。所以对我来说，很明显，我过去解决这个问题的办法，试图说服每个人整合可观测性，是不够的。对吧？事实上，这可能几乎是错误的方法，因为将一切整合到一个地方是一个非常困难的问题。是的，当你做到时，它很强大，但需要付出太多努力。所以，我们可能从人工智能，我猜我们今天称之为代理，看到了一个机会，可以从根本上重新思考生产应该如何运行。显然，这在以前是一个大问题。这对人类来说很痛苦。它很昂贵。交付一个可靠的系统非常非常困难。即使你做到了，也要付出巨大的努力、工具和基础设施成本。所以我们看到了一个机会，通过 Mayang 彻底重新思考生产应该如何运行。当然，从那时起，你知道，尤其是在过去 12 个月代理编码兴起之后，这个问题变得更加困难了，因为我们现在生产软件的速度可能快了五倍，但同时我们作为一个行业并没有快五倍，对吧？因为现在瓶颈已经转移到了生产。我如何调试、保持可靠性、改进和维护我的生产系统，面对生成的大量代码？有一件事让我们印象深刻，我们已经有几十个可观测性工具或只是提供洞察的工具。但那已经不是问题了。我认为真正的问题是如何协调所有这些？如何将一个人查看 10 个不同仪表板的情况转变为一个能够实际解决这个问题的代理，并稍微详细地描述一下这个问题？是的，大多数生产任务，以事件为例，需要使用许多不同的工具，这些工具包含数据的子集，并且需要例如代码遥测日志指标跟踪，对基础设施的了解，更重要的是对环境中存在的部落知识的理解。所以这对人类来说是一个非常困难的过程，因为我们是这些工具的操作者，操作其中任何一个工具本身就是一个难题，但我们也是它们之间的粘合剂。所以我认为随着代理的发展，我们正在从这些记录系统成为运行企业最有价值的东西，转变为代理成为知识系统，它将帮助你运行企业并加速你的业务。你能谈谈你认为在这个领域获胜所需的业务模式吗？能够解决这个问题？嗯，你必须拥有正确的用户界面，就像我之前描述的那样。此外，你必须能够构建正确的代理框架和正确的代理，以便能够处理生产中存在的所有问题。然后当然，你必须拥有数据来基本上训练这些代理。最后，你必须拥有一个更适合解决这个问题的模型。所以我们看待 Resolve 的方式是，它是一家全栈公司，拥有界面、代理、数据和该领域的模型。我们应该如何设想这个产品在现实生活中是什么样的？与编码代理的比较可以说明这一点。对吧？典型的编码代理是一个代理循环，拥有大约 10 到 20 个工具，代理可以使用这些工具来理解代码、创建 diff 等。对于生产系统，你需要一个代码代理、一个日志代理、一个指标代理、一个跟踪代理、一个基础设施代理，更重要的是，你必须有一种方法来发现存在于工具、人类思维和文档中的所有知识，并随着时间的推移记住并使用它。这是一个复杂得多的系统，需要跨所有这些代理进行大量协调。我们在构建 Resolve 时发现的是，你必须在人类所在的地方与他们会面。Resolve 会出现在 Slack 或 Microsoft Teams 中，并像人类一样响应事件或警报，这使得工程师们可以非常非常容易地开始使用它并采用它，而无需真正接受任何系统的培训。你刚才提到了部落知识，我认为我听到你说过，在许多公司中，最好的工程师实际上是瓶颈，因为内部系统的知识通常掌握在一个特定的工程师手中，而不是写在某个规则手册中。你今天如何捕捉这些知识？我们在构建 Resolve 时意识到的是，我们从根本原则出发，你需要构建一个具有某种形式的产品，让工程师们每次都想使用它。如果你构建了一个坐在旁边、接收输入（问题或事件）并试图给出答案的黑盒子，它在实践中永远不会奏效，因为即使你几乎 89% 的时间都做对了，你仍然会在一部分时间里做错或不完全对，对吧？因为我们处理的是概率系统。所以人类不再信任这个工具，对吧？因为他们不知道它什么时候是对的，什么时候是错的。所以我们发现的是，人类训练代理的最佳方式，也是人类想要信任工具并每次都想使用它的最佳方式，是构建它的方式，使其具有交互性，工程师可以提供输入，可以纠正方向，然后每次都能更快地得到答案，即使，比如说，代理找不到确凿的证据，或者人类也找不到，对吧？这大大减少了 90% 的工作量，然后如果你把这一切都做得很好，那么在几周到几个月内，代理就会完全了解你环境中的所有部落知识，并开始变得几乎和你知道的最聪明的工程师一样有效，对吧？然后因此，工程师可以专注于更具创造性的工作，可以专注于构建，可以专注于架构，你知道，你产品的未来，以获取这些数据。客户是其中非常关键的一部分。谈谈今天的客户是谁。你真正想赢得的是谁？我们今天的大部分客户都在技术或金融服务领域。无论你有几个工程师还是几千个工程师，这个问题都适用。环境越复杂，运行生产就越困难。所以 Resolve 的价值几乎是线性地、超线性地随着你必须处理的环境的大小而增加。今天，我们已经在世界上一些最困难的环境中投入生产，例如 Coinbase、Door Dash、Salesforce。这些都是令人惊叹的客户。是的，我们非常自豪他们信任我们。你不是一个人在做这件事。你有一个出色的联合创始人 Mayang。这也不是你和他一起创办的第一家公司。也许谈谈他。他对成功非常重要。Mayang 和我认识 21 年了。我们在 UI 是博士同学。我们实际上是在研究生院的第一天遇到的，在国际学生迎新会上。他显然来自希腊。他来自印度。我们在那个活动上认识的。他是我的计算机体系结构助教。他说他为我在计算机体系结构方面的深度感到自豪，但你知道我从 Mayang 那里记得的是他很聪明，当我辍学创办我的第一家公司，我创立的日志分析公司时，我曾多次试图说服 Mayang 加入我们，但我没能成功。最终，在他完成了博士学位，你知道加入了微软并为 Azure 驱动了许多大型系统之后，我设法说服他加入我们在 VMware。现实情况是，他渴望创办一家公司，他觉得我们是可以一起做这件事的团队。所以我们从 2012 年开始一起工作。这是我们一起创办的第二家公司。我们一起创办了 Omnition，这是一次了不起的合作，因为我们彼此深深尊重。我们都带来了互补的技能，而且彼此之间有巨大的信任，这就是让它变得特别的原因。一套完全不同的技能组合。你显然在可观测性方面拥有惊人的专业知识，可以追溯到你在 Splunk 的日子。Mayang 也是如此，但这不仅仅是可观测性问题。这也是一个人工智能问题。谈谈你如何组建合适的团队来在这里真正构建。是的。而且我认为这是一个软件问题加上人工智能。你必须对这个问题有非常深入的理解和直觉，因为你必须能够将其编码到代理和工具中。但也要让代理在生产中工作，你必须对模型有非常深入的直觉理解。我们的团队现在大约一半来自系统或可观测性或分布式系统背景，另一半是来自 DeepMind、Rush 或 Gemini 的研究人员或应用人工智能工程师，以及 Gemini 的许多代理产品，我们发现你需要两者兼备，并且在这两个领域都需要深厚的专业知识。仅有专业知识是不够的。你必须找到一种方法，让这两个领域以产生良好结果的方式结合起来。显然，当你踏上创业之旅时，团队非常重要。创始人很重要。我们在考虑投资时，会非常关注创始人。你谈到了你的背景和我自己的背景。显然，你根据你之前的经验有很多背景信息。我真正想谈的是文化。我清楚地记得我们第二次与你开会是在星期天。当时是上午 11 点。我走进你的办公室，办公室里有 40 个人，对吧？你有一百多人。所以基本上公司的一半人在星期天上午 11 点在办公室。这是一种非常特殊的文化，显示出对强度的热爱。那是在你参加并取得了不起的 ReInvent 之前四周。但请谈谈你对文化的看法，你如何看待在公司内部设定正确的强度，因为显然我们正处于一个时刻，我们认为在接下来的 12 个月里，这个类别将真正以非常有意义的方式发生变化，我们必须抓住这个机会。所以，是的，谈谈你正在努力建立的文化。我为 Resolve 最感到自豪的是我们组建的团队。创造一种文化非常困难，对吧？就像你不能说我想要一种这样的文化，它就会发生。你必须活出来，你必须非常诚实地对待自己，关于你想做什么和不想做什么。所以，在我们的案例中，我花大部分时间在招聘上。如果你问我在这家公司我做得最多的事情是什么，那就是招聘，因为这是一个非常困难的问题。这是一个非常大的机会，你需要非常快速地行动。所以你需要有很多聪明人，他们充满热情地与你一起解决问题，并且他们也能以同样的速度和强度做到这一点。我们遵循的一些原则是我们是一家非常透明的公司，无论是对内还是对外。公司里的每个人都完全了解我们的目标，哪些做得好，哪些做得不好。当你这样做时，人们真正相信使命，并努力实现这些目标。通常作为创始人，你几乎不是公司里解决任何给定问题的最佳知识拥有者。你的角色更多是设定方向，也许是设定节奏，并确保你知道每个人，你知道，对结果有相同的雄心。但大部分实际的艰苦工作都来自你周围的其他人，而你描述的关于星期天的事情，我们从未在公司里说过，你知道，我们显然是每周五天在办公室，我认为这是我们文化中非常非常重要的一部分，但我们从未说过你应该在周末来办公室，而且我认为你不能要求任何人努力工作，人们这样做是因为他们觉得他们正在执行一项使命。你刚刚筹集了 1.25 亿美元的巨额融资，即使在当今世界，1.25 亿美元的 A 轮融资也是一笔巨款。在接下来的 12 个月里，你打算用它做什么？它能让你做什么？首先，作为一名全职创始人，我不认为筹集资金就是成功，对吧？它显然是一个非常非常重要的工具，特别是如果你有 Lightseed 这样的合作伙伴，它肯定能帮助你更快地取得成功，但它是一个工具，对吧？它是手段，不是目的。现在，在人工智能领域，我们看到了巨大的机会，并且我们看到市场发展如此之快，这是正确的方式。在我看来，这需要大量的艰苦工作才能如此迅速地实现，并且需要大量的资本。但我们的目标是扩大我们的市场推广，以满足我们看到的巨大需求，同时也要更快地扩大我们在模型方面的工作，并扩大 Resolve 在生产中适用的其他用例。那么，Basin，我可以问你一个问题吗？请说。你为什么决定投资这个领域，为什么选择 Resolve？我们近两年来一直密切关注人工智能软件开发。我们是 Anthropic 的主要投资者，并且显然看到了该用例的巨大增长，但正如你所指出的，这还不足以真正改变我们今天开发可靠软件产品的方式。它需要通过人工智能进行创建，但同样，这又增加了下游的挑战，我们需要另一个人工智能系统来真正处理工程师今天必须处理的所有辛劳。所以我们觉得现在是一个非常独特的时刻，人工智能编码工具对下游工作流程的压力如此之大，以至于需要这样的解决方案，然后，正如我们一贯所做的那样，我们试图找到一个具有独特见解并拥有独特技能组合来解决这个问题的团队，我们已经谈论过这一点，你显然拥有你过去的独特技能，Mayang 也是如此，但你也看到了你与一些你可能之前没有接触过的人组队。你引进了现在来自 DeepMind 的 13 个人，他们为公司带来了大量的人工智能专业知识。然后我们之前谈过的，我们在星期天感受到的强度是特殊的。这真的很重要。我们认为，在这样的市场中获胜需要这些。我告诉你，虽然只有几周时间，但感觉我们已经成为家庭的一份子了。我几次去过你的办公室。我今年和你团队一起喝的酒比我自己一个人喝的还要多。所以，这已经是一次令人难以置信的经历，我们非常高兴能与你合作。感谢你的信任，我们才刚刚开始。让我们更生动地展示一下。带我们去看看你的一个客户。在 Resolve 之前，生产工程是什么样的？现在有了你，又是什么样的？生产对人类来说非常紧张和困难。以人类值班并需要响应警报和事件为例。也许是在深夜，你接到电话，你必须醒来，你知道，打开你的笔记本电脑，看看发生了什么。这总是一个冷启动问题，作为人类，你很难知道从哪里开始。即使你有一些直觉，因为你以前经历过，但要检查你所有的假设需要很长时间。你还承受着“如果我做错了什么怎么办”的巨大压力和焦虑。现在有了 Resolve，假设在类似的情况下，当你接到电话时，Resolve 已经查看了系统的完整历史记录，它实际上实时检查了所有可用数据，最近发生了什么变化？指标或日志中是否有任何可能表明问题的迹象？是否有第三方依赖项可能导致问题？所以当你连接时，Resolve 通常已经完成了所有工作，所有的繁重工作，并且通常已经有了答案和解决方案，即使你必须做一些额外的工作，Resolve 也能更快地为你提供答案，而不是让你去弄清楚某个日志工具的查询语言，或者如何获取该场景下的功能标志。而且这不仅仅是事件，它实际上转化为工程师每天所做的所有工作。任何时候我想调试一个问题，我通常需要从多个不同的系统中获取数据并连接它们。今天，我既是这些工具的操作者，也是它们之间的粘合剂。这不是人类喜欢做的工作，或者他们擅长的工作。代理可以更好地查询这些工具，分析数据并给你一个答案。或者每次你有一个问题，你通常不得不打断别人，这是我们人类可能不喜欢做的事情，对吧？如果你正在做你的工作，并且你有我正在寻找的答案，你知道，我不想每天来打断你五次。从一个作为我助手的系统那里获得这些答案要容易得多。而且，我想说的是，人类或工程师可能喜欢构建，那就是我们都喜欢做的事情。我认为如果我们能够构建代理来完成所有繁重的工作，带走压力大的工作，我们可以专注于工作的创造性部分。你能分享几个关于你客户的 AI 或 KPI 的例子吗？例如，系统恢复运行所需的时间的变化，或者你不再需要 10 个额外的 SRE 来增加团队的规模。所以，给我们一个关于你看到的影响的初步想法。首先，我坚信人工智能不会取代人类工程师。但它将使我们能够以 100 倍的速度生产技术，因此我认为这将对社会产生巨大而积极的影响。所以我看不到工程师减少。但我看到的是更多的技术被生产出来，鉴于模型已经解决了编码问题，这是下一个前沿，将使我们能够更快地构建技术。我们很幸运在公司早期就得到了一些大公司的信任。我们与 Door Dash、Coinbase、Salesforce 等公司合作。我们看到的价值是，这些公司可以以高度的信心更快地行动。举一个非常具体的例子，Coinbase 进行了一项研究，比较了 Resolve 之前和之后的 MTR，他们发现 Resolve 可以将解决事件的时间缩短 73%。是的。但我们也看到了工程师日常工作中巨大的生产力提升，因为他们拥有所有工具和生产知识触手可及。我想谈谈你对 Resolve 的长期愿景。我非常清楚地记得第一次在你的办公室见到你时。你问我为什么对这个领域感到兴奋，我开始谈论 AI 这个领域，我甚至没能说完一句话。你打断我说，Sebastian，你完全错了。这不仅仅是关于人工智能。听起来不像我，但完全不是。你说 AI 只是一个功能，然后你开始谈论面向生产的人工智能，这是一个更广泛的愿景。只是为了观众，帮助我们理解你如何真正看待 SRE 作为进入市场的初步切入点，但最终有更大的机会。从一开始，我们的愿景就是我们应该构建代理来帮助你运行生产，就像我说的，帮助你完成所有繁重的工作，压力大的工作，并让我们能够更快地构建。但同时，从一开始就构建一个如此广泛的产品非常困难。我们的想法是构建可以值班并帮助你排除警报和事件故障，并引导你进行修复的代理。然而，我们发现的是，尽管这有些违反直觉，但在生产中构建一个狭窄的产品是不可能的。原因是，对于任何事件或任何其他任务，你通常需要对代码有非常好的了解。你需要对跨指标、日志、跟踪，甚至其他类型的遥测的遥测有非常好的了解。你需要发现人类用来操作的部落知识。本质上，要做到这一点，你需要构建能够非常有效地处理所有这些类型的数据并能够跨它们进行很好推理的代理。所以有效地构建一个 SRE 人工智能，比如说，能够解决事件，你必须构建一个更广泛地呈现生产的系统。所以我们发现自己不仅在更快地实现我们的愿景，而且我们不得不，我们发现的是，人工智能本身是一个功能，如果你试图构建一个狭窄的产品，它将不会奏效，因为除非你真正了解所有这些类型的数据，否则你无法解决任何问题。但一旦你以我所描述的通用方式解决了 SRE 问题，那么你就构建了一个能够执行许多其他任务的解决方案，帮助你优化基础设施成本，帮助你管理平台，甚至帮助你构建具有完整生产上下文的软件。这是一个巨大的机会。五年后，大部分代码将由人工智能开发。大部分生产软件将在某种程度上由人工智能运行。那会是什么样子？公司和工程团队五年后会是什么样子？带我们进入你认为这可能达到的极限。首先，我认为我们仍然处于改进的指数曲线上，对我们来说，很难想象当我们在这条曲线上时，世界会是什么样子。我自己也亲眼见过 Resolve 和它的演变。我们可能需要 6 个月的时间来将有效性从一个非常低的基线翻倍。对吧？现在，我们可能需要一个月或更少的时间来显著改进系统。对吧？我自己也对我们取得的改进感到惊讶。我确实看到，在未来一两年内，代理将代表你编写代码，而且实际上没有人会在没有代理的情况下编写代码。同样的事情也将发生在生产中。Resolve 将成为帮助你运行生产的代理集合，而人类将以更高的抽象级别进行移动和操作，他们应该能够移动得更快，他们的生活也应该更轻松，因为很多这些问题都很痛苦。我们仍然受到我们可用的工具的限制，因为这些工具大多是为人类设计的。我看到的另一件事是，在接下来的两三年里，我看到底层平台和工具正在快速发展，以便变得更加对代理友好，并使我们能够更快地移动。然后我想说，如果你再进一步，如果所有这些事情都发生了，我确实预计我们应该能够比今天人类仍然在掌控之下的速度快得多。而它的好处或好的地方是，我认为我们将能够解决今天我们无法解决的更难的技术问题，因为我们有局限性。所以我看到了一个代理构建和运行软件的未来，我认为这个未来对人类来说是一个非常光明的未来，如果你愿意的话，因为我们应该能够解决更难的问题，并且我们应该能够创建对每个人来说都更容易获得的服务。我们完全同意。这真的很令人兴奋。你如何看待 Resolve 在那个世界中的作用？我们的愿望是成为对软件产生最大影响的公司，我们希望成为每家公司用来运行生产系统和加速工程技术的代理解决方案。我们希望通过成为智能层来实现这一点。我们无意与该领域的现有供应商竞争。我们希望合作，并越来越多地消除繁重的工作和困难的工作，并普遍加速工程。我看到我们在未来几年内将扩展到生产中的多个用例，并成为人类可以用于生产中许多任务的平台。五年后，你是一个人工智能实验室，还是其他什么？我认为，尤其是在 Transformer 出现之后，今天开始并构建一家以模型起家的公司非常困难，即使你设法构建了一个在某些方面比前沿模型更好的模型，也很容易让它们扩展并覆盖用例。但我也相信，如果你从一个非常深入和广泛的问题开始，并且支持，比如说，有足够的收入和利润来支持构建你自己的模型，你就可以拥有比实验室好得多的数据，并且你最终会构建一个更好的模型，这就是我们的目标。嗯，这很有趣，Spurs。谢谢你这样做。我们非常感激能成为你的合作伙伴，你知道，让我们一起做十年或二十年。非常感谢你邀请我。非常感谢你对公司的信任和信念，我坚信这是一个千载难逢的机会，可以建立一家独特且具有巨大影响力的公司。谢谢。谢谢。