Transcription
好，欢迎大家来到我们硅谷帮的谈话节目。今天我们非常高兴又请来了两位嘉宾，在AI领域都有非常好的建树。一位是Eric，Eric是Bacca.ai的Founder and CEO。欢迎Eric。
Hello，大家好。
另外一位是Roger，Roger是Embedding VC的创始人。Roger你好。
大家好。
好，欢迎两位。我知道你们之间有一个投资与被投资的关系，也是第一次咱们创始人和投资人一起来聊在我们节目里，也是非常有意思。这样吧，两位都先介绍一下你们的公司或者Fund，让听众朋友有所了解。Eric，要不你先介绍一下？
好，对我简单介绍一下。大家好，我是Eric，我是Bacca AI的创始人。我们是一个Gen AI的AI Startup。我们现在主要做的方向是在建立一个AI Agents specifically for SRE (Site Reliability Engineer) 这样一个Domain。在整个大的Adapt Tooling当中，我们在Focus上叫Production Reliability，主要是这个方向的问题。我们的主要产品的Goal，就是希望帮助Software Company，让他们更快、更好、更省力地去resolve他们的product incident。对于公司来讲，也是节省他们的人力成本，同时让他们的Up time提高，然后对于公司的Loss Revenue，包括Loss的一些声誉，都会有这样的影响。这个问题几乎是在所有的这些Software Company当中，都是比较普遍的，然后这也是我过去工作当中最大的一个痛点。所以非常兴奋和一些小伙伴一起利用这个新的技术来Solve这样一个可能decades ago的一个痛点。
对，很高兴跟大家多聊一聊。
太棒了！因为我们知道在Software或者是Internet行业，一些重大的事故是往往造成直接损失巨大的一种情况。如果我们能够利用AI在这个方面能够减少一些这种情况的发生，或者是能够减少损失，我觉得对任何公司业务都是有一个Huge impact。不知道Roger是不是也是看上了这一点才投的Eric？Roger，你要不要讲一下情况？
对，我可以先介绍一下我自己。大家好，我叫Roger Luo，我的中文名就叫罗杰。我是Embedding VC的创始人。Embedding VC是一家在硅谷专注于投资早期的原生AI应用，还有AI软件的中间层，就包括开发工具的早期VC。我自己在AI领域搬砖20年，最早我是2011年拿的Machine Learning的PhD，然后之后在雅虎研究院、Snapchat还有Niantic都工作过。之前跟几个小伙伴一起创立了Snapchat的研究院，然后在之后还在Niantic（就是Pokemon Go的开发者）做过Head of Machine Learning AI。离开Snap之后，我们还做过两次AI SaaS的创业，作为联合创始人，然后其中一家公司我们成功退出。另外一个我们从硅谷几家头部的VC (A16Z、Lightspeed、Menlo Ventures) 一共融了60Million。之后中间为了了解创业圈，所以为了自己创业做准备，也参与了很多作为Venture Partner跟天使投资人，参与了很多天使投资的项目。然后其中就是软件跟开发工具是我们很Focus的，还有AI Saas是我们很Focus的一个赛道。现在就终于在23年底的时候，刚好之前一段项目结束，然后Join the Dark Side，变成一个全职投资了，然后launch了我们的Embedding VC。
厉害。您说一下是怎么投到Eric头上去的吗？中间有什么故事给我们说说呗？
我也可以先说一下。很重要一点，我之前跟Roger我们有，应该有两年我觉得应该差不多两年多吧，一起在Snap工作的一个经历。当时我主要作为这个Infrastructure这个side，然后Roger和他的Team主要Machine Learning的算法这个side。我们合作了蛮长时间，所以互相也都这个比较了解，都比较信任。然后自从我我是23年开始创业，然后也Roger也是前辈，这个创业的前辈有很多的经验，向他取了很多的经。所以几乎是从Day 1，我记得很早我们就开始打电话，就那会真的就是Purely Idea，有很多Random Idea，然后也得到很多Feedback。然后对我觉得到后期，当我们项目开始慢慢成型，然后也确定方向，然后像Roger说这个AI in dev tooling SaaS这个space，肯定是一个非常Clear的opportunity。然后我们解决的痛点也是非常well known，同时Roger也是相信我们这个Team，有这样的background和这样的过去的experience来solve这个问题。所以最后大家走到一起，然后一起合作。
补充一点，就Eric cover的非常好。最早Eric在探讨创业方向的时候，我们也ideation过很多不同的idea。之前几个idea，就是我自己没有那么感冒，也经常给他很多比较honest的feedback。但是当Eric最后converge到Bacca这个idea的时候，我觉得idea非常的make sense。因为我们当时也一直在寻找各类的AI teammate的方向，现在大家很多人叫他AI agent。我们看好他在很多一些行业的应用，但首先工程engineering，第一是我们最熟悉的行业，然后本身这些AI的智能，大语言模型的智能在这块也是发展最快的。所以我们看到了一个很好的机会。另外一点主要是团队，就是Eric跟他的团队，其他几位一起创业的小伙伴，我们也都一起共事了很多年。然后大家作为工程师出身，也特别的懂这个痛点，然后帮工程师解决这个痛点，也能够很好的引起工程师的共鸣，然后把这个产品卖给大家。所以很快的就参与到这个项目的早期的创立中，然后支持了Eric。
我觉得可能再稍微补充一点。我觉得现在也maybe在25年了，我也知道我们不是唯一的团队在solve this problem。然后相对来讲，这还是一个相对小众一点的赛道。我觉得大家在23年的时候，大家唯一在考虑的都是Get up Copilot, Cursor, Cursor那时候也刚开始火。然后就是在这个AI generating code这个部分。我觉得大部分的大家的思考，可能是engineer主要的工作就是写code。这可能是大部分不是engineer的人的stereotype。然后那ok，那所有为engineer做的事情就帮大家generate code。那我觉得在真实的环境当中，engineer写code的时间maybe less than 50%，甚至可能是30%。你有很多的工作在你的整个的life cycle，或者我们管它叫operation，你整个你要做一个operational excellence的engineer。所以我们focus on的其实是在complement AI写完code以后，what do you do？你还是需要去maintain它。所以可能这个maybe someway也是这个contrarian view。当时跟Roger交流过以后，大家觉得这是一个当时大家还没有形成共识的一个point，但又是很clear的一个opportunity。
我们就不得不来好好聊一下你们这个idea了。说实话，我们最开始，我们来聊你的项目的时候，我也是有这种感觉，就是说团队是怎么想到要去运用AI解决，就是说一些重大的故障，一些downtime，怎么想到用AI来解决这个问题？因为当你初一听这个问题，你好像觉得这事情跟AI没什么太大的关系，对吧？比方说这个site down了，down了那就down了，对吧？那AI能做啥？那不像是coding，大家一听就AI可以比方说把这些code都写出来，你很自然而然可以联想到。这块其实这个联接跟AI联接，其实并没有那么strong。所以我最开始其实很感兴趣，就是你最开始是怎么把这两个事情给联系到一起的？因为它的切入点还比较unique，不是那么的straightforward。
对，我觉得可能从几个角度。我觉得最number one可能还是足够痛。就是你会发现现在，我觉得在大部分的硅谷的公司，大家都没有很少有一个职位叫做全职的SRE。这个可能Google有，然后Uber可能有，但是慢慢的，尤其是你可以maybe look at所有的2010年以后发展成长的公司，都不会有一个dedicated person，他的full time job就是我帮你去site down，我去解决，对吧？再维护这些东西。所有的model都是叫做DevOps，对吧？就是你白天写code，晚上维护。所以如果去采访engineer，我就是I don't have the exact number，但我觉得90%到95%的engineer都会说I hate this。没有人真的，我在我的十几年的career当中，也遇到了真的就5%的人，他fundamentally真的很love这个事情，他很take it very proudly。majority people，大家更多的是ok，我的主要的focus还是我launch新feature，对吧？写新code。然后这也是how engineer get compensated，然后get promoted to be very practical。所以首先就是这个，是所有engineer，几乎你问他是最least like part of their job。很多engineer真的就literally quit the team or quit the job就是for this。对，所以我觉得这个是最，应该说我们最初的一个初心，就是大家真的在人在suffer。
然后说by the way，你是因为在这个岗位上做了很长时间？
对我，对。
对。
我就想说就unfortunately或者fortunately，我就是这个人。但我是属于那个5%，我确实蛮enjoy being able to do it。当然这个也有一个，你会take a toll对吧？就是你可能你前三次你能解决一个很大的outage，你非常的兴奋，非常的proud。但但是这个会有一个，一个reinforcement loop。公司会觉得ok，你可以解决，那next time还是you，next time。你没有you never get out of it。只有你quit这个job，你才可以get out of it。所以我觉得这个就是我们看到的从，你可以说某种程度是culture的问题，导致的人真的在suffer，而且是非常，只有非常少人可以去solve它。我觉得这个是最最最根本。
然后我们聊一聊suffer的部分。我觉得这个部分得好好展开聊聊。就就我的感觉，我觉得可能虽然我我以前做engineer的时候，倒没有on call过，但也确实出现过比较严重的bug，然后大周末的跟着我们的director，两个人一起在这里结对编程，这里改bug，也是很suffer。但是我相信更多的suffer可能是第一是on call，就是这种你不知道什么时候会出问题的状况，而且是不管你在哪，出了问题以后，你必须要多少分钟内要，去上线去解决这个问题。这是最痛苦的地方吗？是是这个事情本身，还是说是这种不确定性，还是说他对你的这个一个人的压力，或者说随时给到你一个一个pressure，在那个地方？这个压力到底在在在什么地方是最痛？
我觉得你说的几点当然都是有的，但我觉得可能再往深的一点，就是on call这个概念，在很多地方，你会发现它也没有那么的make sense。因为现在大家software变化越来越快，尤其随着AI的加入，只会越来越多的software产生，然后iterate越来越快。最后发生的就是只有少数的人，对于某个particular的area，他是expert。无论你可以有一个rotation，你可以有一个ten这个twenty people的rotation，那most likely就还是那一个人。所以更多的是这种，就是responsibility，你永远无法去get out of it。而且真的是365天24小时，you're always behind。然后对，我觉得就personal experience，因为我在snap时间比较长，整个而且我负责的这个system，是snap的几乎所有的revenue的来源。所以每一分钟down，就是literally几个million dollar的revenue。然后又unfortunately，我就是365*24*7的那个人。所有的事情它只能bubble到我这里，我不能再，我再上去就是vp了，就我不可能再往上面让他来去帮我handle。所以vp也只是会打电话，把你叫起来，继续handle这个问题。对。所以到最后的情况，就是365天24小时，有一个几百个million的DAU的人，几个亿的人在用，同时几个billion revenue，这个per year ahead的东西，只有我一个人可以solve。某种程度来讲，我可以给你讲一个非常，就我自己最interesting的一个，一个这个incident handling experience。对，是。我记得大概是2019年疫情前19年，我那时候正在休假，然后我正好是在从香港飞回San Francisco的机场，马上要登机了。然后我们的这个主要的revenue generating product就挂掉了。而且那个挂还不是我们的挂，其实这个也是一个interesting point，就其实现在的software，不是一定是你自己发生什么错了。其实是我们最后是Google，我们是rely on Google cloud GCP，有个非常大的outage。但GCP 1 hour to recover了，那Snap take 24 hours to recover。这个也是就有很多的，我就不go into detail。但就anyway，就我get on the plane，everything is done。从CEO到这个VP，所有人都5分钟就ping我一次，what's going on，这个where are we？所以我最后等于整个是13个小时的flight，用了整个United的这个Airline WiFi，在一部分跟Snap的team，部分跟Google的team在一起来，在troubleshoot。然后那天的WiFi其实还不错，所以非常的luckily，基本上是应该是在两个小时，就是还有两个小时到SFO的时候，最终everything is resolved。对，这个overall可能我们大概lost了，这个10个million左右的这样的revenue。但如果我没有当时在外，就如果United WiFi doesn't work的话，可能就more than double of this impact。对，其实这个就是一个非常活生生的例子，就是一个公司虽然也不大不小了，对吧？也是个public company，但最终就是rely on someone，他有非常多的domain knowledge。因为我build the system from scratch，我有最多的domain，我才能把所有东西来connect起来。对，这个你当然回想起来，这是个很interesting的事情。但是你还想，你希望你是那个人在飞机上，然后来这个Hope这个飞机WiFi可以work吗？就我相信没有人愿意再成为，就这个我这样的这个角色。我觉得这个就是一个活生生的suffer的例子，也是我们就是很强的这个这个最初的原动力，为什么觉得ok，we have to do something about it。我不希望再有下一个这个坐飞机的人，要deal with this。
你刚才描述的这个故事，好像一个电影的一个，就很适合拍一个一个很紧张刺激的电影，对吧？从登机开始出问题了，然后怎么解决，然后跟谁沟通，然后一直到飞机快要降落的时候，终于修好了，都可以拍个电影。
是的。我还最后还在飞机上还take一个picture，对，就result take a snap发给大家。OK，这个是一个终于result。
对。Eric这个故事非常resonate with me。我觉得大部分的AI researcher跟scientist可能都没有这种on call的体验，但是很多工程师都有类似的这种horrible story about on call。然后我happen to be，我刚刚加入snap的时候，因为以前雅虎作为上一代的工程师的互联网公司也有on call team，所以never have to take this path。然后但我知道他们的工作是非常辛苦的。然后我之前也主要都在做research的工作，但在snap我加入的时候，团队还特别小，当时才200人，所以everything shift left。所以我们也需要做很多on call的工作。所以我们当时团队开发了一个，就计算机视觉的视频分析系统，需要去分析上传的这种public snap，就不是用户之间互相发的snap，但是有一些public的，等于是信息流可以公开的。然后这部分的snap，snap在每年会有几天会有特别大的这种并发量，一个是万圣节，还有就是在july 4th的这个，就是放烟火的时候。然后那个那年可能会有十几个million的这种烟火的视频被拍下来，然后再用那个，那时候还是16年，所以这方面技术都是特别早期，然后也并不是特别成熟吧。那当时团队已经做了很多的准备，然后那天也是我是在，我们有专门的on call的，因为当时我是出去在度假的。我那天在那个Rocky Mountain National Park。但是一样还是出现了问题到我这。我那天是我没有带电脑的，我用手机的terminal在那边做的这种解决问题。但是并没有那么复杂，其实最后其实也就是你要，新的机器，可能还要跟Google那边做coordination。所以这也是引发我觉得，这里头很多的工作有一定的know-how，但很多其实是机器能够被解决的。这也是为什么，就是当Eric找我讨论这个idea的时候，就是我觉得第一特别有吸引力，第二就是说是，这是一件机器能够解决的事。作为软件，如果我们能开发这种agent，就有能够创造特别大的价值。
来，我们就开始进入怎么解决。很核心的问题，AI怎么能解决这个问题？它能够代替你好像也不能够100%代替你对吧？但是能代替到什么程度？
对，我觉得可能就before talk about这个，我们是怎么解决的，我觉得可以先简单的回顾一下。就是这个问题其实几十年存在了，有软件有互联网系统就有。然后所以一直有很多的attempt在之前。但之前的attempt大部分的是从data的角度。当然这也是上一轮machine learning的，主要的我有massive data，we hope to mine something对吧？所以以前的主要的attempt说，ok，比如说我有很多log，很多machinelog，有很多metrics，很多time series对吧？我能不能做一些这种causal correlation，能找到一些，ok，如果这个发生了是不是这个问题？这些工作主要其实是在这个叫做metric platform，比如说像DataDog这样的公司，比如说像包括这些public cloud，对吧？这个AWS、Google都做很多这样的工作。但是就是从真实的公司的角度来讲，很少大家很少会利用到这样的一些工具。虽然这些工具已经widely available。最大的问题就是就是这里边的noise to true essence的这个ratio实在是太低了。因为当真实的production system，你一个事情fire了，你可能有一百个事情都在同时报警。谁是cost谁是effect？你说这两个东西correlate，然后你可能one of the hundred things，你找到的是对的。但是我在我非常很大pressure的时候，我没有这么多的精力去ok，look at all of these。然后你再去看人，尤其是expert，他到底是怎么去解决的？他不会去翻这个dashboard，翻log。就hopefully就是大海捞针一样的，ok，我看到了这个，我看到了这个。就是这是junior engineer会干的事情。但是你会发现senior engineer，他会他其实有点像这个侦探一样，他是在这个反向推理。通过ok，我现在看到了些什么，然后通过我对这个系统的了解，来反向ok，那可能有三个可能性，会导致这几个事情发生。那我怎么verify这三个可能性？那我需要看，我需要我现在需要，去找一个非常明确的东西，来证明或者证伪这三个可能性。对吧？然后我找到了，然后我再去再往下去推一层一层的，最终最终找到这个loopholes。它是一个top down的，它是一个非常逻辑化的这样的一个推理过程。而之前的这个time都是从data向reverse，从bottom up这么去走的。对，所以就是这个是我们认为，就是最核心的为什么之前的不work，然后也是我们认为为什么这一轮LLM这个Gen AI它可以带来很大的不同的点。
回答你最早刚才那个问题，就是我们认为真正的核心是这些expert，这些domain knowledge，institution knowledge。它其实就是这个，它的自己的逻辑树。怎么能把它从这个公司当中提取出来，然后让这个AI agent来试图replicate，就像这一个这一个expert一样，从上到下。ok，我现在这个事情发生了，我现在要看这些东西，然后才能推到下一步。我们想去replicate这一套过程。这也是我们认为就是过去没有这个，没有，人是这样去来solve的问题，也是我们认为Gen AI可以做到。因为这些data都是unstructured的，很多情况都是散落在各个部分的。但是我们通过Gen AI把它reconstruct出来，变成这样一个我们管的叫做knowledge graph，这样一个概念，让这个Gen AI可以顺着这个graph，顺藤摸瓜的找到最终what happened。对，这个就是它会跟你说什么？AI最后的它可能不一定就是actually去能去解决这个问题，但是它的output是什么？是一些recommendation吗？还是说它我觉得最有可能的原因是123，对，它会给一个什么？
对，这个可能我刚才miss了一点。就是我们就是，我们今天solve的主要的问题叫做root cost analysis，或者叫triage。你在整个的incident handling当中，你大概就是说ok，你现在找到问题，才能试图去解决问题去mitigation。对吧？那对于software的问题来讲，incident来讲，80%到90%时间你是花在triage，你在定位，你在找到route cost。对吧？对，就是为什么，就是到底是为什么？这个东西可能很简单，ok，我们就make a release，对吧？你break the code。但也可以很复杂，你可以有multiple dependency，你有可能multiple queue backup，你可能会有各种各样的问题。而且这些问题可能同时发生。所以哪个到底是真正的root cost？最后的mitigation，当然mitigation你要能work，一定是你找到了真实的root cost。所以它是一个step by step的过程。所以我们的end goal，肯定是去帮你去做这个mitigation。但今天我们主要focus是root cost identification，这个80%到90%的工作。那我们最后会告诉你，Bacca认为什么是真正的root cost，同时给你非常progressive，会给你一个很短的一个reasoning，为什么？包括data。因为一个engineer product很重要的是，你要能build trust with engineer。对吧？所以你说的话你要能够back it up。对，所以我们要有data来证明，为什么我们get to this。然后on the roadmap next step，其实这个不完全是一个engineering problem，可能更多是一个trust和cultural problem。当我们build trust with engineer以后，我们就可以帮你take the action。对吧？如果5次我每次都right，我们都是get to the right action，the right root cost。那我们就去帮你去做next step。是这样的一个逻辑。
你们观察到准确度怎么样？就现在在你们已经有一些客户上，或者在你们的一些测试的情况下？
对，就5次里面能对多少次？我们overall能到90%以上的accuracy。对，然后对我们自己也有自己的internal evaluation的process。然后都不需要我们，其实我们有很多thoughts在product design当中，并不需要user explicitly说ok，你对了或你错了。因为最终大家还是要去solve this problem。对吧？那最终大家肯定会说，或者会either explicit或implicit会说最终是为什么。所以我们会有一个等于是next day，我们会来evaluate昨天我们所做的事情，versus人真正做的事情，以及真正找到root cost，他们之间success rate。对，我们会做这样的internal evaluation。同时很重要的也是feedback。对吧？哪怕我这次做错了，但是你这次again不需要explicit跟Bacca说你做错了，而是你真正把它solve。因为你anyway要solve它，你solve了以后，我知道你这次是这么solve的，所以我就学会了，next time我就会跟你一样这么去solve。
我我是不是可以这么理解？就是说你刚才说的80% 90%的时间其实是在找问题，对吧？最终解决问题可能很简单，比方说你可能就是重启一下这个系统，可能就是one click，然后的rollback一个change。这个问题就解决。但是你要找到这个问题在哪，可能要花80% 90%的时间。通过AI是不是就是把80% 90%的时间，减少到也许只有10%或者5%，就很快就能迅速定位？那真正的fix可能就会非常快，可能只要原来1/5甚至1/10的时间，就能够把这个问题给解决？可以这么理解？
对，对。尤其是比如说你夜里三点钟，你在床上，或者Roger说你在mountain上，你只有手机。对吧？你之前你是很困难通过手机去找，找log，找metrics什么。这个几乎是这个mission impossible。但是如果我去quickly知道what happened，很多时候去点那个东西并没有那么难。对吧？甚至我可能有时候是我要找我的partner，对吧？我的dependency，我要找AWS可能是他们出问题了。对吧？那这个，但 I need to tell him why we saw this。所以这个主要时间花在了前面。后边那个部分，我甚至可以在手机上，在床上就可以完成。
嗯，这个还是非常impressive。这个事情如果能够大规模的应用的话，对于所有的软件公司和internet公司，都是会有一个巨大的一个营收方面的提升。而且我觉得这个东西本身，你今天是用AI来分析一个downtime，一个incident。对吧？但其实如果你知道model跑通了的话，他其实可以分析的他不仅仅是这么一个downtime，但是可以分析更多的故障，更多的问题，更多的bug。嗯，那这个空间就不一样了。我不知道啊，我不知道投资人是怎么想的？这只是我的一个自己的发散性思维。投资人是不是看得更远一点？就是这个，这个当然现有market已经非常不错了，但是long run，你是不是看到了更多的这个可能性？
我挺同意你说的。就是long run肯定是看到了。我们也是作为大部早期投资人，都是一个乐观主义者。所以long run肯定是看到了。它有非常大的一个TAM (Total Addressable Market)。就是现在大家已经可以看到很多的数据，就是50%的code，github上code都是Gen AI生成的。是吧？未来大家的描述是，每个agent就相当于现在的网页。地球上有60亿人，可能，有几千亿的agent。那这个时候没有办法有，而且很多都是机器生成的。那中间有的可能调用量很小，但有的可能是，就是整个人民的生活，或者说国际民生都depend on it。那这个时候对吧？就是当他们出现了问题，谁能来解决？也需要有agent来自动的debug。这也就是我们对未来的一个期望吧。就是像2000年，刚开始2000年初的时候，2010年初的时候，其实当时saas没有那么火。很多人其实对saas，也就是对saas的整个TAM，有一个under estimation。他们觉得saas可能就是一个软件服务同样的赛道。后来发现当很多的软件都上云，然后公司都上云以后，然后这个TAM比原来想象要大了十倍。我对整个AI agent，或者说未来的AI的整个经济的size，还是非常乐观的。
我觉得这个点题特别好。以后写程序其实就是AI。对吧？那出了问题，你找人已经找不上了。没有Eric这样的人能够，我这些东西都懂。这东西怎么build起来的？怎么connect起来的？等AI开始自己变成以后，可能这都是black box to everyone。然后当你出了问题以后，你只能指望AI能够把这个问题找到，让AI自己变化出去了。从long run来讲，它其实是有一个feedback loop。对吧？因为其实在软件行业，或者说在SRE这个领域，大家会说先是mitigation。对吧？出了问题我要解决问题。那这是我们今天主要focus的部分。但是next step就叫detection。那我希望下一次我需要更早的可以知道问题。那这里的话就需要，ok，那到底你miss哪些metrics？哪些observability？那这个就需要你，或者我们作为一个production的AI agent，告诉这个写code的AI agent，我缺了这些东西。所以下次我需要先知道这个。这个是detection。最后的终结叫prevention。当我我知道了我这个system，在什么地方经常容易fail，我才能去非常targeted去optimize我的code。对吧？我这里说的不是说我的code写的有个bug，对吧？这好像逻辑什么，那个new printer exception这种简单的东西。更多的是你可能architecturally，对吧？maybe你code一个critical dependency，但其实你并不需要在online critical去dependent它。这样的一些问题。这种问题again，你在写code的时候，你作为一个AI的写code的agent，你是不知道的。你需要的是谁在帮你run它的那个人，告诉你这里经常出问题。我需要类似于我这个Bacca AI的bot，在review你这个cursor写的code，告诉你这里这么写，经常容易出问题。所以我们应该这么去写。所以它，我们vision里有这样的一个非常非常healthy的positive loop在里面，才可以让整个从生成到生产，整个都让AI来参与，可以真正跑通。
其实现在我也观察到有一个比较明显的趋势，就是特别是生成式AI，大家已经在各个domain，各个小的segment上，开始在研究专门的agent。就好像前段时间，我们也是做了访谈，就是做一个网站生成的，一个AI的一个startup。他们的做法其实就是有那么7到8个agent，就每个agent的负责做一个事。比如说有coordinate统筹的，类似一个PM，对吧？有专门负责design的，有写前端的，有写后端的，还有一个agent的负责，把这个东西串起来，能够跑通的。然后这几个agent的互相之间，就一直在交互，对吧？就是我这里怎么怎么样，你那边怎么怎么样，然后我这边要调整怎么怎么样，然后怎么都connect起来。我觉得你刚才描述的场景，就非常像我们所刚才提到的场景。At the end of the day，从前到后，从开始项目开始创立到最后完成它，你就会发现这里面可能有无数的AI agent在coordinate。最后就是一个，怎么讲，agent的大军自己在work，自己在coordinate，然后把这个事情给做起来。
在你们的vision里是不是，这可能是一个很有可能会出现的一个场景？
对，这个我觉得AI agent workforce，对吧？这样的一个概念，其实大家也都讲了很久了。我觉得肯定in the not so much distance future，我觉得会发生的。但还是可能更多想说，就是在before that happen，其实很重要的还是怎么样可以有human in the loop。我觉得在next，I don't know a few year，这个还是会是更，更realistic这样的一个setup。对吧？尤其在真正serious的地方。今天无论从technical角度，质量，以及culturally，大家是否真的能fully trust，让AI在这么critical的地方，去fully take over，都还没有get there。而且我honestly，不敢说，就是或者说在这个domain specific engineering这个domain，它可能会发生的，我觉得可能会甚至比一些domain会晚一些。因为因为engineering有一个很不好的点，就是它会非常的skeptical。因为大家是非常非常expert in what you're doing。你会发现越expert的人，越skeptical someone else来take your job。对吧？这个我们自己有在座的，也经常会发现，越junior的人，反而越OK。对吧？anything is better than nothing。但如果我就是这个expert，那我会set bar非常高。对，所以可能就是在，在这么高的一个bar，还没有达到之前，怎么样可以有非常好的产品设计，以及很好的feedback loop，能够让用户，既能得到帮助，同时又不会觉得overly annoyed，然后同时还有controllable。对吧？我需要能够control这个。然后还有predictable，你不能这一次对，下一次就不对。对吧？这些问题其实都是我们，在build虽然很好的一个vision的时候，遇到的一些很真实的问题。就engineers want control，want predictability。这些问题都是我们想在解决的。
嗯，基于这么一个现状，你们现在，你们公司目前最大的一个目标是什么？你再往前推进的方向是什么？
应该就是我，像我前面讲，就是我们的目标，就是solve，把这个root cause analysis做得很准，就reliable，可以做到95%以上的这个accuracy。同时还有一个问题是accurate，是这个，是这个coverage。就是我们能solve多少percent的问题。这两个，其实就是这个Roger应该很懂，其实一个，一个position跟recall，类似这样的一个问题在里面。这两个，我们都是希望能同时去improve。如果我们能够做到，可以solve 90% of your problem and 90% accuracy，那我觉得这就是一个很，我觉得已经就可以cross the bar of the human engineer，觉得ok，I can trust this。我们还有一定的距离去get there。今天我们面临的主要的technical challenge，其实主要是在coverage方面。我们之前的主要focus，希望ok，我不知道，我就不要做了。就不要说，这个当然我们也是我们跟跟这个公司去合作的时候发现，当你不知道的时候，你说了一些东西，还不如不说。对，所以只有你非常确定的时候，你再去做。但当然了，这个如果coverage太低的话，别人大部分都看不到，那可能也觉得ok，你们没有那么有用。所以这两个都是很重要，你既要coverage多，同时你要准。所以这两个metrics是我们主要核心的，在track的两个metrics。
了解。你是不是需要很多的，就是domain expert的初期的一个input，才让coverage变得更多？还是说这个AI agent可以自己的involve，他可以自己学习？
对，就是我们的核心，当然是自己去evolve。但是我们realize一个问题，也是你可能没有那么多的时间，来让你evolve。其实你怎么initially，这个cold start，你怎么进去？很快一周两周，你就可以，这个甚至一天，对吧？解决实际的问题，对吧？对，你就可以开始do something，对吧？因为这个是一个，就像你招了一个新人一样，对吧？他如果什么都做不了，你可能也不愿意教他。然后，但她如果可以开始做一些事情，你就愿意教他。他是一个这样的一个loop。对，所以刚才讲的这个coverage问题，主要是在于怎么能cold start，怎么能在第一天进去的时候，利用你历史的数据，在没有任何的之前的交互的情况下，能够学到，你们的domain specific的逻辑。对，我们也主要就是通过过去的文档，聊天记录，所有我们能get our hands on的，这些artifact来进行学习，然后学到一个足够能上岗的一个程度，然后他就开始上岗，然后再开始每天在不断的学习，再来进步。
那我们提到这个学习的时候，我好奇问一下，因为很多时候你们on call的时候，可能会有一个channel，对吧？everybody is in that channel，然后大家就在channel里开始聊，我check了什么没问题，对吧？谁check了一个那个什么，然后有可能是什么？谁去check一下什么东西？大家可能会在讨论。这个东西AI能很快的学吗？就是他能够就是直接读这个聊天记录，能够比方说能够复盘，这个事情是什么原因，然后能够get it吗？
对，你基本上就这个unveil了我们的secret source。对，我们的secret source就是在试图复盘过去发生。然后我们主要是做的是一款在slack里边的一个一个interaction bot，也是大家今天所有engineer去solve问题的地方。所以我们就会去go through你所有的slack的history，来找到过去你是怎么去solve，那一次谁说了什么，最后这个人说了这句话，找到了这个东西，真正就是那个root cause，是这个idea了。但是这里边有很多的tricky的地方。首先大家说什么的都有，然后这里边的真正的truth，其实是比较难去找到的。同时你还要realize，就是说说什么和做什么，是完全两个层级的问题。对吧？就是你说我check了这个东西，我下次告诉你，你应该check这个东西，that's easy。这个就是text方面。但是我说我真正check了，这个东西，然后我作为一个learn的人，我下次可以跟你做一样的事情，这就是the next level。对吧？我需要真正的知道你后边，你到底点了什么，你到底是怎么check的？对吧？对，你是怎么check的？对，你到底看了什么东西？这里边就有非常多的complexity。所以这个可能也是partially回答你前面的一个问题，就是虽然我们这套general方法论，对吧？是学习内部知识，然后能apply到future，它是比较general的。但我们很多的engineering work，都是在这种非常deep的integration。就根据你用的是Data dog，对吧？你用的是Graphana，你用的是permifest，你用的是不同的这些data source。你check的方法会不一样。那我们怎么能学到，你当时是怎么check的这个部分？这个有很多非常，怎么说呢，not so sexy的engineering work在里面，才能make it happen。对。
我觉得这个过程太有意思了。怎么说？就是一方面，你看着一个AI的agent，像小baby一样，对吧？不断学习，不断能做更多的事情。另外一方面，又看看自己，对吧？这个很快就要被AI取代的，不剩下什么核心技能了。大部分的AI都能做。但是又很享受这个过程，就是看着这些AI，所有的AI周围的，一个一个都越来越聪明，能做更多的事情。我觉得非常impressive。我不知道咱们Roger大投资人，是怎么看这个事的？当然financial return，我知道你们肯定都很希望有financial return。除此之外，你们在看待这个事情的，这个involve的过程中，你们会更看重什么东西？或者说在这个domain，你们会更加关注一些什么点？
首先几点，就是这一轮实在是，就是每一天的 development都太快了。真的，就是在不断的加速。大家看到这个曲线，对吧？太快了。从投资的曲线，到AI能力的曲线，再到各个公司收入的曲线。这也是前所未有的。是吧？就是以前可能每年只会，要很多年才会有像curser这样，那个年收入几亿美金，产生一个年收入几亿美金的公司。现在很短的时间就达到了。所以作为投资人来说，也是在不确定性中找一些确定性。或者说在，我下决心创立基金的时候，其实当时在想的是，这一轮最大的risk，就是有关于AI能够创造的价值，是没有controversial view的。所以所有人都有非常大的，都非常坚信这一点。但是Eric刚才其实reveal了一个很好的secrets，就是其他如果还在探索创业的同学，就是也都可以，就是我们的view，或者说是大家说在OpenAI这么强大，对吧？就那个这些这种Foundation Model公司这么强大，融了这么多资源，然后时候，你应该怎么样找到机会？其实就是context跟knowledge，是这个价值是可以长期被积累下来，然后是你的key的differentiator。所以当你搭建产品的时候，对吧？就想到怎么样能够更好地capture context跟knowledge，然后supposedly non-public context。对，是。就这一点，就是可以大家都可以往这方面多思考，在不同的行业中找到他的机会。对吧？
最后就是，不会用AI的工程师，会被把AI用得很好的这一部分工程师，给取代掉。对吧？所有人，还有不会用AI的，大家都要学vibe coding。对吧？你下一个。对，以后新的interview现在，就是大家也都在讨论，对吧？有了大量的作弊工具。其实很多有move fast的公司，也在探讨一些新的这种，就是pro那种新形式，来以外来。我有朋友他们的公司，就是interview的时候，已经是，不让你，就是闭着眼睛写code了。而更多的是，允许你用AI。就是你可以用AI，但是你能不能用AI，把这个问题给解决，已经是gave up传统的这个interview的模式，去新时代的这个interview的形式，已经出现了。
对，我说我很想再就pop刚才Roger讲的那一点。就是我们当初在创业的时候，可能很重要的一点，也在想，就是哪些工作是，是真的你是rely on world knowledge的？那这个可能大概意思就是说，ok，你从一个公司跳槽到另外一个公司，你可能可以涨薪，或者是你可以很快的就融入到那个，你就可以get，就可以start working。这个我不知道是不是很proper的example。比如说doctor，对吧？你从一个医院的doctor，挪到了另外一个医院，应该不会有对你太大的区别。你还是在利用这个对人体的知识。我们认为这一部分的工作，Foundational model只会越来越强。然后作为startup来讲，你没有任何的优势，在data accumulation的方面，可以跟这些Foundational model providers去竞争。而且往往这些都是trillion dollar market，也是这些Foundational model providers会去focus的部分。所以我们主要在想，就是哪些工作，你从一个工作到另外一个工作，你几乎就是要从头学，你之前的knowledge就不太重要。这个可能是一个criteria。就是如果大家去思考，这个non public domain institution knowledge的时候。对，就分享一些。
你是说这个non public domain knowledge，在AI的时代下，对于个人来说是更重要的一个技能？对于创业公司来讲，我认为是一个很好的切入点，因为这个切入点代表的是，无论Foundational model多么的强，他都无法去solve你这个问题，或者甚至说他变得越强，你可以ride up on top，你会变得越来越好，但你永远不会被替代。反而有了你的加成。这个其实也是我们过去两年创业，我们最早的时候创业的那会，也只有GPT 3.5这样的一些非常early的model。当时做很多事情都很吃力。然后我们自己一直也在研究，怎么可以让model reason的更好。包括现在做的一些这种computational的一些computing，我们自己当然我们没有办法进入到model，我们只能在外面去做。但其实这些想法，都和这个industry在move along the direction是一样的。我们所以非常excited，想O1 model，包括后来所有这些model projector都开始进行reasoning的effort。这就是exactly我们需要的。然后我们就觉得每一次model release了，我们就get better了。这个feeling当然要比model release了，我们就irrelevant replace了。因为这其实是，如果时间拨回一年前，那个时候AI创业，大家脑子里更多的问题，就是说，如果我今天做一个AI agent，指不定明天OpenAI这个Chatgpt自己就能做这个事。对吧？马上我这个就死掉了。这是那个时候大部分人想的事。但是我觉得现在我看到更多的agent，就是当Chatgpt或者LLM evolve了以后，变得更聪明以后，它的工具本身更powerful，它并没有被这些model取代，反而是如虎添翼。我看到更多的例子，现在是这么一个情况。我觉得这就形成了一个良好的这个ecosystem，然后可以把整个的industry，能够带到一个更新的高度。这可能大部分原因是之前那些做脚手架的工作都已经，你已经看不到了。所以你才看到了这么多agent，都已经被replace了，就已经是，已经消失了是吧？活下来的都是，没有被replace的。对。
这个思考很有意思。因为我们以前在，就是从个人发展的角度来说，我们往往强调你的transferable skill。就是说你这个技能是不是transferable？如果你有很多可transfer的skill的话，对吧？你这个人的路子就很宽。对吧？你可以跳槽，在新的公司更好的公司，也可以发挥你的能力。但现在agent AI时代来了以后，发现反而是，已经越能transferable的skill，就越容易被AI所替代。反而是一些specific domain，或者是一些specialty，没办法被AI取代的，反而能够更好地survive。我觉得这也是一个很有意思的，一个趋势的变化。可能是，可能是AI出来之前，没有人真正想到这样的问题。但是现在可能越来越多的观察，会出现这样的一个情况。我不知道你们是怎么看这样的，这样的一个趋势？
我觉得可能更related的，我也挺想听Roger的看法。就是对现在很多这种general agent，对吧？general agent的一些，可能更主要面向consumer这个方向的一些effort。我不知道你对general agent的看法是怎么样？
我觉得现在市面上有两类的general agent，对吧？一类是自己有很多planning能力的general agent，比如说OpenAI的deep research，他们会不断地去evolve。这类的agent还是非常powerful的。其实市场真正的general agent是不多的。其实大部分你看到的，其他很多2C的产品，还是一个well engineering the product with well engineering the chain of saw，加上prompt。这类的agent短期内可以靠fill in，这些就是我说的真正的real agent的一些gap。比如说有一些产品把to user做得很好，fill这个gap，能够很快地去获得用户。剩下的就看是这部分用户，他们能够很好的把它保留下来，因为本身作为一个对话框的产品，你的客户的忠诚度是不高的。所以你需要能够真正长期解决用户的问题，让用户留存下来。但真正evolve的话，他们的产品路线肯定也是没有错。在没有那么多资源的情况下，未来可能会有这些更多的开源框架，也能够让他们的能力去持平。作为消费者来说的话，这种长尾的问题，这种general agent的确是非常powerful的。但作为大家头部常用的一些action，或者说一些app的话，还是会觉得还是一个产品focus more specific agent，还是会dominate，还是能够保持他们的优势。对。
你会考虑投一些消费方面向的，或者面向大众的general agent的一些startup吗？
我们有在看，也有做一些参与。但是我们可能对这类的投资，更多的长期是考虑他长期的一个differentiator在哪里，然后是不是会在巨头的航道上。这样的话就比较危险。
我们会不会避开哪些是巨头的航道？给你们透露一下，哪些航道是巨头的？这个面前马上就要被crush？
两个航道，那肯定一个就是personal assistant，还有一些大的这种品类的content这种品类。那剩下的还，还有。还有一个还是智能发展这条曲线，它能够把知识工具，肯定是竞争最激烈，也是价值最高的。
所以你觉得大的这些language model在发展，它自己本身就可以把这些事情cover了？或者像Apple这样的公司，对吧？虽然Apple一直做的不太好，但是它还是有这样的路。
你这个Apple一直做的不太好，这句话说的，剪了吗？我觉得你一直可能是从2015年以后一直，再早10年前就it's a different story。我觉得特别是Siri AI的产品。对，但这个Siri做的那么早，对吧？起了个大早赶了个晚集，没有搭上这股东风。我个人确实也可能没有那么看好general agent。我觉得这个agent，我认为核心的还是对工作流的理解，以及能靠deep，你可以integrate到大家的工作流当中。然后这种deep的工作流，往往的是domain的expertise。对，这种general的maybe很fun，对吧？你可以很酷的demo。但我觉得对我可能看不太到特别强的mode，或者differentiator这个点。短期内起码agent现在还没有它的AlphaGo zero的那个时刻。还没有到可能三五年，对吧？三五年后到了以后，我们可以再看。
会，会不会有一些新的surprise人类的这种，他们这种自己的chain of thought？
好，那今天非常开心跟两位一起来聊了一下Bacca AI，还有我们in general对整个AI行业发展的一个现状的讨论。我觉得每次跟嘉宾们聊AI的agent，就像前面Roger所说的，发展太快了。每次聊才过了几个星期甚至是一两个月，就发现又有很多新的东西，有很多新的idea，有很多新的evolve。我觉得在这个moment，能够甚至因为你们可能是参与者，我是旁观者，对吧？都感觉非常exciting。This is a great moment in the history。也是感谢两位的时间，来我们一起来聊了一个这个话题。希望大家听众朋友们，尤其是engineer，对吧？如果你不想那么苦逼的在on call了，对吧？可以联系Eric，看看能不能让AI帮你们快速的identify你们的问题。然后Roger也是非常资深的投资人，大家有问题也可以去联系Roger。给我们发邮件或者是发消息。好，今天非常高兴感谢两位的时间。我们有机会我们下次可以再接着聊。
好，谢谢。
感谢两位请我来。
拜拜。
拜拜。