Transcription
硅谷分会秉持着提升华人技术影响力的视频，为中美技术的交流提供最前沿的信息。我是主持人俊伟，本次特别邀请了哥大的俞舟教授和NYU的冯晨教授，我们一起探讨一下，从学术角度来探讨一下，现在这个大模型对我们的一些前沿的一个影响。
TGO鲲鹏会是极客邦旗下的领导者的交流的社区。好，那我的广告词念完了，现在我把话筒交给两位教授，先从冯教授开始。
大家好，我叫冯晨，然后在NYU做助理教授，我的研究方向是计算机视觉和机器人。
大家好，我叫俞舟，我在Columbia CS系做副教授，我的主要研究方向是自然语言处理。
感谢两位教授的时间和自我介绍。那现在是这样，我们可能接下来的50分钟到一个小时，我们大体上会按照这样的，真的按照时间线来，来更诉一下。Part 1，可能现在的第一个chapter呢，我们会聊一下，两位教授们如何选择当初开始这个方向作为自己的一个career。比如说哪个地方突然让你觉得开窍，而且是一个aha moment，我要选择做language，然后做NLP，或者是说哎，我要做一些这个微软跟机器人相关的这个事情。这属于那种当初你们实验室的祖传基因，老板就是就是这个style，就是这个topic了，然后我们只是对他更加扩展了的，而是本身自己的很强的一个兴趣使然，然后老板处于一个大散养的状态，自己慢慢的去找到了这个area，然后去慢慢的去成长自己呢？要不我先从这个冯晨教授开始。
Lady first吧，我们请先俞老师。
Lady first，哈哈哈。
呃，嗯，对，我们就还是比较，对我，我这比较特别。之前有写过，也有记得写过一些报道，就是因为我是，呃，就是很机缘巧合的情况下，就是当时从高中的时候，有一个小语种特招的这种渠道，可以提前入学去浙大。这就相当于我高三下半个学期的时候，就去浙大了，而是通过一种小语种特招的这种非正规途径。然后呢，我就当时呢，就被安排在外语学院，然后呢，我就选学了一些英语系的专业。然后之后呢，就是这个学期结束以后呢，我就回到了竺可桢学院，就就正常的就是选择工科。然后我呢，一直对这个英语这个语言还是挺感兴趣的，然后也有一个机会，所以说我就做了双学位，就是我是计算机系加上这个英语里面的这个linguistics。然后我就在语言学这边和计算机这边，就是我一直想，就是因为本身俩都比较喜欢，就像就是有什么比较融合的地方可以做。然后我当时呢，在本科的时候，是跟的何晓飞老师和蔡登老师。像何晓飞老师，他其实是专做Machine Learning，然后也做很多computer vision的早期的工作。然后呢，蔡登老师，他是当时UIUC韩家炜的学生，他们呢，主要做的是data mining，所以说其实不完全是NLP，但是都跟NLP有一些相关的。然后我在语言学这边呢，有一个老师，他是做Corpus Linguistics，也偏向于NLP，但也不完全是NLP。然后我呢，就是当时就选择了一个比较结合的这个，呃，本科的毕设就是做的是machine translation。啊，很特别的，就说中文和英文的translation呢，就是，啊，我们常通常说中文它是一个morphology特别少的语言，就说比如说我们讲英语中动词它是有过去时和现在时，不同的这个时态啊。所以说你一看到这个这个时态呢，你就知道这个是发生在过去或者是现在。但中文这个动词它是不会变形的，所以说你的那个表现你的时态呢，是我们就中文就会有一些特定的词语，就是说我吃过了，这个“了”就是代表了这个完成时态，对吧？啊，就是所以说我们这种在在这种两个语言差距这么大的情况下，怎么去做translation？对我当时就是单独做的，就是这个morphology的这个verb的morphology translation。那个时候还非常早期，就是很多是一种statistics加一些物在里面做的。因为我因为本身有一些很多语言学这个兴趣，然后我就一直觉得这个还是挺有意思的。然后我就之后申请了PhD，也是做这个NLP方向的啊。然后我是去了CMU去读这个，它专门有一个系，就是在这个computer science下面，就叫language technology Institute。然后我当时选这个系，是因为比较契合我自己的background。包括NLP，其实这个领域里面有很多老师，他都是有这个计算机和语言学的双重的background。可能很多人现在不知道，就比如说我们举个例子，Chris Manning，就是Stanford Chris Manning，他的本科是读的计算机，但是他的PhD其实是linguistics系的。然后就比如说我们在这个Stanford，Dandravsky，他的本科是linguistics系，PhD是是计算机系的。就是很多大部分都是像就是早期做这个的，都很多是从语言学来的，或者是很感兴趣，就是这个地方做一些交叉的。所以说这个是我们最早期就说，因为我本身做这个background比较宽一些，所以说会对这个东西就做的比较深一些。而且因为这个时间也比较久，所以说我们我就这个，这个包括我现在做了十几年，好十几年了，就基本上也就是还是以NLP为主，但是也会辐射出去做一些，比如说NLP和CV的结合，NLP和就凡是不是有private CV的结合，然后NLP和Robotics的结合。但是主要还是在focus在这个NLP中，不同的task，就比如说对话机器人啊，这个summarization啊，translation啊这种task。
那我就先补充一个小小的一个，一个小小的common。可能这个就是，首先感谢这个俞老师介绍，我觉得可能有的小伙伴没有注意到，你刚才的这个回顾当中，有非常非常多的这个诸暨的那种小点。呃，第一个点呢，就是这个韩老师，UIUC的韩老师，是在data mining领域属于那种开宗立派式的人物。所以其实你回过头来看，就是整个的一个career journey，在不断的遇到一些高人的指点，可能刚开始自己并没有意识到，只是一个兴趣的使然，但是总是在一个对的地方，然后碰到还有一些高手或者一些这个data import，然后我们自己的这个deep learning的这个脑子呢，就会被撤了一下，然后就可以trigger到另一个一个新的level。然后本身那个竺可桢学院，又是一个浙大类似一个基地班一样的，浙大本身已经很优秀了，然后竺可桢学院又是在一个基地班的那种level。所以虽然俞老师这个非常轻描淡写的说了一些事情，但是本身呢，就意味着非常high的这个quality。
那冯教授呢，介绍一下你的背景。
呃，对，我的背景会稍微不太一样一点。我做computer vision，但是，我其实不是从computer vision科班出身的。因为我本科是武大测绘的，那测绘里面我做的那个，我本科学的方向是做的叫做photogrammetry，就是摄影测量。那摄影测量这个领域，其实是computer vision的在工科里的前身，它比computer vision的历史要早很多。然后他想要，他要研究的问题就是，怎么样从二维的图像中获得对于这个地形，还有各种建筑物的这个三维，三维信息的量测。所以呃，这个当然在在很多年前，在甚至还没有计算机的年代，就已经有这门学科了。所以我在武大学习这个过程期间，就自然而然地对最新的这个computer vision这个方向产生了比较大的兴趣。然后包括我的本科的这个班主任，也是我的这个advisor，相当于把我领到这个这个领域里面来了吧。从那个时候我就开始读CVPR的paper，大概呃09年左右吧。那个时候CVPR还是一个相当小的会议，没有那么多人关注啊，不像现在。呃，所以但是因为我是工科的学位，不是computer science的这个本科学位，所以我申请，在申请PhD的时候，来美国这边，还是继续读的这个工科的这个学位。但是呢，我老板呢，我的PhD老板就比较放养。呃，这是它的好处，就随便我怎么去explore。所以呢，我来我就去了，我当时去的密歇根读的这个PhD。然后我读PhD的过程中有几个比较，这个因为我就会去和computer science的这些老师和学生交流关于research。因为我相当于大概还是总体上来说是兴趣为导向，是由兴趣出发的。但是在指导自己选择这个研究方向或者职业发展的方向过程中，会会用这个impact来做指导，来guide我做一些选择。所以当时我在密歇根是10年到15年，然后那个时候有一个视觉的方面一个很有名的一个老师，叫Silvio Savarese，他是我李飞飞老师的这个爱人。然后他当时正好在密歇根任教，所以我在跟他们组混迹了很长一段时间，跟他们的博士生也比较熟。另外还有一个老师是做机器人的，叫做Edwin Olson，他现在是有一个这个无人车的这个公司，叫做May Mobility。然后受这两位老师的影响特别大，包括技术方向啊。那个Silvio Savarese，他之前在密歇根的时候就做很多3D computivation。然后我因为本科就是做3D，就是就是做Photogrammetry，就是做3D这一块儿的。所以然后再加上这个Edwin Olson老师，他也是做这个sign这一块儿。所以所以我基本上在PhD期间呢，都是在focus在这个叫做computer vision里面，大致可以分两个方向，一个是geometric vision，然后另一块才是更现在这种偏learning的方向。所以我大概在15年之前，主要做的东西还是还是比较偏传统的geometric vision这一块儿东西。但是我在PhD的过程中，有去一个研究所做一个Intern，叫做MERL，就Mitsubishi Electric Research Labs。这个研究所在vision领域还是相当有名的，有很多早期的，比方说最早的这个实时人脸算法，这个Viola Jones算法的这个提出者就在就是就是这个MERL，现在还是MERL研究员Mike Jones啊。然后他当时这个研究所出来一大批computation和graphics方面的比较有影响力的这个研究人员，包括呃，bill Freeman老师，跟MIT的这个bill Freeman老师，也是在去在在去MIT之前，也是在这个实验室的。所以我去那边做intern之后，相当于大开眼界，然后打开了思路。
那对我自己来说大概有两个aha moments。一个是13年的时候，我做了我我的第一个比较有影响力的一个算法，就是做这个快速平面检测啊。这个是为机器人的这个应用所提出来的，就是很多做vision的研究研究人员当时不是很care这个算法的速度问题，但是如果你要用在机器人系统里面，一定得care这个实时应用的这个问题。然后我当时那个算法相当于是到目前为止还算是比较快的，这个这种在在GPU上比较快的这种平面检测算法。所以做出那个算法之后，我大概就有信心说，虽然我不是可能不是科班出身的这个computer vision researcher，但是好像我自己有能力能够propose一些research的这个direction以及solution，因为整个那个工作完全是自己自己独立做出来的。老板是放养，然后在intern期间的host，他跟我当时是那篇工作是持相反的意见，最后做出来事实证明方法是work的。所以这个给我比较大的一个positive feedback。所以这是第一个aha moment。
那第二一个大概是我毕业之后，17年18年左右，16年17年左右吧，在MERL做研究员的时候，就我毕业之后，MERL因为觉得和我合作非常愉快，就直接也没有面试我，就直接给了我这样offer，哈哈哈，我就我就毕业就直接去了。然后在那边工作的过程中，我当时就觉得这个传统的geometric vision这个方向，确实有点路有点窄不太好走了，然后就也在探索说要怎么样去选择新的方向。那当时比较呃，自然的选择就是deep learning。其实我第一次听到deep learning这个词大概是2011年的时候，因为我本科在在武大的时候是参加这个ACM比赛，就这个大学生程序射击竞赛，然后我是在武大的校队，所以校队里面认识很多程序设计的高手，他们毕业了之后去了像MSRA啊各种地方。然后我PhD期间回去跟他们吃饭，然后说最近有个东西叫deep learning，好像非常work。然后大概是11年的时候，第一次听说这个这个东西，但是一直没有机会去尝试。然后我真正开始做大概16年的时候。然后我当时我就想说，那既然那时候大家都在做object detection啊，就图像上的东西，我想说那我是做3D vision的，那那很自然就说怎么样用呃，能够harness the power of deep learning to process 3D data。所以我就在研究所里面就propose的一个project，叫做deep learning on point clouds啊。这个这个project马上获批，批了之后我们就招了几个Intern啊，其中有一个就是来自那个CMU的一个博士生，然后我们就做了一系列的工作，包括目前来说我自己最高影的一篇工作，就是folding net。也是就是比较早的几篇做这个，通过这个相当于用用deplaning的方法来处理点云这种三维数据，比较常见的机型里的三维数据的这样一些工作。
所以总体上来说，关于你那个问题，就说到是兴趣导向，还是还是这个impact导向，其实我觉得两者都有。应该是从十多年前开始做research就是由兴趣开端的，就确实觉得computer vision很有意思，因为你东西，你的研究的成果是你自己可以实打实可以看到的。你的包括一些中间结果，因为我们经常都喜欢去visualize我们的结果，在做computer vision和Robotics research，就我自己特别属于一个visual learner，所以就很自然的computer vision属于比较由兴趣引导。但是在这个过程中，具体去选择做什么东西，还是会受到肯定，会受impact，因为大家都想做有影响力的工作啊。所以大概这是我的（回答）。
谢谢老师，两位老师精彩的分享。其实我们如果recap一下看，两位在各自感兴趣的领域开始都有非常好的童子功，因为武大在国内的GIS也是排名非常靠前的，就是我们本身在本科阶段收获了很好的dominary training。然后在整个的一个职业发展过程当中，我们有兴趣，然后再往前拱一步一步地走的时候，我们又搭上了摩尔定律的这个power，本质上的其实就是这个这个硬件的最大的一个power，让我们整个一个计算能力就开始爆发，然后我们可以上更多的这个算法，然后又形成了一个正反馈。然后在很多可能做research的一些方法论的过程当中，我们遇到了一些世界顶级的老师，在这个时候我们突然就起来了，就可以立得住。
对对对，基本会是这样的。那我为什么会提这个问题呢？是因为我之前读过Prestige的，然后听过了一个比较有意思的笑话，就是普林斯顿大学当初这个数学系说叫那个叫什么Felix克莱因的那个教授，然后他当初为了让学生毕业，一般情况下是这样，就是你做一个在三维的一个定理，然后下个人再做一个四维的定理，然后慢慢的再贴着一个同样的定理，知道吗？就是孩子们就毕业了。这就是为什么我说哎，这个是不是就是大老板挖坑呢？还是最后自己的确是找到了一个新的突破的一个方向？直到他后来遇到了一个叫coskey的那个大神，他一出手就把any divation就给震满了，然后就变成老板的坑，一下子被灌水灌满了，然后老板就不得不重新再去挖一个新坑。这是我当初听到一个蛮有意思的。因为有的情况下是这样，就是学生本身就特别优秀嘛，然后他自己就会挖坑，然后慢慢的去把这个东西给找出来。然后有的呢，可能就是说这个professor更加的自己比较强势，然后他建立了一个东西，然后其他的小伙伴们不断背上这个这个类似于一个纲领一样去填充。
嗯，好嘞，那我们再把问题再往下，这个稍微的引导一下。可能现在的这个，问题更多的说Part 2，现在所谓的这个大模型，无论是在语言上的大模型，或者是说前一段时间的在微软当中的GPT，它也提供了很多的这个一系列新的inside。那如果从语言这个模型的角度来看，在传统的那些ARP的问题，现在在大模型当中解决了怎么样？这是这是第一个问题，比较general。那如果是我们已经有了这样的助力，那比如说为什么俞教授又focus在所谓的多轮对话，然后除了自己的这个research，觉得哎，我这个多轮对话当中做的可能是比传统大模型好一些，然后还的确需要做一些商用的。我觉得这个背后的思考是怎么回事？就是它已经解决了一些问题，可以进到商业当中了，然后我们为什么又去就focus在这个地方，还要就要更进一步对他？他的问题就是他在用哪些地方没怎么解决干净呢？先从俞教授开始。
就这个，确实比如说非常简单的问题，很多都已经解决的很好了，就是我们传统的一些NLP的问题，就比如说tokenization，PUS tagging，parsing，嗯，sentiment classification做的都是不错的。但是呃，然后但是有一些比较高级点的这个test，或者是某一个vertical的test，它就做的不是特别好。就是我们说它现在，而且它不是well calibrated with这种reasoning test，common sense它也做的不是特别好。嗯，比如说我们可以想说，就是多轮对话，它这个也，是有很大的这个constrained，因为他没有planning system对吧？它只是因为它的原始的数据的train都是one turn的，不是multiple turn。就我们假设一个非常简单的问题，就是说哎，我要做一个e-commerce recommendation system，对吧？然后我是希望是一个导购这样子，我提什么问题，我什么时候提这个问题，什么时候去给你这个推荐？如果你拒绝了推荐，我接下来该怎么做？对吧？这个本身就是一个planning system。嗯，这个的话GPT的planning system做得还不是特别好，因为它没有受到类似的training。嗯，但确实现在比如说ROHF啊等等，就会improve这种hallucination啊，factualness。但是还是有没有做到特别的好，还是会有corner cases。也in general，就说一个balance between informativeness和这个factualness。嗯，怎么说呢？因为我们现在的这个，这个大家用的GPT模型都是generation base模型，对吧？他是包括各种各样子的，因为他这个本身的训练的原因，所以说他有一些tone of phase或者等等logic，都是因为有一些有一点固定。那比如说，你要把它带到不同的应用领域里面，就是你可能说这个可能可以解决你80%的问题，但是这个事件的20%还是没有解决，就这个last mile还是不行。但是有很多高风险的这个行业，这个20%肯定是要解决到非常非常接近于零才可以正式应用的。那么就比如说金融行业啊，这种，对吧？然后医疗行业等等，他们有很多的这种data privacy issue，然后有很多种high risk decisions，然后还有regulations。现在的model不是很explainable，它不能告诉你为什么我得到这样的答案，我有多少的confidence得到这个答案。就说所以说在这一些某些regulated area，它非常难做到真正的落地。大家都会觉得说，就是把它作为一种就是personal assistant，你用一用你看看，这个有用没用，嗯，没关系，对吧？但是如果你要真的把它implement到你现有的work for，那就有很多各种各样的reliability test需要做。所以说我觉得就说，还有我们常说的这个generalizability对吧？就说呃，像general GPT很好的部分是，它可以做Zero shot，few shot，就说你直接给他一个instruction，也不给他一个example，他就可以做。但是这个Zero shot和few shot肯定它这个limitation还是有的，对吧？它还是只能做到80%，90%。那这个剩下的10%怎么办？对吧？那现在大家也会在测试这种open source model去做finding in。如果你这个task有很多的类似的数据，那做fine tune可能可以超过这个GEL shot或者view shot。但是问题就是说，你把它换到一个领域，它这不就不generalize了，你又得重新收集数据，对吧？所以说现在还是一个非常让trade up的问题。就说这种特别大的模型，像GPT它特别好，但是它又不open source，你不能在它这个上面去原始的模型上改，你只能在后面加补丁，对吧？那整个这个pipeline就比较比较冗余。而且你有很多的reliability的test，像最大的一个问题就是说evaluation，我怎么知道这个GPT生成的这个东西是对的还是不对？对吧？我得要benchmark一下，才能说服我的这个stakeholder说去deploy这个。但是这个本身的evaluation就很难。嗯，你要非常专业的人一个一个去看，因为他这个有一些答案可能很像，但是他又不是完全正确的。那这个就是有很危险的，这个这个这个东西就出现了。所以说整个来说，现在的last mile的问题大家还在就是探讨怎么可以解决。
那如果对vision的叫做，比如说这个GPT 4V这件事情，对我们在做一些vision再加一些这种机器人的这个研究的research，他算是说给我们多大的助力？是把我们很多情况下，这个为你解决的问题，已经解决的很好呢？
Part 2——冯晨
那从我们的这个角度来看，vision会有哪些新的资料往进往退一步的呢？
冯教授。
呃，就是还是有一个last mile的那么个问题，是吧？如果你的问题是说，像GPT 4V这样的工作，对于Robotics引爆力AI这一块儿，包括computer vision这一块儿的研究，带来什么样的影响？我觉得首先大家是非常exciting。我的学生那个GPT 4一出来之后，马上开始尝试各种，因为我们学院是做了很多一些nontradition一些task，一些dataset，然后我们就拿去试。确实在在某些case上，它能表现出非常amazing的，就是接近人类performance的这个能力。所以大家是非常excited。但是接下来马上我们的question就是what is the limit？因为因为在刚出来的时候，你就像刚俞老师说的，它没有open source，然后甚至一开头，他连这个接口都没有，都没有公布，最近才公布对吧？我们现在正在，我们几篇CVPR的工作里面，正在加加班加点的去测试他们的这个performance。就怎么说呢？我觉得还处于它的肯定是根据之前的这些像Microsoft release出来的这些study，肯定是，我们是非常excited，非常welcome to embrace the progress。但是我，我，我自己有研究组里面和学生讨论的话，我们会持一个谨慎的观点，就是在我们没有做更大规模的测试之前，我们不妄下结论。因为有的时候，很多时候，你可能human是非常容易根据少数几个example，然后马上一下generalize到一个很大的这个结论上去。但是这不是不一定是一个非常scientific的研究的态度。我们要就是就是说它到底能做到什么样子，我们还是我觉得还是要再等等看。有更多大规模的这个数据集，如果说能够避开他的这个训练集的情况下，我们能够去做更多的这个test，那我相信放在mental里它肯定是有，相比以前我们computeration的这个这个研究来说，肯定是有一个一个大的这个飞跃，这是毋庸置疑的。但是具体它的这个limit在哪有，就包括像俞老师说的这个80%，现在有的问题，我们都不知道它到底是80%，就是大家觉得它好像能解决这个问题，但是我甚至都不知道它到底是80%还是60%。那这个问题就很，尤其在机器人和在我们engineering里面，就非常恼火，因为我不知道什么时候该trust你。就我们组有一个研究方向，是研究这个uncertainty，就是我们视觉算法的这个uncertainty quantification啊。我们和那个康大的苗菲老师他们合作，就因为在机器人系统里面，尤其像无人车呀，然后像这个服务机器人啊，工业机器人，你必须要知道一个uncertainty estimation，你才能去做decision的。要不然你不能相信你的算法，你的这个视觉算前端perception啊，Gordon给了你某些这个state estimation，这个到底有多准，它有多你，你到底有多大的程度能相信他？后端的这个planning algorithm和control algorithm都是必须要依赖这个信息的。而现在有的关于像大模型里面呃，这些foundation model的uncertainty的问题，我觉得也是一个比较有趣的，我们我们组在看，我觉得也应该有很多其他的组都在探讨这方面的这个。因为如果不解决这个问题的话，你要想把它用进来，现在已经有很多工作了，在robotics里面，就去年以来，有很多包括deep mind呀，然后各个这些顶尖的研究组，都做了很多工作，非常interesting，非常exciting。因为相当于是利用了这种大模型的，对他的这种common sense的understanding，然后对于这种common task decomposition能力，可以把一个human instruction，把它decompose成一些比较比较fine detail的这种robotic的instruction。这个在robotics里面historically is a challenging problem，因为大家或者说大家都不知道该如何去解决它，因为就没有不存在这样的一个工具。在以前来说，你你基本都是rule based，就我们所有做robotics以前都是写这个Ross的code，你要把整个这个plan一步一步要写好的啊。那现在的话，倒没有那么夸张，因为还是会有一些有有一些这种状态机的模型，会让你能够做的更就是大家在以前就人类智能还是挺优秀的。但是就说你有了现在有了这样一个，我觉得大模型给人带来那个想象是说，他能够让人类的这种human language作为一个interface，让你比较容易的去把这个对programming不是那么熟悉，对于这种专家系统不是那么熟悉的人，能够快速的和这些比较专业的technology进行一个交互。我觉得这个是对于robotics带来最大的冲击和这个影响。但是涉及到更专业，更细致的一些东西，这个foundation model能做到多少，就还挺questionable的。
啊，对，我大概就先说到这儿吧。
结束Part 2。
Okay, okay. 这个in summary一下，第一我们要对现在的无论是4 vision或者是这个last black model，我们都有一个，你也可以打引号的一个grandchoose，它到底能干什么东西。然后有了这个很好的evaluation，我们才可以给它塞到一个工业级产品的一个workflow里面。也就是说，真的在last mall里面还有很多非常细致的工作需要我们好好去去set up。对，这，这是一个我，我举我举，我可以举一个例子，就是chat ChatGPT很好用，我用它来帮我写proposal。有时候那我之前碰到过一个问题，就是我有个proposal一定要写到15页结束，然后那个那个proposal写到了16页多，呃，15页半。然后我现在需要把某些段落给缩小，缩减，但是那些段落又不是我写的，是我的合作者写的。然后怎么办呢？我把那段话扔到Chat GPT里面，我说你summarize but shorten it by ten percent。然后他说的完了之后，我大概读了下，好像是那么回事，我就扔回去了。结果后来我的这个collaborator人家说，你这段话给我改了意思了，这个意思不对了。这个问题就带来给我带来一个启发，就是说哎，大模型确实好像是能够，有时候Chat GPT这种工具，好像确实是能够解决你的一些（问题），能够提高你的一些效率。但是is it really so？他有可能事后你有可能是有一些hidden cost你没有注意到的，它可能改变了你的meaning，但是你不知道，你就盲目地trust它了，就事后可能带来更大的这个loss。在一个非常high level的情况下，你有一个high level的objective function的情况下，到底这个大模型给你是能够save the cost还是怎么样，其实是很难说的。这是一个非常，当然也是非常难以evaluate的一个东西了。所以就这是一个我自己切身的一个例子。那我相信你要做到这，这还这个这个proposal写差一点没关系，无非就是不中了，就是就是就是损失了一个proposal而已。但是如果你把这个东西implement到一个无人车上，implement到一个工业机器人上，那可能有的时候是这是要人命的事，对吧？所以我觉得这个里面还是非常，有时候我觉得，所以我和我学生说，一定要谨慎谨慎再谨慎，有时候不能可引太大啊，就是这样。
OK，那那我稍微Echo一下，就是你刚才说的第一，我觉得在大厂当中，他们比如说这个GPT或者这个AI起来了，可能受整个一个engineering的VP，他们就或者production的VP，这个level叫OK，我要orient这个AI。但是下放到比如说这个engineer，然后要出这个product的时候，大家又迟迟的不能推到上市，不是说内部没有做完，他们怕的就是PR部门，万一出了一系列某某的事情，然后你又找不到一个实实在在能去背锅的。因为这个东西是没法真的去去落实的，是吧？这个1万个人当中你出了一个，那你就又上头条，这是一件事情。然后其实还有另一件，就是在写单板的过程当中，的确是这样，这个GPT也会帮你这个revive一下课，就在一些小的地方，它给你改了，对你看起来其实没有什么，写的还是很标准，但是somehow它就是给你改了。就而且这种Uni test如果大量的进代码库，这个就是太可怕了，这是这么回事。
对对对，那么还有一个下一个问题，如果是做research的角度来看，你们觉得是在针对这个last one，我们是有数据集，数据集上的一些concern呢？还是其实有算力上的一些concern？如果从做教授做research的角度来看，就是我为什么这么问呢？就是说啊，我们以前训练大模型啊，各有各种的data都有，但是我们如果要sets一个必须得到自己的一个startup，呃，startup，那我们要去解决了这么多问题，那我觉得应该是由我们自己的一些自己是吧，这个金刚钻弄号，然后有我们自己很多的这个所谓的这个比较，可能是比较这个秘密的这些，这赛这这样去吹。就是我可以给你举稍微两个一个简单的例子，一个之前是这个Jasper AI嘛，然后现在可能打脚踝折了，这被干掉了80%。然后它起来的时候，就根据我个人的这个理解，它是比较早的进到这个Y Combinator里面，然后它可能是比公众可能提前一年多就拿到了这个GPT3的这个API，所以它就赶上了这一波，然后估值就变得很高。但是这个不太好的点总是，如果说API全部对大家都open的时候，它就就没有很好的护城河。反而是另一个叫做writer，这么一个company，它其实就跟企业深度绑定，就是我我专门就是去给你服务，大家看起来很能，在scaling上做的比较慢，但是如果我能针对他，比如说是无论是艾森哲或者等等其他的，能针对他很多的这个data做一些定制化了，因为这种data并不是特别的公开，反而可以生存的这个比较好一些。所以对这个，我就拿一个在VC当中看到了这么一个小例子。
Part 3——俞舟
如果在做research过程当中呢，我们是在data这方面呢，会有一些这个会有些想法呢？还是其实发现在算力上是我们比较大的一个瓶颈呢？对两位。
我，我会觉得两个都是一个瓶颈，两个都是瓶颈，哈哈哈。首先就是全世界，我们买不起像工业界这么大的quaster，没法做portraying的工作。做finding finding tuning的工作都有点吃力。还有一些就是我们没有就proprietary data，就是这种非常specialized的domain data，它都是proprietary的，也不可能会share给工业界，呃，share给学术界。然后我们会做一些public data，再做这些事情。所以说就会导致有一些就说在学术界，影响做cellular model，现在已经很难了，在NLP。所以说我们可能更多做的，有一些是，比如说是一些就说新的这个structure，比如说我们有在做memory augmented Transformer，然后在比较小，就跟可能seven billion的model上去看，这个fundamental稍微有一点change的这个transformer，会不会在这个long context compression上做得更好啊，等等。或者是我们做一些就instruction tuning，怎么样去选择更好的instruction，instruction parsing，然后reduce，呃，这呃，这个就是extra的这个呃，就是extra的computation，因为你可能有的时候特别好的这个example啊，你不需要特别多，就可以做到很好的instruction tuning。然后也有，我同学也会做，我的学生也会做一些别的，比如说嗯，各种各样子的，像像偏agent工作，那可能是for a specific case use case，比如说我们做很多的是对话系统，这样子的工作，呃，conversational agents，然后要complete一个specific task。那它很多的时候，就简单的API cost是肯定做不了的。还有一些，比如说各种样子语言类型的工作，就是怎么去做persuasive arguments啊，怎么去做更多更好的like conversational planning，嗯，怎么做negotiation。这些东西就是一个very specific application，我们会也会做。
俞舟结束。
我觉得我同，我同意俞老师的观点。
Part 3——冯晨
both data and computation are bottlenecks，就是数据和算法都是。如果你说从startup角度来说的话，我们的经验确实像你说的，包括我学生做的这个startup也是，data是最宝贵的。因为我目前还因为在start，尤其在startup阶段，像我们一些比较engineering和robotics这边的startup，可能没有一上来，还没有达到能够吃算力的那个规模。所以一开头来说更是是是data set本身是更重要的啊。比方说我们做的那个startup，是要拿这个radar data去分析这个building的，有没有这个各种defect啊，有没有漏气漏水的这种地方，然后这样能把building变得更green，能够应对这个环境变化，是这样的。就是我们的这个story，在这个里面来说，目前你就根本在你，无论是学术界还是工业界，你都找不到这样的dataset啊。你必须得我们我们自己从零开始，从头来收集这样的数据啊。所以在一一些细分领域，在工业尤其是engineering这一边啊，特别多，几乎engineering里面碰到的任何一个问题都是，如果你想用data driven的方法来解决，你第一个问题就是data，data从哪来？谁给你data啊？尤其而且在像我的一个这个application domain，这个application domain是这个civil这个building construction这些这些叫AEC这个domain。像Autodesk啊这些，它这里面的一个大问题是data的privacy，它这个data owner他不愿意把data给你，因为他可能有各种liability issue啊，各种legal issue啊，它不像很多open的这种Internet的data那样。所以这是这是其中一个问题。然后算力的话，在学界永远存在这个问题，永远不够。我们对，所以我和我学生说，你想做foundational model，那可能我们组没法support，因为我都不知道在哪找这个钱来给大家做。但如果从startup的角度，我觉得就只能我没有特别好的答案，尤其是做Robotics这边的话，呃，我觉得还是从data入手，先用用data来做你的护城河吧。就是尤其是很多Robotics这边的事情，我觉得data是你最好的护城河。
嗯，我觉得下个问题可能是有点不太专业，我们可以用所谓的这些generative AI去帮你去产生这些dataset嘛？
我可以快速回答一下，跟Robotics这边确实有很多人在做这个事儿，就是你用simulation，像self driving里面有很多是用generative的方法来生成，但永远存在一个gap，就是你就是seem to real的一个gap，你generate出来的东西总是差那么点意思。所以如果我们有好的方法去把这个central这个gap fail的话，那是可以的。但是很多专业场景上，你首先你就缺乏这样的simulator，你都没有很好的simulator能帮你synthesize data，所以那里就已经有一个gap了。然后你把那个gap解决完了之后，你还得解决control real本身这个gap，对吧？所以我觉得这些都是问题，但是呢并不是没有解决方案。我觉得还是可以可以，不是说它是一个impossible to solve的东西，只是目前大家没有看到一个特别好的呃，这个在至少在学界已知的一个方法，能够通用的解决很多情况，往往更多都是case by case的去解决啊。
Part 3——冯晨结束。
OK，那我们刚才去讨论的其实从学术界，然后到自己的偏工业界的建立自己的这个出厂公司，我们发现哎，无论是从数据上或者从这个卡其实就是钱上，这些这种这个非常hardcore的这种资源上，我们如果教授会有这些东西，其实会更好的去推进自己的这个研究。那么还会有其他的那些方面呢？比如说你们在做这件事情，你发现其实可能是在marketing或者有regularity，如果社会当中会有其他的这种小公司，给这些top researcher一些比较好的一个助力或者脚手架的功能，也是你们deliver这个idea或者产品会更加的快。你们有遇到这种问题吗？
俞教授。
当然是就找到一个好的design partner，肯定是会有很大的帮助，就是他有数据，他有平台啊，这样子，就跟我们就像一个one team一样，一起合作，这样子我觉得是对我们最好的这种帮助。就是说把最聪明的那些头脑，或者最顶尖的那些研究的资源呢，不要去写这个，还是像之前的那些这个前端，然后把他们集中做这个非常hardcore的一个research上，这样大家往前走，可能是更加的会互补一些，因为他们可能会有，因为有的情况下，他们就会直接的这个外包嘛，就从经济学的角度了，更加的optimize这些这个resource，然后大家可能合作的就会更好，做的更加紧密一些。
好嘞，那这个冯教授你遇到过什么问题呢？你是指说在从学术界来做startup这一条路上，会碰到哪些challenge是吧？
对对对。
Part 4——冯晨
因为我知道这特别是在西海岸，因为可能在西海岸，在这个贝尔，这已经是一个非常成熟的一个产业链了，大家有一些新东西，然后第一个想法就是让我去找一些这个风投，本身在学校也会有一些分成嘛，然后去找一些风投，那我们就盖票，攒个局，基本会是这样。但其实作为比如说我，或者我觉得其他的听众，他们本身也想知道，从一个学术界的象牙塔到一个工业界的过程当中，哪些其实更加的配套好？比如说这个所谓的产学研，会让你们很舒服的去解决这这个东西，对，也节省了实验室的这些resource的资源，大家就都是各司其职，对，如果配合的比较smooth，这个是我提出的一个问题的所在。我觉得肯定有其他的可能的那些，无论是CEO啊或者等等，他们如果了解了这些，跟你们的合作，特别是大的take Jam，跟你们合作也会比较的丝滑。
我个人的经验是，呃，如果工业界的朋友们能够更熟悉学校，尤其是像俞老师和我们在北美的高校，对IP看得特别重，呃，所以如果他们对这个流程能够有一点了解的话，会更有助于他和学，尤其是北美这边的faculty合作来做这个，这种无论是collaboration还是说创业啊，都会更有有帮助。因为你要了解这个学校的这个流程，包括我自己也是通过我我学生和学生联合创立这个startup，才了解了很多之前一直都不了解的东西啊，就是整个这个过程，它是有一个，我觉得一个是从学校的层面上，可能东部这边和西部还是有点不太一样，就像包括NYU，NYU已经做得很好了，NYU有一个，我们有一个这个future lab，这个accelerator。但是从faculty的角度，因为我们we're not trained to do startup，we're trained to do research，所以这个这个过程中，会有一些mindset上的不了解。然后如果mindset首先mindset line好了之后，你还涉及到流程上的东西，就是如果说学校这边或者说公司那边，能够把这个东西strain line好的话，一定是省掉很多事儿。因为我自己作为从faculty角度，我是非常愿意把我live的东西，无论是通过和大家合作还是怎么样，translate成real world impact，这个是我们是two hundred percent welcome。但是有很多实际上的这种paperwork的东西，我我，我个人可能尤其是在我做assistant professor的时候，我前几年根本没有考虑这个问题，因为我的我的第一优先级是先survive，呃，然后只有到我自己觉得好像比较confident之后，我才开始考虑和学生来联合创业这件事。所以如果说要和那个尤其是和junior faculty合作，可能这一点也要搞清楚，就是呃，就是它大概处于到一个什么level，它是否有有这个心思去和你go through整个这一个landing process。这些东西我觉得都是比较重要的。然后我，我个人觉得还有一个比较重要的，怎么样找到一个优秀的，一个团队吧，就是group of talents。像我这个学生的话，就是其实我们组有很多优秀的华人学生，之前我也一直跟他们说，我说我说你如果你们想要做创业，我们非常支持，然后我们有很多这个lab的research，有很多都是因为robotics这边有很多story可以讲啊。我说我们非常支持你，你不用都想着要来读PhD，然后我说startup也是非常好的一个路子。但是好像东部这边华人学生好像稍微没有，可能也是说尤其是留学生吧，可能受到身份限制的原因。对我这我现在我这个合作，我的这两个学生全是就是有美国护照的这个美籍学生，他们包括在language方面也是，当然是有很多优势的，就是和local的这个business去discuss，各种全都我的我的这些local community partner全靠他们来build的。我自己根本要我去build，一没时间二没这个没精力，然后也没有这个language的这个优势啊。所以我觉得找到一个合适的团队，就说如你，因为你做创业团队，可能不仅仅是做技术，你还得有做运营，你得有做商业这些方面的东西。就是如果如果你能找到一个合适的团队，而且这个团队关键他们自身还得有比较好的，就是能够配合的很好。因为我一开头出过团队，对团队里做Tech，做Tech的学生和做business的学生之间，就一直就是Tech的学生老觉得那个business学生特别bossy，就是老来发号施令，然后他又啥都不懂那种感觉。所以就是这种内部的合作也是一个问题，导致然后我作为faculty夹在中间，我就很郁闷，就是我希望大家都能够很好，好好把这东西做出来，然后对吧？能够translate。结果到头来，我要解决一堆跟 technology，跟research甚至跟startup本身无关的事。就这里面会有一些郁闷的地方，但是事后来想想好像这，也是一个必经之路吧，就可能没办法避免的，你要想打造一个好的团队，可能必须要经过这样的一个磨合，或者说一个筛选的这个过程。那么如果说有一个机制，能帮我们提前筛选好，能让我bypass skip掉这一步，那我当然是非常welcome了。当然这个东西可能有点太难Eve了，我不知道是不是真的现实，这就我自己的一点想法吧。
冯晨结束。
嗯，但是我们刚才可能时间也差不多，我们刚才是已经把话题从一个纯学术引到了工业界。那我现在可能最后两个小问题，再把话题给拉回来一下。就是从你们做这个，特别是这个顶尖学校的这种Faculty，从你们的角度来看，你们会喜欢什么样的学生呢？就是你觉得哪个，哪个这个点会让你觉得哇，眼前一亮，这个可造之材，我一我一定要教他。对，这这，这是一个问题。第二个问题，就是非常的非常的接地气，你们你们现在还会有那种这个position吗？还会再继续招这个PhD吗？一个天上一脚，一个地下一脚的一个问题。
Part 4——俞舟
对，你从你们的角度来看，什么样的PhD的quality会让你特别这个眼前一亮？但是我觉得是这样，就是首先你可能聪明啊，一些正常的一个聪明是吧？然后你正常的一个勤奋，我觉得这已经是北美读毕业PhD的一个标配，这个毋庸置疑。但是somehow，他总是还会有一些非常不一样的那些点，突然让你觉得他隐隐地被选中了，或者被你给选中，他是跟其他PhD不一样的。对，你会觉得那是一个什么样的quality呢？
嗯，其实很难说，就是我觉得每一个学生的decision都是independent，我下的就是说嗯，但是in general就是一个overall的这个呃，因为我会觉得一个学生他要比较rounded，同时要有自己的特点。比如说他对某一个domain特别了解，然后他有很深入的思考，或者是他有非常好的technical ability，在做implementation的时候也有他的优势，或者是他是一个比较呃，有cross discipline and experience。就我觉得每一个学生都是不太一样的，就不是说这个嗯，就是我的学生每一个也都不一样，不是都是一个模子里出来的。对，然后我们一般情况下，也就是一年只要一到两个PhD这样。
我非常同意俞老师，我刚还想着要偷师一下，看看俞老师是咋招学生的。
Part 5——冯晨
我觉得确实每个学生都不太一样。呃，如果说有哪些可以补充的话，我觉得补充一点，就我比较会看这个学生有没有激情，有没有passion，就对他想做的东西有没有passion。如果这个学生处于一个比较懵懂的状态，我可能会打很多问号。呃，无论是在我刚开始做system professor的时候，还是比较过了几年之后，我就依然是这个想法。就是呃，只有我，我，我非常愿意和有激情的人共事合作啊。如果如果这个学生需要我呃，经常的去motivate的话，可能我自己的energy就已经被消耗干了。所以这个是一个非常非常重要的事。呃，然后其他的话，可能我觉得就看研究方向吧，还有一个就是每个组自己可能过过几年，会有一个这个研究方向的这个shift，然后这个招的这个学生，是不是恰好和你这个想要shift到这个方向，能够有擦出火花来。我觉得这个也比较重要。有的时候，我经常跟我们组里的这个研究生和这个这个本科生说，我说申请PhD这件事非常random，就不是说你觉得GPA高或者怎么样，有paper发的多就一定能申到。就是他想申的这个这个position，很多时候还有老师有没有founding。你问我今年招多少人？我去年招了5个学生，然后然后今年招不了了，我发现没钱了，哈哈哈。所以今年可能最多就能招一个，就Таким。所以就就有的时候，在北美这边，我觉得可能主要是看我们有没有拿到足够足够的这个资助来，因为因为我们招一个学生还挺花钱的。我不知道哥大的这个是多少，反正NYU还挺贵的。
对，都是挺贵的，因为自己学校还是相对于贵一点。
对，我非常同意冯老师说的，就是嗯，PhD是你自己的事情，就说老师只是来帮助你的。这个PhD这个是你自己的事情，你要drive，这个非常重要。你要有一定的emotional maturity，就是你要知道这个是你自己的事情，是你自己的老板，不是老板叫你干啥你就干啥，你得想办法让老板同意你干啥，对。这是个非常重要的mindset difference。对，就是你要own your work，就因为我特别，有时候比较不喜欢看到一个词，就是说管管这个博士生的advisor叫老板，因为我们和工业界，我说我跟我学生说，我从工业界过来的，我说我之前在工业界呆了3年，我说我们和工业界还是很不一样的，我们的产品是human，我们产品是PhD student，我们产品不是甚至都不是paper。对吧？我说我说重点是要告诉你怎么做research，这一套mindset，然后把你培养成一个independent researcher。那整个这个过程是你自己的东西，我只是帮你打一个灯笼，在前面照照亮，看看这边可能往这个方向，你甚至可能不往我照的这个方向走，对吧？那都没关系，但是你不能让我在后面推着你走。这我有那么多PhD，我不可能一个人都每个人都来推。所以对，就是一定要就是有这个maturity才行，不然就老师，很多老师都会比较，我觉得基本没哪个老师会愿意招我说的那种另外一种情况的学生。
对，嗯，OK。所以大体说起来，就是有点君子和而不同，我们的command part都差不多，都是high college，但是我们都希望你每个人都会开出不同的花，基本会是这样。而且在这个一个小时过去了，我们还可以echo我们第一个那个问题嘛，就是两位教授，从你们刚开始的这个一个career，一个journey，本身也就是兴趣由于这个这个爱，直到我们现在你们再去招PhD的时候，还是希望他们身上看到那点，对这件事情的热爱，对这件事情的热爱和这个事情的passion，是吧？这个一代一代的一个一个generation，一个generation就是还原了。
哎，成成，我们正好8点，我们已经一个小时，感谢两位的教授的时间，我们今天就到这。谢谢，谢谢。保持联系，拜拜。
好，谢谢，谢谢，拜拜。