Transcription
一些蜜蜂可能是我们在人工智能领域看到的，随着这次颠覆而来的最令人难以置信的机会。它的第一个版本效果不太好。>> 为什么？>> 因为他们不知道该问什么。他们不知道它能做什么。>> 我明白它为什么会犯错。那会起作用吗？>> 那是一个巨大的转变，一旦我们做到了这一点，一旦我们闭合了循环，我认为这就是我们与用户建立了巨大的、最大的信任，现在我们拥有数百万用户，并且采用率正在飙升。D. [唱歌] 我不知道。[音乐] 今天我加入了阿萨夫·埃洛维奇，对吗？monday.com 的人工智能主管，也是我在以色列最喜欢的公司之一。事实上，15 年前我曾是第一位种子投资者。谁能相信呢？你的工作正处于一个令人惊叹的十字路口，即赋能和支持中小企业的革命。我们应该如何思考人工智能主管？而我们有 50 家投资组合公司。人工智能主管在不同的公司意味着截然不同的事情。在 Monday 是什么？我认为这是一个很好的问题，它确实取决于你加入的时间，或者随着公司在人工智能领域的成熟而做什么。所以，例如，当我开始在 Monday 工作时，公司里普遍的人工智能非常少。所以我的职位更多是>> 等等，那是什么时候？>> 那是一年半以前。>> 好的。>> 我的职位更多是为我们的用户构建人工智能产品，将公司从零带到一。所以我管理了从产品工程、研究、上市、营销、设计的所有跨团队领域。我们构建了一个 Monday 内部的初创公司来构建产品。那就是我们一年前发布的 AI Blocks。所以那才是当时的人工智能主管。如果快进到今天，我们在规模方面面临着更大的问题和挑战。所以一旦你从零到一，公司就无法用一个小团队来构建人工智能。如果它想与巨大的市场竞争，我们需要能够在公司内部和外部开发人工智能。所以今天的职位更多是扩展知识，你知道，推广 Monday 的每个人如何构建人工智能，以及我们作为一个团队如何尽我们所能提供支持。所以今天我负责管理平台，以便每个团队都能使用人工智能进行构建，在我们需要的情况下，我们仍然在进行零到一的工作。让我们把它变成一本教科书，对吧？我有一个特权，你可能也有，我每天有 15% 的时间在阅读人工智能论文，对吧？其他人不能。>> 你如何传播信息，比如推动公司整体和 Monday 特别是人工智能领域变化的教科书？>> 这比什么都重要，是文化。我的意思是，我们可以谈论我们所做的运营事情。所以，例如，我们有 AI Champions 项目，基本上是我们从每个部门，无论是产品工程还是营销等，都有种子。这是一群经过挑选的人，他们每周聚在一起分享知识，这样我们就能确保每个人至少在高层次上都了解我们正在学习的内容，了解学习和了解新技术、新颠覆、新工作方式的重要性。我们有一个人工智能月，我们实际上进行了跨部门合作，我们说我们停止了一切，我们停止了我们的路线图，这显然对于一家大公司来说风险非常大，现在我们都在只做人工智能，所以这些是你可能做的事情，但我认为文化比什么都重要。我认为如果人们只是等待从别人那里获得知识，那么公司会发展得非常非常慢，因为事情发展得如此之快，你想创造一种文化，让人们不断地自下而上地尝试带来新的创新学习，你知道，当他们在早晨喝咖啡时，或者在回家的路上听播客时。我认为这就是我们正在努力做的。为此，我们有一个频道，我们几个月前就开通了，我们不断地鼓励人们分享他们在市场上学到的和看到的东西的更新。我认为这些方法有趣的地方在于，你知道，人们会产生 FOMO，就像人们觉得，嘿，他总是在发帖，我从不发帖，也许我也应该发帖。你可能会看到这种情况如何在组织中传播。但我认为底线是，文化比运营更重要，这就是我们未来打算如何应对这个问题。>> 所以人工智能是 10% 的模型，90% 的工作流程和文化。>> 是的。>> 我多年来一直喜欢的一句话是“你的电子表格是我的机会”。>> 对。它实际上，如果你考虑一个中小企业，每个企业都有八个、十个、十二个电子表格，从市场营销、销售到库存。每一个都是一个真正的机会。你今天看到的是什么？你如何更好地理解一个给定的中小企业存在什么机会？>> 哇。我认为，首先，我必须说，中小企业可能是我们在人工智能领域看到的，随着这次颠覆而来的最令人难以置信的机会。我的意思是，它是一个巨大的价值范围，对吧？所以中小企业预算有限，资源有限，我们看到人工智能可以在两个方面提供帮助，一个是在非常高的层面上，一个是在扩展覆盖范围，能够像拥有数百人的团队一样工作。例如，我们有我们的 Agent Factory，这是一个我们构建的产品，你可以在其中构建自己的代理，想象一下，现在世界上任何中小企业都可以定义自己的外展代理，它基本上可以像人类一样进行冷呼叫，对吧？我的意思是，现在的语音技术已经变得非常疯狂。>> 嗯，这些是他们以前从未做过的事情。所以，我认为 RSVP Agent 是我们看到的一个非常大的用例。所以，想想那些围绕活动的中小型企业。无论是像酒吧还是瑜伽工作室，所有这些小型中小企业都有很多活动要举办。你知道，围绕管理活动有很多工作，从日程安排、预订到提醒，现在你都可以通过非常简单的专用工作流程和人工智能代理来完成所有这些，这确实减少了他们没有它可能完成工作的 80%。所以，我认为这是其中之一，另一部分是他们作为一个中小企业可以变得多么好。所以一方面是，你知道，作为一个企业，你什么都有专人负责，对吧？我每次遇到 Monday 或以前公司的同事时都感到惊讶，哦，哇，有一个人负责一切。在中小企业中，你只有很少的人，专业知识非常有限，人工智能可以帮助他们扩展专业知识。他们现在可以理解和做他们以前无法在没有外部成本的情况下做的事情。所以，例如，从如何撰写简单的法律文件到生成非常强大的图像和营销活动。所以我们看到一个非常强大的用例是，假设有一个中小企业想要用 30 种不同的语言进行营销活动。直到今天，唯一的方法是他们在他们的生态系统和语言中本地工作，或者他们雇佣外部人员，他们必须支付信用。当我从用户访谈中听到他们为外部营销部门支付多少费用时，我感到震惊。现在他们可以在 Monday Boards 上创建 AI Blocks，使用不同的信息和目标来达到他们想要通过这个营销活动实现的目标，它会自动生成 30 种不同的语言，以及对不同国家重要的所有不同变体，现在他们可以走向全球。所以从本地走向全球是一个惊人的扩展方式。所以我可以谈论这个几个小时，但我认为你可以看到我为他们表现出的热情。>> 我认为 Monday 在很多方面都是这种实现，对吧？这就像自定义电子表格是背景，而 Pulse 之后是聊天系统。Floy 的一个聪明之处在于他意识到你需要将电子表格翻译成可操作的代码。但是，你阅读的研究论文和你将其标记为 Monday 的潜在产品之间的缺失步骤是什么？>> 特别是中小企业，他们不，我的意思是，我从我的经验出发，对吧？他们不理解人工智能是如何工作的。>> 他们不应该，他们不应该，对吧？而且>> 我认为当你观察人工智能之前的软件时，那么你知道产品是相当具有解释性的。你知道，你进入一个产品，你有按钮，你有你看到限制，你大致了解你必须做什么。而人工智能，特别是会话人工智能或像我们一年前发布的副驾驶，它的第一个版本效果不太好，是因为他们>> 为什么>> 是因为他们不知道该问什么。他们不知道它能做什么。所以，我认为有一种尝试的恐惧。有一种犯错的恐惧。所以他们甚至不敢，你知道，把东西写进那个黑洞，对吧？因为他们不知道他们请求的另一端会发生什么。而且我认为最重要的是，你知道，我有一个关于聊天界面的笑话，就像走进一家没有菜单的餐厅。然后服务员进来，你说，你知道，我想要，你知道，巧克力蛋糕。她说，我们没有。好吧，那么，你能给我一个，你知道，我想要一个汉堡。我们没有。你知道，给我一个>> 猜猜>> 没错，然后你就失望了，也许他们有全国最好的芝士蛋糕，但等你吃到芝士蛋糕时，作为一个客户，你就失望了，因为，所以，我认为聊天界面也是如此，基本上他们不知道限制，而且有 99% 的情况，你知道，在长尾的无限用例中，有 99% 的情况无法像你期望的那样帮助用户。所以，我认为这就是为什么当你构建产品，特别是为中小企业构建产品时，它如此重要，那就是你希望它透明。你希望>> 在进入之前，你重新发布了那个功能吗？你是如何重新发布的？是什么让它起作用的？>> 所以，我们有我们的聊天助手，聊天助手的第一个迭代是它将帮助你在 Monday 板上做事情，它，你知道，它失败了，你知道，正如我们刚才讨论的。所以我们说，好吧，假设使用率非常低，净推荐值，你如何衡量它？所以，显然，你知道，留存率，采用率，你知道，留存率意味着他们是否在一次对话后回来，简单的喜欢和不喜欢，你知道，他是否喜欢之后的对话，人工智能最终是否根据我们进行的对话采取了某种行动，我们对此有很多不同的衡量标准，显然这本身就是一个完整的科学，我们还在不断迭代。>> 世界是，是的>> 是的，是的，嗯，我们实际上是倒退的，我认为那是我们最大的解锁。所以我们移除了聊天。我们说，让我们只做我们最擅长的事情，以及用户体验，然后我们通过我们发布的称为 AI Blocks 的东西带来了价值，AI Blocks 基本上想象一下，你知道，你知道 Monday 的>> 我也为听众说话，基本上，它是一个带有行和列的表格>> 电子表格>> 一个漂亮的电子表格，别担心，所以想象一下，你有一个用于传入工单或传入评论的看板。所以你现在可以做的是，假设你有一个用户经常定义情绪的列，所以现在我们知道如何自动为你完成，你只需点击按钮，我们将自动完成。所以这是第一次迭代。它已经将转化率提高了，我不知道，数百个百分点，因为它如此简单易懂的价值。哦，哇，你可以，这可以自动完成，从现在开始，我们甚至不谈论人工智能。这只是可以为你自动完成。>> 所以我们看到了增长，这是第一次迭代，但然后我们看到了客户流失，我们看到了许多>> 比如人们在采用它之后，你知道，他们禁用了它，你知道，50% 的人随着时间的推移禁用了它。所以我们再次与用户交谈，我们意识到有时它是错误的。所以，假设在 100 个项目中有 10 个项目是错误的。它错了就够了。我的意思是，认为它应该做对了 90% 是可信的，但它错了的 10% 导致了信任的缺失。因为他们不明白为什么错了，然后他们意识到，你知道，如果它错了 10 次，这意味着我不能相信它，我必须自己审查所有内容。我不如自己分类。>> 你认为可解释性会有帮助吗？也就是说，他们可以理解。有一种方法可以提供反馈并让它改进，我们稍后会谈论这个。但即使只是可解释性，对这些客户来说是否足够好，让他们说我理解它为什么会犯错？那会起作用吗？我们添加了一个可解释性功能。所以现在当你将鼠标悬停在由人工智能生成的单元格上时，你只需悬停，你就会看到一个漂亮的文本框。在其中，人工智能解释了它为什么做出这个决定。所以当我们这样做时，令人惊讶的是，我们没有看到更好的改进。所以我们又回到了用户那里，再次与他们交谈，我们了解到它确实，它让他们对人工智能如何做出决策有了更多的信任。但是，如果没有提供反馈的能力，那有什么意义呢？>> 嗯。>> 所以我们添加了反馈功能。所以基本上，当你将鼠标悬停在单元格上并看到可解释性时，你可以点击另一个按钮，它会提供反馈，然后自动反馈给人工智能，以改进最初定义的原始提示或指令。那就是巨大的转变，一旦我们做到了这一点，一旦我们闭合了 360 度循环，从即时价值，我理解它是如何得出结果的。我现在可以对结果提供反馈。我认为这就是我们与用户建立了巨大的、最大的信任，现在我们，我的意思是，我们在 R&D 中有数百万用户，并且采用率正在飙升。>> 对，所以两件事，首先是聊天，我们在投资组合公司中发现，这是发现用户实际想要的东西的好方法。>> 你可能会遇到他们不满意的问题，因为他们实际上并没有做到这一点，但这是一个很好的发现工具。但除此之外，我们几乎没有在任何公司看到聊天起作用。所以它实际上是一个非常有趣的产品发现能力。但如果我回到你说的，在核心，有一个研究叫做强化学习，>> 对？这对于进行持续培训和持续发现用户实际想要的东西非常有用，>> 对？并调整模型。但是你如何将这样的研究论文转化为产品？比如它是如何工作的？你是如何告知产品管理人员存在这种能力的，还是他们假设它存在？比如它在组织上是如何工作的？在 Monday，我们一直以来，而且这并不是一句陈词<bos>，对吧？我们一直 100% 以业务为驱动。所以我们做的任何研究都不是因为，嘿，也许我们，也许这是很酷的技术，我们可以，你知道，你知道，我不知道，我们从不谈论能力。这也是我作为公司一部分学到的东西。所以它总是从一个业务问题开始。好的。所以即使在这种情况下，我们也遇到了业务问题，即用户不理解人工智能是如何工作的。然后这变成了一项研究任务。我们如何利用人工智能帮助他们理解发生了什么，然后研究团队会根据需要工作，直到他们提出一个好的解决方案，有时是两个选项，然后我们从产品角度进行测试。这是一个很好的例子，说明研究和产品如何协同工作。我们也在一年前发布了一个风险分析功能。所以基本上用户可以对某个项目中的风险进行一个很好的总结，对吧？所以我们想做这个功能。我们认为这对我们的用户来说会非常棒。所以我们去了研究团队说，好吧，我们想检测项目中的风险。祝你好运。然后研究团队开始工作，我们把它带回给用户。我们所做的是，我们使用 LLM 来处理所有不同的入口点、数据点，并一次性生成风险。但然后我们学到了一个残酷的真相，那就是 LLM 总是在这里满足我们，无论你做什么样的提示工程，它们总是会写出风险，然后我们把它作为产品带回来，我们看到了巨大的客户流失。用户试了一次，他们看到了没有真正给他们带来价值的风险，或者，哦，真的，我本可以知道，有时它会虚构，它会编造不存在的风险。这是否给管理者带来了更多的焦虑？而不是相反。所以现在我们又回到了研究。现在我们正在思考，你知道，我们从中学到了很多东西。一个是风险是主观的。也就是说，健康领域的风险与软件公司或金融公司的风险不同。例如，有些人更关心预算，而有些人更关心时间表。对于这一点，我们现在正在进行非常有趣的研究，关于如何使用小型 LLM，在特定行业进行训练和微调，然后我们知道可能发生的客观风险，然后我们根据用户的路线图进行调整。>> 有一集关于元学习的 Lantam 的节目非常棒，强烈推荐，这似乎是理想的解决方案，也就是说，你想要一个对你的客户来说是通用的分布，然后只需要很少的关于那个特定客户的数据。它能够非常快速地学习，即使只有 10 到 20 个样本，对吧？我认为这可能非常有用。>> 嗯。>> 所以我看到一个对中小企业有用的框架是问三个问题。如果你今天可以再雇佣 10 名员工，他们会是谁？这是第一个。那个产品的职位描述或角色和职责是什么？比如 Monday，对吧？如果我现在给你一根魔杖，什么能让你的业务翻倍？对吧？所以，三个问题。这就是中小企业关心的事情。他们想要更多的客户。他们想要更好的服务，对吧？并且他们想要能够提供企业级服务。如果，如果我想到这个框架，你会如何定义 monday.com 的职位描述，而不是产品，如果它是一个人>> 他们的角色和职责是什么>> 我的意思是，简单的答案会是项目经理，我的意思是，我认为，当你看 Monday 从软件角度来看，基本上是如何管理跨不同部门的工作，CRM、服务等。基本上你想要的是一个知道如何从多公司、跨不同部门的角度看待问题，并知道如何协调和管理这项工作的人。顺便说一句，这也是我们目前正在进行的另一项有趣的研究，关于我们如何，你知道，你知道，巩固我们所拥有的多平台，并让人工智能帮助组织内的团队。>> 所以有效地改变了你的路线图，说那是我们可以承担或应该承担的角色，对吧？>> 是的。是的，顺便说一句，我们公司已经将我们的战略从管理工作转变为执行工作。这是我们如何在工作管理领域，我们有一个非常长的路线图，关于我们如何让不同部门的人类参与进来，帮助管理工作，我们现在正在考虑如何直接为他们完成工作，这是另一个很好的例子，如果一个公司的运营经理 90% 的工作是处理一天的事情，我们可能正在创造运营经理的角色，他可以协调整个组织的这项工作。>> 所以向要求我问这个问题的 UT 致敬。所以当一个小团队从零开始时，他们一无所有。这是一个新的初创公司，对吧？资源有限，没有数据，没有 ML 团队。他们应该首先在哪里寻找？比如当他们采访一个中小企业时，他们应该做的第一件事是什么，思考他们能提供什么样的价值？>> 他们应该寻找一个角色，并根据该角色理解那个角色每天所做的非常繁重且迭代的工作流程或任务，然后构建最好的工作流程。机会非常多，对吧？我认为正如我们之前所说的关于活动日程安排，活动日程安排，你知道，如果我要现在在人工智能领域进行零到一的尝试，我可能会找到类似的东西，比如如何让日程安排成为中小企业的已解决任务，端到端，从预订、提醒、支持、运营，只是端到端地完成。所以，我认为这些非常具体的工作流程是大型公司可能不会解决的问题，对吧？另一方面，它与人工智能的进步同步，所以随着模型的改进，你的工作流程只会随着时间的推移而改进。一个只有初创公司能做，而 Monday 不能或不应该做的建议是，你可以抓取 Gmail 收件箱，以了解中小企业拥有哪些流程，它在哪里变慢，他们依赖谁，这是一种非常好的产品发现方式，特别是现在 LLM 可以阅读所有这些数据，对吧？这在以前是不存在的。所以让我们以一些战术性的东西来结束。你最近在研究中对什么最兴奋，可以为初创公司、新初创公司驱动工作流程，完全自动化定价，你可以为某物定价，就像你的客户想要的那样。所以，如果你现在离开 Monday，创办那家两人公司，什么最让你兴奋？比如你会怎么做？>> 我肯定会关注语音代理，这是第一位的。就像我对语音代理的发现是，我们现在已经到了它们几乎和我一样好的时候了，也许甚至更好。>> 是的。它们可以讲多种语言，你不受人数限制。对吧？对？它们可以，不幸的是，它们可以比我更能理解人们。>> 它们不会流失，你不需要每两周更换一次。>> 对，它们总是很高兴，你可以选择声音，它们总是处于最佳状态，对吧？而且该领域有很多解锁。我的意思是，当你想到，所以我认为这与我之前说的关于工作流程有关，例如，我遇到了一个创始人，他现在正在努力，你知道，如何帮助，你知道，为家庭活动创建外展销售，你知道，家庭活动，放学后发生的活动，而人工智能的令人兴奋之处在于，你知道，个性化和记忆以及所有这些我们还没有讨论过的东西，但想象一下，你可以了解一个家庭，了解他们的需求，然后随着时间的推移，你可以回顾并量身定制，你知道，体验，显然这肯定会增加，你知道，转化率。>> 这回到了，如果我明天可以雇佣 10 个人，对吧？你会雇佣组织这些家庭活动的人。>> 没错。而且>> 我喜欢。而且，你知道，现在你开始了一个非常非常小众的垂直领域，你只做那个工作流程。太棒了。然后你开始扩展到其他代理。现在你正在建立一个拥有多个代理的公司。而且正如你所说，现在它们都在一起工作，从头到尾，完成一个完整的业务问题，为他们>> 从一个工作流程开始，而不是从一个垂直领域开始。>> 没错。>> 非常感谢。>> 这太棒了。>> 我是 [鼻哼] 伊甸·沙特。感谢收听。下一集《几乎是人类》。如果你想提供反馈，你可以随时发送电子邮件至 almost humanf.vc。 [音乐]