Transcription
非常感谢，另外，开始录制也很重要，因为在人们还在工作的一天里能做到这一点，我想确保他们能够回过头来回顾，所以请允许我确认一下，你们能看到幻灯片吗？能看到吗？好的，太好了，请随时告诉我，我刚刚切换到第一张幻灯片了吗？我想在开始之前仔细检查一下。已经切换了。好的，太好了，我们准备好了。好的，在 Zoom 世界里，你不想做完一个 15 分钟的演讲才发现后来完全搞砸了。非常高兴能与大家交流，感谢给我这个机会来谈论这个话题。这个话题对我来说意义重大，也与我每天的工作息息相关。话题是关于实验，但我想让你们首先不要仅仅考虑实验，而是更广泛地考虑产品管理，特别是今天我将要谈论一个叫做数据产品管理的东西。所以，我想先说明一点，很多这些观点都是我个人的看法，它们基于我的经验，不一定正确，也不一定适用于所有地方。这里的目标是开始思考，并开始思考这是否适用于我，以及如何适用于我。所以，你们可以从这次会议中获得的最重要的一点是，不仅仅是像“哦，我今天听到了一些事情”这样。最重要的是，你们可以思考这是否适用于我工作的环境。如果适用，好的，太棒了，我能从中做什么？但如果不适用，可以思考一下为什么不适用，我描述的方面是否存在我可能忽略的东西？你们是否可能还没有完全理解你们的环境？如果你们是新人，我真的希望你们回到你们现在每天的经历中，因为我将要谈论的是一个框架和一些例子，但真正有价值的是你们能否为自己思考，能否思考这如何为你们的日常带来改变。所以，在思考数据产品时，我将要求你们做一件事，这也是我写过并且非常关心的事情。我在这里放了五个例子：一个指标仪表盘，一个实验平台，一个“你可能认识的人”算法，另一个排名算法，以及一些关键数据快照。你可以从数据工程的角度来思考这些。如果我问你们，好的，这些中哪一个是数据产品？我得到的经典答案是“所有这些”。但我真正想要的答案是，我的统计学学生们，当我还在学术界的时候，会因为“这取决于”而抓狂。所以，这些东西中的每一个都可以是一个数据产品，而且我通常会把它们中的每一个都看作是一个数据产品。而你们今天可能最想听的是一个专门关于实验的演讲。但是，当我谈论数据产品时，要能够说某个东西是否是数据产品，你需要能够对它有一个合理的定义。所以，当我想到数据产品时，我将其定义为一种产品，其中数据是关键的差异化因素或能力，目标客户从中受益。所以，我们有很多产品，我们每个人都在不同的产品领域工作。在某些情况下，数据是差异化的体验；在其他情况下，它可能只是补充性的。我们可能会使用数据来了解某人如何与产品互动，这不一定是核心数据产品。但如果数据为客户提供了我们体验中的一种能力，而这种能力实际上是一个差异化因素，并且真正为该客户提供了价值，那么我认为它就是一个数据产品。所以，这里有一些重要的事情。其中之一是，客户不一定需要知道数据提供了这种差异化因素。你可以想到很多人喜欢的各种类型的产品，他们不一定认为“哦，这是数据如何为我提供这种好处的”，或者“嘿，这个东西似乎真的了解我”。他们不会想到“哦，他们一定收集了这类数据，并且他们以这种方式解决了冷启动问题”。他们想到的是“嘿，我从中受益”。我们可以将数据视为差异化因素。客户可以是组织内部的，也可以是组织外部的。我认为，当我们谈论实验时，很多时候它是组织内部的，因为我们正在试图就产品做出决定，我们正在试图就是否推进这个想法，我们投资什么或不投资什么做出决定。因此，由于数据产品通常是内部的或外部的，所以我们围绕它们使用的需求类型、SLA、设计类型可能会有所不同。所以，今天我们将要谈论的实验平台，这些东西对于指导我们如何作为公司做出决策非常重要，它们对于指导我们如何就不同类型的产品机会之间的权衡做出决策也很重要。所以，它们可能不像用户界面那样直接。客户不一定与平台互动，但我们当然必须做好这些实验，因为它们确实会影响客户的体验。这就是我们进行 A/B 测试或任何其他类型测试的基础。所以，这里最有趣的是，数据产品实际上是关于用数据设计体验。所以，数据科学、产品管理和产品设计。我认为我最喜欢的一点，我刚进入行业时，我的起点确实专注于实验，并且我见过不同公司、不同平台上的各种实验。然而，最有趣的事情之一是，这是公司关注的核心能力。他们进行实验的方式，以及坦率地说，他们内部管理实验的方式，很大程度上反映了他们如何看待数据，以及他们如何试图作为一家公司行事。所以，我认为数据产品的这个想法。为了让你们有一个大致的了解，我基本上将实验平台定位为数据产品的具体例子。所以，这次演讲的标题实际上是关于实验产品管理，但我的观点是，要能够有效地谈论它，我们需要稍微谈谈整体的数据产品管理，然后深入到实验产品管理的这个具体例子。回到大数据曾经盛行的时候，那感觉已经很久远了，就像 Hadoop 将会改变一切一样。然后到了 2016、2017、18、19 年，突然间，大数据不再是那么重要的事情了。但我们经历了这样的周期，我们经历了机器学习和机器学习相关学科的周期。数据让我们能够构建新的产品体验，这些体验比以前明显更好，无论是像我们在 Stitch Fix 所做的个性化造型，还是你正在购物的商品，你正在搜索的数字内容类型。我们将数据整合到产品体验中的能力使它们变得更好。但真正有趣的是，虽然一度使用机器学习和数据科学的能力可能是竞争优势，但如今，这些东西在很大程度上已经商品化了。有很多第三方公司正在构建第三方工具，使个人和公司能够大规模地受益于机器学习，而无需在家中拥有机器学习专家。这与实验非常相似。在实验领域，我们有很多很棒的初创公司，它们建立在这样的前提之上：公司希望以产品为中心，以增长为中心，但他们不一定希望自己管理平台或自己管理内部的实验过程。所以，发生的事情是，这些东西已经商品化了，焦点已经转移到如何整合这些能力，而不是是否能够做到这些。在我看来，这确实激发了这种数据科学驱动的产品管理或数据产品管理的想法。那就是如何有效地将数据整合到这些体验中。这不是“让我们尽可能多地塞入机器学习”（我最近尽量避免使用“人工智能”这个词），我认为更合理的是，当这些东西随着时间的推移变得越来越商品化时，我们如何将它们整合到产品体验中。所以，这种对数据产品的关注不仅仅是“哦，酷，我们的产品中有数据”。它还迫使我们思考数据也是产品开发周期的一部分。所以我不会一一详尽地列出这些问题，我们稍后会回来讨论它们。但如果你正在考虑一个数据产品，你想问的很多问题是：客户是谁？你能定义客户吗？他们从中获得什么好处？这种好处是否依赖于数据的使用？还是说这种好处仅仅是用户体验的质量或产品本身的质量，而与他们使用的底层数据无关？我认为一个非常有用的问题是：如果完全移除数据，是否会从根本上改变客户体验？如果你的答案是肯定的，那么你可能就拥有了一个数据产品。所以，当我们考虑评估数据产品时，想想这如何可能适用于实验，我们稍后会回到这一点。所以，你们可能在公司里看到过，就像我们都知道，公司有不同的方式来命名职位一样，这种数据产品经理的想法。在一些地方，这可能被称为技术产品经理，机器学习可以被称为数据平台的技术产品经理，等等。这些职位的数量和重要性在我们内部急剧增加。以前，工程和数据科学以及产品在数据产品的归属上互相推诿，现在已经成为一种更明确的归属实践。所以，这方面的例子包括像内部使用的实验和指标，外部使用的推荐系统算法，其中一些我们在 Stitch Fix 使用过。所以，这是一种有趣的技能组合。你不能仅仅是一名数据科学家，也不能仅仅是一名产品经理，也不能仅仅是一名产品设计师。你处于一个需要能够酌情利用这些技能的领域。而这些技能最有趣地结合在一起的地方之一就是实验。如何成为一名实验产品经理？这就是在这次谈话的后半部分，我想专门谈论这一点。所以，我想让你们对实验有一个大致的了解。有很多不同类型的实验，但现在，让我们保持简单。让我们谈谈内部的 A/B 测试。许多公司都想进行 A/B 测试，许多公司都非常成功地、大规模地进行。但前提是，你能够将体验相互测试，你能够理解，如果一个客户接触到这种体验而不是那种体验，无论这种改变多么剧烈，最终对其行为的影响是什么。所以，从宏观上看，你试图迭代产品创意，并利用实验来实际影响体验，实际影响客户体验，并理解对客户行为的下游影响。所以，很多时候，内部实验的客户是决策者。他们是决策者，可以是产品经理，可以是高管，也可以是介于两者之间的人，他们试图理解做不同事情之间的权衡。如果你理解了这些权衡，那将是非常强大的，并且能够快速迭代并做出明智的产品选择。确保你至少没有对你的核心客户数据造成损害，这显然是关键，这几乎是不言而喻的。但这里的想法是，如果我们不能利用诸如“我们如何实现功效？”这样的想法，我们试图检测到的效果是什么？我们如何避免随机化出错的问题？你试图做的是，你试图确保为公司创造一种一致的做事方式。当你想要扩展实验能力和 A/B 测试能力时，一次性进行这些测试就不再可行了。你需要确保你的每个实验都具有一定的严谨性。一旦你超越了同时运行几个实验，这一点就会很快崩溃。所以，实验，特别是实验平台，是数据产品的一个很好的例证。我认为它也是一个很好的例子，说明了并非总有人明确拥有它。所以，如果你看看一些公司，你会看到，哦，他们有实验产品经理，但在许多公司，这是一个无人负责的事情，比如数据科学家使用它，工程部门帮助设置功能标志，以便他们可以进行功能测试。不一定有负责人。当你观察许多产品公司如何发展实验时，实验产品经理的想法就源于这种公司迫切需要拥有的、无人负责的能力。所以，我认为导致这种工作需求的一个关键问题是：我们将来需要能够进行哪种类型的实验？我们有这个东西可以进行一些实验，它能让我们进行正确的实验吗？它能让我们以我们想要的方式管理指标吗？它能输出合理的结果，让人们能够解释并据此做出决策吗？它产生的输出在统计学上是正确的吗？所有这些问题都开始听起来像是“哦，这些就像产品功能”。而这个关于产品需要具备哪些功能的问题，特别是实验平台需要具备哪些功能，正是我们看到实验产品经理带来巨大好处的原因。所以，如果你考虑什么造就了一个出色的实验产品经理。所以，为了总结一下我们现在的位置，我谈了数据产品是什么，我谈了为什么数据产品是存在的，为什么它们如此受欢迎，我试图将实验识别为数据产品的一个例子。随着数据产品对业务运营和产品决策越来越重要，这些关键领域的产品经理的想法就变得非常重要。所以，我的问题是，什么造就了一个出色的实验产品经理？所以，我们需要有人来做这个角色，但说起来容易，做起来难得多。因为想想成为一名出色的实验产品经理可能涉及的所有事情。其中之一是，他们是否有设计实验的经验，并理解在哪里需要严谨性？这通常是数据科学家接触到的，或者来自重统计学背景或经济学背景的人可能有经验。但这种对如何设计一个好的实验以及在哪里实施严谨性的理解并不是自动的。他们还需要考虑实验在公司中是如何进行的。它有价值吗？人们只是关注它，还是人们对实验持更怀疑的态度？如果你在公司里做过实验，我敢肯定你至少在某个时候收到过这样的反馈：“我们不能更快地完成这件事吗？我们真的需要等待吗？这真的有必要吗？”所以，这种对如何在公司内部定位实验价值主张的理解非常重要。这个人还必须在组织之间复杂的动态中穿行，这些组织在某些情况下可能合作良好，在其他情况下可能不合作。你必须让产品、数据科学和工程部门达成一致，因为要成功地进行实验，你需要这些团队之间的协调。你不能让一个团队随心所欲。所以，通常有一个组织管理的部分。所以，这个角色以一种重要的方式出现。所以，我认为我列表中的第四点可能是最重要的，它建立在前三点之上。实验中有很多东西是锦上添花。能够设计某种类型的实验，能够进行自动功效计算，能够看到非常花哨的输出，并且统计学上是正确的，这样人们每次都能看到合理的结果。有一些东西是锦上添花，有一些东西是必须的。而这个列表在不同的公司并不总是相同的。所以，理解公司需要什么，它想做什么，它需要向前发展什么，通常取决于公司目前处于什么阶段，它的实验之旅是怎样的，它的文化是怎样的，内部已经建立了什么样的规范。所以，这个人通常必须真正做出艰难的决定，关于什么是必要的，什么是锦上添花。而且，如果这四点还不够，你还必须能够跟上实验方面的最新发展，特别是当你想到，哦，也许我可以进行贝叶斯优化来更快地完成事情。我可以使用哪些变体校正和指标方法？实验方面有很多事情在发生，能够利用它们并非易事。如果这还不够，你还必须考虑是自己构建还是购买？这个问题在不同的背景下会多次出现。所以，我想谈论的是，我想回顾一下我们现在的位置。我提出的想法是，实验是一个数据产品，并且由于它对公司运营的重要性，它确实需要像产品一样进行管理。但仅仅说某样东西需要像产品一样管理是不够的。很多时候，你需要能够说，一个人真正需要能够做什么才能使实验取得成功？而我在这里列出的，是我认为使一个出色的实验产品经理非常核心的能力。我的观点是，就下一步而言，这个特定的角色对公司来说将变得越来越重要，因为对能够仔细迭代产品创意并以负责任的方式进行迭代的需求不再仅仅是锦上添花，它正在成为基本要求。如果某样东西是基本要求，那就意味着每个人都认为他们应该能够做到。这并不意味着它很容易。所以，处于这种角色的人不仅能够理解实验的科学，他们还能够驾驭必须完成的工程工作，必须完成的文化建设，以及真正必须发生的、能够使实验成功的、产品组织的支持。所以，这并不容易，但我认为这只会让公司未来能否做到这一点更加清晰。所以，说到这里，我将结束演讲，我将停止共享，我很乐意回答我们可能有的任何问答。让我看看。好的，Ava，你提到数据产品经理需要具备数据科学技能。所以，我认为这就是我所说的“数据科学技能”的意思。说“数据科学技能”是一个相当大的范畴。我通常会想到实验设计，我会想到基础的统计知识，比如对于特定的实验或测试，哪种分布是合适的。我经常想到，如果你要在排名算法或个性化方面进行实验，你应该能够想到，我到底在测试什么？我如何测试一个排名算法与另一个排名算法的推出？所以，数据分析当然很重要，因为在我看来，当我们谈论分析时，主要是你在查看结果，你在尝试解释事后发生了什么。但实验的设计以及理解功效、效应大小等方面的权衡，这些通常不仅仅来自数据分析师的技能，而且通常需要理解机器学习如何工作以及排名如何工作。谢谢 John 的提问。我认为在设计一个可扩展的 A/B 测试平台方面，这通常取决于业务。所以，如果你想到一个流量很大的公司，运行不同类型的实验就会变得相当容易。你可以直接说，“好的，我需要这么多人接触到治疗，太好了，我们就能做到。”所以，其中一个挑战是流量。如果你在一个流量较低的业务中，或者如果你有有趣的络问题或效应，例如，如果你想到任何人们互相发送消息的地方，你不能简单地进行简单的实验，因为如果你改变了一个人的体验，那可能会影响另一个人的体验。所以，你必须考虑实验设计。一旦你的产品变得更复杂，如何处理流量、如何处理网络效应的问题就变得非常重要。我认为在可扩展性方面，如何高效地启动实验的问题变得至关重要。要启动一个好的实验，你不仅要设计一个好的实验，你还要考虑如何正确地进行随机化。你必须考虑你如何确保你正在测试的产品功能与现有功能是否真的正确实现。所以，能够自动化其中一些东西就成为可扩展性的核心问题之一，那就是你能否将其从实验的想法转移到实时实验，以及需要多长时间？根据我的经验，对于真正成熟的公司来说，这可能只需要一到两天。对于其他尚未达到这一水平的公司来说，可能需要几周时间来设计正确的东西。而这种延迟时间可能会产生重大影响，具体取决于公司所处的阶段，以及该实验的杠杆有多高。还有很多其他事情也涉及其中，但我认为这些是立即想到的。谢谢 Erin 的提问。你提到了这对于早期初创公司是如何运作的。所以，我认为重要的是，这是一个很棒的问题，因为实验是一门科学，而科学你无法逃避“我们用户数量较少”的想法。所以，科学方面有几件事。有一些方法允许你利用之前的行为来缩短实验的长度。这些方法通常适用于处于中期阶段的公司，而不是非常早期的阶段。所以，这些方法允许你进行方差校正，基本上是解决不同指标中的方差，这样更容易达到功效。你可以用更少的观察次数达到功效。但正如你所说，Aaron，在观察次数很少的情况下，你真的无法大规模地进行实验。一方面是因为这根本不可行，另一方面，它可能需要很长时间，以至于人们会说：“我不会等六个月让你运行一个实验。”在这种情况下，你需要考虑的是，你用什么来补充实验？在某些情况下，人们会立刻说：“哦，是的，我们可以做因果推断方面的工作，我们可以做可观测性。”这不一定是一种观察性研究，这不一定有效。我的普遍原则是，对于早期阶段，要考虑如何至少确保你没有造成损害，以及如何抓住做某事的上行空间。所以，我的观点是，这通常意味着你必须用定性数据来补充你拥有的定量数据和衡量标准。因为在早期初创公司，也很可能你并不完全了解衡量用户行为和满意度的所有方式。所以我认为这是一个机会。其中之一是：我们如何确保在我们拥有的指标中，我们可以确保我们没有对用户造成损害或让他们的情况变得更糟？但通常要抓住这种上行空间以及改变带来的享受或好处，你可能需要用定性数据来补充定量数据，并与人们交谈。这就是效果研究和研究团队可能非常强大的地方。我认为有时大公司会说：“哦，我们需要他们。”但实际上，我认为这些研究团队的许多真正价值在于较小的环境中，你试图用一些定性观察来补充你拥有的定量衡量标准。好的，我们时间到了。感谢大家的参与。好的，非常感谢。我们将稍后发送录音。