Transcription
你所做的工作对世界运作的方式产生了如此巨大的影响。我想先让人们对社区备注有一个简短的了解。在 X 上，有人看到一条帖子，如果他们认为它具有误导性，他们可以提议一个他们认为其他人可能会觉得有用的备注。其他人可以对该备注进行评分。我们实际上是在寻找那些过去有过分歧的人们达成一致，我们看到的是，当人们真正达成那种令人惊讶的一致时，这就是让备注如此中立、准确和写得好的原因。总的来说，有很多人非常两极分化。你如何处理那些超级反疫苗、超级 1 月 6 日事件的人？一个重要的哲学观点是，我们希望全人类都参与进来，有时人们对此感到惊讶。我们拥有全人类，然后我们就有数据来了解哪些备注对实际人类有帮助。每个帖子都有资格获得备注。我们不应该豁免埃隆，不应该豁免政府人物，我们应该像每个人一样，甚至广告商都可以获得备注。你知道，有外部研究是由完全独立于我们的人进行的，他们发现，如果你拿一篇有或没有社区备注的帖子，实际上人们对帖子核心声明的认同度确实会改变，如果他们看到带有备注的帖子而不是没有备注的帖子。在埃隆领导下的 Oran 运行中，还有什么可能让人们感到惊讶吗？如果我创办一家公司，它会比我以前做的更精简。我一直对这个团队能够以一小群人取得如此大的成就感到惊讶，而且我认为是因为一小群人。
[音乐]
今天我的嘉宾是社区备注的产品负责人 Keith Coleman 和社区备注的创始机器学习工程师兼研究员 Jay Bater。这次谈话可能是我迄今为止最喜欢的新播客节目。社区备注是当今世界上最具影响力、最聪明、同时也被低估的产品之一。如果你曾经使用过 X/Twitter，并且在一条推文中看到一条备注来纠正推文中的错误信息，那就是社区备注。我从未深入了解过该产品背后的故事以及构建它的团队，我很高兴能为你带来这一切。我们深入探讨了该产品的令人惊讶的起源故事，算法是如何工作的，算法是如何在 Twitter 内部的一场竞赛中诞生的，社区备注背后的原则以及为什么坚持这些原则对其成功至关重要。还包括它如何度过了包括埃隆和杰克在内的四位不同的领导者，以及为什么它现在是解决互联网错误信息问题的重要组成部分，包括最近被 Meta 采纳为主要事实核查工具。这是一个非常特别的节目，我很高兴能为你带来。如果你喜欢这个播客，别忘了在你最喜欢的播客应用程序或 YouTube 上订阅并关注。另外，如果你订阅了我的时事通讯，你现在可以免费获得一年的 Notion、Superhuman、Granola、Linear 和 Perplexity Pro。请在 Lenny Newsletter.com 查看。
话不多说，请听 Keith Coleman 和 Jay Bater。
本期节目由 Work OS 提供。如果你正在构建一个 SaaS 应用程序，你的客户总有一天会开始要求企业级功能，例如 SAML 身份验证和 SCIM 预配。这就是 Work OS 的用武之地，它可以快速无痛地为你的应用程序添加企业级功能。他们的 API 易于理解，因此你可以快速发布并返回构建其他功能。如今，数百家公司已经由 Work OS 提供支持，包括你可能认识的 Vercel、Webflow 和 Loom。Work OS 最近还收购了 Warrant，这是一个细粒度授权服务。Warrant 的产品基于一个名为 Zanzibar 的突破性授权系统，该系统最初是为 Google 设计的，用于支持 Google Docs 和 YouTube。这使得在巨大规模上进行快速授权检查，同时保持灵活的模型，可以适应最复杂的用例。如果你目前正在寻找构建基于角色的访问控制或其他企业级功能，如单点登录、SCIM 或用户管理，你应该考虑 Work OS。它是 Azure 的即插即用替代品，并且免费支持高达 100 万月活跃用户。请访问 work.com 了解更多信息。
本期节目由 Product Board 提供，这是企业级领先的产品管理平台。十多年来，Product Board 一直帮助 Zoom、Salesforce 和 Autodesk 等以客户为中心的企业更快地构建正确的产品。作为一个端到端平台，Product Board 无缝支持产品开发生命周期的所有阶段，从收集客户见解到规划路线图，再到协调利益相关者，再到赢得客户的认可，所有这些都通过单一事实来源。现在，产品负责人可以通过 Product Board Pulse 获得对客户需求的更多可见性，这是一个内置智能的新客户之声解决方案，可以帮助你分析所有反馈中的趋势，然后通过向 AI 提出后续问题来深入了解。了解 Product Board 如何帮助你的团队交付更高影响力、解决实际客户需求并推进业务目标的产品。如需特别优惠和 15 天免费试用，请访问 productboard.com/lenny。
Keith 和 Jay，非常感谢你们的到来，欢迎来到播客。很高兴来到这里。谢谢。谢谢你的邀请。非常荣幸。我非常激动能进行这次谈话。你们所做的工作对世界运作的方式产生了如此巨大的影响。许多产品团队总是在谈论产生影响。我想产生影响，就像你们一样，你们已经构建了真正改变世界的东西，并且还在继续这样做。我从未真正听过社区备注是如何诞生的以及它是如何运作的等等。所以我非常感谢你们抽出时间聊天。是的，首先，谢谢你的赞美。这就是我们构建这个东西的原因，是为了帮助人们，很高兴听到这些，很高兴看到人们喜欢它并觉得它有用。我想先让人们对社区备注有一个简短的了解。我认为很多人可能已经听说过它，可能在滚动 X 时看到过它，看到这些备注，但他们会想，我实际上不知道这是什么。所以你能简单地描述一下社区备注是什么吗？社区备注是公众可以为可能具有误导性的帖子添加上下文的一种方式。基本工作方式是，在 X 上有人看到一条帖子，如果他们认为它具有误导性，他们可以提议一个他们认为其他人可能会觉得有用的备注。然后其他人可以对该备注进行评分。如果该备注被那些通常意见不合的人发现有用，这表明它可能是准确的，可能是中立措辞的，可能是信息丰富的，那么它就会显示给 X 上的所有人。目标是让人们获得更多关于他们看到的信息，以便他们能够做出更好的生活决定。太棒了。我认为听到这个，这就像荒谬，这竟然奏效了。我认为当人们最初听到这个想法时，他们会想，这不可能奏效。所以为了更深入地了解，你能给我们更深入地了解一下它是如何工作的吗？因为我认为这是你们设计的算法非常巧妙，使得它能够奏效。所以谈谈那个算法。是的，所以我认为很多人都有一个关键的误解，如果他们没有真正深入研究细节，他们可能会认为有人可以写一个备注，然后它会立即出现，或者我们只是在进行多数投票，谁认为备注是好的。我认为这两种方法都可能导致有偏见或不准确的备注。我认为关键是我们实际上是在寻找那些过去有过分歧的人们达成一致。我们看到的是，当人们真正达成那种令人惊讶的一致时，这就是让备注如此中立、准确和写得好的原因。总的来说，就是那些非常两极分化的人，通常在事情不准确时找不到共识。我认为它也提供了一些很好的反操纵特性。我认为人们经常，你知道，如果你说，我认为就像 2020 年，在我们开始在这里构建任何东西之前，这是否可行，我认为一群机器学习工程师会说，哦，你必须将其保密。人们会一直操纵它。你必须使用事实核查员的真实标签。没有办法像在没有外部标签的情况下引导系统。但事实证明，你可以做到。使用我们称之为基于桥梁的共识算法。好的，所以为了总结一下，让它非常清楚，基本上是人们，有人写了一个备注，这个信息是真实的。就像我们谈论这个一样，一个经典的例子是什么？一个非常非常经典的例子是人工智能生成的图像或脱离上下文的图像。就像看看这里发生了什么，但实际上是五年前在另一个国家，另一个话题。哦，天哪，我见过那些很多次了，就像看看旧金山发生了什么，不，这是完全不同的城市，而且那不是。是的，是的，好的，好的。所以有人发布了这张人工智能图像。有人写了一个备注，这是五年前在另一个城市。这个算法有助于理解这是真实的，这个备注是真实的吗？只是普通人做的吗？是的，是的，普通人，他们已经注册成为社区备注的贡献者。所以，你知道，有一些检查，比如你确实需要一个经过验证的电话号码。但是的，归乎，这些人是普通人，不一定是专业的事实核查员或其他什么。你知道，这对我们来说也很重要。就像一开始有一个问题，就像杰所说的，嗯，有人认为这会奏效吗？显然，这是一个疯狂的想法。我们不知道普通人是否能够完成这项任务。当然，你知道，人们担心他们是否会有效率。起初，公司内部的一些人建议，嘿，为什么不让记者或一些选定的群体成为第一批参与者？但非常明确的是，我们喜欢不，那是，我们正在努力摆脱围绕此做出策划编辑决策的想法。这应该对所有人开放。所以我们非常刻意地尝试允许所有人类参与。人们是随机选择的。这很重要，你知道，感觉公平，感觉开放，感觉值得信赖。是的，而且这就像，听起来像是理解真相的圣杯，而且它确实奏效了，而且奏效得非常好。Meta 最近，正如你们都知道的，决定为他们采用这个确切的系统。而不是有数万名事实核查员审查事物。我需要做一个区分，这可能听起来吹毛求疵，但我认为这很重要，社区备注增加了额外的上下文。它不一定是事实核查。所以，所以有一些情况，帖子可能是真实的，但可能只是具有误导性，因为没有上下文，或者缺少上下文。你知道，我们涵盖了这些情况。我认为这是一个重要的区别。我们也只是抱着用户应该能够自己做决定的哲学。就像，这里是，这里是额外的上下文，拿走或留下。是的。我认为你和我分享了这个例子，一张有猫的图片，有人在社区备注中说，那是狗，或者反过来，或者那是。是的，是的。巴勒斯坦男孩分享他的面包和一只狗。帖子是这样的，这是一只猫的照片。所以，显然，这个备注不是超级必要的，因为它只是说那是猫，并链接到维基百科的猫。这就像一个很好的例子，就像这个系统，这不是专业的事实核查员会做的事情。但它证明了系统确实是由用户控制的。最终，并增加了一些上下文，如果我猜的话。而且，你知道，备注是正确的。而且我可以，你知道，当一个帖子被触发以供社区备注考虑时，这很重要。是否有某种阈值，或者你可以在任何事情上写一个备注，人们决定他们想投票？它是如何运作的？所以每个帖子都有资格获得备注。而且，再次，这是另一个非常重要的原则。就像，我们不应该豁免埃隆，不应该豁免政府人物，我们应该像每个人一样，甚至广告商都可以获得备注。所以平台上的任何帖子都可以获得备注。如果你在实践中看看，你会看到备注出现在世界领导人、埃隆、广告、媒体组织以及显然只是使用社交媒体的普通人身上。但是的，想法确实是，对于提议备注来说，这是一个公平的竞争环境。提议者必须赢得撰写备注的能力。所以确实有那个方面，你必须像赢得进入才能做到这一点。你获得这种能力的方式是通过你的评分，通过展示识别被广泛人群认为有用的备注的能力。所以基本上，如果你有能力看到并知道什么对很多人有用，那么你就有能力开始提议备注。我实际上注册成为一名。你称他们为什么？不，不，不。贡献者？不，好的，贡献者，是的。我一直在评分，我还没有达到可以写备注的高度。是的，这并不容易，需要付出努力。你有没有什么统计数据可以分享关于社区备注的规模，特别是那些可能让人们感到惊讶的事情？是的，嗯，服务正在快速增长。每天有数百个备注。为了进行比较，我最近看到加州大学伯克利分校的一位人士的一些统计数据，他们说每天大约有 10 次事实核查。相比之下，每天有数百个备注正在显示。它们涵盖了非常广泛的主题，从政治新闻到娱乐、体育、游戏，以及当天发生的一切。除了有数百个这样的单独备注之外，它们还可以匹配到多个帖子。如果有人在图像或视频上写了一个备注，比如它是人工智能生成的，那么该备注将自动匹配到包含相同图像的所有帖子。所以你可以有一个备注匹配到数千个帖子。而且，比如说，在过去一年里，2024 年，我们有大约 95,000 个备注被观看了大约 300 亿次。这比前一年翻了一番多。前一年大约是 37,000 个备注，观看了 140 亿次。所以这个比率正在急剧增加。你想到 300 亿次观看，那就是很多信息可能没有被传播出去，这很酷。它之所以扩展如此之快的部分原因在于贡献者基础正在扩展。全球大约有 950,000 名贡献者，这接近一百万人正在实现这一目标，这太棒了。我也是其中之一，就像，我算作贡献者。是的，你注册为英国贡献者。那么还有更多的人在等待名单上。所以，有更多的增长空间。关于匹配，关于视频媒体和 URL。我认为这是获得额外覆盖的巨大方式。另外，我认为我们非常小心地确保这些匹配是精确的，因为我认为人们喜欢社区备注与其他类型的事实核查相比的一个方面是，实际上备注是为他们看到的特定声明量身定制的。所以，所以通常一个事实核查警告只会说一些像，你知道，在这里获取事实，然后有一个链接到一些关于投票的通用页面，就像信息一样。这真是太没用了，因为信息在点击后面。所以，所以将上下文拉上来，你知道，零点击你需要做的事情，并保持具体非常重要。我喜欢的一个功能，我想你们一定深入思考过，就是如果我喜欢这个帖子，我以后会收到通知，如果出现社区备注，这样我就不会记住这些错误信息了。嗯，我们尽量让备注尽快出现。我们希望它们尽可能立即出现。但不可避免地，帖子上线和人们弄清楚发生了什么并发布备注之间会有一段时间间隔。所以我们发送这些通知是为了弥补这个差距。而且，是的，我们收到了很多关于这个的赞美。我们看到人们截图分享，他们对此感到兴奋。而且它也是一个在互联网上，在社交媒体世界中可以做到的很酷的例子，这在印刷或标准新闻世界中很难做到。你可能会在报纸的一角看到更正，但很难在这里阅读。如果你已经参与了帖子，你就会收到一个提示。一位用户的反馈是，我喜欢这个推送，只是告诉我，你在这里有什么错了，因为我发现我实际上必须进去阅读它，我觉得推送可以简单地说，这里有一些信息，这里有更多关于你喜欢的东西的上下文。我们会去看看。直播更容易反馈。好的。我想深入了解这个东西的起源故事，但还有两个问题，因为我们正在讨论这个话题。一个是，备注要显示出来并触发它，它的阈值是多少？你是否可以分享这些信息？只是它如何运作？所以只是因为算法的细节，它使用机器学习算法，你知道，叫做矩阵分解，你知道，我们用梯度下降等来拟合它。阈值是，你知道，它是，它是 0.4，在这个，你知道，虚构的尺度上，0.4。好了，我们有了。我的意思是，在实践中，它意味着，你知道，基本上，大多数人，如果存在与备注相关的两极分化分歧，你知道，显然有些备注与政治无关或具有争议性，但如果存在，那么大多数人，双方都会普遍认为备注有用。然后还有其他规则在起作用。所以，你知道，即使它高于那个阈值，它也可能被过滤掉，如果有一个单独的算法在查看人们的错误判断之间的共识。所以，就像，也许人们发现备注有用但错误。就像，它确实会发生。在那些情况下，它是否高于有用性阈值并不重要。所以这个 0.4 是，这可能不是正确的思考方式，但它是 40% 的人通常不同意，同意吗？这没有任何意义。它只是在一个任意的尺度上。是的，是的。如果我们改变算法中的其他随机事情，那个数字也会改变，变成一个同样看似任意的数字。是的，我们通过衡量用户反馈来获得一些这样的数字。我们可以分享很多备注，让人们反馈哪些有用，然后就出现了关于指示在哪里，你知道，事情从可疑到非常明显有用的地方。而且，顺便说一句，它现在被设置为非常保守。我认为，我们只是对质量非常挑剔，我们真的希望质量非常高。我认为，我认为 Keith 和我一样，都相信我们最终会因为备注的质量而生死攸关。所以，所以我们宁愿不显示一个可能好的但我们没有足够信号的备注，而不是反过来。这太有道理了。我从未见过一个社区备注是错误的，打破这个承诺是一件大事。所以我完全理解为什么你们如此保守。好的，还有两个问题，因为我很好奇，这些不在我的问题列表上，但我感觉人们会想知道。有多少备注会显示出来并触发它？我们可能会显示大约 8% 的提议备注。我认为，这大约在 7% 到 10% 或 11% 之间，随着时间的推移，这个数字可能会略有变化。而且，正如 Jay 所说，无疑有，而且你可以看到，确实有比我们展示的好的备注多得多，但目标是保持非常高的标准。就像我们想在备注有用时展示它，当它不会显得有偏见并破坏对系统的信任时，就像我们希望这些备注是中立的、信息丰富的、有用的。而且，你知道，正如 Jay 所说，我们认为最糟糕的错误是展示一个糟糕的备注，因为那会破坏信任，而信任是人们喜欢这个产品的原因。所以，是的，标准就在那里。而且，你知道，就像我说的，确实有一些，嗯，在剩下的 90% 中有一些是好的，然后有很多只是不太好，还有一些是坏的。如果你写了其中一个坏的，坏的定义是那些通常不同意的人发现备注没有用。所以它就像我们展示的备注的逆过程。如果你写了一个备注，人们，你知道，通常不同意的人发现它没有用，你最终会失去写备注的能力，并且必须重新获得它。所以这个范围，这个 90% 是混合的。有时人们会看数字，他们会想，哦，为什么你们不展示更多？嗯，你可能实际上并不真的想让我们展示其中大部分。这里的黄金是系统能够过滤掉好的。这有道理。好的，还有一个问题。有很多人非常两极分化，对很多事情非常不赞同。他们如何融入这个算法？你如何处理那些超级反疫苗、超级 1 月 6 日事件的人？就像所有这些非常极端的潜在观点？如果人们真的如此两极分化，以至于在那些通常不同意的人之间没有共识，你知道，这可能是一个正确的备注，但它可能没有用。它可能不会，你知道，作为上下文显示有用。也许是关于一个人们已经，你知道，有非常根深蒂固的观点，并且他们已经读了数百篇关于它的文章了。就像，可能这只是，不会提高人们的理解，它只是不会是用户体验。所以在那些情况下不显示备注可能不是最坏的事情。几年前，人们对事实核查是否能改变人们对真相的理解相当悲观。事实上，有一些外部研究，你知道，是由完全独立于我们的人进行的，他们发现，如果你拿一个社区备注，或者一个带有或不带有社区备注的帖子，实际上人们对帖子核心声明的认同度确实会改变，如果他们看到带有备注的帖子而不是没有备注的帖子。所以我们正在产生影响。对于那些人们以前认为可能不容易处理的事情。而且，所以很高兴专注于那些存在桥梁式共识的案例。我还会说，算法中还有一个声誉组成部分。所以如果你持续以与基于桥梁的共识相悖的方式对备注进行评分，那么我们将不再计算你的评分。所以，你知道，如果你是那种总是将糟糕的备注评为有用的人，我们确实会过滤掉你。所以，所以这些类型的人与那些好但两极分化的人之间存在区别。是的，我认为一个重要的哲学观点是，我们希望全人类都参与进来。有时人们对此感到惊讶。他们会想，哦，难道没有人，你知道，不应该这样做吗？或者，你知道，他们的想法太极端了，也许他们不应该参与。但我们的观点是，实际上，我们希望全人类都参与进来，因为如果我们拥有全人类，我们就可以，然后我们就有数据来了解哪些备注对实际人类有帮助。你知道，我们可以更好地建模，更好地理解，更好地展示这些备注。所以让拥有各种观点的人参与进来是有利的。而且，我们不期望每个备注都会被每个人喜爱。你知道，那是一个不可能达到的标准。但我们确实打算展示那些，你知道，80% 的人会阅读并说，哇，我不知道。所以，你知道，从这个意义上说，无论某人的观点多么极端，让他们参与这个项目仍然很棒。所以，你知道，无论你的观点如何，请注册并参与。它有助于识别真正有用的东西。很酷。我们会链接到人们，如果他们想实际注册，这样他们就知道如何做到这一点。我们实际上没有指定的是，这些都是志愿者。没有人因为做这些备注和投票而获得报酬，对吗？是的，这完全基于内在动机。而且我们认为这是一个很好的理由。当你与最活跃的贡献者交谈时，他们中的许多人只是想让世界上有更好的信息。这是一个很好的动力。所以，是的，这就是为什么他们。而且，你知道，如果你想到，对于这些人来说，他们可以产生的影响是惊人的。所以，当我们第一次在美国范围内推出时，这大约是在 2022 年。一个备注出现在白宫的一条推文中，白宫删除了推文并重新发布了一个更新的声明。就像，想象一下写那个的人。你可能有大约 12 个粉丝。你的帖子可能只获得几个赞。而你在这里，在白宫发布了一个备注，他们根据你所做的事情改变了他们的公开谈话要点。就像，这是令人难以置信的影响力。所以，你知道，当他们关心世界上发生的事情时，你可以看到为什么人们会受到激励去做。它，你知道，你不必成为一个知名人士就可以在某种程度上塑造话语和信息流。它很有帮助。这太疯狂了。这个东西有很多值得喜爱的地方。一个是这个整个运作的精英制度。就是任何人，只要是真实和正确的，都可以参与并产生影响。它也表明我们收到了多少错误的信息。我们根本不知道我们看到错误信息的频率有多高，现在我们知道了。从事这个产品让我意识到，我过去有多少东西只是默认信任，而现在我更加怀疑地看待它们。绝对是这些天。好的，在我们进入起源故事之前，还有什么你们认为非常重要或非常有趣的事情要分享吗？当然，我想还有一件事，就是虽然我们实际上不使用帖子被备注的事实来作为核心排名算法，你知道，我们认为这是一个很好的特性。但它确实有一个巨大的有机影响，也就是说，不是来自算法，而是来自用户行为。人们会更少地点赞和转发，或者，你知道，引用带有备注的帖子。所以，只是，我不知道，对于那些通常在大型平台上进行 A/B 测试的人来说，你可能已经熟悉这一点了。但对于任何一种算法更改来说，1% 通常是一个很棒的效果大小。我们看到，在我们运行的 A/B 测试中，当比较显示带有备注或不带有备注的帖子时，点赞和转发的参与率下降了 30% 到 40%，这真是太疯狂了。然后，然后如果你看看，那只是 A/B 测试的参与率。所以那不是网络效应。如果你捕捉到一个人转发的帖子传播较少的整体网络效应，这可能感觉像是顶线差异。不同的多个不同的外部研究小组都一致发现，在备注应用后，总转发量下降了 50% 或 60%，这真是太疯狂了。所以它对传播也有很大的影响。这太好了，我希望看到这一点。而且影响巨大。基本上，一个虚假内容的 AI 图像会在 Twitter 上疯传，在社区备注出现之前是这样的。而现在你所说的是，只是添加上下文，实际上并不是，你说算法不会降级它，如果有什么不正确的话。只是人们会想，好吧，这是假的。我为什么要转推这个？这使得。正确。是的，备注完全消除了这些故事的动力。所以，就像，这个东西会疯传，备注出现了，转发量下降了 50% 到 60%。就这样。它就消失了。而且，顺便说一句，我对下一个事情有非常复杂的感受。但作者在收到备注后删除帖子的可能性增加了 80%。好吧，这很好，因为，你知道，减少了错误信息。但我为此感到痛苦，因为通常那些备注是最好的。就像，如果备注如此之好，以至于你别无选择，只能删除你的帖子，那么其他人就看不到那些备注了。因为，顺便说一句，有一种说法是，就像你可能在 X 以外的其他地方或 X 的其他地方看到相同的误导性说法一样。你知道，实际上展示更好的帖子，看到带有备注的帖子比根本不看它要好。嗯，对此不确定。这太有趣了。是的，我可能会，如果我是那个社区备注的作者，我会很难过。哦，天哪，它太好了，他们甚至无法让帖子保持在线。好的，从今天这个世界回来，你就是这个代码的小部分正在改变人们对世界的理解和他们所相信的方式，并让白宫重新审视他们的公告。回到这个整个项目是如何开始的。我简要听到的就是，Keith，你只是厌倦了管理 PM，你想自己做点什么。你想做一些有影响力的事情，远离公司里的那些屁事。你基本上只是在寻找一些有影响力、重要的事情，然后你找到了。谈谈这一切是如何在故事的开头发生的。是的，嗯，对我来说，开头实际上可以追溯到我为什么在 2016 年加入了当时的 Twitter。我有一个初创公司，我们有一些收购要约，其中一个来自 Twitter 公司。那是 2016 年，正值唐纳德·特朗普和希拉里·克林顿之间的选举。有大约三次电视辩论，但每天 Twitter 上都有一次辩论。很明显，这就是人们谈论这些重要事情的地方，你知道，信息在这里分享，想法在这里形成。作为一个用户，很明显我可以在那里获得好信息，但也很明显，周围有一些可疑的信息。我记得只是作为一个局外人看着，想着，哇，这是一个非常困难的问题，但它似乎也非常重要。所以我们最终去了 Twitter。当时公司正处于转型期。所以，我的前三年只是帮助公司重新增长。你知道，处理所有消费者产品的事情，你知道，让用户增长回来，让人们再次想在那里工作等等。但几年后，我反思了我们所做的事情。你知道，我认为我们做了很多好的工作来建立动力，但它，美国和行业中的人们尝试过一些方法来处理误导性信息，但没有一种真正奏效。很明显没有一种奏效。没有一种能够处理问题的规模，没有一种能够处理速度。而且很多人根本不信任现有的方法。就像现有的方法要么是事实核查员，要么是内部信任和安全团队来决定什么具有误导性，什么不具有误导性。而且，你知道，很多人根本不想或不信任以这种方式来决定。这是非常合理的。所以，你知道，我看着它，我还在管理一个大型 PM 团队。你知道，这本身就是一个故事。我，我觉得那份工作需要很多精力，而且我并不总是看到我想要的产出。就像我没有看到我想要的产品变化。而且，你知道，我正在考虑，我应该去创业吗？我应该做些别的事情吗？我一直回到这个问题。我想，天哪，世界将如何处理这个信息质量问题，就像我们在社交媒体上获得的一切，无论我们在哪里获得。而且我想，你知道，我在这个公司，我可以改变这个问题。为什么不回去尝试一些疯狂的想法，看看其中一个是否可能奏效？所以，我回来了。我有一个孩子。我从陪产假回来，我去找了我的老板 Kayvon。我说，嘿，Kayvon，我能不能不干我的工作，而是去处理这个？你知道，尝试一些疯狂的想法来处理误导性信息。他很高兴。所以，我回去开始处理这件事。你知道，它始于阅读我能找到的关于这个问题和现有解决方案的所有研究，什么奏效，什么不奏效，或者有什么问题。然后是原型设计。然后，你知道，最终导致我们构建和试点了这个想法，这个想法变成了社区备注。太棒了。我有很多问题，我们将继续讲述这个故事，但当你加入 Twitter 时，当时是什么样的？当时它被称为 Twitter。我将尝试现在称之为 X，我知道这对你的老板很重要。什么时代的 Twitter？当时是 Kayvon 负责还是你加入的，谁是 CEO？因为有过很多。好的，是的，我是在 2016 年 12 月加入的。Jack 相对较早地回来担任 CEO 来扭转公司局面。给你一个公司状态的感受。大约有三分之一的员工每年都在离开。想象一下，每年你三分之一的团队都走了。你知道，股票一落千丈。产品并没有真正增长。所以，Jack 正在努力扭转局面。Kayvon 已经在那里了。Kayvon 负责 Periscope 和很多视频方面的东西。你知道，那个团队继续，你知道，Jack 就在那里，直到社区备注，然后是 Birdwatch 项目。是的，好的。当时叫 Birdwatch。我不知道我们是否已经用过这个词了，但这是一个重要的点。最初它叫 Birdwatch。当，嗯，当我们开始这个项目时。但显然，众所周知，这个名字后来改变了。也许可以快速讲一下那个故事。我知道我们正在向前推进，但只是，我有一个 Twitter 帖子，我看到了 Jack 和 Elon 之间的辩论，他们争论叫什么名字。Elon 说 Birdwatch 听起来很奇怪，我想改变它。你有什么可以分享的吗？那里的故事很有趣。Elon，Elon 来收购了公司。你知道，我们刚刚相对较近地推出了这个产品。它已经试点了一年，但我们刚刚向全美开放。他，我想他一直在看备注。而且，你知道，在收购后不久，他给我发了私信，他说，嘿，这个社区备注很棒。我说，哦，我很高兴你喜欢它。就像，让我们，你知道，谈谈。所以我们第二天就谈了。他一直称之为这个社区备注的东西。我说，你知道，有趣的是你一直称之为那个。因为，因为那实际上是我最先称呼它的。就像，我制作的第一个 Figma 模型描绘这个东西就叫社区备注。我不知道为什么，它感觉很自然。所以，这是我们测试的第一个原型。你知道，后来这个项目改变了它的名字，变成了 Birdwatch。但你知道，Elon 说，嘿，我们就叫它吧。所以第二天，我们就改了名字。而且，你知道，它总是，你因为改变名字而闻名。但实际上，团队对此感到兴奋。我认为它是一个更容易理解的名字。Jack 嘲笑它，称它为，就像，终极 Facebook 名称，或者类似的东西。但最无聊的 Facebook 名称。这很有趣，因为他们现在，你知道，正在推出社区备注。但，但我想它是一个非常易于理解的直观名称。而且我认为它对产品非常有益。我第一个模型中就有那个名字，我认为描述性名称是合理的。这个，Elon 的联系，我想稍后谈谈你是如何处理这么多强势个性的，并让它在这么多变化中保持活力。但在那之前，你做了一些我认为很多产品领导者、工程领导者，只是管理过人的人梦想的事情。放弃所有这些权力，用引号来说，以及职业轨迹和影响力。然后只是，忘了所有这些。我要回去只是构建一些很棒的小团队。关于那次经历，你有什么建议可以分享，你认为可能对其他领导者有帮助，让他们分享或听到，帮助他们也许做同样的跳跃？这在实践中非常困难，很容易谈论，很难做到。是的，我认为这是一个艰难的跳跃。我在职业生涯中做过几次，我一直都很满意。我从一个小型团队开始，它逐渐发展成一个更大的团队。然后我想，你知道，我们正在处理很多生产力方面的事情，团队真的很大。我想回去和一个小团队一起做一些疯狂的新事情。所以，我做过几次，就像，看到飞跃。但它可能很难，因为当然，自然的，经典的职业道路是，我不知道，奖励或，你知道，经营一个大组织或成为一名经理之类的事情。但我认为，归根结底，你必须做你喜欢的事情。你必须玩得开心。而且，我认为人们想要产生影响。而且我认为有一个神话可能会阻碍人们，那就是你管理的员工越多，或者你的范围越大，你的影响力就越大。我绝对不认为这是真的。如果你只是看看，我的意思是，看看社区备注的例子。如果我继续经营一个大型消费者 PM 团队，我会产生什么？16 页以上的 OKR？我不知道，你知道，一堆文件。而且我认为构建社区备注对世界产生了更大的影响。它已成为如何处理这个问题的行业标准，这太酷了。人们喜欢它。它是第一个可以合理地处理互联网规模的信息质量问题的。你知道，我认为它无疑比我如果只是做一些标准的管理轨道的事情，就像我以前做的那样，产生了更大的影响。而且我认为这对于许多其他，你知道，小型公司和初创公司来说也是如此。我只是读到截图，我认为是 Blake Scholes 的 LinkedIn，前几天，他从，就像，优惠券总监之类的职位，转变为构建第一个超音速的 Groupon 团队。是的，是的。而且，你知道，当你看看的时候，这些故事无处不在。所以，我绝对发现，你知道，对我来说，我喜欢亲手构建，我喜欢尝试疯狂的新想法。我喜欢从零到一的体验。扩展它也很有趣，而且可以很有趣地运营它，你知道，它规模很大。但你，你知道，这个团队是一个很好的例子，它在一个非常大的规模上运营，但仍然很小。是的，我认为你们团队的运作方式是越来越多的公司正在尝试做的事情。移除中层管理层，创建小型团队来执行和构建影响力。就像 IC 一样。每当我提到 IC 时，我都会在 YouTube 上收到评论，说 IC 是什么？所以我只是要解释一下，个人贡献者，非经理，当我提到这个词时。让我继续这个话题。当我问人们你是如何建立团队以有效运作并最初保护它的时，有一个术语“热力学”经常出现。他们说是一个热力学团队，如果那是你的描述方式。是的，那是什么？所以，嗯，任何在一家大公司工作过的人可能都知道，事情可能会变得有点官僚或停滞不前。决策可能很慢。有这些大的规划周期。人们可以，就像，尝试，就像随机的时间将某人从一个团队转移到另一个团队。这可能会扰乱一个项目。就像各种各样的事情。嗯，嗯，你知道，我们公司，这是几年前我们开始这个项目的时候。我们公司有很多创始人。就像 Kayvon 是一个例子，一位帮助运营公司的创始人。他有一个想法，就像，嘿，为什么我们不创建一个叫做热力学的项目，这样我们就可以有一些相对独立的团队。他们可以按照自己的流程运行。他们会有一个明确的所有者。团队将完全致力于该项目。而且，我们就这样反复地。
关于是否继续努力的资金决定，顺便问一下，它为什么被称为“热力”（thermal）？那里的想法是什么？
我认为，我认为这就像一个老鹰的类比，你知道，热力（thermals）让它们在翅膀上飞翔。Twitter 1.0 显然有很多关于鸟的类比，愿上帝保佑它。所以，你知道，这是其中之一。但是，你知道，这个想法，作为一个喜欢创业环境的人，我非常喜欢这个想法。所以，当我们开始这个项目时，我说：“嘿，Kayvon，为什么我们不把它做成第一个热力项目呢？”他说：“是的，我们来做吧。”所以，我们就是这样开始运作的，从第一天起，它就给了我们很大的自由和自主权，我认为这对于让产品发挥作用非常重要。
所以，请非常具体地说明，什么使它成为一个热力项目？你如何设置它？这是从一个公司的角度提出的，如果一个公司想建立自己的类似的东西，它看起来会是怎样的？
我认为有一些关键属性。所以，第一个关键属性是，项目有一个明确的驱动者，他基本上就像创始人。我想，也许你可以有两个，但它非常明确，有一个项目驱动者，还有一个明确的决策者，他们可以去那里。
在团队之外。
在团队之外。是的，这在我们开始的时候就是这样，现在也是如此。如果我们现在需要什么，或者对什么有疑问，我都会和 Elon 谈。从一开始就是这样。我认为这是我们能够有效、快速、以简单的方式做出决定的一个重要原因。
而且，它必须是某位非常资深的人，对吗？
是的，它需要是某位资深人士，他能够做出你需要的决定，无论它们是什么。所以，我认为这种明确的决策结构非常重要。
另一个是 100% 的专注。所以，项目中的每个人都被期望全神贯注于它。在很多公司，人们的注意力很容易分散到很多事情上，这使得完成工作变得困难。就像你去找，你去找任何一个人，你问他们关于某件事的帮助，他们会说：“是的，我会帮助你，我得完成这件事，你知道，这需要我一两个星期，然后我才会去做。”而一两个星期的延迟会完全改变项目的势头。你知道，当我们 100% 专注时，我们会在早上交谈，就像：“嘿，Jay，为什么我们不尝试一下这个算法呢？”他说：“是的。”然后，你知道，下午或第二天，我们就看到了结果。所以，由于这种完全的专注，迭代的速度大大提高。
然后，你知道，除此之外，我们还可以使用我们自己的决策过程。我们不需要写 OKR，也不需要遵循其他人的标准实践。显然，我们必须确保我们负责任地构建产品，以及其他一切。但是，我们不需要使用标准的，嗯，标准实践。我认为这是一个很好的例子，比如 OKR。我理解它们为什么会有帮助，但它们也可能不是设定目标的正确节奏。我不知道，我认为季度或年度目标是否真的是正确的节奏，这一点非常不清楚。我们为下一个重要的里程碑设定目标，然后我们为之努力。当我们达到那个里程碑时，我们就知道接下来会发生什么。然后，当我们达到它时，我们就设定下一个里程碑，无论是两周、一个月、三个月，无论是什么。我们以自己的节奏和目标设定自己的节奏。我认为这对于事物的开发来说更加自然。
整个 OKR 的确定和规划过程比我们选择一个目标然后执行并完成它所需的时间要长。
你早期建立的团队有多大？有多少工程师？
它开始时只有我。然后，当我们决定构建这个东西时，我们认为我们需要大约五个人。我们想尽可能地保持小规模。很明显，我们需要有人负责 ML，负责评分。很明显，我们需要有人做一些客户端工程工作，有人做后端工程工作。可能还有一两个其他人。哦，我们需要一个设计师和一个研究员来帮助我们了解客户群，并确保我们构建的东西能够真正引起人们的共鸣。所以，我认为那是，我认为那是后端、前端、ML、设计、研究。据我记忆，那就是最初的团队。
太棒了。所以，基本上每个职能部门一个人。
我有一个问题想问 Jay。有很多关于小团队和快速移动的讨论。但你知道，有时你只需要更多的工程师来构建一个东西。在你保持团队如此之小但又如此快速地移动的同时，你是否学到了一些关于不需要雇佣更多工程师的经验？
我需要更多工程师。
我认为，在早期，当我们进行迭代时，你知道，甚至应该有什么样的要求。让它只有一位 ML 工程师当然是好的。但我认为，在某个时候，我们清楚地了解了算法的目标应该是什么。我们尝试，你知道，我们真的，我认为在非常早期的时候，并不清楚我们需要构建这个基于桥架的算法，对吧？我实际投入生产的第一个算法非常专注于反操纵。它是一种 PageRank 的变体。但它没有解决偏见问题，基本上。所以，如果有一边有更多的用户，PageRank 类型的图算法实际上会放大这些偏见。所以，我认为，你知道，在构建了那个原型并从中获取数据之后，很明显，基于桥架的算法将是我们解决它的方式。在那时，基本上，我设置了一个“烘焙赛”，基本上就像，你知道，Kaggle 比赛之类的。所以，那是关键时刻，真正重要的是引入其他工程师。
这是一个很酷的故事。我想继续这个话题。在我们这样做之前，你提到你们会说“YOLO thermal”。那是什么意思？是像“YOLO”一样，只是“好吧，我们只是要发布，因为我们是热力项目，发布它”吗？
营销人员，我知道你喜欢 TS。所以，让我直奔主题。Wix Studio 为您提供了一切所需，在一个地方满足任何规模的客户。以下是您的工作流程可能的样子：使用动态页面和可重用资产轻松扩展内容。通过内置的营销集成，如 Meta CAPI、Zapier、Google Ads 等，快速推进项目。在几天而不是几周内通过直观的设计工具、连接的跟踪和分析工具（如 Google Analytics 和 Semrush）进行 A/B 测试登陆页面，并在没有手动设置麻烦的情况下捕获关键业务事件。从统一的仪表板管理所有客户的社交媒体和通信，然后跨所有渠道创建、安排和发布内容。如果您正在处理内容丰富的网站，Wix Studio 无代码 CMS 可让您在不接触设计的情况下进行构建和管理。当您准备好进行更多操作时，Wix Studio 会与您一起成长。添加您自己的代码，使用 Wix Made API 创建自定义集成，或利用强大的原生业务解决方案。通过 Wix Studio 实现真正的客户增长。前往 Wixstudio.com。
好的，回到这个算法。这实际上非常有趣，因为我以前从未听说过这些。我本来想问是什么启发了这个实际的算法，而你基本上是在 ML 工程师之间进行内部竞争，看看谁拥有最成功的算法？Netflix 竞赛风格？Kaggle 风格？
是的，是的，我认为是这样。我的意思是，这个关于寻找被两极分化分歧两侧的人所喜欢的内容的想法，他们通常意见不合。这并非凭空而来。我的意思是，Keith 发现了一些 Chris Biil 的工作，他做过，他列出了那些经常被政治上两边的人喜欢的用户列表。还有其他项目，比如 Polus，它们会寻找通常意见不合的人之间的共识。但我的意思是，从一开始就清楚我们的项目绝对需要使用它，但然后，你知道，当你实现它并将其与 PageRank 等其他类型进行比较时，PageRank 显然是为抵抗操纵而设计的。它自然而然地，你知道，如果你有一个由互相给自己投票的人组成的投票圈，那么 PageRank 可以很好地过滤掉它。但那并不是主要的攻击向量，我想。所以，我们必须从试点中获得一些真实数据，才能意识到，好吧，真正发生的事情是人们两极分化了。所以，只有在我们从试点中获得真实数据后，我认为才清楚基于桥架的算法将是我们真正需要走的方向。在那时，基本上，我设置了一个“烘焙赛”，基本上就像，你知道，Kaggle 比赛之类的。所以，那是关键时刻，真正重要的是引入其他工程师。
我喜欢你描述它很有趣。而且我认为很多人看到 Elon 解雇了很多人，他自己非常强硬，他们不会想象这是一个有趣的工作场所。而且很清楚你们有多喜欢做这个，它有多有趣，它有多么有趣。听到这个很有趣，因为我认为很多人在外部感觉不到这一点。
关于为 Elon 工作，在一个 Elon 经营的组织中，是否有任何关于工作方式的令人惊讶的事情，或者你认为其他公司可能想考虑采纳的？
我一直喜欢精益团队。但我在 X 的经历改变了我对如何经营未来组织的想法，或者说，如果我创办一家公司，它将比我以前想象的要更精益。我惊叹于团队能够完成多少工作，而且是一个小团队。我认为，因为是一个小团队，就像在收购后不久，我们有一个名为 Spaces 的产品。它以前就在产品中，但规模很小。Elon 想运行大型 Spaces。我不记得他要带谁来。但他会在那里。最终，这些东西已经托管了政治家等等。他说：“伙计们，我们必须扩大规模。”我不记得数字了。他说：“我需要能够扩展到一百万人左右。”我记不清数字了。你必须能够扩展很多。这是 1.0 版本的东西，如果它发生的话，需要一年时间。而团队在两三周内就完成了。这真的很令人兴奋和鼓舞。我没有参与其中，但我从外面看到了，我说：“哇，这个小团队，在一个大目标的支持下，就像‘伙计们，不是我们是否会做这件事，而是我们要做这件事’。他们在两三周内就完成了。”那一定让他们感觉很棒。看到这一点当然令人兴奋。但我确实开始欣赏精益可以多么精益，而且不仅是勉强维持，而是真正蓬勃发展，因为它如此精益。
我认为你关于人们选择加入的观点很重要，因为我认为很多人听到这个会说：“我永远不想被要求在两周内构建这样的东西。”我认为很多人确实喜欢这种经历，尤其是与 Elon 一起工作，尤其是在那个规模上发布东西。但我认为有一个重要的元素是，就像“好吧，我不想这样做。我生活中还有其他事情要做，而不是发布 Spaces。”所以，我认为这是一个关键点，你提出了，就是有一个选择加入的步骤。
完全正确。选择加入很重要。甚至可能你会在人生的某个阶段选择加入一部分，而在人生的另一个阶段，也许其他事情更好。我认为，无论你选择做什么，很高兴能够选择加入，感觉它与你想要如何度过时间相符。
我心里有件事，我不知道你们是否想谈，但我想很多人都在想。当 Elon 来的时候，他解雇了 80% 的人，每个人都说：“Twitter 完了，它都会崩溃，他们不可能用这么小的员工来运营。”显然，他们错了。显然，它运作得很好，它正在成为世界上一个巨大的交易，并且还在继续增长。关于这一点，你是否感到惊讶，或者关于它如何继续如此顺利地运作，尽管发生了如此大的变化？
更精益的团队，减少了流程和官僚主义，这是它能够如此快速地发展的最大原因。在这里更容易更快地完成工作。是的，我的意思是，我认为，我认为这种收缩实际上是发布速度加快、实验速度加快的一个重要原因。
我注意到的一件事是，结果是这里的人们似乎都真正感觉自己是所有者。他们承担着所有者在产品中承担的责任感。他们会试图追踪什么出了问题，修复任何需要的东西，跳入任何系统来帮助构建、修复或改进任何需要的系统，即使它超出了他们的领域。
而且，对于在大公司工作过的人来说，也有反面。他们可能经历过这样的事情：你想改变一些东西，或者在其他系统或产品中，所以你联系了那个团队，他们可能有点抵触，他们可能会说：“哦，我们下个季度再处理。”他们有自己的目标要实现。是的，正是如此。他们不一定想帮助你。他们很忙。你就像，“嘿，伙计们，我们需要用你们工作的那个其他系统做这件事。”他们说：“太好了，这是代码，这是文档。如果你有任何问题，请给我们发送 Fab，我们会把它弄进去。”而你就可以跳进去完成它。而这种协作努力，就像共享所有权的感觉，我认为根据我的经验，是团队缩小到那些想要在那里一起工作来构建这个东西的人的结果。所以，我认为这是一个非常积极的影响。当然并不总是容易的。很多人都有很多责任。但你知道，他们在这里是因为他们愿意承担。
我认为还有一件事是关键。当你被迫拥有如此小的团队时，删除代码比编写代码更重要，很多时候。所以，我认为，很多时候，也许是由于晋升激励或只是普通的人类倾向，你，你知道，工程师倾向于添加这些小的增量胜利，这些胜利实际上增加了长期的维护成本，而这些成本并不像你想象的那么清楚，因为你只是进行了一个月的小 A/B 测试，看到了这个，你知道，显著的胜利，而你没有意识到你为你的团队增加了多少维护负担，直到你关闭它。所以，我认为有很多好处，而且你被迫这样做，你知道，当你有一个如此小的团队时，就是删除，你知道，审计你的系统的一部分，并删除那些维护成本比收益更大的东西。所以，我认为我们不得不在整个公司都这样做，你知道，在大型裁员之后。而且，你知道，系统现在更精益了，而且可以由更少的人来处理。
这是一个惊人的观点。我记得 Elon 说：“我们必须把整个东西都扔掉，我们必须重新架构一切，它太愚蠢了，它的构建方式。”听起来这实际上奏效了。
你不需要，我们不需要。我们不必从头开始重写一切。我的意思是，有些东西我们确实重写了，我猜。但我的意思是，即使是删除不必要的代码，并保留其余的核心系统。这太棒了。我喜欢我们正在为运行这些类型的公司和团队制定一个公式。
这里有很多我想回到最初产品的构建。它有点让我们偏离了很长的轨道，一个惊人的轨道。但我听说了一个故事，当你推出 Birdwatch 时，在那时，你特别想把期望值保持得很低。而且，你知道，里面有一个 GIF，它看起来很明显，这个东西还没有准备好投入使用。谈谈你是如何做到的，你如何以一种人们不会说“它永远不会奏效”的方式推出它？
我猜我们可以说，我们在让产品在每个给定点证明自己方面非常有纪律。你知道，当我们构建第一个模型时，我们只有这些图片，描绘了社区笔记可能是什么样子。我们向政治光谱两边的人展示了这些。我们看到，你知道，人们真的很喜欢这些，无论他们是右翼还是左翼，他们似乎都非常愿意阅读这些社区笔记，即使它们对他们自己一方的人来说是批评性的。所以，我们想，好吧，这给了我们信心，如果我们能做到这一点，如果我们能真正实现它，它就会奏效。然后，问题是，我们能否实现它？你知道，现实世界的人们能否写出这种质量的笔记？所以，我们构建了，我们有一个内部试点测试版本，你可以在其中写笔记。我们首先基本上通过了 Amazon Mechanical Turk 类型的人员测试，只是看看，如果你只是把一些普通人放进去，他们能否写出这些笔记？并非所有这些笔记都很好，但很明显，有些人能够写出好的笔记。所以，我想，这是可能的。如果我们在现实世界中这样做，让人们参与进来会发生什么？所以，让我们运行一个试点，找出答案。所以，我们采用了那个试点，我们对 M Turk 类型进行了测试，然后我们将其发布给最初的 1000 人，你知道，完全公开。我们不知道会发生什么。你可以想象，笔记可能很糟糕。所以，我们正在讨论，好吧，我们该怎么办？我们要把它发布出去，每个人都会有很多问题，他们可能会非常怀疑。而且，我们知道它可能是一场彻底的灾难。所以，我们该怎么办，以适当地设定期望？我们觉得我们最终可能会做到，但我们只是不知道它会发生。所以，我们想设定期望。所以，我们想，为什么我们不只是坚持，你知道，你看到一个帖子和笔记流的页面。为什么我们不只是把一个“垃圾火”的 GIF 放在那个页面上？你知道，你去那里，你说，“嘿，你知道，你下面看到的任何东西可能都只是一场彻底的垃圾火。”至少它会表明我们意识到了这是一个可能的风险。最终，我们没有这样做。它让我觉得很好笑。但我们觉得它有点像，哦，你实际上没有发布。好吧，我们有它的模型。每次我看到模型时，我都会笑。但最终，我们在那个页面上有很多东西要解释。这个东西是什么？它是如何工作的？最终，好吧，这可能会分散重点。所以，我们把它拿掉了。我有点希望它能有一天问世。但最终，我们保持简单。我们专注于那个页面来解释这里发生了什么。但是，再次，你知道，我们，正如这个项目在很多时候发生的那样，你知道，我们发布了试点，笔记也很好。它们并非全部都好。这是一个混合体，但里面有黄金。从一开始，只有一千名贡献者，就很明显，人们可以写出信息丰富、中立、谈论有争议的挑战性话题的笔记。而且，如果我们能从中挑出黄金，它就会奏效。它就会像我们最初制作的模型一样奏效。所以，重点就变成了，我们如何从其余的笔记中筛选出黄金？
我记得，我想你可能和我分享过，当有人注意到你们在测试这个东西时，他们截了图并发布到 Twitter 上，Elon 回复说：“这很酷。”
是的，是的。在非常非常早期的时候，当它还只是一个 Figma 原型时，我们正在运行这些用户测试。我猜其中一个参与者把它发给了一个 NBC 记者，他写了很多关于它的故事。那天，服务上有很多关于它的讨论。Elon，这是在 2020 年，在被收购之前两年。Elon 只是一个 Twitter 用户，制造火箭和电动汽车以及其他很酷的东西。他偶然发现了这个描绘我们一直在测试的原型的东西，他回复说：“IMO，绝对值得尝试。”我记得当时觉得这很酷，现在看到，显然他对这一点一直很一致。我认为这个想法很吸引人，他显然一直是它的忠实粉丝，并且一直是它的重要支持者。所以，是的，这有点酷，它来自于在他从未参与公司之前就一直存在的支持。
我喜欢那个时刻。Elon 评论这个 Figma 原型并重新测试它一定感觉很疯狂。
它很酷。它很酷。
哦，天哪。所以，当我们准备这次采访时，我问你们，你们最想让人们了解社区笔记为何如此有效？Keith，你特别说，这是你想要如何处理它的原则，以及你如何继续坚持这些原则。我们将讨论你如何在一系列领导层变动中保持它的活力。但请谈谈这些原则，它们到底是什么，为什么它们对它的成功如此关键？
有一些原则，我认为当我们第一次与公司里的人分享时，它们可能有点疯狂。但我认为它们是产品能够奏效的原因，我认为它们非常重要，而且我们今天仍然经常回过头来讨论它们。
也许最疯狂的一个是，这个东西将是人民的声音。它将代表人民的声音，而不是公司的声音。所以，这不是一个科技公司在决定什么会显示，而是人民在决定什么会显示。这在设计上有很多影响。首先，没有一个按钮可以改变笔记的状态。所以，如果一条笔记显示出来，是因为人们认为它很有帮助，那么它就会显示出来。我们无法改变它。而这正是我们在最初提出这个建议时让人们感到不安的事情。他们会说：“等等，所以有些东西可以显示出来，而公司不能把它拿下来，或者，你知道，不能改变它的状态，让它停止显示？”而我们说：“是的。”而且，如果它不够好，它就必须奏效。如果笔记有问题，这是我们的一个关键原则：如果笔记有问题，以至于你想做些什么，那就是系统的问题。我们需要重新设计系统，以便显示好的笔记。所以，是的，我们不得不让每个人都习惯于没有按钮来改变笔记状态的想法。
同样，正如我们之前讨论过的，我们希望它代表全人类。所以，我们不想成为决定谁可以成为贡献者，谁不能的仲裁者。所以，我们向所有人开放。你只需要满足非常基本、客观的标准。例如，你必须有一个经过验证的电话号码，以帮助减少机器人或其他类似参与的可能性。但除此之外，它是随机选择的，而且至今仍然如此。而且，你知道，人们花了一些时间才让人们习惯它。但我认为，这是人民的声音，并通过一个开放透明的过程反映了他们的观点，这对于它为什么好，为什么它奏效，以及为什么它值得信赖至关重要。所以，我的意思是，这是第一点，而且，你知道，我认为它将永远是产品的核心。
另一个人们认为有点疯狂的原则是透明度。我的意思是，我们是，我们是，我们之前的处理误导信息的做法，感觉对很多人来说就像是黑箱技术公司或媒体公司或精英，或者别的什么在做决定。人们需要习惯这一点，他们需要信任这一点。所以，整个事情必须公开。决定什么笔记会显示的密码必须公开。所有的数据和评分，使这一切成为现实的数据和评分都必须公开。人们应该能够获取代码和数据，并复制整个服务。而我们已经做了我们所说的一切。他们应该能够审计它，他们应该能够去看看，说：“嘿，我认为这部分可以做得更好。”或者，如果他们认为我们有偏见，他们应该能够，你知道，用数据来指出这一点。而且，如果人们有好的观察结果，那应该反映到代码中。而且，这再次是人们需要花时间去习惯的事情，就是一切都摆在那里，你不能掩盖任何东西。但我认为这对于人们信任它至关重要。所以，我的意思是，我们从第一天就设定了这些。我们不断地回到它们，因为我们一直在不断发展产品，而且我们总是需要确保每一项新变化都是公开的。所以，每当我们更新代码或更新评分系统时，GitHub 都会有更新。数据每天都会发布，所以你可以下载它。所以，是的，我认为这些对于它的运作至关重要。
顺便说一句，这些确实是有代价的。我的意思是，从工程角度来说，实际上很难开源实际运行在实际数据上的算法。我的意思是，因为大型服务通常的架构方式并不自然地适合让下载了 TSV 的人运行它。所以，我实际上必须做出一些奇怪的架构决策，才能使其成为可能。如果我们没有从一开始就带着这个假设，可能就不会这样了。我们可能不得不重写系统才能做到这一点。
例如，有什么例子吗？
有一个矩阵分解，我们训练它。通常，你一次训练一个矩阵因子，然后用一个单独的服务来提供它。但是，我们不想让外部人员启动服务，以便能够复制我们拥有的系统。所以，我的意思是，基本上，我认为如果我没有以一种实际上无法运行的方式开源代码，那将不会非常酷。我的意思是，你可以下载 Python 代码并运行一个脚本。你现在需要很多 RAM，但在一台机器上完成。
好的，好的。我们谈论的是多少 RAM？
哦，大约 500 GB。如果你不做任何特殊的事情来加速它，它需要大约一天。
酷。
可能。
关键是可能。而且人们已经这样做了。我的意思是，Vitalik Buterin 发表了一篇博客文章，他在其中谈到了他的探索，确保算法确实如其所说的那样运作。我认为，仅仅是少数人这样做了，就足以让你信任的人已经验证了。
是的，是的。
而且现在它正在推广到 Meta。没问题。
我喜欢你描述这些原则，我简直可以想象一个公司的 PM 说：“好吧，伙计们，我想做这个项目。它将完全是，有如此多的理想主义，它在现实生活中奏效。它将是开源的。我们将把它交给每个人。我们不会真正控制它会做什么。别担心。它将改变人们看待我们一直非常小心的事情的方式。”然后它奏效了。我认为这非常罕见，而且非常令人印象深刻。而且，我部分听到的意思是，坚持这些原则实际上对它的成功非常关键，而不是那种为了某人说“不，不，不，我们不能这样做，如果我们改变这个部分呢？”而屈服。我认为，如果我们打破了任何这些原则，如果有什么是黑箱的，你知道，无论是什么，产品都会更难信任。所以，我认为正是因为我们如此干净、简单地坚持它们，你知道，人们才能信任它。
你谈到了几个时刻，当时就像，“哇，白宫改变了他们的公告，因为一个社区笔记。”我们谈到了狗是猫。是否有其他时刻，在你发布之后，就像“哇，这正在奏效，它实际上一直都在奏效”？
我们看到了，我们看到了它的奏效。我们非常，我们希望在将其扩展到新的受众或新的国家或任何地方时充满信心。所以，我们可能会有点屏住呼吸，只是为了看看它是否会做我们期望的事情。但我们总是期望它。但即便如此，也确实出现了一些压力情况。我的意思是，我想到的一个例子是以色列哈马斯冲突的开始，在 2023 年 10 月。那可能是我在互联网上一次看到过的最多的误导信息。同时，与此相关的照片、视频和其他东西的数量简直是疯狂的。而且，只是给你一个例子，在冲突的最初，我认为是最初的三天左右，我们有 500 条笔记，涵盖了各种各样的，你知道，比如脱离上下文的图像。有人说，“嘿，这里发生了什么，”实际上是来自 2013 年的叙利亚。有人制作了假的战斗视频，在视频游戏模拟器 Arma 3 中。所以，有笔记解释了这些东西，看起来非常逼真，除非你看到了笔记，否则你可能不会知道。有各种关于地面上发生的事情的说法。而且，你知道，那时的产品还很新。我们在一年前才在美国推出。我们当年一直在向世界各地推广。然后发生了这个大事。而且，你知道，我觉得我们，我们刚好在那个时候做好了准备，系统能够处理它。也许我们之前做过的最重要的事情之一是推出了在图像和媒体上写笔记的能力，并且有图像和视频，并且将它们与其他东西匹配。我的意思是，我记得当时在想，“哇，我很高兴我们在几个月前推出了那个功能，而不是仍然把它放在架子上。”因为它在那场冲突中非常重要。而且，我认为，就在几周前，我们还推出了笔记速度的大幅提升。我的意思是，当我们最初构建产品时，首要重点一直是质量。我们知道，我们知道笔记，产品将取决于笔记的质量。而这是我们永远不能放弃的。我们也知道它需要提供速度和规模，但我们想，“我们把质量放在正确的位置，然后我们可以加速。”我们可以加速。
随着时间的推移，我们将其扩展并进行规模化，我们实际上刚刚推出了一项加速功能，将上线所需的时间缩短了三个小时，而且，你知道，这发生在冲突发生前的几周内，所以，再说一遍，很高兴它已经上线了。在冲突的最初几天，从帖子上线到笔记出现的中位数时间是五个小时，这简直是快得离谱。典型的事实核查需要两到四天，通常需要两到四天。这些笔记在五个小时内就出现了，我们觉得，我们很高兴在这一切发生之前就发布了这些东西，这让服务变得更有帮助。
还有一件事，我认为很高兴看到它奏效，那就是社区笔记。有些人会提出一个批评，那就是，如果你总是需要那些通常持不同意见的人的同意，那么在这些高度两极分化的环境中，比如那场冲突，可能排在第一位，那么你就看不到任何笔记了。但实际上，现实是，关于那场冲突有很多笔记。所以，我认为这里有一种很好的特性，也许这是一个令人惊讶的事实，那就是在两极分化的群体之间，存在着比传统观念所说的更多的共识。人们同意的地方，实际上是客观真实且可验证的。我猜想，在越是两极分化的环境中，这一点就越真实，但人们达成共识的地方，实际上是那些写得非常中立、非常关注事实并且易于验证的信息笔记。
我喜欢，有一段时间，人们一直在说，没有事实了，没有人相信 anymore 只有一个真实的事实了，一切都是主观的。我认为社区笔记恰恰证明了相反。是的，事实很重要，有事实我们可以同意，即使是最有争议的话题。是的，是的，我们从第一天起就看到了这一点。当我们向人们展示那些原型，只是描绘这个想法时，人们显然更关心，或者他们非常关心了解现实和正在发生的事情，并且他们愿意与所谓的“自己一方”意见不合来承认这一点。我认为人们并不总是清楚这一点，世界确实感觉非常两极分化，但人们绝对愿意跨越党派界限来获取准确的信息，这就是产品起作用的原因。
感觉我们越来越依赖我们所知道和理解的世界，而社交媒体正在在线上快速发展，感觉就像，我非常庆幸它的存在，否则就只会是，我们还能相信什么呢？它就像，它的存在与我们需要它同时存在是一致的。而且感觉同时，也有人只是说，我就是不相信。我认为人们已经从“我相信我读到的”转变为“好吧，我不应该全盘相信我读到的”。你注意到人们如何看待他们看到的新闻以及他们的转变，就像“我不会相信一切”吗？你注意到任何关于人类行为，我们如何改变对什么是真实的理解的事情吗？
我们还没有进行广泛的研究来了解人们的看法是如何变化的，但我自己确实发现，尤其是在看到笔记之后，我一开始对读到的东西更加怀疑，我认为这很有帮助，我们也从人们那里听到，他们会多想一些事情，我认为这是像这样的东西的一个很好的次要影响和好处，那就是你看到的关于你读到的东西可能出错的模式越多，你就能越有思考地质疑它，并试图更好地理解真正发生的事情。所以，就像，历史上我认为这被称为媒体素养，但基本思想是，你能理解事物出错的方式，并自己去纠正它们吗？
我认为我们在这方面提供的另一个帮助是发现社区笔记。我认为，在社区笔记出现之前，你可能只是生活在一个小小的过滤气泡中，或者可能有一些事实核查是你应该阅读但没有发现的。是的，所以，笔记直接附加在帖子上的事实，并且对看到帖子的任何人可见，有助于跨越那些过滤气泡，并且我认为对一些人来说，这是他们第一次看到对他们自己回声室中提出的主张的反驳。这太不可思议了。我喜欢你说的关于它实际上教会人们对他们读到的东西更加怀疑的观点，就像它是一个教育系统，而不仅仅是“这里有一件事是错的”。我喜欢这一点。
好的，还有几个问题。在 Twitter 上有一个观众提问，我们都在 Twitter 上问，人们想知道关于笔记的什么？其中一个问题是，你们为什么改为匿名贡献者？这背后的决定是什么？是的，我们进行了一个试点，我们与几千名贡献者测试了它，我们通过那个试点学到了很多。也许我们学到的最大的一件事与贡献者的匿名性或假名性有关。我们最初认为，人们以他们的真实身份或真实姓名或其他什么来贡献很重要。实际上，我们最初的原型就体现了这一点，我们认为这对人们信任笔记很重要，但事实证明完全错了。我们发现，最好的选择实际上与我们最初尝试的相反。
我们发现了几件事。一，人们不愿在有争议的话题上写笔记，因为他们不想在网上受到攻击或骚扰。所以有些人愿意这样做，但有些人不愿意，这意味着有更多潜在的好笔记可以写，但没有被写出来。这是试点中非常明确的反馈。二，这非常有趣，人们实际上更愿意跨越党派界限，当他们是匿名的或假名的，而不是当他们使用真实姓名时。这在直觉上很有道理，就像如果你公开使用你的名字，你觉得自己属于一方而不是另一方，你可能会犹豫是否要被视为脱离了那一派，但你可能实际上会发现一个对那一派有批评作用的笔记很有帮助。而且有很多研究表明，当人们匿名时，他们更愿意跨越党派界限，并与另一方合作，同意另一方，我们也看到了这一点。所以，通过允许人们只是假名，你实际上会得到更诚实的答案，关于他们真正想法，这有助于找到分歧。
这真是反直觉，你从来没听过相反的说法，这太有趣了。是的，我认为同样的原则也适用于隐藏点赞。我只是这么想。是的，是的，我喜欢更多我以前不会点赞的东西。它允许诚实的自由，这很棒。而且，我们对假名的一个批评是，你知道，它可能会导致人们降低他们提出的质量门槛，但我们在系统中有很多质量机制，所以这不是问题。所以，我们可以在保持高质量的同时，开放诚实。
另一个问题，你稍微提到了这一点，那就是关于如何处理 Twitter 现有的信任和安全机制。正如你所描述的，基本上以前是我们决定什么是真实的，什么不是，而且每家公司都是这样运作的。你们基本上颠覆了这一点，这是完全不同的方式，你们对我们所说的什么是真实的没有控制权。谈谈克服这个巨大障碍的经历，我想这非常困难，就像“好吧，忘掉那些，我们要完全不同地做”。是的，我们提出的确实非常不同。我会说，总的来说，人们普遍持开放态度。而且我认为每个人都觉得当时的做法并没有真正奏效，或者没有解决问题，而且人们对想法持开放态度，所以这是一个很好的基础。但我认为我们做的一件事可能非常有帮助，那就是我们希望产品能够证明自己。首先，它必须证明人们可能找到有用的笔记，然后它必须证明人们可以写出高质量的笔记。所以，任何时候我们提出用产品做一些事情，比如进行一些研究测试，或者进行试点，或者扩大试点，我们总是有数据说服我们这是一个好决定。我们正在进入下一个扩张阶段，这是有意义的。所以我认为我们很少提出不明智的建议。就像，因为我们自己对质量设定了很高的标准。我认为，这可能走了很长一段路。
所以，部分原因是我听到的，是循序渐进地证明它确实有效，部分原因是自信地认为它确实有效，然后再尝试说服信任和安全团队，这是正确的方式。正是如此。有没有一个时刻，在这个旅程中，就像“好吧，这从‘不可能’变成‘好吧，让我们考虑一下’”或者这是一个非常渐进的过程，其他人说“不可能”到“哇”？是的，纯粹是内部的，就像“好吧，我们将停止这种信任和安全的操作方式，转而依赖社区笔记”。所以，有没有一个时刻，就像“好吧，让我们来做那个改变”？还是埃隆？这是最大的改变吗？在 X 之前最大的改变是决定将其发布出去，并在全国范围内公开运营。但更大的改变发生在 X 期间。我认为，即使有最初的研究，在 Birdwatch 甚至开始之前，或者社区笔记甚至开始之前，外部研究人员就表明，众包事实核查者可以做得和事实核查者一样好，而且两组之间的共识率实际上是相似的。我认为，即使有那些研究，我认为肯定有很多人直到它已经奏效才真正相信它能奏效。基本上，证明它有效。是的，这说得通，而不是一堆文件和策略和思考。就像，看，它确实在起作用，你可以自己看。是的，说得通。
好的，可能最后一个问题。我们将看看你们会提出什么样的问题。我多次提到，通过 Jack 让一个项目得以生存下来，这是一个了不起的成就，然后有 Kavon 负责，然后是 Parag 负责 Twitter，然后是 Elon，然后是 Linda 接任。对于像 X 这样如此显眼、如此有影响力的事物来说，这种情况非常罕见。这个项目在如此多的领导者和变化中得以生存下来，有什么经验或关键吗？这绝对是构建某项事物的疯狂时期。这很有趣，疯狂很有趣。我认为，也许产品之所以做得如此之好并得以生存，原因在于产品本身，产品本身的性质。它旨在产生对通常持不同意见的人有帮助的信息。所以，即使你有一些可能持不同意见的 CEO 或领导者，他们很可能也会发现，他们会说，“哇，这个东西确实产生了相当有用的输出”。所以我认为产品本身有一些东西，那就是当人们看到它时，无论他们属于哪一边，左边、右边、上边、下边，他们很可能会觉得它很有帮助。所以我确实认为这有帮助。我也认为团队执行得很好。我们有雄心勃勃的目标，令人兴奋。他们解决了一个真正的问题，这是一个在世界上真正重要的问题。在每一步，正如我们所讨论的，产品需要证明自己，我们会确保它证明自己，我们会带来让我们信服的结果，我们会与人们分享。所以他们会说，“哦，是的，我同意，它证明了自己，让我们再进一步”。我们一直都是这样做的，而且我们将继续这样运作。我认为，对那个重要的结果和目标的关注，并朝着它执行，确实帮助了团队。在收购期间，团队并没有被太多事情分心。有很多分心的机会，这个团队每周都在发布。我们非常专注于目标，让这个东西奏效，让这些笔记出去。我认为人们看到了这种执行力，并乐于支持它。是的，它在起作用，为什么我们要改变它？而且它很重要，而且它使我们不必雇佣数千人来核查事实。
关于这一点，有趣的是，没有人问过我们，也没有提出过，似乎关心过与成本节约有关的任何事情。在这个过程中，我认为这是公司外部人士的一个假设，就像这一定是它受到关注的原因，但那从来不是目标，也从未是。项目启动时不是，人们对项目感到兴奋时也不是。我认为，对于那些不了解内部对话的人来说，知道这一点令人欣慰，那就是重点始终是解决问题。另一种方法是，即使有 10,000 人在做这件事，真正的问题是他们做得不好，因为他们不被信任，或者他们无法规模化，或者他们太慢了。所以，目标始终是，让我们帮助人们大规模地保持知情。让我们为人们面临的互联网规模的问题，构建一个互联网规模的解决方案。
我从 Keith 那里听到的一些事情，当我问人们这个项目是如何运作以及为什么如此成功时，他们形容你是一个非常低调的人，这让你能够放弃整个团队、权力和影响力，以及名字，随便你怎么称呼它，就叫社区笔记。你有什么可以分享的，关于你如何看待这一点，以及作为产品领导者拥有低调有多重要？对我来说，这个项目，我觉得我是在用这个项目做社区服务。我的工作是为人民和社区服务，这就是激励我的。我唯一关心的是交付对世界有帮助的结果。所以，在某些方面，这个项目不是关于自我结果，而是关于寻求真相。让我们找出真相，不是关于什么信息是真实的意义上的真相，而是让我们找出什么东西实际上会奏效。它需要如何运作？它需要如何构建？它应该叫什么名字？任何能产生最佳结果的东西都应该这样做。所以，我认为，我更看重产品的帮助性，而不是其他任何东西。所以，无论在什么程度上，这可能看起来像低调，很可能是因为我想真正解决问题。我认为，我听到的部分是，如果你赢了，成功了，好事就会发生，所以专注于这一点。当然，令人满意的事情会发生。人们欣赏它，这令人满意。左派和右派的人都喜欢它，这令人满意。即使是收到笔记的人也喜欢笔记，截图并发布它们，这太棒了。感觉很好，能够帮助人们拥有这些。而且，是的，这很有动力，这是早上起床的好理由。这很荒谬，这是工作，但同时，当然，这会奏效，当然，这样的事情应该奏效。这是互联网的本质，你知道的，这就是它奏效的原因。
哦，天哪，社区笔记将走向何方？你们在看什么？发生了什么？它将走向何方？未来是什么？我们一直在努力让你做得更好，更快。显然，有机会发布更多笔记。我们希望它们保持与现在一样好或更好，我们希望更快地实现它们。所以，我们一直在努力进行核心产品变更，以帮助实现这一点。例如，最近我们发布了一个更新，我们称之为社区笔记信号灯，或者请求社区笔记的功能。现在 X 上的任何人都可以说，“嘿，我认为这个帖子需要一个社区笔记”，现在他们甚至可以解释原因，这样当潜在的作者看到它时，就更容易写笔记了。所以，我们一直在努力改进这些核心的东西。我认为也有一些新的前沿领域显示出很大的潜力。人工智能和大型语言模型是其中之一。很容易想象很多方式，人工智能可以帮助人们快速获取信息。也许 Jay 应该谈谈我们与公司外部的一些人合作的超级笔记工作。是的，我的意思是，拥有公开数据和代码的一件很酷的事情是，外部研究人员可以与你合作。在超级笔记的案例中，我们可以基本上获取现有的笔记输入，现有的提议笔记，它们可能存在一些问题，它们是故事的一部分，它们可能以一种有偏见的方式措辞。基本上，获取所有这些，让一个大型语言模型生成大量不同的变体，然后基本上是模拟陪审团。所以，基本上，得到一个代表性的社区笔记贡献者群体，他们会评价笔记，并根据他们过去的评价来预测他们会如何评价这些由大型语言模型生成的笔记。这样，你就可以真正地，而不是仅仅让一个大型语言模型从头开始写一个笔记并希望它很好，你可以模拟整个社区笔记的评分过程，并明确地创建可能被人们评为有用的笔记。所以我认为像这样的想法非常有前景。这是大型语言模型和人类协同工作的不错方式。我认为，显然，代理也可以浏览网络，这是一种你可以想象代理如何协助人类的方式，也许是检查一个来源是否真的得到了笔记的支持，或者一个笔记是否真的得到了来源的支持。虽然然后你会遇到一些问题，比如，人们会像现在一样勤奋吗？我现在认为他们非常勤奋，因为他们知道只是一个社区贡献者写的，我最好在阅读它之前检查一下。但希望人们，我们可以以一种方式设计事物，使人们不信任输出，并在给出有用评分之前自己验证。这是一个非常有趣的研究领域，你想避免人工智能产生草率的垃圾，还是让它更容易并进一步扩展？这是一个有趣的挑战。
这个项目的酷之处在于，除了人工智能元素之外，它还在公司外部进行。就像我们之前谈到的开源透明度一样，我们将其全部开源的关键原因是让人们能够看到它是如何工作的。但梦想实际上是，它不仅仅是笔记和评分的贡献来自人们，而是梦想实际上是产品是由人们构建的。如果评分算法很大程度上或完全由公众编写，那将是不可思议的。超级笔记可能是第一个非常实质性的变化，它来自外部，并且可能成为核心的一部分。所以，我们很希望看到产品朝着这个方向发展。
好的，超级笔记。你们的工作是巨大的。我认为这是每个产品人的梦想，能够从事这样一项工作，一个小团队，大量的支持，巨大的影响力，天生就很有趣。所以我认为这将激励很多人。所以，让我问你，还有什么你想分享的吗？还有什么你认为对人们有帮助的吗？我想，在从事这个产品期间，我发现有趣的一件事是，就像最初的转推不是 Jack 发明的，用户只是开始做，然后它成为了产品的一个核心部分一样，人们已经以很多我们没有真正预料到的方式使用社区笔记。看到这些用户需求出现很有趣。我认为，我们一直想象的是政治类的虚假信息，但出于某种原因，有很多人喜欢争论梅西还是 C 罗进球更多。我认为这是一个有趣的例子，有一个社区管理方面。所以，我认为我们也认为，这专门用于为误导性或可能误导性的信息添加上下文，但你可以看到，有些笔记超出了这个范围，比如指出他们认为是垃圾邮件的内容。所以，我认为这是社区笔记作为一种由人们自己驱动的产品，又一个维度。这太美了，基本上他们试图让 Twitter/X 保持健康，他们就像“不，这个推文是垃圾邮件，应该被删除”。我喜欢这一点。关于梅西和 C 罗的争论，有确切的事实吗？还是只是未知？我猜想，这是一个有趣的情况，因为它是，这是一个让评分者两极分化的案例。我猜想，这实际上符合核心算法，有些人是铁杆的梅西粉丝或 C 罗粉丝，就像他们可能在政治上一样。所以，我们实际上专门模拟了这个话题以及其他一些话题，这样我们就可以估计人们对那个特定辩论的看法。这很有趣，像这样的事情会出现，但你说这是 X 上最具争议的话题，C 罗对梅西？这是一个有争议的话题。哦，天哪，谁知道？
好的，Keith，你有什么想补充的吗？是的，你知道，社区笔记本身很酷，但我认为它所指向的社会，实际上更大。社会常常感觉非常两极分化，你经常听到人们谈论它，就像没有人能达成一致一样。但实际上，社区笔记表明，人们确实可以达成很多共识，即使在与政治相关的非常有争议的话题上。有很多共识，这就是它奏效的原因。我认为这是对世界乐观的一个非常大的原因，因为虽然它可能感觉两极分化，但可能有 80% 的人对很多事情达成共识。想象一下，如果我们能使用与我们使用笔记相同的方法，来就立法或政策或人们希望政府做的事情达成共识，那么我们可能会在这些人们真正想要的想法背后获得更多的动力，而且每个人都会更快乐。也许 10% 的边缘人群不会快乐，但我敢打赌，有很多共识是我们没有识别出来的，如果我们识别出来了，我们都会很高兴。所以我不知道，人们很容易对世界感到悲观，但我认为这是一个对未来感到乐观的好理由。多么不可思议的结束方式。我也能看出为什么人们想和你一起工作，和这个团队一起工作。我很感激。如果你想加入，我们正在招聘一名机器学习工程师，你可以和我们一起解决这些惊人的问题，并获得很多乐趣。所以，我们正在接受申请，x.com/communitynotes。好的，太好了。很高兴你付出了你的全部。哦，天哪，你就要被淹没了。
伙计们，非常感谢你们。除了那个地方，还有其他地方可以加入团队成为一名机器学习工程师吗？还有其他地方你想推荐人们去吗？你的社交媒体或其他任何东西？我在 X 上是 K Coleman。如果您有任何反馈或想帮助我们，无论您是想在这里工作还是想从外部做些什么，我都非常乐意与您交谈。我在 X 上是 @y boterore。是的，我认为，除了使用社区笔记之外，获得更多实质性的贡献会很棒，比如拉取请求，协作像超级笔记这样的项目。我认为这是最令人兴奋的事情。人们想贡献代码。伙计们，是的，太棒了。
非常感谢你们。谢谢你们的邀请。非常感谢大家。再见。非常感谢大家的收听。如果您觉得有价值，可以在 Apple Podcasts、Spotify 或您喜欢的播客应用上订阅本节目。也请考虑给我们评分或留下评论，这真的有助于其他听众找到本节目。您可以在 lenny podcast.com 上找到所有过去的剧集或了解更多关于本节目的信息。下期再见。