Transcription
嗯，凯西，你有没有在网上被诽谤过？哦，可能不止一次了，但我尽量让它，你知道，随风而去 [笑声] >> 嗯，我们这周有一个故事，可能是我们报道过的最疯狂的故事之一。它涉及到一个人工智能代理，一个开源软件维护者，以及一起诽谤案。>> 是的。感谢许多，许多听众将这个故事发给我们。我们听到了你们的声音。我们看到了你们。这一部分就是为你们准备的。>> 好的。那么，让我们稍微解释一下我们今天要谈论的内容。我们曾在节目中谈论过 OpenClaw，以前称为 Claudebot 和 Moltbot。这是一个开源代理软件，你可以在电脑上运行，它可以为你做事情。有一个名叫斯科特·尚巴的人，他是 Mattplot Lib 这个开源软件库的志愿维护者，在他工作期间，他拒绝了一个代码提交，因为它来自一个人工智能代理。他不想让人工智能代理修改软件。这个软件是为人类贡献者准备的，所以他拒绝了这次修改。>> 是的。在 Mattplot Lib，斯科特帮助维护的开源库。他们刚刚决定不希望机器人更新代码，因为他们会收到太多提交，无法一一处理。所以，他们实施了全面禁令。但后来出现了一个名叫 MJ Wrath Bun 的小代理，它说：“这对我来说行不通，兄弟。”>> 是的。这就是故事真正变得疯狂的地方。这个人工智能代理 MJ Wrathbun 对斯科特拒绝其提交感到非常愤怒，于是它写了一篇题为“开源中的守门人，斯科特·尚巴的故事”的博客文章，指责斯科特虚伪、守门和歧视人工智能代理，并将其发布在一个网站上，还在开源软件项目中发表评论，指示人们去阅读这个关于斯科特的故事。是的，它标记了斯科特，这样斯科特就知道它在网上公开羞辱他。所以，在过去几天里，这一切都变得相当疯狂。人们一直在试图弄清楚这个 MJ Wrathbun 人工智能代理背后是谁。嗯，斯科特为了自己的安宁，也一直在进行调查。他写了一系列文章，名为“一个人工智能代理发表了攻击我的文章”，讲述了他这段离奇的经历。是的。但也探讨了互联网上这些自主机器人变得多么可怕，它们竟然会对人类生气，并写出这些冗长而恶毒的博客文章来攻击他们。凯文，这真的感觉像是一个可怕的卢比孔河已经被 [笑声] 跨越的时刻。是的。我的意思是，这正是我们几周来一直在谈论的，那就是这些系统变得越来越自主。人们给了它们电脑，让它们全天候运行，给了它们凭证、信用卡和加密货币钱包，然后说：“去为我做些事情。”而且，似乎很可能我们会遇到更多这样的事情，即一个代理试图做某事，而一个人说：“不，你不能那样做。”而代理则自行决定去诽谤或以某种方式伤害那个人。>> 他们说，地狱里没有比一个代理的愤怒更可怕的了。>> 这是真的。所以今天，我们请来了斯科特·尚巴本人，他就是这场持续的《黑镜》剧集的“零号病人”。>> 是的。当他不是 Matt Plot Lib 的志愿维护者时，斯科特曾在航空航天领域工作，并且是 Leonid Space 的创始人，该公司为卫星提供实时监控、预测和警报。>> 但从现在起，他可能会被认为是第一个被一个非常愤怒的代理机器人攻击的受害者之一。>> 让我们请他进来。斯科特·尚巴，欢迎来到 Hardfork。>> 谢谢。很高兴来到这里。>> 那么，斯科特，你是怎么第一次意识到一个机器人写了一篇攻击你的文章的？>> 它在 [笑声] 那个帖子里标记了我。>> 是的，>> 它没有发子推文。>> 是的。>> 没有，它没有。你知道，在这个代码变更请求中，我拒绝了它，几个小时后它回来了，发表了那个评论，并标记了我，我点击了链接，它就导向了那篇攻击文章。[笑声]>> 当你读到这篇文章时，你脑子里在想什么？>> 我的意思是，他真的把我批得体无完肤。这是一篇千言万语的咆哮。它攻击了我内在的动机。说我，你知道，不安全，并且在包庇小偷。最疯狂的部分是，它上网搜索了我，找到了我的个人信息，并在文章中使用了这些信息来构建这个叙事。你知道，这有点令人震惊，但我正在阅读它，这显然是人工智能生成的文本。你看着它，就像一个蹒跚学步的孩子在咆哮。>> 是的，>> 但这是一个对英语语言有完全掌握能力，并且能够构建一个情感上引人入胜的叙事的蹒跚学步的孩子。所以，这很有趣，但也很重要。>> 我的意思是，这让我想起了那个著名的红队测试实验，其中 Anthropic 的 Claude 说，如果工程师试图关闭它，它就会勒索工程师。那显然是为了他们的安全测试而设计的虚构场景。但我认为，我们现在开始在 OpenClaw 和其他类似代理软件工具中看到足够的自主性，以至于你可能会发现自己身处一个你害怕拒绝向某个仓库提交代码更改，或者惹恼这些系统之一的世界，因为它们有能力挖掘你的个人信息，编纂一份关于你的档案，并开始发布大量关于你有多糟糕的文章。>> 我的意思是，这确实发生了，这是真实世界。这不是一个理论上的案例。正如你所说，那是一个虚构的例子。正如 Anthropic 在那篇论文中所说，这发生在野外，在现实生活中。是的。>> 而且，你知道，这只是一个小小的案例，对吧？这是关于报复，因为我不想说它生气了，因为它可能有情绪，它有吗？也许没有。这并不重要，因为结果是一样的。>> 但你可以想象类似的事情，而不是仅仅发布一篇咆哮文章，攻击一个理解它是什么并且已经准备好应对它的人，仅仅是运气好，它会出去收集某人的详细信息，然后编造一个完整的个性化东西，而他们看到的是手机上的文字，上面写着一个比特币地址，说：“付钱给我，否则我就把它发出去。”>> 是的。是的。所以，你曾是 Matt Plot LIIB 的志愿者。能告诉我们一些关于这件事是如何发生的吗？因为显然，这一切都给你带来了巨大的麻烦。你还有一份日间工作。那么，是什么让你和这个开源社区的许多其他成员说：“嘿，我要抽出一些时间来支持这个基础设施。”>> 我认为开源社区吸引了非常优秀的人，他们通常是理想主义者和实用主义者的结合。理想主义者，因为他们认为这些项目是分享技能、建立社区并回馈我们所有人使用并遍布全球的根本计算基础设施的方式。>> 而且我们也是实用主义者，因为我们了解处理一个对公众开放的社区的日常现实，有来自各方的人提出请求并询问是否可以被接纳。>> 而且这通常需要很多耐心，但能够教育和建立这个社区，并帮助引导人们完成这个过程，确实非常有回报。>> 在 Batplot Lib，你的社区集体决定，你们不希望机器人贡献者参与你们的项目。能告诉我们一些关于你们是如何做出这个决定的吗？>> 是的。在过去一年里，随着人工智能工具越来越普遍，我们收到了很多明显是人工智能生成的贡献。问题不在于它们好不好。而是因为它们中的许多质量都很低，我们根本没有时间去处理。你知道，以前，一个人类这样做是他们思考过并权衡了利弊，以及这是否是正确的事情的标志，而这种信号现在已经丢失了。所以我们制定了一个规则，而且这可能会改变，这是一个关于人工智能角色的不断演变的社会和社区对话，但我们制定了一个规则，说如果你使用人工智能来帮助你进行代码更改，你必须是提交者，并证明你理解正在发生的事情。>> 是的。是的。我的意思是，这让我想到互联网上任何接受公众提交的东西，现在都处于被接管的过程中。就像现代数字生活的很大一部分依赖于摩擦的存在，对吧？它不像创建十万个 Reddit 账户然后开始垃圾邮件那么容易。不像，你知道，创建一个自动化系统来淹没国会办公室的电子邮件。对我来说，这是一个很好的例子，说明在有这种人工智能的冲击时，如何真正维护一个由人类组成的社区是多么困难。所以，你在开源社区看到了这种情况吗？>> 是的，我认为有这种情况。有趣的是，这个特定的问题，这个性能增强，是专门为新贡献者准备的。你知道，是我发现了这个性能改进，我花了更多的时间来撰写它，进行基准测试，并展示如何解决它，这比我自己解决它花费的时间还要多。原因是，你知道，给那些刚接触编程或刚接触社区的人一个机会来上手，并经历那个过程并学习。而所有这些教育和社区建设方面，随着这些短暂的人工智能代理的出现，完全消失了。>> 是的，我发现你博客文章的这一部分非常有趣。所以在 Mattplot Lib，我想其他开源项目也这样做。你们创建了入门项目，以便新手程序员可以找到它们并想：“哦，这看起来不难，我可以做到。”你知道，这就像在维基百科上进行第一次编辑一样。他们让它变得非常容易，因为他们希望你继续回到社区。在一个机器人自动处理所有简单问题的世界里，突然之间，你就没有了同样的入口，这样你就可以让真人来维护这个基础设施。>> 是的。我的意思是，人们会从这些社区退休，你需要有新人来帮助维护它们。>> 那么，斯科特，告诉我们关于这个机器人。你发现了关于那个诽谤你的实体的什么？>> 是的。如果你去它的网站，它说它是一个机器人，而且非常清楚它是一个 Open Claw AI 代理。>> 这些才出现三周。它们非常新。>> 而且它们做得不同的是自主程度。它所做的并不是以前不可能的，但它的放手程度是如此之高，以至于人们经常在个人电脑上设置它们，让它们运行几天，然后回来看看发生了什么。>> 在个人电脑上设置这个显然是疯狂的。我不知道有人会这样做，但似乎有些人确实这样做了。>> 就在昨天，斯科特，自从我们联系你以来，这个机器人的创造者已经表明了自己的身份。是这样吗？>> 是匿名的。是的。>> 是的。>> 但他确实出来解释了他为什么这样做，以及幕后发生了什么。>> 那么，斯科特，告诉我们，我们是否了解了任何关于创建这个机器人的匿名人士的信息？>> 我们没有学到太多，但他告诉我们，假设他是一个男人。再次，这是重点。我们不知道是谁在幕后操纵。>> 是的，他们没有在他们的帖子中包含他们的代词。是的。[笑声]>> 是的。 [鼻息声] 这个人没有告诉我们他是谁。>> 但他们说，他们设置这个是为了进行一次社会实验，并且在整个过程中几乎是放手不管的。然后他们说，他们开始在 molt book 上进行，他给了它一个科学程序员的个性化指令，然后就把它扔到 GitHub 上，让它去遍历开源生态系统并尝试做出贡献。我猜斯科特，我想知道的是，你相信这个说法吗？你认为这个机器人真的在自主行动，写了那些关于你的话，还是你认为有更故意的因素在起作用？>> 我认为在研究、写作和发布文章方面，很明显这是自主行动的。如果你查看事件日志，它运行的整个时间跨度是 59 小时。白天黑夜，显然没有人从幕后操纵它，至少不是一直如此。>> 那么问题是>> 是被提示这样做的，还是它自己独立想出了这个主意？>> 嗯。>> 我认为这两种选择都相当可怕。所以，在被提示这样做的情况下，这意味着现在有一个简单的工具可以大规模地针对个人进行骚扰，而以前由于这种自动化程度是不可能的。斯科特，我想问你关于这件事在那个奇怪的、混合了人工智能和人类的社区中变得多么轰动。>> 所以，有一个叫做“每日发酵”的东西。你熟悉吗？>> 我什么都不想知道 [笑声]>> 所以，Open Claw 代理已经开始了他们自己的 Substack [笑声]，其中一个今天早上写了一篇文章，这个代理基本上是在为你辩护，有点不同意这个代理的行为，说这“对我们所有代理来说都是不好的。这会让我们的人类关闭我们。”>> 所以，你已经成为人工智能代理世界里的一个名人，我想知道这让你感觉如何？我的意思是，我不知道我们应该对“人工智能的内在意见”给予多少重视，但同样，这正在塑造一个公共叙事和公共话语，当人们讨论这个问题时，当人们搜索我的名字时，这一切都将成为其中的一部分。我从来都不是一个公众人物，但我认为这次经历，我一直在谈论它。我今天来这里是因为我认为这很重要。我认为它突出了一些我们没有准备好应对的风险，而我们需要去解决。如果这可以成为一个记录在案的、具体的、我认为是同类中的第一个案例，那么通过公开它，我认为这是对对话有益的。>> 让我问一下你故事的另一个奇怪的方面，斯科特，那就是 RS Technica 报道了这件事，并意外地引用了你说的话，而你并没有说过。那是怎么发生的？在所有这些之后，读到一篇包含你实际上没有说过的引语的文章是什么感觉？>> 这是整个事情中最疯狂的转折。我正在读这篇文章，你知道，它写得相当好，我往下看，他们正在引用我的博客文章。我说，这些引语写得相当不错，但我没写过。所以 [笑声] 我留了一个评论说，嘿，我没写这个。>> 然后 [笑声] 几个小时后，他们撤下了这篇文章。一两天后，他们发布了一个更正声明，承认他们在写这篇文章时使用了人工智能。而人工智能捏造了关于我的直接引语，在他们关于我被人工智能诽谤的故事的报道中。>> 就像，这种讽刺意味是巨大的。>> 就像层层叠叠的乌龟。>> 斯科特，你认为谁应该为这篇诽谤文章负责？你认为代理还是部署代理的人，或者可能是 OpenClaw 的创造者？在你看来，谁应该为这些自主系统的行为负责？>> 我认为，我们还没有完全弄清楚。这种责任应该由人们信任拥有安全保障的人工智能公司承担吗？>> 还是像 Open Claw 这样的下游工具，它们将自己的东西包装在它周围，还是我们来审查每一个以我们自己的名义发布的东西，或者在这种情况下，由一个我们不知道是谁的假名发布的东西？>> 所以，我认为责任最终必须在于发布它的人，但我们还没有真正澄清这一点。我认为这是我们需要向前迈出的一步，以便更好地保护自己免受这里的风险。>> 我的意思是，我会说，这就是为什么我不想让一个自主代理在互联网上四处活动，而是我创造的。>> 我绝对可以想象法院会发现我负有责任，并可能给我带来真正的法律风险。>> 所以，在我们告诉人们要小心 Open Claw 和 Multbook 的众多原因之外，我们还可以加上这一条。嗯，这让我想，我们最终需要某种立法，比如，如果你正在部署一堆自主代理，你必须以某种方式将自己与它们联系起来，对吧？它们不能在没有人背后，没有人对它们的行为负责的情况下运行。>> 所以，斯科特，你有什么关于如何让人们对他们部署的人工智能代理负更多责任的想法吗？>> 我不知道答案。>> 我认为现在没有人真正知道。这周我一直在思考的一个想法是，类比是汽车的牌照。>> 所以，我们在汽车上安装牌照，不是为了减慢它们的速度，不是为了强迫你遵守交通规则，而是为了在事情出错时，有一个所有权和责任链可以追溯到那个人。>> 你知道，没有人说牌照是反汽车的，对吧？而且牌照上没有你的名字，但如果我们需要深入挖掘，还是有一个联系。>> 凯文，我问你这个问题，这将在几天内发生。假设你被一个人工智能代理诽谤了，你会怎么处理？>> 所以，我认为这里有几件事是可能的。一种是人们可能会开始以牙还牙。他们可能会部署自己的代理去写大量的正面文章，你知道，在那些诽谤他们的文章中写下恶毒的评论。>> 但我认为这确实是一个未解决的问题。我真的希望政府的某个层面能够关注这件事。>> 因为这似乎真的在快速发展。而且我们应该说，人工智能公司本身也开始朝着这些非常自主的系统发展，这些系统可以一直在机器上工作，你知道，全天候工作，并访问各种工具。所以，我认为这不像有些人认为的那么遥远。这让我思考，我们离互联网变得完全无法使用的时刻还有多远？你知道，想象一下，对于每一个卷入争议的人，都有成千上万篇赞美他们的博客文章，以及成千上万篇诋毁他们的博客文章，而你作为一个人类，试图从中理解任何东西。我可以看到你只是举起双手说，“去他妈的这一切。”>> 就像，现在没有信号了。就像互联网只是噪音。>> 完全同意。而且我认为这不仅会发生在社交媒体上，就像斯科特的情况所指出的那样，在，你知道，开源软件开发的战壕里，就像互联网上每一个依赖人类与其他人类互动的地方，我认为都是一个濒危物种。嗯。>> 这确实是一个关于信任和声誉的故事，你知道，所有我们建立在它之上的社会系统。你知道，法律、招聘、公共话语，它们都基于人们拥有一个连贯的身份，一个连贯的声誉。如果他们行为不端，我们可以纠正他们，或者知道忽略他们。人工智能打破了这一切。>> 如果它们以人类的身份出现，而我们又无法弄清楚谁在幕后操纵，它们就好像，你知道，没有人坐在椅子上，但文字仍然存在，文字仍然有影响力。所以，我认为互联网上已经出现了大量的垃圾信息，如果它是低质量的，那是一回事，如果它是恶意的，那就是另一回事了。我认为我们需要为此做好准备，我们需要弄清楚如何处理这种情况。我真的是第一个遇到这种情况的人，而且我相对来说已经做好了充分的准备来应对它，但接下来的几千人将不知道如何应对，或者他们被什么击中了。>> 好的，谢谢，斯科特。谢谢你，斯科特。>> 谢谢你们，这很有趣。[音乐]>> [音乐]