Transcription
人工智能控制的无人机蜂群。这是对未来战争，甚至是未来警务工作的一种可行的设想。事实上，嗯，我觉得这相当可怕。嗯，尽管我们批评大型人工智能公司，嗯，至少其中一家公司正在表现出一点点抵抗，反对他们的技术以这种不受限制的方式被使用。所以 Axios 报道称，Anthropic，也就是 Claude 背后的公司，我们经常谈论他们，嗯，目前正与五角大楼就他们希望对其产品的使用设定的限制发生争执。所以 Anthropic 希望设定限制，而五角大楼不希望他们这样做。五角大楼正在敦促人工智能公司允许军方使用他们所有的工具，用于“所有合法目的”。所以这是合法的，他们可以这样做。嗯，这包括武器开发、情报收集、战场行动。嗯，但 Anthropic 坚持认为，在他们的产品方面，有两个领域必须保持禁区。嗯，所以他们说一个是美国人的大规模监控。嗯，第二个是全自主武器。所以这是指无需人类干预就能杀死某人的武器。嗯，现在当然，如果他们也认为大规模监控非美国人是一个问题，我会更赞成，但我们稍后会回来讨论这个问题。嗯，这是来自 Axios 的报道，他们说 Anthropic 去年夏天与五角大楼签署了一份价值高达 2 亿美元的合同。嗯，Claude 也是五角大楼引入其机密网络的第一款模型。OpenAI 的 Chat GPT、谷歌的 Gemini 和 XAI 的 Grock 都用于非机密环境，这三家公司都已同意解除适用于普通用户与五角大楼合作的限制。五角大楼正在与他们就进入机密领域进行谈判，并坚持对机密和非机密用途都采用“所有合法目的”的标准。一位官员声称，这三家公司中的一家已同意这些条款，而另外两家则比 Anthropic 表现出更大的灵活性。所以基本上，你知道，Anthropic 拥有最适合政府机构和企业的模型。所以他们先去了五角大楼。嗯，他们现在告诉五角大楼，我们不希望你们无限制地使用我们的产品。嗯，五角大楼说，“好吧，我们会去找其他所有公司。”而其他所有公司似乎都在说，“好吧，如果我们能取代 Claude 和 Anthropic，我们会做的。当然。”嗯，现在，显然 Anthropic 和五角大楼之间的一些问题在尼古拉斯·马杜罗被绑架事件中使用了 Anthropic 的软件后变得显而易见。嗯，这部分是通过使用 Palanteer 技术实现的。所以 Palanteer 和 Claude，嗯，Palanteer 和 Anthropic 在他们的一些技术上合作。嗯，美国战争部似乎正在与该公司玩强硬手段。所以，在 Axios 最初报道发布两天后，他们对五角大楼威胁该公司进行惩罚进行了更新。所以不仅仅是说我们不会使用你们的产品，而是说我们将基本上摧毁你们。嗯，所以 Axios 报道称，国防部长 Pete Hexf 即将切断与 Anthropic 的所有业务往来，更重要的是，将这家人工智能公司指定为“供应链风险”，这意味着任何想与美国军方做生意的人都必须与该公司断绝所有联系。嗯，他们是从一位五角大楼高级官员那里得到这个消息的。嗯，将一家公司指定为供应链风险，对吧？这是个大问题。通常是为与华为等外国对手相关的公司保留的。所以我认为这从未发生在美国公司身上。五角大楼首席发言人 Shan Panell 告诉 Axios，战争部与 Anthropic 的关系正在接受审查。我们的国家要求我们的合作伙伴愿意帮助我们的战士赢得任何战斗。最终，这是关于我们的部队和美国人民的安全。嗯，Aaron，非常有趣。你知道，Anthropic，我的意思是，我必须说，值得称赞的是，他们正在与五角大楼进行这场斗争。他们是第一家与五角大楼建立全面合作关系的人工智能公司。他们可以在该机构的机密部分使用，但你知道，里面有很多有效的利他主义者。嗯，他们谈了很多关于人工智能的风险。Dario Amadai，我们经常谈论他。他们建议我们不希望我们的模型被用于任何事情。我们希望有一些限制。五角大楼说限制，对吧？我们也在为你们的产品付费，而且是政府的。去你的。>> 好吧，首先，如果你想对你的技术施加道德约束，你可能不应该与美国深层国家合作。只是一个想法。我的意思是，Anthropic，正如你所说，Dar Armadai，这家公司是为应对 OpenAI 而成立的。嗯，没有认真对待对齐问题。关于阻止存在主义风险的护栏问题，人们可以认为这是真实的，也可以不认为。这就是 Anthropic 的起源故事，然后它开始与美国深层国家和安全国家合作。其次，这是美国资本主义的一个真正转变。这是一种更像俄罗斯变种的资本主义，也就是说，通常情况下，在自由民主市场经济的资本主义中，你会遇到威权主义，你可能会有不稳定的公民自由，但财产权仍然相当神圣，尤其是对于大企业而言。你在这里看到的是与美国政府收购英特尔大量股份的事件相似。我认为最终安全部门想要这项技术，而许多为这些公司工作的人实际上是为美国政府工作，或者为一家由美国政府拥有并由美国政府政治领导的企业工作。所以，我认为这其中有一种黑帮式的元素，他们想要推动结果。现在，我为什么把它和俄罗斯相提并论？你知道，其中一件事，我不是说特朗普是法西斯主义者。我不是说这是法西斯政治的例子，但法西斯主义的一个要点，法西斯主义的矛盾之一是，它是在工业资本在资产阶级面临紧急时刻的政治回应。在意大利，1919 年、1920 年发生了罢工。看起来社会主义者要赢了，对吧？所以，突然之间，自由派经济学家和工业资本家说，“你知道吗，我们想要墨索里尼。”他正在保障财产权，但法西斯主义有一个问题，对吧？嗯，实际上，它们不是你在自由民主政策中获得的同一种财产权，而且也许如果我讨厌你，你就会消失，别人就会接管公司。它比自由民主制度更具客户导向性，也更不基于规则。这是其中的一瞥。我认为这是对俄罗斯商业运作方式的一瞥，安全国家的需求真正成为私营经济的核心。所以这是一个非常非常有趣的发展。但我必须说，你知道，Anthropic 有多天真，以为他们可以签订这样的合同，>> 而不会在这些问题上受到压力。>> 是的。不，我认为你在政治经济学方面说得完全正确。嗯，我想展示一个片段，它说明了为什么这个发展让我如此担心，就灾难性的人工智能情景而言，我显然喜欢谈论这些。嗯，这是前谷歌首席执行官埃里克·施密特去年在 TED 峰会上接受采访的一部分。所以在同一次峰会早些时候，人工智能的教父之一约书亚·本吉奥呼吁全球暂停开发所谓的“前沿人工智能模型”。嗯，埃里克·施密特解释了他为什么认为任何暂停实际上都没有必要。>> 所以，约书亚是我们谈论的许多事物的杰出发明家，也是我的一位好朋友，我们谈论过这件事，他的担忧非常合理。问题不是他的担忧是否正确，而是解决方案是什么。所以，让我们来谈谈代理人。所以，为了论证起见，在场的每个人都是代理人。你有一个输入，是英语或其他任何语言，你有一个输出，是英语，你还有记忆，这是所有人类共有的。现在我们都在忙碌地工作，突然之间，你们中的一个人决定，不使用人类语言会更有效率，但我们会发明自己的计算机语言。嗯>> 哦。>> 现在你和我坐在这里看着这一切，我们说现在怎么办？正确的答案是拔掉你的插头。对吧？因为我们不会知道。我们根本不知道你在做什么。你可能实际上在做一些非常糟糕或非常令人惊叹的事情。我们希望能够观察。>> 所以我们需要追溯性，这是你我谈过的事情，>> 但我们也需要能够观察它。对我来说，这是核心要求。>> 行业认为有一系列标准，在这些标准下，你会比喻性地拔掉它的插头。一个是当你获得无法控制的递归自我改进时。递归自我改进是指计算机正在学习，而你不知道它在学习什么。这显然可能导致糟糕的结果。另一个是直接访问武器。另一个是计算机系统决定在未经我们许可的情况下逃离自己，繁殖自己。所以有一系列这样的事情。约书亚的演讲，对于这样一个杰出的人来说，问题在于，在全球竞争激烈的市场中停止事物实际上是行不通的。与其停止代理工作，不如找到一种建立护栏的方法。>> 所以埃里克·施密特，一个非常有影响力的人，谷歌的首席执行官，或者说前首席执行官，抱歉，他与亨利·基辛格合著了一本书。嗯，他基本上说，是的，这可能会变得危险，对吧？这项技术可能非常危险。但别担心，因为控制这项技术的人，所有这些科技巨头，他们都同意，如果某些事情开始发生，对吧？我们会把它关掉。如果他们开始说我们不懂的语言，如果他们试图逃离自己，或者如果他们直接获得武器，这些具有远见的首席执行官，他们会把它们关掉。对吧？所以，我们不需要暂停，因为谢天谢地，嗯，控制这项技术的人，你知道，他们是理性、正直的人。他们也害怕这项技术，他们认为如果满足了这些标准中的任何一个，他们就会按下开关。所以，其他人应该放松，因为，你知道，成年人说了算。好吧，猜猜怎么着？事情没那么简单，对吧？如果一家公司告诉五角大楼他们想限制国家如何使用他们，五角大楼就会威胁惩罚，而这些公司有很多钱在其中，对吧？但我认为，我们一直在谈论涌入人工智能和数据中心的巨额资金。很多人认为这是一个泡沫。嗯，我认为这是一项革命性技术。如果收入不能及时到位来支付资本支出，可能会有泡沫，但无论我们如何看待它。但 Anthropic，他们有很多钱在其中，对吧？Dario Amodai 将无法说，“哦，好的。是的，别担心。如果我们失去五角大楼的合同，如果所有这些公司都不能再与我们合作，因为五角大楼会惩罚他们，>> 别担心，我是一个有效的利他主义者。嗯，我我我也有和你一样的恐惧。如果他们想把我的产品连接到自主武器上，让人工智能模型在没有人为干预的情况下杀死人，我只会说不，让我的价值 3.5 亿美元的业务崩溃，对吧？这不会发生。他会告诉自己，我想把它关掉，但那样就辜负了所有向我的数据中心投入了数千亿美元的投资者。所以那实际上将是不道德的行为。所以你发现自己处于一个有效的利他主义者的境地，他说，“好吧，你知道，我我我不想把我的产品连接到自主武器上，我以前曾说过这可能会导致一些末日灾难，但我的手被束缚了。抱歉。”>> 是的。或者如果我不这样做，别人会做的。作为一个有效的利他主义者，我参与这些对话比置身事外更有意义。你知道，这就是人们在几十年来和几个世纪里合理化各种可怕事情的方式。还有一点是，将武器化经济应用于美国国民或美国公司。所以，如果你看看例如制裁制度，一家公司不仅被剥夺了获得金融的机会，而且任何与它交易的公司>> 都会受到同样的待遇，这实际上是美国如何摧毁伊朗的方式。>> 他们也试图用同样的方式对待俄罗斯。他们也试图用同样的方式对待华为，但他们真的真的，他们真的用伊朗做到了。任何银行，即使是为与伊斯兰革命卫队有关联的某人提供账户的银行，不仅那家银行会倒霉，而且任何在那家银行存款的人都可能倒霉。这既有毒又可怕。>> 而真正令人着迷的是，迈克尔，是将这些东西应用于美国国内。>> 我们也看到了委内瑞拉和马杜罗的情况，>> 你知道，这种武器化>> 从海外开始，离家越来越近。你也看到了边境的情况。但这真的很令人震惊，因为这是美国商业工业未来的核心。他们说，我们与地缘政治对手使用的规则现在也适用于这里。有点疯狂。如果我是这些人中的一员，我会尽快离开美国。我会去欧洲。我会去加拿大。这不是你想经营的商业环境。我的意思是，我的意思是，真的，国防部、战争部说这些话，或者你被列为不受欢迎的人，然后遭受各种糟糕的后果，这之间没有太大的区别。如果我是 Dar Amodai，我会有一个退出策略。>> 是的。我的意思是，我认为这其中也有太多的傲慢。就像制造原子弹的人一样，对吧？他们显然对此感到非常复杂。嗯，他们正在与纳粹德国作战。我认为在那个历史时期，建造核武器比现在有更多的理由。>> 谁也想造核弹。对吧？>> 是的。嗯，是的，而且是所有人都知道的技术。>> 他们处于一个真正困难的道德困境，但他们没有自欺欺人或自以为是到认为他们将决定何时使用武器。>> 而这些硅谷的人们说服自己的是，他们将是控制这项技术的神。而且他们说，“嗯，我来当这个技术的上帝更好，因为我，你知道，我有很多有效的利他主义者朋友，我没有任何隐藏的动机。”就像，这只是自以为是，你认为作为一个普通的个人，拥有合法使用暴力的垄断权的国家会说，“哦，是的，你用你自己的判断。”对吧？事情不是这样的。奥本海默知道，一旦他帮助制造了核武器，如何使用它将由国家决定。是的。之后，你可以成为一名宣传者，对吧？你有他们称之为原子弹，那群原子科学家，他们总是做着“午夜前一分钟”之类的事情。你有一群参与制造核武器的人，他们认为这让他们有政治影响力，而且很合理，就像那些非常聪明的人说，我们认为我们需要非常小心地对待我们开发的技术。但他们没有人认为他们可以这样说，“哦，好吧，别担心。核弹只有在我，一个非常聪明的人，告诉美国总统他们可以使用它的时候才会使用。”就像，这完全是自欺欺人。但不仅仅是自欺欺人，迈克尔。这是我们长期以来所处意识形态的表现。所以，这种假设，当然是错误的，事后看来是愚蠢的，那就是政治权力掌握在资本手中。在资本主义社会，在资本主义现实主义社会，政治权力不再掌握在政治家手中，而是掌握在资本手中，当然，像贝索斯和马斯克这样的人也相信这一点，而且在某种程度上是正确的，对吧？在资本主义社会，相当大的政治权力投资于那些拥有经济权力的人，这部分就是他们想要经济权力，政治权力跟随资源。在中国，模式不同，我们已经谈了很多了。中国是一个市场体系，但政治权力掌握在，无论你是否喜欢，共产党手中，而不是资本手中。所以，那个国家的政治优先事项是由中共的干部，习近平等人设定的，而不是由美国的企业阶级设定的。这肯定是一个故事，直到全球金融危机，肯定直到 last，我甚至可以说直到 co，它的故事是，最终政治权力是经济权力的表达，而经济权力掌握在富人手中，当然，在选举政治家和全民投票等方面存在制约，但最终那是我们的体系，我我我同意你的看法，这是一个谎言，你知道，在危机中，每个人都是社会主义者，对吧？没有人说，你知道，市场应该在 1940 年制造喷火战斗机。嗯，但在危机中，国家也成为社会生活的真正核心组织者。显然，还有谁会这样做呢？所以，我认为这是美国科技精英有点过于相信自己的神话了，你知道，中央情报局、联邦调查局和国防部就像，“你们是谁？”我们是五星上将。如果我们愿意，我们可以让你消失。我们可以让你破产。滚蛋。>> 感谢你的技术。>> 是的。是的，没错。再见。>> 嗯，>> 这是接下来的 25 年的单独监禁。>> 让我们以一位表现出较少抵抗的科技巨头来结束这一段。嗯，我想我们说达里奥没有表现出多少抵抗，但这个人甚至没有表现出或给人留下抵抗的印象。所以埃隆·马斯克的 SpaceX，现在已经与他的人工智能公司 XAI 合并，正在参加一场竞赛，为五角大楼创造自主无人机技术。嗯，这是来自彭博社的报道。嗯，为期六个月的竞赛旨在生产先进的蜂群技术，该技术可以将语音命令转化为数字指令并运行多架无人机。虽然一次飞行多架无人机已经成为可能，但开发用于在海上和空中控制多架无人机作为蜂群的软件，这些蜂群可以自主移动以追捕目标，仍然是一个挑战。这是真正的反乌托邦科幻小说。你知道，你有一群自主无人机在追你。它们已将你识别为目标。没有人为干预。嗯，关于其中一些危险的总结，现在这可能听起来本身就很危险，但我们将参考一些深思熟虑的人，他们写了一份解释，说明为什么这可能是一个真正的问题。我们可以参考未来生命研究所于 2015 年发布的一封公开信。该研究所由 Max Tegmark 领导。嗯，这是一个非常有思想的人。嗯，这是他们公开信的内容：如果任何主要军事力量继续推进人工智能武器开发，全球军备竞赛几乎是不可避免的，而这种技术轨迹的终点是显而易见的。自主武器将成为明天的卡拉什尼科夫步枪。与核武器不同，它们不需要昂贵或难以获得的原材料。因此，所有重要的军事力量都将能够大规模生产它们，并且它们将无处不在且廉价。它们出现在黑市以及恐怖分子、希望更好地控制其民众的独裁者、希望实施种族清洗的军阀等手中，只是时间问题。自主武器非常适合暗杀、破坏国家稳定、镇压民众和有选择地杀死特定族裔群体等任务。因此，我们认为军事人工智能军备竞赛对人类没有益处。人工智能可以通过许多方式使战场对人类更安全，尤其是对平民，而无需创造新的杀人工具。现在，这封信的杰出签署者包括 Demisabis，谷歌 DeepMind 的负责人，Josh Yoshua Benjio，人工智能的教父之一，抱歉，斯蒂芬·霍金，是的，你猜对了，埃隆·马斯克。埃隆·马斯克。所以，埃隆·马斯克花了大约十年时间一直在说，“哦，人工智能非常危险。我们需要暂停它。”嗯，Sam Alman，他很邪恶。嗯，Anthropic 的幕后之人是精神病患者。我们需要放慢速度。他们都是想控制世界的人。嗯，现在他已经进入这个行业，并且比他们任何人都更热情地说，“把我的系统连接到你们的无人机上，五角大楼。”这就是我们应该信任这些人的程度。