Transcription
Casey，你好吗？进展顺利。Kevin，你怎么样？这个周末你有个大新闻，我的朋友。
我有。我有。嗯，我们得更新一下披露信息了。是的。为什么呢？在过去大约一年左右的时间里，在这个节目中，我一直披露我的男朋友在 Anthropic 工作。嗯，但我们不会再那样说了，因为我没有男朋友了。我有一个未婚夫。所以，耶。是的。这太令人兴奋了。他们说，结婚是除了和他一起开始播客之外，你能和男人建立的第二种最认真的关系。所以，嗯，我们会看看进展如何，但我非常乐观。
你们决定好婚礼主题了吗？哇，那太棒了。你知道，我不得不承认我们正处于规划的最早期阶段，所以如果你有任何，你知道，想法，我非常乐意接受。
我确实开始集思广益可能的婚礼标签了，你知道，因为每对夫妇都需要一个。绝对。那么，这些怎么样？好的。AGI do。嗯，还有其他的吗？嗯，对媒体说“我愿意”。那个，那个我喜欢。那个我喜欢。那个很好。或者，当然，经典的，我丈夫在人类学工作。
好的，Kevin，又一周，又一篇预测人工智能将导致股市末日的病毒式文章。发生了什么？是的。所以，本周的大新闻是，一篇由一家名为 Citrini Research 的研究公司撰写的文章本周走红了。这篇文章名为《2028年全球智能危机》。它基本上描绘了一个不远的未来，人工智能产业不仅吞噬劳动力市场，还吞噬了许多领先公司的商业模式。有很多例子。这是一篇很长的文章，但基本上，这是一家公司试图说明：“如果人工智能持续进步，未来几年可能会是什么样子。”而这家公司所说的未来样子，Kevin，相当糟糕。
对。这里的建议是，人工智能代理会改进并接管经济。因此，结果是，你将看到大规模的失业，比如股市的大幅萎缩，以及文章中提到的一些个别公司，比如 Door Dash 就是一个大例子。这篇文章预测这些公司将面临非常非常艰难的时期。
是的。我对 Catrini 研究的文章印象不深。我认为它做出了一些我不会做的逻辑跳跃。嗯，但它产生了巨大影响。人们将这次大规模的华尔街抛售归咎于这篇文章。像 Door Dash、美国运通和黑石这样的公司，在文章发表后，它们的股价都立即下跌了超过8%。所以，我们现在正处于市场驱动型科幻小说的时代，任何对人工智能对经济的影响持有主观且合理知情的观点的人，如果他们的文章像这篇一样走红，现在就可以在股市中引发数十亿美元的损失。
对，Kevin。这就是为什么我呼吁所有科幻作家向美国证券交易委员会注册。你们的想法太强大了，必须受到监管。是的。所以，我们不会把整集节目都用来讨论这篇文章，因为我认为它预示着目前正在发生的一些更大、更有趣的事情，那就是经济上的不确定性，关于这一切将走向何方，人工智能将走向何方，它将对劳动力市场、对实施它的公司的生产力提升、对我们一些最大公司的商业模式产生什么影响。现在这一切都感觉非常不确定和脆弱。我想，与其逐行分析这篇文章，我们不如请一位了解经济并思考这些问题比我们久得多的人来。
是的。尽管我们很想和你们分享我们大一宏观经济学中学到的东西，但我们认为现在可能是请出大人物的时候了。
是的。所以今天我们为您带来与 Anton Korinek 的对话。Anton 是弗吉尼亚大学经济学系和达顿商学院的教授。自去年四月以来，他还是 Anthropic 经济咨询委员会的成员，我一直非常期待能邀请他来节目。我一直是他的作品的粉丝，我想说他一直走在经济学家的前沿，他们正试图弄清人工智能将对经济产生什么影响。他不是最近才开始研究这个问题的。他已经为此工作了十多年，他以愿意考虑比许多经济学同事更极端的情景而闻名，因此我认为他真的很有趣，而且，Kevin，我认为我们现在都想要非常简单明了的答案，关于到底发生了什么，大规模失业何时可能开始，而事实是我们不知道，对吧？我们没有数据，我们对今天的能力了解不够，更不用说明天的能力了。因此，我们无法就即将发生的一切给出一个明确的答案。但我认为，市场几乎基于空无一物就能如此大幅波动这一事实，凸显了当前焦虑程度之高。所以，我认为与一位密切关注这些事情并能明确告诉我们已知和未知的人交谈是有帮助的。那么，让我们请他进来。在此之前，你本周已经更新了披露信息，说你的未婚夫在 Anthropic 工作。嗯，我也会披露我的，那就是我在《纽约时报》工作，该报正在起诉 OpenAI、微软和 Perplexity 涉嫌侵犯版权。好的，让我们请 Anton Korinek 进来。Anton Korinek，欢迎来到 Hard Fork。
很高兴能和你们一起上节目。所以，我非常高兴能与你进行这次对话。你是我一直想邀请来节目的嘉宾。我们发现你正处于这样一个时刻：整个经济似乎都依赖于这些承重文章，这些，你知道，推断或科幻作品，无论你怎么称呼它们。本周，我们看到了这份关于《2028年全球智能危机》的 Citrini 研究报告。在那之前，嗯，是另一篇文章。所以我非常好奇，你作为一位多年来一直在研究人工智能问题的经济学家，如何看待当前市场对即使是微小的认知变化也如此敏感的时刻。
是的，你知道，这是一个有趣的时刻，因为我已经研究这个问题十年了，我一直在等待市场何时会意识到即将发生的事情，然后，似乎是一些微小、几乎是随机的小事，实际上却产生了巨大的市场反应。所以是的，你知道，市场是根据情绪波动的，我想这就是其中一个例子，但在背景中也有一些非常真实的发展，我想我们今天就是来讨论这些的。
是的，没错。我们希望今天能从对话中抽离一些情绪，深入探讨冷酷的事实。那么 Anton，你能告诉我们当前的经济数据揭示了关于这个时刻的什么信息吗？实际情况是什么？有数据表明情况真的在发生变化，还是这仍然更多地停留在“感觉”层面？
它仍然处于预期领域。所以如果你看实际数据，你可以看到人工智能对就业市场、生产力增长等方面有一些相对较小的影响，但首先，它们仍然处于非常小的，比如百分之几的范围内，其次，仍然存在争议。所以目前有几篇经济研究论文说，是的，我们可以在入门级工作的就业市场中看到一些东西。嗯，但也有人仍然说，这篇论文中这里那里有问题，我们实际上可以用不同的角度来解释这些结果。简而言之，目前还没有真正确凿的经济数据。我实际上担心，即使到了我们所有人都看到“是的，这现在清晰可见”的时候，经济研究仍然会略有争议。
为什么会这样？是因为收集所有数据需要一段时间，这些事情才能开始体现在生产力数据中吗？是滞后性，还是人工智能改变经济的方式中有什么是我们收集的经济数据无法捕捉的？
我认为两者兼而有之。所以我们的经济统计数据部分是为了非常非常全面而设计的，并且需要时间来汇编。它们会被修订，因为最初的看法不一定是最终的。所以如果你看生产力之类的东西，时间滞后性确实会影响你，你真的必须接受这样一个事实：直到数据实际出现大约一年后，我们才会有完全清晰的图景。但第二点是技术也在飞速发展。你今天使用的图表 GPD 与一年前的非常不同，并且可以做更多的事情，尤其是在编码或白领工作方面。
那么让我们深入研究其中一项研究。本月早些时候，美国国家经济研究局发表了一篇名为《企业人工智能数据》的论文。他们调查了6000名高管。结果发现，70%的公司使用了人工智能，但80%的公司报告称对就业或生产力没有影响。我觉得我们经常看到这类调查，就像，你知道，这项技术正在广泛部署。我们无法判断它是否正在发挥作用。作为一名确实相信人工智能最终会改变经济的人，你如何理解这类研究？
是的，我认为可能性的前沿与日常实际应用之间存在巨大差距。你刚才提到的论文告诉我们，在实际领域中，就几个月前实际公司如何使用这些技术而言，还没有产生那么大的影响。我认为这与我与高管交谈时所看到和听到的一切相符。所以人们仍然处于试图弄清楚如何有效地部署这些系统的阶段。我们如何从，比如说，华丽的演示，到对我们的工作产生生产性影响，让我们能做更多事情，更便宜地做事，并且以我们一直以来的相同可靠性水平，以可靠的方式进行。
在这篇《2028年全球智能危机》文章中，一个引起广泛关注的概念是作者称之为“幽灵GDP”的东西。这个想法是，随着人工智能变得越来越有能力并完成更多工作，我们将拥有这些生产力越来越高的公司，创造越来越多的收入和GDP，但这些收入和GDP不会体现在工人的口袋里，因为机器正在完成工作。这与你一直在做的任何研究相符吗？这个“幽灵GDP”是一个我们应该担心的真实概念吗？
我很担心。听起来很诡异。这绝对比我之前遇到的术语更诡异，但坦率地说，你知道，如果技术达到像 EGI 或强大人工智能之类的水平，无论你怎么称呼它，这确实与普遍预期非常吻合。所以，在某种意义上，你可以说它甚至更糟。所以一方面，将会有大量的GDP不是由人类在循环中生产的。嗯，这意味着没有工人会从中获得好处。但另一方面，也将有相当一部分经济产出甚至不会出现在GDP中，因为它被算作中间产品。只有当它是最终消费或最终投资于我们可以积累的、具有一定使用寿命的资本品时，事物才会出现在GDP中，而人工智能经济的许多部分都不会反映在GDP中。
我很好奇，我与一些经济学家之间正在进行一场辩论。他们中的一些人会说，你知道，我们从未真正见过经济增长速度像硅谷的一些人认为的那么快。你知道，10%到20%的GDP增长。这在我们的历史上是前所未有的。所以他们预计人工智能会让事情增长得慢得多，可能每年百分之一或二，这在相对而言是很大的，但不是湾区一些人所设想的那种超高速增长情景。然后你看到像 Catreaty Research 的人说，嗯，我们即将看到前所未有的事情。我们即将看到整个经济摆脱所有这些周期性模式。那么你在这个光谱的哪个位置？数据将你引向何方，是在每年1%或2%的缓慢增长，还是每年10%或20%的超高速增长情景之间？
是的，关于这一点，我想说两件事。第一个是故事还没有写出来。而且存在一种可能性，如果我们以一种非常不负责任的方式开发这项技术，我们实际上可能会看到某种自我复制的爆发，如果从人工智能的角度衡量，那将导致三位数的GDP增长数字。但如果我们将技术部署得让普通人生活得更好，那么我认为三位数的增长数字是完全不现实的。它们会导致太多的混乱，然后，嗯，我不太确定。我认为仅仅1%肯定会太低，从我的角度来看不现实。嗯，在非常乐观的情况下，我认为我们可以达到低两位数的增长率。嗯，我应该说这不仅预设了认知人工智能，而且是完全的人工智能，就像 OpenAI 章程中定义的那样，他们说系统是高度自主的，并且可以执行大多数具有经济价值的工作。所以这也包括一个物理组件，包括机器人部分。否则，它不会对GDP产生那么大的影响，因为经济的大部分不仅仅是坐在电脑前。
对吗？我认为现在很多人，看着股市和这些病毒式文章，试图理解这一切，都感到很多认知失调，因为一方面，我们有看起来非常聪明的人说人工智能正在改变一切。每家公司都在以与几个月前不同的方式做事。我们正走向未知领域，然后你环顾四周，我们，你知道，失业率仍然低于5%。我们仍然没有看到巨大的生产力提升。大多数在工作中使用了这些东西的人，嗯，只是在使用，你知道，旧模型，或者他们的IT部门不让他们使用代理编码之类的东西，所以，这确实看起来我们正在看到一个日益增长的脱节，介于那些关注技术的人所说的将要发生的事情和我们周围可观察到的现实之间。那么你如何看待这种脱节，人们应该如何看待这些快速变化的预测呢？
是的。所以我们已经触及的一个部分是前沿能力与实际实施之间的差距。那一部分是真实的，而且非常重要。那也是随着时间推移注定会消失的东西，对吗？嗯，但第二部分是，我们听到的所有预测最终都是推断，当人们看到人工智能系统在过去一年中改进了多少时，他们的反应非常不同。有些人自然而然地得出结论，好吧，让我们推断一下，当然这些系统在短短几年内就会比任何人类都聪明得多，然后还有另一派人说，嗯，我们大脑所做的事情是如此特殊，以至于机器在很长一段时间内都无法复制它，而且这些机器将趋近于低于我们大脑能力的地方，坦率地说，两者都是一种投机立场。我个人首先愿意接受它的不确定性，我认为我们都应该如此，但如果你让我做一个我感觉更舒服的猜测，我会说能力可能会继续增长，而且我认为在短期内我们面前没有任何明确的限制，所以我确实预计将会有非常显著的经济影响。
是的。那么，让我们稍微推断一下未来。在2017年，你合著了一篇论文，其中你提出，“人工智能的进步更有可能取代人类劳动力，甚至彻底取代工人，而不是对大多数工作起到补充作用。”当时，你写下这些话时，是冒了很大风险的。嗯，我想你今天比以往任何时候都更强烈地感受到这一点。嗯，但什么给了你这种信心？你在多大程度上觉得我们已经开始看到它，嗯，也许比2017年感觉更真实了？
是的。只是为了确保，那一直是对人工智能系统的预测。它们本质上是达到或超越通用人工智能（AGI）水平的系统，而不是我们2017年拥有的那些几乎无法区分狗和松饼的字面系统。所以，嗯，我认为我的观点最终来源于我研究过神经科学。我研究过计算机科学。而且在某种程度上，你知道，一旦深度神经网络变得强大，我就会觉得很难不得出这样的结论：这些系统最终将能够做我们大脑能做的几乎所有事情，而且它们受到更宽松的限制，比如它们不需要塞进一个微小的人类头骨。我们可以几乎无限地扩展它们，从某种意义上说，这就是我们在过去十年中看到的，对吧？我们看到了大量的扩展，嗯，在这一点上，这些系统消耗的能量就像城市一样，而不是我们大脑所做的，那就像一个节能灯泡的能量，而且这仍然不是极限，它们仍在不断增加规模，增加能力，当然算法也越来越好。所以基于这种观点，我只是不明白为什么会有任何自然的限制，当然更不明白为什么会有一个低于我们人类智力能力的限制。
对吗？我认为问题是，当这个世界到来时，工作会发生什么？而且，嗯，在经济学中，我们的一些听众可能还没有熟悉所谓的“劳动总量谬误”，对吗？这种观点认为，有固定数量的工作要做，任何因自动化而失去的工作因此永远不会被取代。我们称之为谬误，因为自从经济学家开始追踪以来，自动化总是导致更多工作的产生。嗯，Anton，你在另一次采访中提到，经济学家很难在这个问题上转变，因为他们与这个谬误斗争了太久。作为一名经济学家，说“实际上这次人们应该担心工作真的会消失”，这感觉如何？
是的，这确实感觉很奇怪，在过去十年里我受到了不少同行经济学家的批评。尽管我要说，在过去一两年左右的时间里，我的许多同事都说，嗯，我仍然不完全认同你的世界观，但你知道，我很高兴有人在思考这个问题，而且我不会完全排除这种可能性。嗯，是的，认为经济中每当失去一份工作，那个人就会永远失业，这是一个谬误。但我认为我们真正想看的是对人类劳动力的总体需求。如果由于人工智能系统可以取代越来越多的劳动力，导致需求曲线向下移动，那么最终这意味着工作数量或工资水平，或两者都可能收缩。嗯，现在我应该说，也存在劳动力继续表现良好，只是增长速度不如经济其他部分快的可能性。换句话说，产出中的劳动份额将会缩小，但至少我们在绝对水平上没有落后。我们的经济理论告诉我们，无论是那种结果，还是劳动力完全失败的结果，哪种结果会实现，部分取决于自动化的速度。
而且，你知道，为了我们所有人的利益，我正在祈祷，我希望我们只会相对地损失，而不是绝对地损失。但现在，嗯，我认为我们没有任何数据可以以任何程度的确定性告诉我们哪种结果将会发生。
我想回到你几个问题前说的一件事，那就是你预计前沿人工智能能力与工作场所普及（即工人实际如何使用这些东西）之间的差距会随着时间缩小。我对此不太确定。我花了很多时间与企业和教育机构的领导者交谈，我不会说他们的部署速度增加了多少。你知道，他们有安全担忧和隐私担忧。很多原因让他们不想直接把这些东西投入到工作中。嗯，所以也许你能帮我理解为什么你认为这个差距可能会缩小。
我可能表达得有点不清楚，但我真正想说的是，当前的能力最终会扩散到经济中，当然到那时，我非常同意你的观点，实际能力会进一步发展，而且你知道，如果我们正处于这种能力飞速发展的轨道上，差距本身可能确实会扩大而不是缩小。我认为这可能是最合理的结果。但我真正想强调的是，我们目前拥有的能力最终会扩散，并且目前首先会产生广泛的生产力效应，因为现在人工智能系统在许多方面仍然与工人非常互补，但一旦它们达到可以替代工人的水平，也会对劳动力市场产生一些不利影响。我告诉你我想要什么。说吧。
我想知道人们在工作中实际是如何使用人工智能的，因为我们拥有的数据主要是自我报告，而且我认为一些公司夸大了他们在人工智能方面所做的工作，因为他们想显得尖端和未来化，并展示我们是如何转型的。我认为有些人，特别是工人，正在淡化他们使用人工智能的程度，因为他们对此感到尴尬，或者这违反了他们公司的IT政策，或者他们不确定是否被允许这样做。所以我只是认为我们没有非常好的细粒度数据，关于人们在工作中实际如何使用人工智能，以及它是在加速他们还是减慢他们。如果我能有一个水晶球，我想我不需要一个水晶球。我需要一个监控设备。Kevin 想扫描员工的电脑，但我只是
我们确实有一些。嗯，OpenAI 和 Anthropic 都几乎实时发布了他们系统实际使用情况的数据，这给了我们一些关于我们所处位置的图景。嗯，但这只能告诉你这么多。你能给我们的听众一个概念，有没有两三个核心指标或核心报告，当你看到它们时，你会想“好的，我们来了，我终于可以更新并看看我们是否正在接近一个，你知道，大规模工作自动化的未来”？那些随着它们的到来而更新你理解的东西是什么？
所以，纯粹的能力水平可能是最重要的一个，你可以关注任何你想要的基准，或者一些基准的综合体，它们告诉我们人工智能系统在哪里仍然落后，在哪里已经做得相当出色，而且，你知道，目前最大的缺点之一，但当然从工人的角度来看这是好事，因为它使我们更具互补性，那就是这些系统不会动态学习。当前大型语言模型的工作方式是它们被训练一次，之后权重就固定了，这意味着对于许多工作应用，即使存在非常基本的错误，它们也必须一遍又一遍地犯同样的错误，因为它们从中学习到的东西非常有限。嗯，所以那是我正在寻找的另一种突破。然后，你知道，我定期关注的第三个图表是这个元图表，它着眼于人工智能可以自动化一项任务多长时间。我认为他们通常发现每七个月，那个时间框架就会翻倍。观察这种情况如何持续也很有助于理解指数增长轨迹是否完好无损，或者最近是否甚至在加速，或者我们是否接近平台期。
Anton，你提到，十年前当你开始撰写关于人工智能、自动化、潜在失业和经济转型时，你的经济学同事们都非常怀疑。你被视为你领域中的一个异类。
是的。我的一位资深同事问我：“你真的确定要为此毁掉你的职业生涯吗？”
所以，显然那不再是真的了。你现在有许多主流经济学家正在关注这些问题。那么，现在你有哪些想法，是你认为让你处于你专业边缘，而许多同事不同意的呢？所以我确实有这样的印象，即认真对待像通用人工智能这样的概念在经济学界仍然是一个边缘观点。你说得对，有更多人开始接受它，但它仍然是一个小众且声音越来越大的少数派。我还相信，如果我们真的达到通用人工智能，那不会是结束，而是经济真正重大转型的开始。在这方面，我可能比我的同行经济学家们更处于边缘。
是的。你曾撰文讨论过这种双曲增长的可能性。基本上，如果我们获得递归自我改进会发生什么？人工智能开始构建更好的人工智能。它们开始建造机器人工厂，并基本上创造自己的经济。嗯，你实际上尝试模拟了在一个人工智能达到这个关键拐点的经济中可能发生什么。你发现了什么？
是的。所以，我们发现的第一件事是，将会有大量相互强化的反馈循环。那么，假设我们在软件方面确实达到了递归自我改进的程度。能够做到这一点的AI系统将反哺硬件方面的研究过程，并加速硬件研究，即该领域的技术进步。此外，它们还将加速其他任何认知工作或智能事物有帮助的领域的研究。比如说，解锁额外的廉价能源，如核聚变等等，以及创造更好的机器人，所有这些都相互促进，因为这些进步反过来又帮助人工智能进一步发展，如果你把所有这些加在一起，你可以在我们的模型中获得巨大的超指数增长，它是一种双曲增长，导致一个奇点。物理学告诉我们，字面意义上的奇点实际上不可能发生，因为在某个时候会有一些资源限制。但我预计，这些反馈循环在现实世界中将导致大规模增长，直到达到某个我们可能尚未完全识别的新瓶颈。
我很好奇。你知道，你几分钟后就要去教你的研究生了。你所学到的东西如何改变了你告诉学生们应该如何思考职业生涯的方式？你知道，几年前，我决定，好吧，我会直言不讳地表达我对这件事的看法。而且，嗯，我告诉我的研究生，我不确定他们毕业时是否还会有经济研究员的工作。我为他们祈祷。我希望会有，但目前我认为我们不能指望它。嗯，我认为我们所有人都必须面对这种根本性的不确定性，即几年后经济会走向何方。
那对你从研究生那里得到的课程评价有什么影响？
嗯，那是一个很好的问题。我还没有进行系统的统计分析，也没有足够的数据点来确定人工智能是否提高了或降低了我的教学效率。
明白了。是的。明白了。
谈到生产力，我想问你关于我一直在研究的这个框架，它是关于人工智能如何改变经济的。嗯，所以基本上在我看来，这里有三种可能的结果。第一种是“笨重巨人”的结果，你拥有这些主导经济的大公司，它们太慢、受到太多监管，无法真正快速采纳所有新的人工智能技术，所以经济只是缓慢运行一段时间。嗯，可能每年增长百分之一或二。嗯，但没有根本性的改变。第二种选择是“冲刺巨人”的结果，这些大公司实际上齐心协力，开始快速行动。也许他们会解雇很多人，也许他们会创造更多新工作，但他们效率更高，十年后的经济仍然由我们今天拥有的那些，你知道，巨头公司主导。然后是第三种选择，即“死亡巨人”的结果，基本上今天主导的每家公司都将被一个竞争对手击垮，这个竞争对手使用人工智能，只需要他们现有劳动力的百分之一或千分之一。而且我们基本上将看到这种旧经济被这种新的人工智能驱动的经济吞噬。在这些情景中，你认为哪一个更合理？甚至这是思考这里可能结果的正确方式吗？
我认为这些是值得思考的有趣情景，我最好的猜测是我们将看到第二种和第三种情景的混合，即会有一些冲刺中的“孩子”，鉴于他们固有的优势，他们会做得很好，而且也会有一些行业，新来者会，嗯，是的，压倒沉睡的巨头，用你的类比来说，嗯，是的，最终我确实认为技术会扩散，无论是通过现有公司还是通过新来者，这很大程度上取决于巨头们行动的速度。
如果你现在是一家上市公司的CEO，你认为应该做什么？显然，市场对你的公司应该做什么有很多焦虑，但正如你今天告诉我们的，我们现在做的很多事情只是在等待模型在各种事情上变得更好。那么，作为CEO，对这种动态的理性回应是什么？
嗯，首先他们应该雇佣我的学生。绝对。因为他们非常清楚如何使用人工智能。是的。是的。但更严肃地说，我认为最关键的事情之一是保持更新，并了解前沿能力在哪里。我反复看到的是，大型组织的CEO们处于如此高的职位，以至于所有信息都由非常聪明的人提供给他们，这使得他们没有理由去接触智能AI系统，并在某些方面让他们与该领域实际发生的事情保持了一点距离。所以，你知道，如果他们雇佣我一些非常优秀的学生，他们非常清楚如何使用这些系统，并要求他们提供一个关于人工智能现在能做什么的一线视角，我认为许多CEO在看到这些时实际上会非常惊讶。
是的。然后，如果他们跟踪几个月，并看到能力实际改进的速度有多快，那么这自然会引导他们做出决定，比如，好的，我们可以在简单的测试中看到这些系统能做什么。我们如何在我们的组织中有效地利用它们？现在这就引出了扩散的问题。这仍然是一个缓慢的过程，对吧，因为你需要实验，你需要尝试事物。如果你真的想把这些系统推到极限，你需要失败。嗯，但我认为这需要成为起点，如果我们希望我们的任何决策者都能就如何应对这项快速发展的技术做出明智的决定。
嗯，你知道，当我们在这里结束时，我们今天一直在谈论，似乎有些人，特别是市场方面的人，对可能发生的事情感到非常激动，但也许并不完全知道那是什么。同时，我也看到许多人缺乏想象力，他们似乎相信，无论今天的系统有多好，它们可能不会变得更好，或者即使变得更好，也不会对他们的生活产生太大影响。我想知道你对此有何看法。你是否认为这只是那些，嗯，不想思考他们的生活可能面临何种变化的人？你认为还有其他原因吗？而且，嗯，你认为我们应该怎么做？如果你认为其中一些变化可能对他们产生真正重要的影响。
所以，首先，嗯，我的意思是，我们都在生活中处理很多很多事情，对吗？而且我们只有有限的带宽，比如说，直到一年前，我非常认同这样一个事实，坦率地说，大多数人工智能系统对大多数人来说并没有那么有用，对吗？那么我们为什么要花费我们有限的带宽去关注它呢？然后第二件事可能也是一种保护性反应。如果你想认真思考这项技术的含义，它会导致相当严峻的预测。它会把你带到相当严峻的境地。有时，活在当下，不担心那个可能被彻底颠覆的并不遥远的未来，会让人感觉舒服得多。
是的。而且，是的，第三件事是，嗯，在公共讨论中，你可以听到各种各样的意见，对吗？我的意思是，你在这方面比我专业得多，你只需在公共讨论中选择你最喜欢、最令人安慰的观点，你就能获得大量的这种观点。嗯，我只是不知道那是不是你能得到的最好建议。
社交媒体上流传着一个笑话，大概是说要么人工智能是个泡沫，要么其他一切都是泡沫。哪个是呢？嗯，如果我必须选择其中一个，那可能就是其他一切。
嗯，但话虽如此，你知道，在经济中，事物的传播总是比那些处于前沿的人想象的要慢。所以从这个意义上说，让我们采取这种观点，即这将是绝对的变革性，然后加上一点点经济现实，即事物在传播时会慢一点，我认为这可能大致是我对我们走向何方的中位数预测。
好的 Anton，非常感谢你加入我们。精彩的对话，让我们保持联系。非常感谢你的工作。谢谢你，先生。谢谢。我非常感谢你关注这些重要话题。
回来后，我们将在系统更新环节中讨论 Anthropic 对抗五角大楼、Alpha School 等更多内容。好的，Casey，我们时不时地喜欢向我们的观众和听众更新我们过去报道过的、有新进展的故事。
是的。我们想，嗯，温和地关注一下它们，而不是围绕它们做一整个环节，但至少让你了解我们一直在关注的最新情况。
我们甚至为这个环节起了名字和主题曲。它叫“系统更新”。
那么，我们的第一个系统更新是关于我们上周节目中报道的一个进展非常迅速的故事。这当然是 Anthropic 和五角大楼之间正在进行的斗争。提醒一下，五角大楼和 Anthropic 一直在就 Claude 服务条款的拟议修改存在分歧，该修改将允许军方将 Claude 和其他 Anthropic 人工智能系统用于所有合法用途。Anthropic 表示，除了国内大规模监视和自主杀人机器之外，它对几乎所有用途都表示同意。所以，在我们录制上周的节目后，国防部长 Pete Hegsth 召见了 Anthropic 的首席执行官 Daario Amade 到五角大楼开会。那是本周二。《纽约时报》将那次会议描述为文明的，而 Axios 则描述为紧张的。嗯，所以这两种说法中可能有一种是真的。
它可以是文明的，也可以是紧张的。我们的录音会议对我来说经常是这种感觉。在这次会议上，Hegsth 告诉 Amade，Anthropic 不能决定五角大楼做出作战决策的条款。Daario Amade 反过来捍卫了 Anthropic 的承诺，即确保其模型不用于自主武器或大规模监视。Hegsth 发出了最后通牒。基本上，如果 Anthropic 在本周五，2月27日下午5点01分之前不同意这项所有合法用途的条款，特朗普政府将采取报复行动。它可能做的一件事是，嗯，将 Anthropic 指定为供应链风险。正如我们上周节目中讨论的，那将是一个非常不寻常的步骤，通常用于外国间谍活动，嗯，这意味着政府届时可能不会使用 Anthropic 的产品，并会限制 Anthropic 与其任何承包商进行交易。
是的。据报道，Hegsth 还威胁说，特朗普政府可能会援引《国防生产法》，迫使 Anthropic 为政府提供其产品，且不受限制。所以，如果 Anthropic 在本周五下午5点01分的截止日期前不让步，这两件事现在就摆在桌面上。
是的。而且，Kevin，后者的威胁，嗯，援引《国防生产法》，据我所知，政府援引此法要求公司为政府开发软件，确实没有先例。再说一次，这将是可能对美国人进行大规模监视或制造无需人工干预即可杀人的机器的软件。我也不知道政府中有任何人试图为这两种使用情况辩护，或者说明为什么特朗普政府能够做到这一点是如此关键的优先事项。嗯，而且，你看，我会说，我发现任何政府对其公民这样做都令人恐惧。所以，我希望人们关注这一点，因为我认为这确实已经成为迄今为止我们在大型实验室和政府之间看到的人工智能领域风险最高的冲突。
是的。我的意思是，我记得几年前，像 AI 2027 的 Daniel Cocatello 这样的人，有点像在模拟一个人工智能系统变得更强大的世界中可能发生什么。人们设想的情景之一是政府可能会尝试将一些大型人工智能公司国有化。但这在某些方面甚至更进一步。它不仅仅是说我们要试图影响你如何构建你的模型。它是说我们将援引这些前所未有的措施，强迫你以我们想要的方式使用你的模型。如果你不答应我们的要求，我们基本上会试图扼杀这家公司。
是的。而且想想这对 Anthropic 来说会是多么严峻的结果。一群好心人离开了 OpenAI，以便他们可以尝试创建更安全的人工系统。我的意思是，你想谈论科幻情景，就像我们现在真的正在经历一个一样。是的。自上周以来，另一个有趣的事情是，国防部似乎非常致力于使用 Claude。在 Dario Amade 和 Pete Hagsath 会议之前，Axios 的一篇文章中引用了一位国防官员的话，他说我们仍然与这些人交谈的唯一原因是我们现在就需要他们。这些家伙的问题是他们太优秀了。所以基本上他们是说，看，如果我们有一堆可互换的人工智能模型，它们都具有相对相似的能力，我们就可以直接切断与 Anthropic 的联系，说我们不会履行与你的合同条款，因为你不让我们将你的模型用于我们想要的目的。但在一个 Anthropic 模型优于竞争对手人工智能公司模型的世界上，他们真的不想做出这种权衡。他们真的不想选择他们认为的二流模型。这也会很复杂，因为正如你所说，Anthropic 的模型是唯一被批准用于机密系统的。所以我认为这实际上也说明了 Anthropic 自成立之初就相信的一件事，那就是你影响安全的方式，你在这些谈判中获得影响力的方式，是通过拥有真正好的模型。Dario Amade 有一个“竞相登顶”的说法，他基本上认为，如果 Anthropic 处于前沿，与世界领先的人工智能公司具有竞争力，那么政策制定者和像国防部这样的大型政府机构将被迫认真对待他们。我认为我们现在看到的是，a，他是正确的。Anthropic 确实拥有影响力，因为它的模型非常好。而且，b，如果政府可以强迫你做你不想做的事情，那可能就不重要了。
是的。但我想指出，Kevin，政府的回应是多么语无伦次，因为他们说了两件相互矛盾的事情，对吗？一个是，嗯，我们不会使用你，我们会试图让其他人停止使用你，另一个是，我们要强迫你让我们使用你。对吗？所以对我来说，这与一个只懂威胁和支配语言的政府是一致的。对吗？就像，没有谈判。也没有什么可讨论的。我们得到我想要的，否则我们会尽可能地伤害你。嗯，但我认为非常值得注意的是，即使在这种情况下，军方似乎也搞不清楚它想对这些人做什么。
是的，这是一个不可阻挡的力量遇到不可移动的物体的经典案例。我的理解是 Anthropic 不会在他们想要的这两个例外上让步。本周，Anthropic 的安全立场出现了一些困惑，因为该公司还更改了其负责任扩展政策（RSP），该政策规定了它如何发布新模型以及对其应用的安全保护。嗯，有些人认为这些事情是相关的，但我的理解是这些是独立的问题。而且，当谈到与五角大楼的这场具体争议时，Anthropic 仍然坚守其信念，即不希望 Claude 被用于大规模国内监视和自主杀人武器。嗯，而且他们
他们觉得，无论他们的生意会受到什么样的打击，他们都可以承受，只要这意味着他们不会在自己的价值观上妥协。顺便说一句，这对Anthropic来说是一个多么棒的营销活动啊，它能够站出来说：“我们是唯一一家致力于不让我们的模型被用于这些可怕用例的AI实验室。” >> 是的。我已经为他们明年的超级碗广告想出了一个非常好的点子。他们可以这么说：“谋杀案即将来临AI，但不会降临到Claude身上。” >> 对。那么，在这次会议之后，或者在周五下午5点01分的这个截止日期之后，你有什么期待？嗯，就像你说的，我是说，根据Daario的公开声明，我认为他不会退缩。我认为以某种奇怪的方式，这就是他们想要的战斗，对吧？就像，想想我们一直在谈论AI安全问题有多久了，人们又有多久一直在回避它。嗯，现在它就在这里了，你知道的，这是美国目前正在辩论的主要公共政策问题之一。我认为Anthropic愿意为此付出任何代价，即使只是为了表明这些系统已经非常接近能够做一些非常危险和可怕的事情。所以我预计Anthropic会坚持自己的立场。对我来说，问题只是它会因此遭受什么后果。是的。而且，我认为这里还有一个问题，就是其他AI公司会如何回应。对。我们已经看到像Google和OpenAI这样的公司的几名员工站出来为Anthropic辩护，说如果政府强迫或迫使Anthropic使用他们不愿使用的模型来做这些事情，那将是一件非常糟糕的事情。但到目前为止，这些其他AI公司的领导者对这个问题大多保持沉默。我认为他们乐于让Anthropic来承担这次的压力，但如果他们继续追求这些巨大的军事合同，他们迟早都会发现自己处于类似的情况。>> 他们会的，但根据我们目前所知，我们应该期望他们会屈服。就像，这些其他公司一直以来都只是虚有其表，胆小怕事。>> 是的。但我也会关注一些政治上的回应，因为，你知道，上周我们一直在谈论为什么公民社会或政府中没有人像我们一样对此感到担忧。嗯，我认为过去一周情况已经有所改变。我们开始看到一些民选官员，一些公民自由组织开始意识到，目前正在发生的事情对未来有着重大的影响，不仅是对军队使用技术的影响，而且对我们一些最大、最先进的技术公司的自由和持续运营也有影响。我认为，五角大楼和Anthropic之间的这场冲突，将在未来许多年里被视为行业与政府在先进AI方面的第一次对峙。>> 是的。但希望不是最后一次，就目前情况而言。是的。好的。那么，这就是关于Anthropic故事的最新进展。请继续关注更多相关信息。接下来在我们系统更新中，我们有一个关于OpenClaw的更新。这当然是今年早些时候非常受欢迎的开源代理AI工具。嗯，人们购买Mac mini，在他们的电脑上设置这个东西，让它管理他们所有的生活。我们听到了很多关于人们使用它的好消息。而上周，我们听到了一个非常糟糕的故事。天哪，真是太糟糕了。今天的故事来自Summer U。她是Meta AI的对齐负责人，她本周发布了一个引起广泛关注的帖子，报告说Open Claw忽略了她的指示，并试图删除她的整个电子邮件收件箱。坦率地说，对我来说，这听起来像是一个梦想。但我想她有一些她想回复的邮件。Summer说，在测试了她称之为“玩具电子邮件账户”的Open Claw并发现它很有用之后，她让她的代理检查她的真实收件箱，并建议，你知道，她应该归档或删除什么。她说，她说：“在我告诉你之前不要采取行动。”但它没有像她要求的那样与她确认，而是采取了核选项，并开始删除她的整个收件箱。再说一遍，我想说清楚，这是我希望我的代理为我做的。对Summer来说，这是一个问题。我想，尽管她多次尝试通过Telegram界面提示它停止，但她的机器人却忽略了她，她不得不跑到她的Mac mini。用她的话说，就像她在拆除炸弹一样，才能让它停止。那么为什么会发生这种情况呢？嗯，她认为她的真实收件箱太大了，触发了压缩，也就是当你用你正在使用的模型耗尽上下文窗口时，在压缩过程中它丢失了她最初的指令。>> Kevin，我们以前在Hard for节目中有过比这更大的“我早就告诉过你”的案例吗？>> 不，我认为这是最糟糕的了。而且我得说，这正是为什么我没有在我的笔记本电脑上安装OpenClaw并授予它访问我文件的权限。这些系统仍然非常不可预测。这是非常高风险的行为。嗯，我认为有一个论点是，如果那些在我们一些领先的AI公司做对齐研究的人亲身经历这些系统的缺点，那实际上是好的。嗯，这有点像，如果它没有发生在你身上，你就不会认为它对别人来说是个问题。嗯，所以我认为有一个反直觉的论点是，这对对齐是有好处的，但看到一个显然了解这项技术及其能力的人被它彻底打败，也很有趣。>> 完全同意。而且，你知道，嗯，我还会提醒大家注意的一点是，很容易花一个下午使用AI系统，说服自己你正在极大地提高自己的生产力，并给自己一张摆脱永久性底层阶级的门票，然后你回头一看，才意识到你浪费了这一天。我只是希望你不断地把注意力拉回到这一点。嗯，因为我认为弄清楚什么是能改善我生活的AI使用，什么仅仅是浪费时间，这可能很难区分。嗯，但你得留意它，否则你就会有更多像可怜的Summer那样糟糕的下午。我认为这是一个很好的警示故事，而且也是一个很好的万能借口，下次有人问你为什么没有回复他们的电子邮件时。就说我的OpenC代理刚刚批量删除了我所有的电子邮件。>> 那么，对于我们今天的最后一次更新，Kevin，我们想重新审视Alpha School。是的，这是那种由AI驱动的教育公司，它在全国各地运营学校。我们去年九月在节目中采访了Alpha Schools的联合创始人之一McKenzie Price，几乎立刻我们就收到了听众的电子邮件，说这听起来有点牵强。你确定这家公司真的像它宣传的那样吗？Casey，之后发生了什么？有两个报告我们想强调，表明Alpha School的情况并不好。404 Media上周发布了一篇重磅报道，深入探讨了一些批评。首先，显然一些AI生成的课程计划并不好。Kevin，他们举了一些例子，其中课程内容基本上就是给学生展示一些糟糕的东西，因为它们措辞错误，所以没有正确的答案。还有准确性问题，他们估计一些生成的材料有10%的幻觉率，违反了他们的服务条款，而且它收集了大量关于学生的数据，坦率地说，我应该会想到这一点，但显然至少有一些数据存储不安全，在一个任何人都可以通过链接访问的Google Drive中。所以这不太好。10月份还有一篇Wired的报道，其中他们专门关注了在德克萨斯州布朗斯维尔开设的Alpha School。所以，至少那所学校的一些家长觉得，我们去年九月听到的Alpha School的承诺并没有在他们的孩子身上实现。>> 是的。我还听说一位家长最近参加了Alpha School的信息发布会。嗯，这位家长认为，这所学校是“教育界的Theranos”。据这个人说，在会议期间，屏幕上有一些假的互动，以预先录制的表情符号的形式出现，而且CEO直到会议后期才出现在镜头上，当时家长们开始问：“嘿，我们是直播还是这是某种预先录制的罐头演示？”那么，Casey，这些情况是否改变了你对Alpha School的看法，就像你去年九月采访McKenzie Price时的看法一样？>> 是的，我的意思是，你看，我确实认为McKenzie提到的一些事情很有趣。就像，哦，好吧，如果那个奏效了，那可能是一种有趣的教育孩子的方式。我认为我们正在了解到的是，是的，从零开始创办一所新学校很难，而且也许这里有一些捷径，也许他们没有像他们希望的那样实现他们的一些梦想。我的意思是，我认为，如果你在课程中出现幻觉，我认为对于这样一所学校来说，这几乎是最糟糕的了。就像，他们需要把这个降到零，对吧？就像，如果你无法验证你的课程是否准确，我不知道你是否应该称自己为学校。如果我可以稍微有点争议的话，那么404 Media的故事，他们的标题是“学生被当作小白鼠对待”。就像，这是故事中的一句引语。我只是觉得，在大多数学校里，学生都被当作小白鼠对待。教育总是在变化的。我上过的每一所学校都在运行一种或另一种新项目，试图，你知道，制造一个更好的捕鼠器。我认为如果你是一位家长，你正在考虑让你的孩子去一所与公立学校截然不同的私立学校，你可能至少愿意接受一点这种实验，对吧？显然，大多数人永远不会选择这样的东西，对吧？我认为问题在于，对于那些选择这样做的学生来说，结果如何。第二点我想说的是，孩子们在学校里的结果是不同的，对吧？就像，我认为你可以去美国的任何一所学校，如果你采访了每一个家长，你会发现一些家长非常喜欢这所学校，他们喜欢他们的老师，而一些家长则非常讨厌它。中间会有很多人，对吧？所以我不希望过度关注几个报告。我完全愿意相信这些报告中的一切。而且我相信这些人有过糟糕的经历，但很难知道什么是代表性的样本，什么是几个抱怨者。>> 是的。我只想说，我欣赏McKenzie Price和Alpha School的，不是学校的具体细节，也不是课程，也不是他们教育的方式。纯粹是因为他们对自己和家长说，教育领域正在发生一些大事。AI不仅仅是一个课堂工具，就像Chromebook或其他技术一样。它正在从根本上重塑人们的学习方式和学习能力。所以，这就是我鼓励人们继续做的事情。是的，会有一些失败的实验。是的，会有一些行不通的事情。但我认为总的来说，教育机构越能意识到它们正在被改变，无论它们是否愿意，学生们的结果可能会越好。>> 是的。但让我这么说吧。如果你在经营一所学校，而它看起来和20年前的学校一模一样，你也在把你的学生当作小白鼠对待。我不确定我们会喜欢那个实验的结果。好的，那么Casey，这就是我们的系统更新。现在我们的听众已经完全跟上了，我预计我们的收件箱流量会逐渐减少到零，因为我们已经解决了所有这些担忧。>> 嗯，我不知道。我的Opac实际上刚刚删除了我的收件箱，但我告诉它这样做的，所以没关系。