Transcription
[掌声] 各位听众大家好，欢迎回到 No Priors。今天我和 Dan Hendrick 在一起，他是一位人工智能研究员，也是人工智能安全中心的主任。他发表过论文和广泛使用的评估，如 mlu，以及最近的 Humanity's Last Exam。他还与包括前谷歌首席执行官埃里克·施密特和 Scale 创始人 Alex Wang 在内的作者共同发表了《超级智能战略》。我们讨论了人工智能安全和地缘政治影响、核能类比、计算安全以及评估的现状。Dan，谢谢你来参加。很高兴能来。你是怎么开始从事人工智能安全的？
人工智能很明显将是一件大事，如果我只是思考它的结论。所以很早就，似乎其他人都在忽视它，因为这有点奇怪，或者不是那么令人愉快去思考。这很难理解，但似乎是本世纪最重要的事情，所以我认为在那里发展我的职业生涯会很好。所以这就是我早期开始的原因。而且，因为它是一件大事，我们需要确保我们能够正确地思考它，将其引导到一个有益的方向，并处理一些通常系统性地被忽视的尾部风险。所以，这就是我开始的原因。这是一件大事，当时人们并没有真正做什么。
你认为中心的角色与大型实验室内的安全工作相比如何？
即使现在，实验室里的安全工作也不多。我的意思是，我认为实验室可以专注于做一些非常基本的措施，来拒绝与“帮我制造病毒”之类相关的查询。但我认为实验室在整体安全方面并没有扮演极其重要的角色。它们注定要竞争，除非它们不再是该领域相关的公司，否则它们无法真正选择不这样做。我认为它们可以降低恐怖主义风险或一些事故，但除此之外，我认为它们无法以实质性的方式显著改变结果。
它们可以，因为很多事情是由地缘政治决定的。如果公司决定采取截然不同的行动，那么与中国竞争的前景，或者也许俄罗斯稍后会变得相关。随着这种情况的发生，这极大地限制了它们的行为。所以我一直有兴趣在多个层面解决人工智能问题。公司可以做一些事情来拥有非常基本的反恐保障措施，这些措施很容易实施。还有经济影响需要妥善管理，而公司也无法真正改变这一点。它将导致大规模的劳动力中断，并自动化大量的数字劳动。如果他们调整设计选择或添加一些不同的拒绝数据，这并不会改变这一事实。
安全就是让人工智能顺利运行，而风险管理只是一个更广泛的问题。它有一些技术方面，但我认为那只是其中一小部分。我不知道实验室的领导者会说“我们对此无能为力”，但也许这也是一个问题，你知道，每个人在这个等式中都有股权，对吧？也许这也是一个语义问题，比如当你思考对齐和安全时，你如何看待它们之间的区别？我只是将安全视为处理风险的统称。还有其他风险，比如如果你从未真正获得真正智能的人工智能系统，这本身就带来了一些风险。还有其他一些风险不是那么技术性的，比如权力集中。
所以我认为对齐和安全之间的区别是，对齐显然是安全的一个子集。你当然希望人工智能的价值体系与美国公众，或者对我们的人工智能，或者对你个人来说是相符或兼容的。但这并不一定使其安全。如果你有一个人工智能，它可靠地服从你或与你对齐，这并不意味着一切都运作得很好。中国可以拥有完全与他们对齐的人工智能，美国也可以拥有完全与他们对齐的人工智能。你仍然会面临两国之间的战略竞争。它们将需要整合到它们的军队中，它们很可能需要非常快速地整合。竞争将迫使它们在此过程中具有很高的风险承受能力。所以，即使人工智能可靠地遵循它们的原则，这也不一定使整体情况完全没问题。我认为这不仅仅是可靠性问题，或者它们是否会做你想要的事情。还有其他结构性压力导致这种情况更具风险，比如最高层地缘政治。
从国家安全角度来看，为什么我们关心人工智能？它在地缘政治中如何发挥作用或被用作武器？
我认为在许多方面，人工智能目前并不那么强大，所以很多方面它目前与国家安全关系不大。这可能在一年内就会改变。我认为总的来说，我一直专注于它所处的轨迹，而不是说它现在非常令人担忧。尽管如此，有一些方面，例如网络安全。我认为人工智能对于恶意行为者发动毁灭性的电网网络攻击并不那么重要。尽管如此，我们应该关注网络安全，并为之做好准备，思考其战略影响。还有其他能力，比如生物技术。人工智能在 STEM 博士级别的课题方面做得越来越好，这包括生物技术。所以我认为它们正在接近能够提供专家级别的能力，无论是关于文献知识，还是甚至在实际湿实验室情况方面。所以我确实认为在生物技术方面，它们已经具有国家安全影响，但这只是最近才出现的，随着推理模型的出现。但在许多其他方面，它们并不那么重要。它更多的是一种前瞻性的，一个国家可能会试图通过这种方式来统治另一个国家，而这不仅是战争的支柱，也是经济安全的支柱。美国拥有的船只数量与中国相比，可能是决定哪个国家最繁荣，哪个国家落后的决定因素。但这都是前瞻性的。我不认为这只是猜测，它就像英伟达的估值一样是猜测，或者人工智能公司背后的估值是猜测。我认为很多人都期待着，而且相当快就会发生。
是的，很难考虑人工智能的时间范围。我们投资的东西，我认为它们是中长期投机的，但它们被拉得相当快。你知道，你提到了网络安全和生物技术。我们投资了像 Culminate 或 Cil 这样的公司，在防御性网络安全方面，或者 Chai 和 Somite 在生物技术发现方面，或者你知道，模拟不同的生物系统，这将有助于我们治疗。你如何看待竞争、利益和安全之间的平衡？因为我认为其中一些事情，我们认为它们在短期内正在有效地发挥作用，而且是积极的。
是的，我的意思是，我不理解安全和人工智能之间的这种巨大权衡。你只是处理一些生物技术的尾部风险。如果你想暴露这些能力怎么办？就像和销售谈谈，获得企业账户。这里你可以为生物技术设置一点拒绝功能。但如果你刚刚创建了一个账户，并且正在询问如何培养这种病毒，这里是你的培养皿照片，下一步应该做什么？是的，如果你想获得这些能力，你可以和销售谈谈。所以基本上，这是 X 风险管理框架。我们只是不向我们不知道是谁的人暴露这些专家级别的能力。但如果我们这样做，当然，让他们拥有。所以我认为你可以，同样，在网络安全方面，我认为你可以轻松地获得好处，同时处理其中一些非常可以避免的尾部风险。但一旦你做到了这一点，你就基本上处理了你 API 背后模型的恶意使用问题。作为一家公司，你能做的最好的就是这样。你可以尝试通过你的声音来影响政策，或者别的什么。但我没有看到他们能做多少。他们可以做一些研究，试图让模型更易于控制，或者让政策制定者更了解情况。更广泛地说，关于我们去向何方，因为我认为政策制定者根本没有内化正在发生的事情。他们仍然认为这是一种炒作，他们并不真正相信，或者公司里的员工并不真正相信，这些东西可能会在未来几年内，比如说，让我们获得 EGI。所以，我不知道，我没有看到真正的实质性权衡。我认为复杂性真正出现的是，例如，我们如何处理出口管制中的正确严格程度。这很复杂。如果你对中国在出口管制方面施加了最大的压力，而人工智能芯片是未来经济实力的货币，那么这就会增加他们入侵台湾的可能性。他们已经想这样做了。这给了他们更多的理由，如果人工智能芯片是主要的东西，而他们却得不到任何东西，甚至得不到制造尖端 CPU（更不用说 GPU）的最新半导体制造工具。所以这些是我们需要解决和适当校准的其他一些复杂问题。但就仅仅缓解生物技术问题而言，如果你是 Gen 和 Tech 或生物技术初创公司，那就和销售谈谈，然后你就可以获得这些能力。
你认为人工智能除了生物技术和安全之外，还有哪些方式会被用作武器？
我不会期望一个国家行为者会制造生物武器，但非国家行为者会这样做，这更有意义。我认为网络安全对国家行为者和非国家行为者都有意义。然后是无人机应用。这些可以扰乱其他事物。它们可以帮助进行其他类型的武器研究，比如帮助探索奇异的 MMPs。可以帮助制造更好的无人机。可以极大地帮助提高态势感知能力，这样你就可以知道所有核潜艇在哪里。人工智能的一些进步可能有助于这一点，这可能会扰乱我们的二次打击能力和相互保证的毁灭。所以，这些是一些可能影响核威慑的地缘政治影响。即使只是提高态势感知能力，并能够精确定位硬化陆基核发射器或核潜艇的位置，也只是信息性的，但仍然可能极具破坏性。或者不稳定。除此之外，默认的常规人工智能武器是无人机，我不知道这是否有意义，或者各国会在上面竞争。我认为如果美国不努力制造无人机，那将是一个错误。
是的，我最近开始与一家电子战公司合作。我认为人们对基本概念的理解严重不足，你知道，我们有自主系统，它们都有通信系统。我们的导弹系统有目标通信系统。从战场态势感知和控制的角度来看，很多想法都与无线电、雷达和相关系统有关，对吧？所以我认为这是人工智能将非常相关，并且已经在乌克兰非常相关的领域。谈论人工智能正在协助指挥和控制。我的意思是，我记得听到过一个关于华尔街的故事，过去，每次决策都必须有人工干预。在后来，在他们取消这个要求之前，华尔街有一排排的人只是点击接受，接受，接受按钮。在某些情况下，我们也正在走向一个类似的状态，人工智能。如果我们将其中一些决策自动化，我不会感到惊讶。所以这只是变成了可靠性问题，进行一些可靠性研究似乎很有用，回到那个更大的问题，关于安全权衡。我认为人们普遍认为，推动风险管理是为了某种暂停或类似的东西。问题是，你需要有牙齿来支持一项协议。如果你自愿这样做，你只会削弱自己，让更坏的演员领先于你。你可以说，我们将签署一项条约。我们不会假设条约会被遵守，那将是非常不明智的。你实际上需要某种武力威胁或类似的东西来支持它，某种核查机制。但如果没有，如果完全是自愿的，那么这根本就没有用。所以我认为人们混淆了安全，我们必须做的是，我们必须自愿放慢速度。除非有武力威胁的支持，或者非常强大的核查机制，否则这在政治上没有多大意义。但作为替代，显然，在网络攻击和公司间谍活动方面的条约或规范的遵守率非常低。
是的，我的意思是，例如，公司间谍活动是一种策略，一种自愿暂停策略，人们认为这等同于安全。然后，也许去年，利奥波德·阿申布伦纳写了一篇关于态势感知的论文，他是一个安全方面的人。他的想法是，让我们尽可能地击败中国，实现超级智能。但这有一些弱点，因为假设公司间谍活动根本不会发生，这非常困难。我的意思是，我们有一些地方，你知道，这些顶级人工智能公司中 30% 以上的员工是中国的国民。我的意思是，如果你要赶走他们，这是不可行的。他们会去中国，他们很可能会击败你，因为他们对美国的成功至关重要。所以你会想让他们留在这里，但这会让你面临一些信息安全方面的问题。但那也太糟糕了。
考虑到这些风险，你对我们应该如何改变移民政策（如果有的话）有什么看法？
我当然会认为，这方面的政策应该与南部边境政策和其他更广泛的政策完全分开。但如果我们谈论的是人工智能研究员，如果他们非常有才华，我认为你想让他们更容易留下。而且我认为目前对许多人来说，留下来太困难了。我认为应该将这种讨论与南部边境政策完全分开。
就大致方向而言，你认为哪些行不通？自愿遵守，并假设会发生，或者直接竞赛。我认为在其他领域进行竞赛，比如无人机或人工智能芯片，似乎是可以的。如果你说，让我们竞赛实现超级智能，并将其变成武器，而他们不会做同样的事情，或者他们无法获得它，或者他们不会阻止这种情况发生，这似乎是一个非常大的说法。我的意思是，如果我们拥有一个明显更好的人工智能，他们可以简单地收编它，他们可以简单地窃取它，除非你有非常非常强大的信息安全，比如你把人工智能研究员搬到沙漠里。但那样你就降低了你获胜的概率，因为你最好的科学家最终都回到了中国。即使如此，如果他们有迹象表明他们真的在领先，并且将能够获得能够压垮中国或使美国能够压垮中国的人工智能，他们就会试图阻止他们这样做。他们不会袖手旁观，说“你知道吗，好吧，继续开发你的超级智能或其他什么，然后你就可以统治我们，我们将接受你的命令直到永远。”所以我认为那里存在某种二阶推理的失败。那就是中国将如何应对这种举动？如果我们正在沙漠中建造一个价值万亿美元的计算集群，从太空中可见，而这基本上是唯一合理的解读是，这是为了争夺超级智能的主导地位或垄断地位。所以，所以我认为它让我想起了核时代，有一段短暂的时间，一些人说，我们必须先发制人地摧毁或预防性地摧毁苏联。甚至连和平主义者或通常是和平主义者，如伯特兰·罗素，都在提倡这一点。那个机会窗口可能从未存在过，但它确实存在了一段时间。但我认为这里不存在机会窗口，因为美国复杂的独立性和跨国人才依赖性，我认为中国不可能完全不了解或无法获得任何见解或模仿我们在做什么。我们目前显然离那个现实环境还很远，对吧？
所以，是的，这需要很多年，需要很多年才能做好。而且我甚至不认为一些非常强大的人工智能系统的时间表是这样。也许没有足够的时间来做到这一点。
那么，作为回应，你和一些杰出的作者和朋友，如埃里克·施密特和亚历克斯·王，提出了一个新的威慑机制：相互保证的人工智能故障。我认为这是正确的名称，MFAI。有点可怕的缩写，也是对相互保证毁灭的致敬。你能用通俗的语言解释一下 MFAI 吗？
让我们想想核战略中发生的事情。基本上，许多国家相互威慑，不进行第一次打击，因为它们随后可以报复。所以它们有共同的脆弱性。所以我们不会做这种非常激进的行为，试图争取消灭你，因为这最终会导致我们受损。我们有一个类似的情况。
稍后，当人工智能变得更加突出，当它被视为一个国家未来的关键时，当人们即将制造出超级智能时，当他们可以说自动化几乎所有的人工智能研究时，我认为各国将试图阻止彼此利用它来开发出类似超级武器的东西，这将允许其他国家被压垮，或者利用这些人工智能进行某种快速的自动化人工智能研究和开发循环，这可以从其当前水平引导到超级智能，远远超过任何其他系统。我认为稍后它会变得如此不稳定，以至于中国会说“我们将采取先发制人的行动，比如对你的数据中心进行网络攻击”，而美国也可能对中国这样做。俄罗斯从乌克兰出来后，将重新评估局势，看看美国和中国发生了什么。天哪，他们如此专注于人工智能。人工智能看起来是一件大事。假设今年晚些时候，当很大一部分软件工程开始受到人工智能的影响时。哦，哇，这看起来相当相关。嘿，如果你试图用它来压垮我们，我们将通过对你进行网络攻击来阻止它。我们将密切关注你的项目，因为他们很容易做到这一点。间谍活动。他们只需要在 Slack 上进行零日攻击，然后他们就可以非常高保真地了解 DeepMind、OpenAI、XAI 等公司的动向。所以，他们现在很容易进行间谍活动和破坏。他们不需要，他们不会威胁说，因为它的严重程度还不够。它还没有那么具有潜在的破坏性。它仍然太遥远了。能力。许多决策者仍然没有认真对待人工智能，相对而言。但我认为随着它变得越来越强大，情况就会改变。然后我认为，这就是他们最终会如何回应，这使我们不会陷入某种极其不稳定的情况，比如试图制造一种使一个国家能够彻底消灭另一个国家的武器。
正如 Leo 等人提出的那样，你认为哪些方面与核能有相似之处，哪些没有？
我认为更广泛地说，它是一种双重用途技术。它有民用应用，有军事应用。它的经济应用在某些方面仍然有限，同样，它的军事应用也仍然有限。但我认为这会迅速变化。就像化学品一样，它对经济很重要，它有一些军事用途，但他们协调不走化学路线。生物技术也可以用作武器，并且具有巨大的经济应用。核能也是如此。所以我认为它具有其中一些属性。对于这些技术，各国最终都协调起来，确保它们不会落入流氓行为者手中，比如恐怖分子。已经采取了许多措施来确保流氓行为者无法获得并利用它们来对付他们，因为这不符合任何一方的利益。基本上，生物武器和化学武器是穷人的原子弹。这就是为什么我们有《化学武器公约》和《生物武器公约》。
这就是为什么存在共同利益。他们可能在其他方面是竞争对手，就像美国和苏联是竞争对手一样。但他们仍然会协调，因为这是激励兼容的。如果恐怖分子能够获得这些东西，对他们没有任何好处。它只会带来不稳定性。所以我认为这是一个协调的机会，但这并不意味着他们有动力暂停所有形式的人工智能开发。但这可能意味着他们会避免某些特定形式的人工智能开发，特别是那些有很大可能使一个国家获得决定性优势并压垮另一个国家的开发。所以，不是超级武器类型的东西，而是更常规的战争类型，比如无人机之类的。我预计他们将继续竞争，而且可能甚至不会协调任何类似的事情。事情就会这样发展。就像弓箭和核武器一样，开发这些武器并威胁对方是有道理的。
如果你们都能向现任政府提出一项神奇的、战术上的政策或行动采纳建议，第一步是什么？
这是，我们将不建造超级武器，我们将密切关注其他人是否也在建造。正如我在整个谈话中所暗示的，公司会怎么做？不多。我的意思是，添加一些基本的反恐保障措施，但我认为这在技术上非常容易。这不像拒绝其他东西，拒绝鲁棒性对其他东西更难。比如，如果你试图获得犯罪和侵权行为，那就更难了，因为它更混乱，与典型的日常互动重叠。我认为同样在这里，对国家的要求也不那么具有挑战性。这只是他们去做的问题。
所以一个将是中央情报局有一个部门，它正在对其他国家的 AI 项目进行更多的间谍活动。这样他们就能更好地了解情况，不会措手不及。其次，也许政府的一部分，比如网络司令部，它拥有大量的网络攻击能力，准备好对其他国家的数据中心进行网络攻击，如果它们看起来像是在运行或创建不稳定的项目。
对于向流氓行为者（尤其是）扩散人工智能芯片，这就是威慑和防扩散。我认为会有一些出口管制方面的调整。特别是，可靠地知道人工智能芯片在哪里。我们想知道人工智能芯片在哪里，就像我们想知道我们的核材料在哪里一样，就像我们想让俄罗斯知道它的核材料在哪里一样。这通常是需要收集的好信息，可以通过一些非常基本的外交手段来实现，即拥有一个许可制度。对于盟友，他们只是在芯片被运往不同地点时通知你，并且他们会获得许可豁免。然后你会有执法官员优先对人工智能芯片进行一些基本的检查。所以，我认为所有这些都只需要几行代码或一个基本文件。我认为 80/20 原则就是这样。当然，这总是一个不断变化的情况。安全并不像我一直试图强调的那样，是一个技术问题。这是一个更复杂的地缘政治问题，稍后会有技术方面。也许我们需要做更多，也许我们会。可能有一些新的风险来源需要我们去处理和调整。但我认为，就像现在，我认为特工、中央情报局、网络司令部通过建立这些能力来破坏，购买这些选项，似乎可以解决很多风险。
让我们谈谈计算安全。如果我们谈论的是 10 万个联网的、最先进的芯片，你可以知道它在哪里。鉴于出口管制显然导致了创新，朝着高度计算效率高的预训练方向发展，可以在中国可以进口的芯片上进行，规模可能相当小。今天。你如何看待深度搜索及其最近发布的版本在你对计算安全的看法中的作用？我很难看到训练变得不那么高效，即使我们希望扩大规模。那么，这会改变你的看法吗？
不，我认为这只是破坏了其他类型的策略，比如这种“曼哈顿计划”类型的策略，让我们把人搬到沙漠里，在那里做一个大集群。它表明你不能过多地依赖限制其他超级大国的能力，它们制造模型的能力。所以你可以限制它们的意图，这就是威慑的作用。但我认为你无法可靠或稳健地限制它们的能力。你可以限制流氓行为者的能力，而这正是我希望计算安全和出口管制能够促进的，确保它不会落入伊朗或类似的东西手中。中国可能会继续获得一部分这些芯片，但我们应该基本上尝试了解它们在哪里，我们可以收紧。但我主要认为，你甚至可以与中国协调，以确保芯片不会落入流氓行为者手中。我还应该说，据我所知，出口管制并不是 BIS 领导层中的一个优先事项。对一些人来说，人工智能芯片是一个重要的优先事项，但对执法官员来说呢？他们有没有去新加坡看看英伟达 10% 的芯片流向哪里？我认为他们会很快发现，它们流向了中国。所以一些基本的使用检查本可以解决这个问题。我不认为出口管制不起作用。我们已经对许多其他东西进行了防扩散，比如化学制剂和核材料。所以这是可以做到的，如果人们关心的话。但即便如此，我认为如果你真的收紧出口管制，让中国无法获得任何这些芯片，而这是你的首要任务，它们最终还是会窃取权重。我认为完全限制它们的能力会太难了。但我认为你可以通过威慑来限制它们。
它似乎也表明，这些东西要么强大，要么不强大。鉴于中国的经济机会，我认为这是不可行的，他们会说“我们不需要这种能力”。
是的，是的，我无法想象一个世界，一个伟大的领导者和另一个伟大的力量，相信这里有价值，会说“我们不需要”。从经济价值的角度来看，是的。
是的，我只是，对于其中许多，如果一切都慢 3 倍，也许会少犯一些错误，也许会更好。如果有一些神奇的按钮可以做到这一点，我不知道是否真的如此。我实际上没有立场。考虑到这些公司之间、这些国家之间的结构性限制和竞争压力，这使得很多事情变得不可行。当你考虑它们时，很多其他有用的风险缓解姿势，当考虑到它时，它就变得不那么容易处理了。尽管如此，仍然会以某种方式暂停或停止某些可能失控的项目的开发，或者如果受控，将非常不稳定，因为它将使一个国家能够压垮另一个国家。我认为人们对风险管理的看法是，他们认为这是一件和平的事情，或者类似的事情，一切都是其乐融融。而我们必须忽略在这一领域运作的结构性现实。我认为相反的正确方法是，它有点像核战略。它是一个不断变化的情况。你可以做一些基本的事情，比如你可能需要储备核武器，你需要确保二次打击能力，你需要关注他们在做什么，你需要确保没有流氓行为者扩散，当能力极其危险时。这是一个持续的战斗，但它不是，无论如何，它都不会是绝对积极的事情。无论如何，它都不会是世界末日。对于核战略来说，这显然是风险很大的事情。古巴导弹危机，我们几乎陷入了全面的核战争。这取决于我们做什么。而且我认为一些基本干预和一些非常基本的外交手段可以解决很多这类风险，并使其可控。我想，然后我们就会面临更多国内问题，比如如何处理自动化等等。但我认为也许我们能够解决一些地缘政治问题。
在最后几分钟里，我想谈谈评估。它显然与安全和了解我们所处的位置密切相关。你能否说明一下你认为我们现在处于什么位置？你提出了名为“人类最后的考试”的评估，以及“Enigma”。为什么它们很重要？我们在评估方面处于什么位置？
是的，为了背景，我一直在进行评估，试图了解我们在人工智能方面的进展。我做人工智能研究有多久了，我就做了多久。以前我做过一些数据集，比如 mlu 和之前的 math 数据集，在 ChatGPT 之前，有像 ImageNet、SE 和其他一些东西。所以，“人类最后的考试”基本上是试图找到基于考试式问题的评估和基准的终点，这些问题测试某种学术型知识。为此，我们请世界各地的教授和研究人员提交一个具有挑战性的问题，然后我们将其添加到数据集中。所以这是一个很大的集合，比如教授们在他们的研究中遇到的具有挑战性的问题，这些问题有一个明确的、封闭式的客观答案。有了这个，我认为“封闭式答案”这个类型，比如多项选择题或简单的简短回答，我认为当在这个数据集上的表现接近上限时，这个类型就会大致过期。当表现接近上限时，我认为这基本上表明你拥有了某种超级数学家或超级 STEM 科学家。在许多方面，封闭式问题非常有用，比如数学，但它并没有衡量其他东西，比如它执行开放式任务的能力。那更多的是代理评估，我认为那将需要更多时间。所以，我们将尝试直接衡量它自动化各种数字任务的能力，比如收集各种数字任务，看看它们是否成功完成了它们。
即将推出。我们有一个封闭式问题的测试，测试学术知识，以及像数学这样的东西。但它们在代理方面仍然非常糟糕。这可能一夜之间改变，但它仍然接近底部。我认为它们作为代理仍然极其有缺陷。所以需要更多的评估。但总的来说，方法就是试图了解正在发生的事情，发展的速度，发展的速度，这样公众至少可以了解正在发生的事情。因为如果所有评估都饱和了，那么就很难讨论人工智能的现状了。没有人真正确切地知道它在哪里，或者它将走向何方，或者改进的速度。
那么，当这些模型和模型系统比人类更好时，比如超越人类能力时，这是否在质量上改变了我们进行评估的方式？它会改变我们评估它们的能力吗？
我认为智能前沿非常不平坦。它们能做什么和不能做什么令人惊讶。它们仍然无法折叠衣服，但它们可以回答很多棘手的物理问题。为什么会这样？原因很复杂，所以它并不统一。所以，在某些方面，它们会比人类更好。毫不奇怪，不久的将来，它们在数学方面会比人类更好。但仍然无法预订航班。这意味着，当它们变得更好时，它们可能只在某些有限的方面更好，而这可能只会产生有限的影响，但并不一定会推广到其他方面。但我确实认为，它们在推理能力方面可能会比我们更好。我们仍然可以有人类检查，因为它们仍然可以验证，如果一个人工智能数学家比人类更好，人类仍然可以运行证明检查器，然后确认它是正确的。所以，从这个意义上说，人类仍然可以理解正在发生的事情。但在其他方面，比如它们在品味方面越来越好，如果这说得通的话。也许这没有哲学意义，这对人们来说很难确认。我认为我们总体上正在朝着拥有具有出色预言家般技能的人工智能迈进。你可以问它们问题，它们会给出一些非常有见地的或非琐碎的东西，或者在某个特定领域推动知识的边界。但可能无法代表人们执行任务一段时间。所以，我认为这就是为什么我们没有那么认真地对待人工智能，因为它们仍然无法完成很多非常琐碎的事情。但当它们获得一些代理技能时，我认为它们对经济的影响几乎没有障碍，或者人们认为这很有趣。我认为这是最重要的。我认为这是与以前的技术，比如应用商店或社交媒体相比，它是一个全新的类别。
丹，谢谢你来参加。这是一次很棒的谈话。
很高兴，谢谢你的邀请。
在 Twitter 上关注我们 @no prior pod。如果你想看我们的脸，请订阅我们的 YouTube 频道。在 Apple Podcasts、Spotify 或任何你收听的地方关注我们的节目。这样你每周都能收到新一集。并在 no- pri.com 注册电子邮件或查找每集的文字记录。
[音乐]