Transcription
我认为未来将更加去中心化，拥有更多的共享所有权。你是否偏好美国在人工智能技术上领先于中国？不，我希望完全避免出现这种二元对立的局面。这就是开源的重要性所在。即使是朝鲜，你也希望它对朝鲜开放。是的，这项技术正在到来。无论如何，朝鲜都会拥有它。我认为人工智能将变得比我们更强大，我们将不再拥有任何控制手段。你只是说那是一个不可能的场景。是的，未来一百年内不可能。欢迎来到“末日辩论”。我今天的嘉宾是印度科学理工学院工程学教授、Sentient AI的联合创始人Himmanu Thiagi博士。Sentient AI是一个开源人工智能平台，也使用区块链技术。去年，该公司在由Peter Thiel的风险投资公司Founders Fund领投的一轮融资中筹集了8500万美元。在这次对话中，我们将探讨我们各自对人工智能对齐的看法，以及开源前沿人工智能是否是一个好主意。你好，Bonu，欢迎来到“末日辩论”。你好，很高兴来到这里，伙计。是的，谢谢你能来。所以，我知道这有点像是你的公关巡演。你知道，你在宣传自己，告诉人们Sentient AI和你的平台。嗯，但同时，你也很勇敢地来到“末日辩论”，让我除了提问之外，还要向你提出很多不同意见。所以，我认为你可能陷入了一场地狱般的公关巡演。是的，我很期待。这是了解我们正在做什么和不做什么的正确方式。好的，太好了。是的，对我来说听起来很棒，伙计。嗯，那么我们从宏观层面开始吧。你对Sentient的愿景是什么？Sentient从第一天起就在构建开放和去中心化的AGI，这已经有一年半了。我们相信，实现AGI的正确方法是让所有这些多个人工智能能够轻松地相互组合和竞争。这种竞争是RL现在实现的，而这种组合仍然没有发生。有一些大公司正在构建AGI，但它们都是自己构建的，而这并不是实现AGI的最佳方式。我们采取的是一种更像市场的方式，允许多个代理进来，但仍然将其呈现为一个单一的人工智能，这就是Sentient正在构建的开放和去中心化的AGI，任何人，所有构建者，无论他们构建什么，都可以来添加他们的人工智能经验，我们可以利用所有这些为用户提供一个统一的、全能的人工智能体验。好的，嗯，如果你们不存在，难道你不认为像Meta、Mistral、DeepSeek以及这些其他公司的结合。难道你不认为它们已经在为开源人工智能做足够多的事情了吗？开源人工智能是其中的一个组成部分，它们做得还可以。我认为在DeepSeek之前，它们做得还不够。DeepSeek是其他所有公司的绝佳警钟。它们做得还可以。这是使这种平台得以实现的组成部分。我们需要大量的开源模型。我们需要大量的开源框架。但是，要将它们整合到一个单一的、面向消费者的产品中，就像普通的大多数人工智能产品一样，这就是我们想要填补的空白。我们希望成为将这一切整合在一起的粘合剂。而这种粘合剂需要前端创新。这种粘合剂需要人工智能创新。而这种粘合剂需要经济激励来将这一切整合在一起，对吧？实际的商业激励。是的。所以，我不太理解，你知道，我做了一些关于Sentient的研究，我不太理解这个产品是如何工作的，或者你们以什么形式向消费者呈现。所以，也许你能告诉我，把它说成是，它有点像Meta的Llama模型，但我们也做这个，或者，你知道，为什么Sentient比这些替代品更好。完美。完美。所以你来自模型方面。Sentient的核心产品是所谓的Sentient Chat，目前处于私有测试阶段。这是一个单一的平台消费者产品，更像是po.com，如果你想画个平行线的话，就像po.com今天一样。但po.com是一个市场，每个人都可以去那里插入他们的代理。但我们想做得更多的是，我们想将其融入一个单一的体验，就像OpenAI一样，你知道，一个单一的平台，你提出一个查询，然后这个查询被路由到不同的数据源，它完成你的任务或处理你的查询，这就是我们正在寻求的输出。我们相信，这只能通过开源来实现，因为如果我们没有开放的模型和开放的框架，就不会有足够的体验可用，也不会有足够的构建者能够做事。所以，从这个角度来看，我们构建了开源部分。从这个角度来看，我们使用并扩展了开源模型并将其带到这里。明白了。你说它类似于po.com。我不认为哦。哦，像Po，就像……从Quora来的，对吧？正是如此。正是如此。是的，酷。好的。不错。是的，这说得通。嗯，因为我知道他们有一个聊天前端，对吧？在那里你可以有不同的标签来代表不同的AI模型。这就是他们在做的。我认为这是一个糟糕版本的我们的产品。我认为我们需要，我们不想让人工智能的全部魅力在于我们不应该把界面方面的决策权留给人。我有一些意图，我想要答案或回应。它应该以那种方式呈现。我不想要以这种方式提供所有这些选项。明白了，明白了。好的。所以，我发现听到Peter Thiel的Founders Fund去年领投了你们8500万美元的融资非常有趣。当你去向Founders Fund推销时，你们进行到什么程度了？你知道，你们是如何说服他们投资的？他们真正喜欢的是什么？我认为这在开源货币化方面非常早期，而这里的巨大挑战是，如果你当时提出这样的想法，就是声称我们将帮助你实现开源货币化。当时还没有用于研究级别的DeepSeek开源，Meta正在引领它，而Meta有其一定的历史，它是一个非常……矛盾的公司，对吧？比如它支持开源，但它总是有一些其他的玩法。所以，我们的主要事情是，当你拥有这样一个开放的平台，拥有这样一个开放的东西时，你如何确保有足够的控制来将其货币化？你如何确保有足够的控制和保障措施来确保这些狂野的、无法无天的AI模型不会窃取你的数据并以不利的方式操纵你？这就是我们称之为Loyal AI的技术，这是Founders Fund当时押注的主要技术，它仍然是主要的研究技术，但现在我们在GTM方面更接近地面了，我们现在更面向消费者了，所以我们有一个消费者产品，就是Sentient Share。但仍然，我们的大使命是实现那种Loyal AI，在那里，尽管你在这样一个开放的平台上进行交互，而我们是你和其他无数你不知道模型托管在哪里的构建者之间的中介，但你仍然可以依赖这个AI并确保它为你工作。这就是我们构建的技术。好的，嗯，Peter Thiel是我有很多不同意见的人，但我会说他是“基于”的。你知道现在年轻人说的俚语吗？他们称某人为“基于”，如果他似乎是基于一贯的原则行事的，而这些原则不一定受到现状、当前事物的塑造。所以，Peter Thiel是一个“基于”的个体。你认为他在这里的更大愿景是什么？或者，你认为他遵循什么原则？我知道你和他不是同一个人，但我认为他通常在做这类投资时有更深层的原因。我认为原因在于，我们正在进入一个全新的时代。这只是开始，尽管看起来已经有很多讨论了，而且我认为除了OpenAI之外，在开源方面也有替代方案。我知道Founders Fund不喜欢我们这样说，但我必须说，因为我们对他们说过，这是OpenAI的开源竞争对手。这必须是目标。当人们说你正在构建OpenAI的开源竞争对手时，它不是Meta。Meta不是最终产品。它是一个基础设施，Llama模型只是它的一部分基础设施。你必须构建一个同样强大、同样有吸引力的人工智能，并且你必须依赖所有那些目前在某种程度上被拒绝的构建者能量，因为对于所有不同的代理构建者来说，没有太多的选择。而这个代理构建者群体正在不断增长，爆炸式增长，对吧？从某种意义上说，我九岁的女儿在某种程度上也是一个代理构建者，对吧？比如她写作，她使用小型平台，她们表达某种创造力。她们不是在写软件，对吧？她们在表达某种创造力。这些是有趣的互动体验。今天，所有这些东西会去哪里？我们希望成为那个平台。我们的主张是，这个AI的集合也提供了一个与这个单一的、庞大的产品同样强大的人工智能。这就是我们的使命。所以，这是AGI使命的另一条路径。而且我认为，总的来说，Founders Fund与这条使命的替代路径是一致的。明白了，明白了。好的。是的，这说得通。它们确实似乎支持开源。所以我知道你们的产品已经在市面上了，已经发布了。我刚看到一个统计数据，你们发布了Sentient Chat Search，并使用了Loyal AI，并声称回答了50万个查询。我们能具体一点吗？你提到了你的女儿在使用它。也许可以告诉我一个用户的故事。他们输入了什么到产品中，以及你是如何知道他们得到了什么有用的东西的？我们目前处于私有测试阶段。现在这个数字是100万。不是50万，只是一个稍微旧的推文。产品中有两类。一个是这个巨大的单一代理，它有Pro Search，它有加密代理，因为我们最初的用户群是加密用户。我们希望成为所有加密原生用户的第一人工智能产品。所以，这就是最初的用户群。所以我们有Pro Search，它可以进行深度研究，所有这些都建立在我们已经开源的开源框架之上，任何人都可以访问。然后我们有一个加密代理。让这些东西特别的是我们拥有的实时数据。同样，这些实时数据不是来自一两个来源。有七八个不同的提供商贡献了这些数据。你可以询问，你可以询问投资，你可以询问新闻。加密货币就是关于Alpha的。所以你可以询问Alpha，什么正在流行，什么正在发生，它会保持信息的最新。这就是我们更大的、单一产品的巨型代理。然后我们有一个社区代理部分，今天我们列出了100个不同的代理，其中15个已经集成并上线，其余的也即将上线。这些是更多的小型或不同类型的代理，由其他公司构建并在此提供。我们会在你的旅程中推荐它们，在我们认为它们合适的时候和地方。但社区代理的愿景是，我们现在拥有的还不够糟糕。我想要真正真正有趣和精巧的代理在那里。我看到这组新的体验，这些单任务代理，这些小型互动代理正在出现，并正在主导这个领域。这就是社区代理方面的愿景。所以，我们有这个巨型代理，它进行路由，它带你去所有地方，所有数据源，无论它需要什么模型来回答你的问题或完成你的任务，然后我们在旁边推荐。我们今天的主要用例是寻找Alpha加密新闻，这类搜索。你认为你的产品今天站在什么位置？它基本上与OpenAI的GPT相似或相等吗？你知道，这个每月20美元的私有产品。你觉得你只是在匹配他们，但你免费提供开源，还是你也认为今天有一些用例是你超越他们的？所以，我可以将其与GPT进行比较。在数据源方面，我们今天拥有的数据源以及我们进行的加密分析，这就是我们最初想要超越他们的领域。这就是我们今天超越他们的地方。你能给我一个关于其他产品现状与你的产品在特定查询上的比较吗？因为我认为能够指出几个单独的例子，说明我们做得更好，这是非常重要的。是的，举个我今天早上看到的，一个用户在推特上谈论的例子，就是关于如何投资Near代币而不是另一个代币的分析。我们能够超越的原因在于我们如何使用编码，以及我们如何使用更多的数据源，比如CoinGecko，我们如何使用Kao的情绪分析，并提供更完整的报告，说明是的，这就是为什么你应该投资，或者为什么你不应该投资。这个用例是我们开始的用例之一，比如加密货币查询和深度搜索，但我们的想法是继续横向扩展，一次增加一个代理，所有这些都在同一个路由器后面。今天，路由器后面只有Pro Search代理和加密代理。嗯。所以在这种特定情况下，你说你在数据源方面有优势，比如你拥有更多的加密货币……建议类型的数据，加密分析类型的数据……是像新闻来源吗？所以，我只是好奇它主要是什么数据来源？所以，加密货币领域的数据来源是什么？许多公司以不同的方式索引数据。数据是相同的，但你如何提取它，你准备什么，什么类型的……比如，有不同的项目在做这种实时数据的事情，因为这些数据是链上数据，交易所级别的数据，所以人们会获取它，清理它，以特定的方式组织它，以便像这样的框架可以使用它。在你与OpenAI的GPT的头对头比较中，你的查询提供了更好的建议，关于投资Near代币的建议。你认为这可以追溯到OpenAI也接收了相同的数据，但处理方式不同吗？不。不，不是。它没有那些数据。OpenAI大致只使用CoinGecko，而CoinGecko不是一个单一的API。有很多API。第二部分也很重要，当我们从搜索转向基于答案的代理时，对吧？你想要……代理立即给出一个答案，并立即给出一些意见。与搜索不同，搜索的责任在你，你点击，你看到，然后你知道你正在看哪个来源。现在代理必须做出决定，说这就是答案。而且很多时候，这些答案有一些相互冲突的观点。所以，例如，如果你使用其他API而不是CoinGecko，你可能会对哪个是顶级代币有非常不同的看法，原因有很多。好的。所以，在这种情况下，今天发生的是，OpenAI声明我只是使用CoinGecko，我选择了一个。Perplexity有点不同。Perplexity所做的是，它不声明来源，但人们已经相信它了。所以，它仍然是一个他们承诺的来源。所以，我们试图做的是，我们试图展示，根据这个来源，这是它所说的，根据那个来源，这是它所说的，并以某种方式提供更好的总结。这是我们在搜索数据总结步骤中采取的一个小小的不同。所以，回到这个关于展示你们差异化的一个例子的想法。你说这是一个有人询问关于是否投资Near代币的建议的例子，与OpenAI的GPT不同，你说是你们的版本是这样的：这是来自许多来源的观点，你可以比较。这就是区别。这就是区别。还有分析，因为我们编写代码。OpenAI不再编写代码了。它只是获取那些API，以及API提供的任何东西，它就提供。作为我们加密代理的一部分，我们还集成了代码框架。所以，它也提供了它，它也编写代码，并进行更深入的分析，并提供比CoinGecko API默认提供的更基础的数字。好的。所以，是的，我仍然在试图理解这里的差异化。所以，当你说是的，你提供多个来源，而OpenAI只提供一个来源。你认为这根本上是因为你将继续抓取多个来源，而不是OpenAI，还是因为你做出了一个产品决策来展示多个来源？究竟是什么根本的差异化？哦，我们目前不抓取。我们抓取。但这里的重点是，所有那些抓取和收集的公司，对吧？它们都开始在这里集成。今天，即使是今天，我们使用的数据来源也不止一个。比如，正如我所说的，KTO，CoinGecko，还有一些我们集成的API。对。是的。所以，我试图理解长期来看，对吧？所以，根本上，你和OpenAI在做什么不同？你认为OpenAI长期来看会拒绝摄入这些其他数据来源吗？是的，如果你今天有一个数据源，你作为一个……假设你建立了一个拥有数据源的公司，有什么机制可以将其提供给Coin……给……OpenAI？所以，你的意思是你的差异化是你与所有这些数据源合作，让它们暴露一个公共Feed，然后你将抓取公共Feed，而你认为OpenAI不会这样做？是的，所以数据源、代理、模型，所有这些。这是一个数据源的例子，对吧？所以，我们希望集成越来越多的由其他人构建的代理，生产级的代理，而不仅仅是普通的玩具代理，对吧？不仅仅是原型。我们希望将这些代理与我们集成。我们希望集成更多的数据源，并且我们希望有更多人们可以围绕其构建的模型。你认为那里有什么根本性的东西吗？那些提供数据的人，你认为他们会拒绝提供数据给OpenAI吗？我不这么认为。我认为，我认为OpenAI决定摄入什么数据，因为它们必须以这种特定的方式进行工程设计，对吧？我感觉不到，这是我们所做的赌注，OpenAI在这里是为了帮助所有这些人货币化。OpenAI是为了建立垄断。它们对AGI的方法是，它们需要所有数据，它们将收集所有数据，它们……它们不……因为这就是它们目前的估值如此之高。它们想要收集所有数据，它们想要将所有货币化，所有东西都留给自己。这就是它们的方法。从所有数据源构建的单体AI，并完全由它们控制。我们的方法是，这是一个单一的、分发的渠道，与每个AI构建者共享，因为我们是与每个AI构建者共享的分发渠道。它们可以与我们集成它们的数据源。它们可以与我们集成它们的代理。这就是我们采取的方法，我相信这与Po的方法非常相似，但我会谈论与它们的区别。对。所以，当我以天使投资人的身份看待不同的初创公司时，人们思考初创公司的方式有一个常见的失败模式，就是他们对一个抽象的推销感到非常兴奋，然后当我询问具体的用例时，它有点像是后来才出现的，对吧？就像它还没有真正准备好。我的意思是，在你的情况下，我不是说你在这样做，对吧？但你提出了很多听起来不错的抽象概念，比如“嘿，我们有一个面向开发者的开放社区。我们是唯一真正能够……帮助他们可持续地盈利。”所以，你有很多听起来很棒的抽象推销。然后当我询问用例时，就像，“嗯，我们在某些加密货币数据源方面领先。”所以，它……在我看来，当我们深入细节时，它有点……它有点变弱了。但让我问你一个问题来确认一下。就像我个人作为用户，我对OpenAI和Cloud以及Gemini非常满意。你认为像我这样的人在明年，比如说，会有令人信服的理由转而使用Sentient Chat吗？这绝对是我们的目标。而且，我必须承认，关于人工智能，一旦你开始进入我们正在进入的消费者人工智能领域，尽管它有加密货币部分，我现在不谈论它，这些差异化和这些10个查询的胜利，你是一次一个地引导的。所以，今天我们的初始群体是加密货币群体，因为那是我们最受关注的地方，那是我们首先想要征服的地方。我们的下一个目标是接触像你这样的AI用户，他们可能对加密货币Alpha和这些新数据源不感兴趣，但更对某些任务或某些体验感兴趣。所以，当我们孵化这些构建者与我们一起构建代理时，这是一个有见地的孵化，我们想要攻击的领域。这就是我们……所以，希望是一年内，我们希望你成为我们用户群的一部分。嗯，我的意思是，让我们试着想象一下，我怎么会被说服去切换，对吧？我的意思是，如果你看看我如何使用GPT，忽略图像生成。听起来不是你的专长，对吧？嗯，我……我经常和它谈论随机的医疗问题，对吧？任何我好奇的事情，因为我喜欢它如何能够……综合……不同的因素，它所知道的关于我的一切，或者……我帮助我妻子做那些事情。你认为这是一个你会从其他竞争对手那里抢走的用例吗？我们……我们到目前为止还没有将医疗领域视为一个用例。所以，因为我会告诉你我们的构建者能量在哪里。所以，我们所看到的是，首先是加密货币的信息用例。接下来是更多关于金融，同样延伸到金融相关的事情。接下来是更多自主代理，它们可以代表你投资，并代表你采取行动，即使金额很小。这是……这是我们已经规划出的一条轨迹。自主代理在加密货币领域也是一件非常有趣的事情，它们可以持有钱包，并代表你投资。所以，在这方面更自主。这是我们的一条轨迹。另一条是关于更多创意的东西，关于更多……人工智能的TikTok，在那里……有这些体验，你想……意大利式的脑腐蚀通过这个AI出现。我认为这是另一个即将出现的领域。如果你看看我们发布的模型，这个名为Dobby的模型，它有趣的部分在于它的谈论方式和它的个性。所以，这是我们正在构建具有个性的模型的另一个领域。我们相信……我们相信，人工智能作为一种……我在这里为你服务，你这样做，然后你回来……你会有几个非常受欢迎的个性出现。我认为Grok是一个受欢迎的个性，虽然我必须说，我们的模型比Grock早一点出现，它有一个非常独特的角色和非常独特的个性和说话方式。这些基于个性的模型驱动类似的代理和类似的体验是我们正在关注的下一个领域。所以，这就是……这就是我们今天的用户群所在。所以，总而言之，我到目前为止听到的，当你谈论所有这些用例时，听起来就像是我去见Sam Altman，然后我说，“你认为这些用例怎么样？”我认为他会说，“哦，是的，我们也会致力于解决这些问题，我们也会帮助你制造代理来帮助你……收集你的财务信息或任何你想做的事情。”但然后你会说，你的社区将更乐于成为这个开源社区，然后……差异化将从那里出现。这是一个很好的总结吗？是的，差异化将来自于你想让多少不同的构建者与构建者保持一致。我们相信有很多方法可以处理信息，围绕它拥有有见地的、有偏见的数据，以及所有这些体验。如果你首先以社区为导向，你可以做得更多。这就像……你想成为Netflix还是YouTube？有点像那样。Netflix显然也是一个分发渠道，但Netflix是一个重度制作公司，而……我们想成为YouTube。是的。因为用户生成的内容非常有价值，而且加起来比Netflix生成的内容还要多。对。对。正是如此。原则上，Netflix可以生成YouTube拥有的一切。但问题是，YouTube的运作方式不同。TikTok的运作方式不同。对。所以，我的意思是，我认为OpenAI会说，它……一个更好的类比可能是像谷歌搜索，因为OpenAI所做的很多事情是，它抓取了网络上的所有信息和所有……API端点，然后将你引导到它们。所以，它们将自己视为搜索，你搜索旅程的起点。所以，从这个意义上说，它们类似于YouTube，拥有……网络规模的用户生成内容。所以，所以，所以你说OpenAI将拥有对网络上可用的代理的搜索，如果它们走这条路。对。我的意思是，你在你的类比中暗示，你说OpenAI就像Netflix，但如果你看看它们提供的大部分内容，它只是基于合成它们不生产的数据。嗯，那是因为那个特定的用例，聊天机器人，我们看到它在很大程度上依赖于搜索。我认为从其他地方获取数据不是正确的思考方式，对吧？因为那是用户行为，我……OpenAI发现了它，我们有点惊讶。Perplexity首先发现了它，我们也付出了沉重的代价。所以，如果你试图启动任何代理，并且不清楚地告诉用户它做什么，用户会要求最新信息，而OpenAI因此集成了搜索，但它仍然是一个单一的体验。这个搜索加上代理是一个……是一个深度搜索代理体验。它是一个单一的体验。它不是……我们肯定需要的体验。当然，关于搜索会是什么样子，以及它会摄入什么数据，还有其他问题。然后还有其他事情，比如你分析什么？你对数据做什么？你如何调和，你是否可以……你是否可以提供更多选项？以及不同类型的数据来源会是什么？这就是我所说的横向扩展。嗯，所以，所以你看到很多代理，OpenAI将其视为竞争对手或子集，它们可能没有看到，但它们存在，比如所有构建各种AI的人都在某种程度上与它们并行。原则上，即使是像我们称之为奇怪的，因为这是一个困难的商业用例，Manis AI，OpenAI原则上也可以考虑。为什么它们不能有一个异步的东西？但启用Manis或所有异步任务代理所需的定制集成和事物是OpenAI不会去做的。这就是今天的想法。总的来说，像这样的事情最好由大家一起完成，而不是由一家公司思考所有可能的人工智能体验并立即提供。当然，OpenAI会说，看，我们有一个API，对吧？我们有一个被广泛使用的API，然后其他人发布基于我们API的产品。绝对。绝对。但它们错过了什么？从这个意义上说，我们不与它们竞争。我们平台上的许多代理也使用Open……AI的API，并声明这是它们使用的模型，从这个意义上说，我们不竞争。我们不竞争说我们不会使用它们的模型。我们竞争说，它们拥有的聊天体验，单一的聊天体验，应该建立在多个代理之上，而不是拥有一个单一的、单体的03模型。03模型速度很快，很棒，但同样，你没有选择。让我们以03为例，我是一个重度用户，我喜欢它，但03的一个问题是，对于每个查询，它花费的时间都一样。我没有太多选择，也许我想要一个更便宜的答案来回答同一个查询？也许我想要一个更快的答案？而且它仍然不像For或它已经取代的For那么糟糕，我仍然在使用For，直到它完全停产。嗯，所以，整个体验领域，社区构建的版本就存在于那里。好的。现在，你们有Dobby模型，它们是在与Meta的Llama模型正面竞争吗？不，Dobby是建立在Llama之上的。Dobby的设计是为了说明如何按照人们想要的方式构建模型。所以，目标是表明你可以构建直接由大量人口控制和管理的模型。我明白了。所以，所以它有点像Llama的微调？它是Llama的微调。它是Llama的微调。嗯哼。而且，特别是，我可能不完全理解这一点，但想法是，你问Dobby一个问题，然后它就知道将其分发给社区中的某个东西。这就是Dobby的初始构成和基本框架是如何被分发的。然后你扩展这些数据，构建一个具有非常特定语气和非常特定价值对齐的角色。我们已经了解了一些关于Sentient产品的信息。让我们更宏观地谈谈我们对人类使用AI的看法和建议。听起来不错吗？绝对。好的。所以，我想问的关于开源AI的宏观问题是，你认为这对美国来说比中国或其他国家更好吗？你认为我们是开源取得更多进展更好，还是闭源更好？好的。所以，这个答案有几个部分。首先是，我认为开源基础设施是我们现在都需要做的。我说这话是因为，它带来的审计性、创新性和各种东西对于这种可能使人类受益或毁灭的转型技术来说非常重要。而这种技术在闭门开发，我对此绝对不舒服。如果说有什么的话，最近的地缘政治发展证实了我对这类事情的怀疑。我指的是各种情况。我指的是中国在受到某种计算制裁后如何处理人工智能。我也指的是现在政治中如何使用观点，尤其是在美国政治中。美国政治是一个非常特殊的地方，它是一种非常……直接沟通的政治，你知道谈判是基于直接沟通的。我认为随着人工智能的介入，我们正处于一个非常特殊的地方，主流政治直接依赖于建立观点和影响社交媒体等工具，而人工智能当然是实现这一点的中间媒介。所以，我希望每个人都在使用的这个人工智能是开源的。我希望知道它背后是什么模型，我希望知道有什么模型。对我来说，作为一个用户。我作为一个开发者，显然也想要这些开源的产物，因为应用程序的创新和人工智能本身的进步在开源上更快。好的。你熟悉Leopold Dashenbrenner和Dario Amade的论点吗？不，我不熟悉。好的。我的意思是，我会尝试，希望我能正确地转述他们。这些论点对我来说似乎很有道理，关于我们应该如何闭源开发AI的基本论点。所以，想法是，如果我们开源开发，想象一下我们取得了另一个突破，并且它是完全开源的，这个突破使我们能够拥有能够真正塑造我们军队的代理，对吧？它们可以制定国防战略。它们可以协调我们所有的军事资产。所以，你知道，我们甚至可以拥有一个真正起作用的导弹防御系统。所以，突然之间，我们在攻击和防御方面都大大提升了我们的战争能力。在这种情况下，很多人认为这是现实的，就军事协调能力而言，人工智能可以突然变得更好。你知道，他们对人工智能能做什么有很大的梦想。想象一下，在短短几年内我们就达到了这个目标。在这种情况下，我们是开源更好，然后让我们的所有竞争对手国家也立即拥有它，还是拥有领先优势会更好？因为我认为Dario和Leopold喜欢从“让我们努力让美国领先”的角度来处理这个问题。是的。所以，这正是问题的关键。这个论点完全是关于B和我们。而整个要点是，如果你采取B和N的方法，并且你能承受其他的全球竞争压力，那么你应该闭源。是的，这个论点是可以提出的。它有一些关于能够做到这一点的信念，而这是一个论点，即每一项创新都应该是闭源的，因为想象一下，特别是如果它是这种突破性的创新。这个的另一部分是，世界其他地方。如果这不是开源的，如果它没有传播开来，那么这些平衡，检查和制衡就会失效，而一项如此疯狂和具有变革性的技术。我来自那个方面，我非常确定少数国家或一两个国家拥有它并将其闭源并弄清楚。世界其他地方，直接或间接，最终都会受到影响。毕竟，所有的人工智能都始于开源，并且最终它建立在互联网上可用的知识之上，而互联网的成功在于每个人都在纠正它，对吧？而现在这种成功突然被拿走，你试图锁定它，因为你突然觉得有什么……一个重大的突破。而反对方认为，好吧，我们必须抵制这种可能性，我们必须确保每个人都能平等地获得这项技术，这就是……我有点困惑，你如何联系到我所说的？所以，在这种情况下，我的意思是，你是否接受这是一个值得讨论的前提？是否存在一个合理的可能性，即一个国家将是第一个取得这个突破的国家，这个突破在军事上实际上非常重要？这是一个合理的前提吗？这是一个合理的，实际上是一个非常可行的前提，即人工智能会以一种非常剧烈的方式影响军事，以及战略建设。好的。所以，如果你接受这个前提，那么，如果你理解正确的话，那么，如果你在参与这个前提，你只是说你希望每个国家在军事上同时升级吗？绝对。它必须是开放的，它的防御和进攻必须是公开开发的。我的意思是，即使是朝鲜，如果你希望它对朝鲜开放。是的，我知道这是那种论点，但这项技术正在到来。无论如何，朝鲜都会拥有它。但我具体问的是，我具体问的是，你来选择时间线，在这个假设中，对吧？所以，如果你的回答是它肯定会到来。那么，你来控制。你希望它先到美国吗？我为什么要这么说？我根本不是美国公民，而且我见过这些技术先到美国的影响。我所要说的是，整个论点非常以美国为中心。所以，你希望哪个国家优先？你最喜欢的国家是什么？如果你能选择一个国家领先，我不会选择一个国家领先。这是不是一个国家领先的情况。我希望有制衡。我希望人工智能的机会同时来到所有国家，并建立一个基线，然后所有国家可以根据自己的意愿单独发展那一部分，并行发展。但有一个非常重要的需求，有一个反力量，确保所有这些核心技术都是公开可用的。我还没有准备好面对一百年的不对称性，如果它以这种方式出现。对。然后，故事的那个部分。你的国籍是哪个国家？我的国籍是印度。明白了。你现在住在迪拜，你在做Sentient。是的。是的，我现在住在迪拜。不错，不错，不错。好的。你希望印度在这个竞赛中领先吗？不，我不这么认为。我不认为有这样的机会。一个非常违反直觉的事情是，我会担心中国会在这方面领先，因为我们的地理位置。而一件非常违反直觉的事情是，中国现在是开源模型的旗手，以……以应对……以应对……这种可能性，即一两个国家可以主导并开始垄断这项技术，并将其用于军事。所以，它的门槛越高，对吧？你锁定的部分应该尽可能开放地提供，然后其余的部分可以被锁定。这个门槛应该非常高。好的。有没有哪个国家是你希望落后的？因为你知道朝鲜和伊朗，难道你不认为如果我们能减缓它们的速度就好了吗？所以，减缓它们的速度，这是如何发生的？你的减缓模型是什么？是的。所以，所以在这个确切的场景中，我们减缓它们的方式是，因为那些国家，比如说美国，我认为美国在道德上是一个平均水平以上的国家，如果我们……你知道，考虑到它们可以对世界施加的权力。就我个人而言，这是我的第二选择，记录在案。我在这里住了十年。我在美国读了博士。我从美国教育体系中获益良多，我对我所取得的一切成就感到敬畏。所以，这是我个人最喜欢的国家。然后，如果你……如果你将其与伊朗和朝鲜进行比较，对吧？在我看来，它们将处于最低的百分比。所以，你认为美国拥有尖端技术一点好处都没有吗？想想翻转棋盘，对吧？让我来深化一下这个场景，对吧？让我把它具体化。想象一下，这个新的人工智能工具非常强大，以至于它可以塑造伊朗的军事力量，使其能够与美国抗衡。你想要那样吗？你看，这就是我在你的论点中听到的，那就是让美国开发这个工具并自己保留它，因为我们知道得更好，我们不会把它给别人，因为这样我们就可以保护其他人。我只是说，存在着反力量，它们不接受这种论点，并且肯定会尽可能开放地构建人工智能模型，因为在那里它们可以结合全球力量，达到那个门槛，在那里它们也有机会构建一些合理的军事级人工智能，所有级别的。这些反力量是存在的，我希望支持这些反力量，开放的、去中心化的、对集中的反力量。我会拯救所有人，并相信。我仍然不完全清楚你不同意的假设的哪个部分。所以，让我问你，让我稍微简化一下这个假设。所以，假设世界上只有两个国家，美国和朝鲜。而且，为了论证起见，假设这个新的人工智能技术，最新闭源模型的年度人工智能进展，将是如此之好，它们可以翻转棋盘。也就是说，如果朝鲜拥有它。不，我拒绝这个前提。我拒绝这个前提，即只有两个国家。我告诉你，有印度、巴基斯坦、许多其他国家。其中一些与美国结盟，一些与美国不结盟，一些与俄罗斯结盟，一些与伊朗结盟，一些不结盟。你能只是迁就一下你拒绝的前提吗？因为这样我们就可以回去讨论为什么你认为这个前提有缺陷。但如果世界上真的只有两个国家，美国和朝鲜，在这种情况下，你会说，“好吧，最好是美国通过闭源领先。”所以，在这个假设中，你已经说了一个绝对的好和一个绝对的坏。你支持绝对的好，还是支持你认为的绝对的坏？我们可以削弱它一点，让它真的是美国和朝鲜吗？就像它不是绝对的好，仅仅是美国对朝鲜。我不认为世界是这样布局的。我认为存在着复杂的……存在着复杂的联系。我甚至不知道美国和朝鲜之间的确切关系是什么，就像美国永远不会试图与朝鲜交朋友一样。美国对中国呢？让我们假设，假设，假设，构建复杂AI的东西只对美国和中国开放。让我们假设它需要……你知道，一太瓦的能源，或者别的什么？然后，假设只有美国和中国拥有它。在这种情况下，你是否偏好美国在人工智能技术上领先于中国？不，我希望完全避免出现这种二元对立的局面。这就是开源的重要性所在。这是防止我们正在习惯的这种二元对立的基线，而如果我们做集中的人工智能，我们就会想重现它。你说美国是你最喜欢的国家，仅次于印度，所以你不想在塑造世界未来的方面偏袒你第二喜欢的国家。不，我甚至不信任我最喜欢的国家会这样做。我认为，我认为如果发生这种情况，我们许多人所期待的整个世界未来将受到严重挑战。我不认为未来是一个仁慈的领导者领导整个世界。我认为它更加去中心化，拥有更多的共享所有权。世界上绝大多数人，只要达到一定的门槛，出生时都梦想成为世界上最杰出的人群之一，或者成为其中一员。他们不是这样出生的，他们不是想着“我处于这个世界的某个次要、第三或第四等的生态系统中”。
我们想要让一个仁慈的技术领导者来照顾我们所有人的这种想法并不适用。我不认为那是我们正在为之奋斗的世界，至少那是我们为什么需要去中心化、为什么需要开放性、为什么需要这种生态系统的全部意义。好的，所以我的担忧是，当你拥有足够先进的人工智能时，它可能最早在未来几年内出现，它将允许你以世界前所未见的规模进行大量的恐怖主义和制造混乱。所以你可以想象像朝鲜这样的参与者，它现在相当有限，比如是的，他们可以向美国发射几枚核弹，但这仍然相当有限，他们不能，他们对美国来说还不是一个生存威胁。但是，如果你给他们人工智能，他们可能突然实现跨越式发展。我的意思是，在朝鲜，如果他们设法在人工智能方面领先于美国，他们实际上可以通过人工智能扼制美国整个军事行动，对吗？所以，我把它看作是一个主要的混乱制造者。而且我认为，你知道，你的愿景是，哦，每个人都应该完全访问这个混乱制造者。你是否担心这会造成太多的混乱？不。所以我想了解你所说的人工智能是哪种形式？你能更具体地说明这种混乱制造者人工智能吗？作为人工智能，它能做什么？是的。
所以，这是一个很好的问题。所以，我对人工智能的立场是，我认为它能远超人类能力。我认为在人类智能、人类能力之上还有很大的发展空间。而且我认为人工智能可能在未来几年内冲向那个发展空间。我不认为任何人知道它是否会。我当然认为它会在未来50年内实现。我认为这有足够的时间让人工智能远超人类能力，但我也认为它很可能在未来2年内冲到那里，对吗？我认为，你知道，存在递归式自我改进的动态。一旦你超越人类水平，谁知道你能走多高，对吗？所以，我非常担心它能走多高。这是你担心的事情吗？不，我，我，我认为人工智能，像任何先进技术一样，尤其是人工智能的安全方面，将仍然是一场红队、蓝队的游戏，将仍然是一场猫捉老鼠的游戏。它必须是进攻和防御，并将继续如此。即使在今天，当有人，就像人们曾经有的那种怀疑，至少我在印度看到了那一部分，我相信在美国也是，当他们上网时，当银行系统上线时，当然它们会受到攻击，当然我一生积蓄都在某个账户里，并分布在某个在线世界中，账户也可能被同一个朝鲜窃取，对吗？所以，照此说来，我必须确保一切都是安全的，对吗？而且这将继续下去，猫捉老鼠的游戏继续，进攻和防御必须不断发展，这就是我们所处的世界，这就是它将如何发展。但是有一个基础技术，有一个基础技术，如果你否认这一点，例如，我们是否应该拒绝世界使用任何计算能力，因为计算导致了人工智能，而人工智能堆栈是超级人工智能。你划定的那条线在哪里，这就是我想理解的。这个论点是一条线，你同意，对吗？有一条线。所以，首先，当你将它与其他技术的推出进行类比时，对吗？比如，哦，天哪，我们有了互联网支付处理，或者，哦，天哪，我们有了社交媒体。是的，我们没有意识到我们做了什么。哦，但它总体上是好的，我会这样认为。嗯，无论何时你做这些其他类比，根本区别在于没有噩梦般的场景。噩梦般的场景是，哦，天哪，互联网银行，有那么多黑客，它太不安全了。好吧，那就撤销它。没关系，对吗？人类不会灭绝，对吗？所以，有一个回滚选项。然而，在超级智能人工智能的情况下，没有回滚。这只是永久性的权力丧失。不，这就是我想理解的。什么是这种超级智能人工智能？好的。也许你应该告诉我一些关于它的事情，因为它是一条界限，对吗？它能做些什么。好的。好的。是的。
所以，让我们进入我节目中常见的一部分，我们基本上会比较我们对超级智能人工智能是什么以及它最可能做的事情类型的信念。所以，为了开启这一部分，我将问你最重要的问题。你准备好了吗？当然。 [音乐] 你的毁灭概率是多少？你的毁灭概率是多少？是的。所以我在看了你之前的节目后想出了一个估计，我的毁灭概率是一个很高的数字。大约2%，这主要是因为有太多的未知未知因素。好的。所以2%仍然很低，对吗？有太多的未知未知因素，然而你却愿意以1比49的赔率下注我们不会这样做，这看起来极其自信。是的。是的。而且，我认为，当你，你应该纠正我，关于你如何，因为你问的是一个概率数字，对吗？所以，我对概率数字和这种场景的感受是，当事件的数据点如此之少，以至于人类濒临灭绝时，如果你做这种概率分析，那更多的是关于你有什么先验知识，以及你认为人类如何行为，以及这个先验部分是什么，以及无论我有什么先验知识，我认为，对吗？我觉得机会非常低，非常低会远低于1%。但我也看到，好的，有一些担忧，关于现在无人机作战的方式，关于人工智能可能被用来设计病毒的方式，我不知道它是哪种人工智能，我不认为当前的人工智能是那种人工智能，嗯，有可能一个参与者超越另一个，所以从这一点上，让我再补充一些，所以它不是1，它肯定大于1，小于5，我得出了一个像2这样的数字，你知道，这就是我得出这个估计的方式。如果我理解正确的话，你从一个非常低的基线开始，因为你认为人类物种非常强大和有弹性，但后来你稍微向上调整了它，直到你达到了2%。完全正确。完全正确。完全正确。我就是这样做的。理想情况下，理想情况下，我没有看到一个宏大的框架来处理这样的事情，因为正如我所说，在我看来没有足够的例子可以让我说这是一个场景，而人类在那里做了什么。在这种情况下，我的普遍信念是，我们才刚刚开始，我们需要所有这些机器，我们需要所有这些颠覆性技术，才能解决越来越多的问题，并能够进一步扩展。我可以说更多。所以，我的数字是2%。
我认为我的世界观有一个很大的不同，我把人类看作比那脆弱得多。所以当我说，即使不了解人工智能，人类被消灭的普遍概率是多少时，我可能会同意它低于50%，因为是的，我们非常狡猾，对吗？智能非常强大，但同时宇宙根本不在乎我们，对吗？它一直在做事情试图消灭我们，它一直在消灭星系和物种，对吗？这，这有点，我认为这是一个很好的，让我们定义一下我们正在谈论的时间范围，对吗？完全正确。所以，嗯，当我通常问这个问题时，我只是说几十年，所以我们假设到2100年的毁灭概率，对吗？到2100年所有人类都将死亡。你认为只有2%，而我的基线已经从10%以上开始？因为我甚至认为，嗯，到2100年我们会用核武器把自己炸回穴居人时代。我认为这种可能性超过10%。你认为，嗯，我们能用核武器把自己炸到灭绝吗？我同意这很难。是的，我，我，我不认为我们能用核武器把自己炸到灭绝。所以，我想，如果你，如果你真的在谈论每一个人类，而这只是核毁灭，那实际上是一个好的场景，对吗？所以，我想我们可以，我们甚至可以潜在地把它完全排除。嗯，生物毁灭似乎有更高的机会能够消灭每一个人类，如果你有一个真正好的复制病毒，而且真的很难检测，那么即使是真正好的生物防护也可能在某个时候出现漏洞。对吗？所以，我们刚刚经历了一场大流行，对吗？所以，你对一场大流行的能力打多少分？嗯，假设这不是人类设计的，但假设它比以前更恶毒。我认为这场特定的大流行可能只有一场大流行可能达到的5%的程度，对吗？我认为它可能糟糕得多。我的意思是，有很多你可以调整的旋钮，你可以调整潜伏期。如果潜伏期在爆发前长达一年呢，对吗？那么在他们有时间反应之前，就会有很多人感染，对吗？然后当然还有致死率因素，所以它可能不是0.1%，而是30%，对吗？它可能是一个巨大的致死率因素，然后R值可能会高得多。对。所以如果你想设计一场大流行，有很多这样的旋钮可以调整。对。对。所以在我看来，对于某人设计并执行这样一个计划的概率，考虑到当前场景中存在的所有制衡机制，民族国家如何封锁边境。我们如何能够非常迅速地进行非常严格的封锁。我们如何能够非常迅速地开始疫苗研发。我觉得这个概率，默认的，基础概率本身就非常低。对我来说，它就像你说的10%的基础概率。我会说，是的，接近于零，无论你说的到2100年的那个数字是多少，这仍然是我有生之年，在我有生之年，对吗？假设我活到2100年，嗯，这是非常不可能的。是的。是的。当然。
所以我的意思是，我想我不太不同意。我的意思是，我想当我们只是谈论到2100年杀死所有人类且没有人工智能的概率时。我实际上不认为2%差得太远。我可能会把它定得更高一点。但你是对的。我的意思是，没有人工智能，人类是相当有弹性的，并且假设，你知道，未来100年没有小行星撞击，这是非常不可能的。所以，好的，我有点同意你这一点。嗯，所以我确实认为我的很多问题确实尤其取决于超级智能人工智能。我认为具体来说，如果它愿意，有一种超级智能的方式可以杀死所有人类。完美。所以，所以基本上这个论点是关于你想要理解什么是超级智能人工智能这个概念？它的特征是什么？它能做什么，不能做什么，对吗？完全正确。是的。所以让我问你，是的。我认为问题的症结在于，你认为在人类智能之上还有很大的发展空间吗？所以你知道，想象一下最聪明的人类，或者所有人类共同努力，仍然无法匹敌我所想象的人工智能在短短几年内可能达到的水平。你觉得我们拥有这种拥有神一般力量的人工智能听起来合理吗？我们已经拥有了计算能力，它拥有神一般力量，远超所有人类的总和。是的，它是神一般力量，但它也有，你也可以向它发射一颗子弹，然后它就死了，对吗？所以那不是完全的神一般力量，对吗？我谈论的是强大的神一般力量。这就是我想理解的，对吗？例如，仅仅是反转哈希的能力就是一种神一般力量。所有人类的总和都无法做到，而一台大型计算机可以。完全正确。对。所以，是的。所以我的意思是，你是对的。这是真的。所以也许我可以澄清一下。我可以说，神一般力量，同时没有次人类的弱点，对吗？所以就像从人类的角度来看，统一的神一般力量。就像你不会看着它说，“哦，是的，这个人工智能拥有所有这些不同的技能，但我也可以绕到后面去，仍然能胜过它。”不，不会有那种阿喀琉斯之踵。这就是我所说的。不，这就是我听到这些论点时的重点，对吗？存在一个突然的信念飞跃，当你谈论无形之物时，你谈论的是有形的较小力量，然后就有了这种可以摧毁一切的概念，而我们，所以这非常重要，因为在某个时候我会说，有些事情不会以世界所处的方式发生，有些事情不会发生，对吗？否则，在你所说的这种论点形式中，对吗？存在某种可以做一切事情的东西，那么显然它也可以摧毁人类，那，那，那不是一个完整的论点，对吗？我的观点是，这个人工智能能做什么，最终会导致人类的毁灭，然后我的反驳，通常在我自己的心理练习中，我的反驳通常是，哦，这是不可能的，这不是世界力量会允许的，这不是世界的运作方式，我就是这样思考的。好的，所以听起来你的答案可能是你认为在人类智能之上没有那么大的发展空间，但让我这样来构建问题：有一个维度我称之为优化能力。我认为这个术语是由Aliowski创造的。优化能力的概念是，你可以比较，如果全人类都在努力以某种方式引导未来，比如我们想让地球适合人类居住。然后你还有一个超级智能人工智能，它能够自我复制。它有十亿个副本。它有很多资源。也许它甚至欺骗了一些人类为它工作。所以它，你知道，它是世界上一个重要的代理，它想把宇宙引向别处，对吗？也许回形针是经典的例子。你知道，与人类价值观不一致，或者它可能有点像人类价值观，但它没有完全理解。也许它只是想尽可能多地向尽可能多的人注射芬太尼，对吗？所以，它只是有略微不同的价值观，它也试图引导未来。你可以定义这个维度，叫做优化能力，基本上是谁将使用地球上等值的资源来引导未来走向他们想去的地方，对吗？谁拥有更多的优化能力，就像你我比任何5岁孩子拥有更多的优化能力一样，对吗？他们的头脑，他们就是做不到。他们就是不能像我们一样有效地引导未来。所以，你可以想象，我想这就是我的问题，你认为在几年内，或者最多几十年内，会出现这些人工智能，它们拥有比人类更多的优化能力，这是否合理或相当可能，就像我一样？我认为它不会有这种意图。这种优化能力将通过以下方式实现。那么，那将如何发生？有人实际上，好吧，但忘了意图，对吗？我们假设它是一个工具，但它是一个极其强大的工具。那将如何发生？对吗？有人设计了一个强化学习管道，具有正确的成本函数或正确的目标函数，并训练人工智能更好地进行那种防御，对吗？好吧，为了使假设更简单，如果我们甚至不担心它是如何构建的呢？我只是问，就可能的产物而言，对吗？如果一个外星人建造了它，一个外星人能否通过U盘给我们发送一个人工智能，对吗？它只是拥有比人类更多的优化能力。我，我看到这又是那个论点，在你的假设中，你已经假设你已经拥有了那个摧毁人类的特征。我的观点是，在当前人类生态系统中没有达到这一点的途径，人类会竞争和监管。我的意思是，但在我们谈论是否存在达到这一点的途径之前，我只是问一个更简单的问题，那就是这个产物是否可能存在？因为如果你说这个产物甚至可能不存在，那么论点就更简单了，对吗？所以让我们尝试提出最简单的论点。不，我，我，我不认为这个产物存在，或者可以在今天的生态系统中建造。好的。所以，再次，忘了能否建造，对吗？我只是问你，如果你，如果你只是有一个U盘，对吗？如果我们只是问U盘上比特的可能配置，是否存在一种理论上可能存在的比特配置，它编码了一个人工智能，如果你运行它，它现在就超越了人类，对吗？它将世界引向它想要的方向，这个人工智能有什么控制权？我，默认情况下，这个软件是不够的。它有什么？它有什么工具？赋予了它什么控制权？所以现在我成功地简化了论点，对吗？因为现在我们甚至不必谈论人类能建造什么，因为你已经在反驳它甚至可能存在于U盘上的想法。是的。是的。它，它，它，它，它是那个逻辑加上赋予它的控制权，对吗？那个强大的模型或任何拥有这种逻辑和推理能力的东西，然后赋予了它什么控制权。在那里，这是两个不同的部分，你需要，为了实现你所说的，你需要将整个控制加上逻辑放在一个地方，并拥有它可以扭转并做事情的各种旋钮。嗯。好的。
所以，总结一下我从你那里听到的。所以即使你有一个外星人，你知道最聪明的外星人或者上帝本人能够建造这个U盘，即使是上帝也无法匹敌这样一个事实，那就是U盘上的任何程序最终都会崩溃。它无法做那么多事情，因为它需要资源。所以根本不存在一个U盘，它能够传播并超越人类。你只是说那是一个不可能的场景。是的。未来100年不可能，除非你改变了计算领域的一切，你可以打开我们所有的加密锁，打开我们所有的一切。现在，你之前谈到，我想你提到了你需要执行器，对吗？所以，你认为这种U盘，它永远无法掌握像马达或像人类手一样的精细运动控制。你认为那是控制世界的瓶颈吗？不。即使是数字资产的访问，对吗？你为一切设置的加密锁的访问，对吗？以及硬件锁和所有你为一切设置的安全措施的访问，对吗？即使是一个超级天才的超级邪恶人物坐在某个国家，比如说朝鲜，现在也无法真正控制美国境内的任何东西，因为他们无法访问那些服务器、那些人工制品、那些东西。真的，我的理解是朝鲜运行着大量的僵尸网络。是的，但有防御，对吗？就像我说的，那是一场猫捉老鼠的竞赛，对吗？它是如何收集那些资源的？所以现在你提出的是这种非常，嗯，超级智能，不仅仅是在解决问题方面，而是在协调人类活动方面，在说服人们方面，在，我的意思是你在谈论密码学，你认为密码学是一个障碍，但人类一直在构建僵尸网络。所以这里的前提就是你找到最优秀的人类僵尸网络构建者，然后你做得比那个人更好，对吗？因为它将是超人类的。所以你不认为，我的意思是，如果你知道我的笔记本电脑和你的笔记本电脑，你不认为世界上最好的黑客工作一百万主观年就能接管我们两台笔记本电脑吗？不，这就是密码学的重点，对吗？它是不对称的。在密码学中，防御比进攻容易得多，对吗？所以，即使对于一个民族国家来说，有时要通过我的笔记本电脑也并非易事。你认为你的笔记本电脑今天无法匹敌超级智能人工智能的入侵吗？不，不是我的笔记本电脑。是的。一个称职的，一个称职的服务器。所以，你是否承认今天世界上有十亿台笔记本电脑，超级智能人工智能可以轻易入侵？是的。十亿我承认。是的。是的。他们可以，即使一个黑客也可以入侵十亿台笔记本电脑。所以我问的原因是，记住我，我只是想找到瓶颈，对吗？因为你似乎对一个带有强大人工智能的U盘的力量持怀疑态度。所以我在问瓶颈在哪里？我以为你指的是密码学和入侵事物的能力，但现在你承认它将获得十亿个处理器为其工作。那么瓶颈到底在哪里？为什么它们不能巩固权力？抱歉。抱歉。你，你，你在说什么？所以我们这里谈论的有两部分。一是，我们假设存在某种超级智能逻辑，我们还没有就它能做什么达成一致，但我们假设它可以制定计划并执行。你正在说有人设计了一个可以制定计划的东西，比如让我侵入某个地方的特定无人机群并进行攻击。现在假设这种计划它可以侵入。让我侵入无人机控制系统。我的观点是，对于像无人机群这样的东西，好的，它强大到足以挑战世界主要大国，即使人工智能非常智能，它也无法用正确的密码学来控制它。所以总结一下，你认为人类社会拥有所有这些资产，而所有这些资产都很难被超级智能接管。我有一个非常不同的观点。我的意思是，当我看到每一个计算设备时，我都会说，“好的，是的，这个计算设备有零日漏洞，而一个超级智能，如果它在U盘上实现，就会轻易进入，因为它会看到零日漏洞，因为当你拥有大规模超人类的编码能力时，它们并不难看到。”不，我，我，我看到在这样一个战争场景中，你所描绘的那些绝对重要的东西实际上防御得非常好，而我们所谈论的个体设备的较小漏洞，那个攻击向量，对吗？它能达到那些超级事物吗？所以当我们接近这个世界，这成为一个可行的事情时，显然这个防御网络也跟上了，它们不会脆弱，这是我的信念。你是在说，是的，它会得到十亿台笔记本电脑，但当我们有攻击无人机时，那些无人机将拥有如此好的计算机安全，以至于人工智能实际上无法进入那架无人机。安全防御肯定会随着进攻而发展，反之亦然。这肯定会发生。但这确实给你的主张带来了转变，因为我给了你这个假设场景，外星人把U盘扔到地球上，现在你却说，好的，是的，也许如果我们今天措手不及，U盘就会接管，人类就会灭亡。但如果我引入一个额外的假设，即人工智能是逐步开发的，那么我确信我们建立的增量防御将与时间线匹配。好的。所以即使在这个外星人今天投放U盘的第一个场景中，即使在今天，我也不相信有足够的漏洞可以做像人类灭绝这样剧烈的事情。好的，我不这么认为。也许一些账户会被盗。也许一些，你知道，非常令人不适的附带恐怖袭击可以发生，你知道，个人受到攻击，也许那些事情会发生，但一场人类灭绝规模的攻击，我不认为仅仅靠一段智能而没有任何控制就能克服。我所想象的权力杠杆是，我实际上认为，首先，它会得到很多人类的支持，因为我们总是在社交媒体上，甚至在互联网出现之前，在世界上，我们总能看到各种运动，对吗？我们有数亿甚至数百万人类，他们加入某个特定的宗教，对吗？基督教和伊斯兰教，他们在社交媒体上拥有数十亿的追随者运动，你知道，唐纳德·特朗普，安德鲁·泰特，对吗？所有，嗯，布莱恩·约翰逊是一种运动，对吗？我的意思是，你总是有这些运动不断发生，人类喜欢加入运动，他们喜欢意识形态，他们喜欢左右互相对骂，所以对我来说，对于一个智商一百万的东西来说，这似乎不是一个困难的心理练习，它会说，好吧，这是我的运动，我有很多对我的运动充满热情的人，而且我有很多钱，对吗？因为它有无数种赚钱的方式。这些都是很多权力杠杆，对吗？你让很多人类成为你的运动的一部分，而且你可以微观管理他们。你可以给他们所有确切的命令。我看到这种情况的发生是，人工智能可以操纵事物，在你意识到之前，在几个月甚至更短的时间内，它就拥有了民族国家的力量，因为它拥有所有这些人类作为其运动的一部分。这不是一个合理的起点吗？好的，这是一个绝佳的方向。现在，这非常贴近我的心。所以现在你谈论的是人工智能协调人类的力量。基本上，这实际上是我真正担心的一个攻击向量。嗯，这是第一个攻击向量，它正在发生，对吗？这正在加速正在发生的直接协调，对吗？整个社交媒体政治，嗯，我不知道你多大年纪，我也没有那么老，但可以说我不是在社交媒体政治中出生的，这对我来说是一个震惊，它是力量，而且在某种程度上它是解放的，因为直接访问，为什么你会有这种许可系统？我去了，你知道，顶尖大学。所以我是一个许可系统的产物。但我在某个时候发展了我的信仰体系，让我们想象一个不像我所处的世界。我的世界是，你进入一所非常许可制的大学，一个非常许可的做一切最好的事情，考试名列前茅，然后你才有信誉去做一些事情。这是一个我成长和宣扬的许可世界。我认为社交媒体之后事情发生了变化。我们处于一个无许可的新世界。每个人都可以直接影响每个人。他们不需要任何，嗯，来自以前现有系统的信誉。他们可以开始自己的事情。在这个世界上有很多好处。这对大量人口来说非常解放。那些在大学入学机会前、在他们的高级职位机会前或，你知道，其他机会前有无形之门的人。但也有这样的好处。那个世界的攻击向量是现在人们可以拥有这种任意的协调能力，对吗？有些人，比如小说，声称这是无限杠杆。所以记住我的问题是，是的，如果U盘今天被投放到这里，对吗？它能利用运动接管吗？是的，所以我的主张是，那个适应向量是真实的，但它仍然有限。那个聚集了一些人的运动，比如说你聚集了一些人，但总会有一个平等且更强大的反制来对抗那个运动，一旦它开始威胁到这件事，会从中产生什么攻击，我无法理解这种运动会发生，而且会发生，毫无疑问会有由人工智能协调的政治和宗教，我们会在未来5年内看到。特朗普就是一个最近的运动的例子，它比我们许多人预期的要强大得多，对吗？因为特朗普能够卷土重来并赢得另一次选举，在这一点上，每个人都同意，好的，特朗普有一个真正强大的运动，对吗？很多人都支持特朗普，他们是他的运动的一部分，他们愿意接受来自特朗普的许多思想指导。而且我会认为，理论上可能有一个比特朗普更有凝聚力十倍的运动，对吗？撇开政治、政治信仰不谈，因为我想我也可以提炼它，但我不想。我认为那不合适。你认为特朗普作为总统的结果如何？它是民主的还是不民主的？我的意思是，我认为有一场选举，我认为他最近赢得了美国大选。所以是的。所以我相信它是民主的。我相信它是自然的进步，你某种程度上暗示这已经发生，而且更糟糕的事情可能发生。不，不，不，不。我之所以提到特朗普，只是想说当人工智能有能力制造一场运动时。特朗普已经是一个其运动赢得了美国很大一部分人支持的人。所以想象一个人工智能以特朗普使用大脑的方式使用它的大脑，对吗？但人工智能在做特朗普大脑所做的事情方面甚至更好，对吗？因为人类大脑，它只是一台机器，对吗？所以人工智能正在做那台机器的工作，但做得更好。而那台机器的工作就是让很多人类按照它的计划行事。不，但我想说的是，人类无法被说服到这种规模，加入一个会摧毁人类的运动。这是我要提出的主要论点。所以特朗普运动之所以发生，是因为它的核心意图是对美国和大多数美国信仰有益的。这就是他成为总统的原因。如果你看看所有崩溃的社会，对吗？或者像德国堕落为纳粹主义，所有这些不同的运动。这并不是因为所有在开始时加入运动的人都认为他们，你知道，认识到运动的走向，对吗？所以它是一步一步来的。每个人都说，“哦，我喜欢特朗普的活力。我喜欢他保持真实。”而且，你知道，有些人认为特朗普仍然，我不是说特朗普一定会堕入地狱。但如果你看看那些确实堕落的运动，对吗？就像菲德尔·卡斯特罗，你知道，毁了古巴，对吗？或者像阿根廷被毁了。所有这些被毁的国家，并不是人们没有预见到，因为它只是一步一步来的。是的。这就是进步，对吗？当你做一些颠覆性的事情时，有时你会成功，有时你完全，那通常是一个剧烈的举动。而进步就是这样定义的，对吗？它与过去不同。所以你进入未知领域。当你进入未知领域时，那就是一个信仰问题。你认为尝试未知领域会带你走向进步和人类更好的发展，还是你认为那是人类的崩溃？所以总结一下我们刚才说的。所以我说，想象一个来自U盘的人工智能。它是超级智能的。它将能够轻易地操纵数百万或数十亿人类成为其运动的一部分，他们听从它，它操控很多事情，并利用人类作为傀儡完成很多事情。嗯，而且我使用了像特朗普这样的运动的例子，我说，看，你可以有有魅力的_人类_。推断，对吗？推断出一个比最有魅力的人类更有魅力的头脑。我相信在人类魅力之上还有发展空间。那只是我论点的一部分，说人工智能将粗暴地处理地球的状况。我有很多这样的论点。我认为它将粗暴地处理每台计算机内部的比特状态，对吗？我认为人工智能将极其强大。不。不。所以这就是我想说的，十亿这个数字可能是正确的，但不会更多，而且这还不够。它不足以给人类带来这种剧烈的结局。这场运动的制衡将是十亿协调一致的士兵，对吗？这是一个紧密协调的。不，你不会有十亿协调一致的士兵。我，我，我不认为软协调是这样运作的。即使是最坚硬的宗教和最军事化的宗教也无法将整个追随者阶层转化为士兵。它仍然是软性的，仍然是美好的生活。想象一下穆罕默德本人，对吗？或者耶稣，或者摩西，或者任何一个每天在你的私信中亲自与你交流的人，对吗？想象一下最强大的先知在每个人的耳边进行微观交流，对吗？我的意思是，你必须推断，我正在推断，我说那些数字与将出现的制衡相比仍然非常小。人类的基本观念是生存，对吗？而且因为我们创造性的方式和我们进步的方式，会出现攻击向量，但那些是小的，尤其是在协调攻击向量方面，这就是我想说的，这是一个攻击向量，我承认它是我们过去20到25年看到的最危险的攻击向量之一。这是互联网和社交媒体的产物，你知道，一个新世界，你推断出了魅力领袖的力量，正如你所说，这是一个新世界，但我认为它的力量在于它的另一面。它总是会有反制，尤其是在那种规模上协调人类摧毁人类。我不相信那个论点。我不认为这可能。好的。
所以，进入总结阶段，嗯，我们采取了很多步骤，我可以尝试总结一下，我会尝试描述你的立场。你听说过意识形态图灵测试吗？不，不，但我听说过图灵测试。对。所以，所以我的工作，我认为我的工作是提出Himonu的立场，希望我能像你自己描述得一样好，然后如果你认为我没有做到，你可以纠正我。是的，我们来吧，伙计。这基本上就是练习。好的。所以，嗯，你的立场显然是，你支持开源人工智能，当你思考失控的超级智能人工智能的危险时，当你思考在人类之上还有多少发展空间时。你认为可能有很多发展空间，但不会多到人工智能有一天突然接管每个人的大脑，接管每台计算机，然后突然毫无预警地变得极其强大。你认为那种场景是牵强附会的，更可能只是一个渐进式的场景，很像罗宾·汉森所说的，它会以合理的速度发展，会有进攻，会有防御，它将是我们所能期望的最佳平衡，所以因此，只需保持所有人工智能开源。怎么样？相当不错，相当不错。我的意思是，我还可以补充一些其他事实性的东西，但这大致是我们讨论的。很好，嗯，好的，是的，你还有什么想补充到总结中，或者，嗯，我不知道，你从我的观点中汲取了什么作为你的结束语吗？是的，我认为最好提一下这是风险，但它的，就像你谈论的是可能存在的风险，你认为在你看来，风险是世界末日，比如人类在2100年灭绝。我认为人工智能将变得比我们更强大，然后它将把宇宙引向它想去的地方，它将把我们拖着走，我们将不再拥有任何控制杠杆。而这一切都将在，你知道，潜在地在几年内发生，比如几年，比如5年。我的意思是，是的，它可能会，如果它在未来两年内发生，我不会那么震惊。我会有点震惊。嗯，我认为这更有可能。我认为50年将有足够的时间让这一切发生。如果它在未来50年内不发生，那会很奇怪。而且，而且，而且它的积极部分是什么？比如为什么人们要冒这个险，这也是我想简短讨论一下或者总结一下的，因为人类很笨。就这么简单，对吗？人类一直在做蠢事。所以你，不，我的意思是，我们建造人工智能是因为人类很笨吗？哦。哦，我的意思是，我们建造人工智能是因为它是技术。它很有趣，对吗？而且我们做的每一个渐进的步骤都是有用的，对吗？就像OpenAI的下一个版本，我喜欢亲身体验它。我心想，“哦，更好的图像。”但我也可以看到，你知道，这就像伊卡洛斯飞得离太阳太近，对吗？这就像我喜欢飞得更高，但我也认为我们即将坠毁并下地狱。好的。所以我认为它比那更剧烈。我认为积极的变化比那剧烈得多。我认为它是可以促进人类进步的三件大事之一。例如，人工智能只是给了我们更多时间的力量。它是人类作为一个种群拥有的最宝贵的资源之一。对吗？如果一个种群不成为星际种群，那么我们需要在这个星球上更多的时间。我们每个人，而且我认为这就是人工智能非常迷人的部分，它正在承担各种琐碎的工作，这些工作占据了我们的生活，减少这些工作是人工智能非常重要的一部分，而且我认为那一部分也让我兴奋，它不会以一种“哦，你有时间了，现在你所有的心理健康问题都解决了，每个人都很快乐”的方式解放我们，因为我认为幸福不是大多数人类追求的美德，但它会以农业养育我们成为我们现在这样子的方式解放我们。而且我认为这就是让我兴奋的可能性，如果我能以我的想法的速度前进，那将是如此美好，这就是我真正期待的可能性，而且我认为很多人也是，我相信你也是。是的，我也是，我甚至认为它可能会发生。我认为它可能不会，但我认为它可能会，而且我像你一样充满希望。这是一个很好的结束语。嗯，是的。所以，Himanchu，只想再次重复，你非常勇敢地来到这个舞台，表达你的观点，并回答我提出的任何问题。这些显然是未经编辑的问题。这些不是简单的问题，对于一家风险投资资助的、高知名度的初创公司来说，作为其公关之旅的一部分，来进行一场末日辩论，这是一个非常非传统的选择。所以，是的。所以，非常尊敬你，伙计。感谢你做这一切，祝你和Sentient好运。谢谢，很好。非常尊敬Himmanu Tiyagi。尽管他和我在许多问题上意见不合，但他积极参与辩论，秉持诚信，遵循讨论的标准，我认为我们进行了一次有趣的对话和一集好节目。如果你一直喜欢这个节目，但还没有去youtube.com/doomdee debates点击订阅按钮，也没有去doomdebates.com通过我的Substack邮件订阅，你为什么欲擒故纵？生命短暂。如果你喜欢某人，你就应该订阅他们。嘿，顺便说一句，你知道5月30日至6月1日有什么活动吗？Less Online会议。你知道，就像less wrong.com，但在加利福尼亚州伯克利的一个叫做Ligh Haven的地方举行的现实生活会议，每个人都说那是一个令人惊叹的会议空间。我去过几次。我可以确认那是一个令人惊叹的会议空间。我想如果你们喜欢这个节目，你们都应该去看看。如果你喜欢Les Wrong，如果你喜欢我和Elazarowski，那里有很多关于这类事情的讨论，以及关于理性和一般的书呆子气。如果你还记得我最近节目中的一些嘉宾，比如来自Less Wrong团队的吉姆·巴布科克，或者多伦多大学的大卫·杜维诺教授，那些人都会来Less Online。所以，如果你来，那就有两个保证很酷的人你可以见到，而且我也会在那里。我现在在网站上，less。他们重点介绍的嘉宾名单简直强大得离谱。看看这个。斯科特·阿伦森、斯科特·萨姆纳、斯科特·亚历山大、阿里·尤德科夫斯基、EMTT·希尔、阿雅、帕特里克·麦肯齐、特维·莫肖维茨、凯尔西·派珀、大卫·弗里德曼、大卫·查普曼、亚历山大·威尔士、大卫·A·德林普尔、大卫·伊多德、多雷什·帕特尔、丹尼尔·库加托（终于学会正确发音他的名字了）、安迪·马图沙克、迈克尔·尼尔森、劳拉·德明、乔·卡尔·史密斯。我的意思是，这是名人录。这就像奥斯卡。而且，我也会在那里。你知道Less Online会议上会成为城中热议的话题是什么吗？每个人都无法停止谈论的事情，那就是Merie的新书。你知道，如果每个人都建造它，每个人都会死。会有很多关于如何传播Meriey的信息的对话。我在上一集谈到的关键信息，字面上，如果任何人建造它，每个人都会死。我们如何将对话转移到不再是“哦，未来3年哪种安全技术最可能奏效”这种不切实际的时间线。而是“嘿，我们如何醒悟到我们正在建造的东西将很快杀死所有人，并停止自欺欺人地认为可以在与能力相同的时间线上进行安全工作？”我们如何最终采取一些理智的行动，像一个理智的物种一样行动，不想只是梦游般地走向旋转的剃刀刀片？我期待围绕这个主题的许多精彩活动和对话。请记住，你的帮助在这其中实际上非常关键。如果你还没有这样做，请访问if anyonebuildsit.com。那是这本书的网站。请预订它。如果你现在预订它，那是最大限度地发挥你通过预订所能产生的影响的方式。那是最大限度地影响数据的方式，在图书出版商必须决定印刷量和营销投入之前。他们的目标是至少10,000份预订，理想情况下20,000份。我不确定他们进展如何。我想他们会给我们一个更新，但我在亚马逊上看到，在许多不同的类别中，他们都登上了榜首。所以，我认为他们做得不错，但每一本书都重要。我的意思是，我们需要把它炒热。这需要像一个现象。这有点像Merie最后一次最好的努力，试图扭转公共话语这艘航空母舰。我显然正在尽我的一份力，在末日辩论中扮演一个小拖船的角色，但只有当大规模的观众理解信息并意识到是时候尽自己的一份力了，这意味着你。所以再次，那个网站是if anyonebuildsit.com，他们现在有一本你可以预订的有声书。你可以使用你的Audible积分。你可以订购精装本。我想他们说不要等平装本，这很合理，但你也可以购买Kindle版。一定要去看看，也许买两三本送给你的朋友和家人。今天最后一件事，我想给你播放一段来自《致命智能指南》的剪辑，这是我的朋友迈克尔制作的，我最喜欢的AI末日概念动画解释器。今天的概念是关于机械可解释性。基本上，这个神话是我们可以深入人工智能内部，理解它在做什么，并通过我们的机械理解来控制它。这根本不现实。迈克尔将指出，即使理解今天的人工智能如何学会加两个数字，也是极其复杂的。那是一篇巨大的突破性研究论文，它只是触及了这些人工智能正在做的事情的表面。我自己的类比是，如果你看看人类大脑，神经科学家有充足的时间开始就哪些神经元块在做什么提出理论，但它仍然相当令人困惑，而且可能永远不会有一个人类能理解的答案。我们可能得到的最佳答案就是，看，有很多参数。你只需用一堆相互作用的参数进行前向传播，然后你就会得到一个输出，而这个输出已经通过这个训练过程被调整，以进行这种深度模式匹配，仅此而已。如果你想知道模式是如何运作的，你需要一个更大的大脑。我无法给你一个人类水平的解释，因为你的大脑很小，而且你不会有很多短期记忆参数，甚至无法让你理解我的答案。就像我无法向你解释人类语言是如何运作的。参数太多了。答案是你只需加载大量参数。所以你拿走了几千年来整个语言学科学，而它的最终状态是人类在成长过程中通过学习语法就能编码的东西。而且人工智能已经可以通过深度学习来学习。就像吉姆·巴布科克几周前在节目中指出的那样，如果你想写下人类语言的所有规则，祝你好运。也许再过几百年语言学研究最终会达到。它有点像逐渐攻克它。但真正的答案是，你只需让人类大脑利用人类大脑版本的深度学习将其吸纳。或者让现代人工智能将其吸纳。就像现代人工智能知道我们的语言学家不知道的语言学微妙之处，因为它们将其吸纳了。它们仅仅因为规模庞大就理解了它。所以这种状况与他们希望你相信的机械可解释性形成对比。永远不会出现“哦，是的，我们只是理解了人工智能内部的齿轮如何运转，所以我们看了一下，可以告诉你它是安全的”这样的结果。黑箱方法可能最终是我们唯一能用的方法，这极其可怕、危险且极不可能奏效。让我交给迈克尔，我们会看看他如何带领我们了解关于人工智能将缺乏可解释性的同一点。深度学习和机器学习总体上使事情变得相当困难，因为模型的构建方式。它们的创造感觉与自然选择的进化非常相似。在基本层面，机器学习通过从行为类别中选择出本质上随机生成的心智来工作。这是一个在训练过程中发生无数次的过程。模型接收输入，根据其当前配置生成输出，并收到赞成或反对的反馈。我们并不是直接构建它。而人工智能心智的成长方式几乎像一个神秘的过程。我们施加的所有影响都基于对输出行为的观察。所有的行动都发生在外部。它的内部处理、它的内心世界、它内部生长的实际算法。它完全是一个黑箱，它们是奇异而反人类的。最近，科学家训练了现代人工智能的一个微小构建块来做模加法，然后花了数周时间逆向工程它，试图弄清楚它到底在做什么。这是历史上少数几次有人理解变压器模型生成的算法如何工作。而这个算法已经发展到基本上可以加数字。理解现代人工智能模型是一个重大的未解决的科学问题，相应的研究领域被命名为机械可解释性。所有这一切的含义是，我们唯一能用的就是对人工智能在训练期间行为的观察，这通常具有误导性，正如我们稍后将演示的，会导致错误的结论，而且未来在通用人工智能的情况下很可能变得具有欺骗性。砰。致命智能指南的另一个精彩片段。前往节目说明。那里有一个链接会带你到完整视频。它值得你花时间。像你刚才看到的，有大量真知灼见。感谢观看。感谢参与这段旅程。我期待下次在末日辩论中见到你。