Transcription
诺亚·史密斯是一位极具影响力的作家和经济学家，以其博客“诺亚观点”而闻名，该博客是全球最受欢迎的 Substack 之一。 >> 是的，我对人类拥有工作感到乐观。 >> 为什么你会有这种新颖的乐观情绪，认为人类仍然会有充足的高薪工作，用你的话来说？ >> 请记住，先生，这一切得以奏效的前提是存在人工智能特定的资源限制。 >> 我的意思是，当你说到资源限制时，[音乐] 为什么你会认为芯片的供应会突然停止，而它一直在以指数级速度稳定增长？存在某种瓶颈。也许是计算能力，也许是其他什么。嗯，数据，我不知道。到 2050 年我完全灭绝的概率如此之低，以至于丹尼尔·卡尼曼会因为我给出一个数字而对我大喊大叫。是 0.1%。 >> 你确实同意，很快一个数据中心在看病方面可能比医生更好。也许在指挥军队方面它会比将军更好。也许在像希特勒或大卫·凯雷斯那样做某事方面它会更好。 >> 我不同意。我不同意，并且我准备好捍卫我的不同意见。 >> 好的，公平。过度关注负面情景，这没关系。 >> 嗯，但你正在给出一个我个人认为比我预期的要好得多的情景，一个非常高的概率。我正在努力缩小差距。我的意思是，也许你能帮我更乐观一些。 >> 我没有看到一种走向末日的紧迫趋势。我们需要更多地思考 [音乐] 美好的未来，而不是仅仅做出反应，被事物吓倒，并希望一切都保持不变，因为否则你最终会说，“我警告过你了”，然后什么都不会发生。想象一下美好的情景，并努力实现美好的情景。你知道，试着跑，试着躲藏，冲破到另一边。[音乐] 欢迎来到末日辩论。诺亚·史密斯是一位极具影响力的作家和经济学家，以其博客“诺亚观点”而闻名，该博客是全球最受欢迎的 Substack 之一，拥有惊人的 418,000 名订阅者。他擅长将复杂的经济思想转化为清晰、具体的论点，这些论点能够真正联系到现实世界的政策和文化。他的作品经常挑战传统观念，有时来自左翼，有时来自右翼，这使他成为跨意识形态界线的必读作家。你可能已经读过他关于产业政策、全球化、能源、中国或美国经济未来的论述。最近，他也一直在撰写关于人工智能的文章，甚至开始参与人工智能末日辩论，这就是我邀请他来参加这个节目的原因。所以，今天我很高兴能与诺亚谈论超级智能人工智能导致人类即将灭绝的风险，或者在我们幸运地没有灭绝的情况下，我们都失业的风险。诺亚·史密斯，欢迎来到末日辩论。 >> 很高兴来到这里。所以，是的，我长期以来一直是你的博客的读者，我个人对你广泛的分析印象深刻，而且显而易见，你的多产程度不言而喻。所以你绝对是独一无二的，我希望你继续做你正在做的事情。 >> 谢谢。我敢打赌，有了人工智能，我猜它将不再是独一无二的，因为人们将能够按下按钮并生成无限的内容。 >> 你说得太对了，你提到了这一点，我们肯定会深入探讨。但让我们从宏观角度来看，因为我想在这场谈话中重点关注的主要话题基本上是“末日”，你知道，人类灭绝，你已经写过 [清嗓子] 一点点，>> 另一个主要话题我们稍后会谈到，是失业。所以，两种形式的末日。所以，从最宏观的角度来看，我必须问你最重要的一个问题。你准备好了吗？ >> 是的。[音乐] >> 末日。 >> 诺亚·史密斯，你的末日是什么？我的末日。嗯，你的意思是人工智能杀死我们的概率，还是整个技术杀死我们的概率？ >> 你可以随意提问，但在你的回答中，一定要谈谈人工智能杀死所有人。 >> 整个技术杀死我们。我会给它 96% 的末日概率。 >> 哇。 >> 是的，我们，我们，我们最终会消失。 >> 最终。好的。那么时间线是怎样的？ >> 我的意思是，我不认为这是在未来五年内发生的末日。我会说 0.01%。 >> 好的。好的。这是一个相当大的范围。所以，让我来缩小一下。关于到 2050 年所有人类生命都被消灭的概率是多少？ >> 到 2050 年所有人类生命都被消灭。我给你一个，哦，我不知道，1%。 >> 明白了。明白了。所以，当你提到 96% 的时候，你是在说像千万亿年，还是这个数字从何而来？我谈论的是几百年，因为我认为会发生两件事。第一，你知道，生育率会很低，并且会一直保持低位，直到唯一能够逃脱这个陷阱的人是那些对人类物种进行重大改造、重新构想人类物种，并将我们变成其他东西的人。我们对 100 年前的人来说已经变得难以理解的奇怪了。而且我认为这种奇怪，无论你是否认为技术在加速，我认为这种奇怪正在加速。技术对人类本性中我们长期以来认为恒定并且我们倾向于相信是恒定的事物的影响正在加速。因此，我认为改变“人”的定义是迫在眉睫的，并且会越来越多地发生，以至于我们所知的人类将简单地蒸发。我认为这是极有可能的。嗯，当你第一次说你有 96% 的末日概率时，听起来有点悲观，但你实际上是在用一个你不一定认为不好的词来表达，因为你实际上是在谈论重新发明人类，而且很可能是好的。 >> 这取决于你有多怀旧。你知道，我认为一个好的分析。我在犹太家庭长大，我也有犹太亲戚，人们会说，“哦，我的天哪，你知道，所有的犹太人都和外族通婚。没有人抚养犹太孩子，也没有人遵守教规。”基本上，除了极端正统派。所以，我们所知的犹太教，在那些极端正统派社区之外，正在逐渐消失。我说，好吧，那是真的。那会消失，但你知道吗？也许我们会得到一些新的东西。如果你真的珍视那些像旧文化，那些旧的，你知道，与农业时代、铁器时代有连续性的东西。如果你珍视那些旧的东西，那么对这种情况感到非常沮丧是有道理的，因为技术正在以如此快的速度改变文化。所以，我认为旧的东西会消失，新的东西会到来，我们的后代，无论他们是谁，无论他们是什么，无论是人工智能、赛博格、上传者还是其他什么，都不会像我们。他们不会像我们一样感受。我们和他们没什么好聊的。他们会让我们觉得奇怪。所以，这在某种程度上是令人失望的。你知道，就像，嗯，你读过《童年终结》吗？ >> 没有。 >> 好的。那是阿瑟·C·克拉克的作品。剧透一下，所有的孩子都变成了心灵感应者。他们联网，然后就离开了，而且可以说，社交媒体已经发生了这种情况，孩子们变成了心灵感应者，变得让我们难以理解。年轻一代就像进化成了一个集体意识，然后飞向太空，然后抛弃了所有人，然后所有人都死了。所以，你可以说这是坏的，因为传统人类消失了，你只剩下这些奇怪的心灵感应的孩子，你甚至无法为他们写出令人信服的角色。或者，你也可以说，酷啊，你知道，人类是一群像，你知道，暴力、粗鲁、自私的肉块，被困在自己的大脑里，现在我们拥有了这样一个网络化的思想，而且，也许人们会变得更好，也许新的事物会比我们更好，而且，你知道，这取决于你对旧事物的珍视程度以及你追求的连续性。 >> 好的。所以，你称之为末日的这个特定事物。当然有一些非常保守的人同意那是末日。我感觉到你个人实际上认为那是一种净收益。所以你个人可能甚至不偏爱“末日”这个词的含义。 >> 我对此感到忧郁。你知道，我，我想要《星际迷航》。我想要人类以某种形式存在，但比现在好一点，在星际间穿梭，你知道，探索新奇的世界。我想要那个。所以，这就像，你是一个超人类主义者，但你担心超人类主义的口味可能不是你理想的口味。 >> 是的。是的。 >> 你认为有 96% 的可能性，你自己会不满意这种口味？ >> 是的。 >> 呃。 >> 原因是我看到了社交媒体对人类造成的后果。我说，这太奇怪了。我，你知道，我可以看一些关于它的事情，然后说，我喜欢那个。那很酷。但是，你知道，总的来说，我，我，你知道，我只是觉得，“这些 [哔] 在说什么？”我可以在这个播客上说脏话吗？ >> 是的，你可以说脏话。所以，整个银河系将是一个巨大的 67。 >> 是的。是的。 >> 你和我都会对此感到忧郁。 >> 是的，那将是会发生的事情。 >> 是的。我的意思是，这大致是你的主流情景。我的意思是，这很有趣，因为你在过去几年里在你的博客上表现出了一种非常乐观的氛围，对吧？你自称乐观主义者。你总是看到事情光明的一面。但如果我理解正确的话，你刚才告诉我，从你个人的角度来看，几乎 96% 可能发生的事情，其中一些是好的，但你给出的 96% 的概率大部分是你不太满意的情景，>> 对吗？但也有 100% 的情景是我不喜欢的，那就是你和我都会死。就像，这对你和我来说是 100% 的末日。 >> 100%。 >> 是的，但有没有一种中间选项，我们只是解决了死亡，而没有做那些奇怪的，你知道，孩子们太奇怪了？嗯，不。因为死亡的问题是，我逐渐意识到死亡是一个持续的过程，你知道，忒修斯之船的论证。基本上，我不是那个 5 岁的我。自从我 5 岁以来，我已经发生了难以置信的变化。随着时间的推移，你会改变，你知道，所有生命都等于经验。经验总是会改变你。而这种改变让你随着时间的推移有效地成为一个不同的人，正如那句话所说，一块一块地取代你。所以，>> 是的，但如果你看看查理·芒格，是不是几个月前，尤其是在那一天，变化更大？ >> 那一天确实变化更大。但我想说，从查理·芒格现在不存在到他最近活着的时候，变化可能和查理·芒格 5 岁到查理·芒格变老时的变化差不多。所以，这是一个很大的变化，但它不是唯一，不是唯一有意义的变化。 >> 是的。让我对忒修斯之船的说法提出一点反驳。比如，好吧，童年时期，你知道，你的大脑还在快速发育，但就像查理·芒格 20 岁和 99 岁相比，如果你只是和 99 岁的查理·芒格和 20 岁的查理·芒格交谈，我认为你会看到很多共同点。所以，我认为说“哦，他已经改变了很多了，死亡，他们就像，你知道，被另一个实体取代了。有什么区别？”可能有点太轻率了。我觉得这就像是同一个查理·芒格。 >> 嗯，我认为这主要是我们想要给这个人命名为查理·芒格的愿望所造成的幻觉。而且，你知道，它看起来有点相似。就像我们想认为人类是一致的。所以我们给他们建模。这是，这是我们对查理·芒格的建模。你知道，我们看到的不是真正的查理·芒格。人们甚至不是每天都保持一致。肯定不是几十年。而且我认为你和我看着人，我看你，你看我，我们正在为那个人建模。而我们为那个人建模的模型比实际的人要一致得多。而且我认为是法国的蒙塔纳海军上将最著名地指出了这一点。他说，没有你。你知道，有一堆不同的东西，我们把它建模为你，基本上。但他没有。是的。 >> 嗯，如果你已经承认模型可以从一年到下一年非常相似，而且人们也有自己的模型，这是否意味着人们自己的模型在一生中是一致的，这是否进一步意味着他们实际的自我在一生中是一致的？也许不一定，因为你知道你的模型可以改变很多，但你可以追溯它，告诉自己这始终是你自己的模型。所以，就像如果我不同，我的自我概念模型也不同。我可以这样说。 >> 20 年前，30 年前。 >> 好的。好的。嗯，我不想在这个身份的兔子洞里走得太远。虽然我知道你很喜欢兔子。向兔子致敬。U 所以，我们将暂停一下。我的意思是，显然我们对一个人在不同十年之间的内部状态或人格的相似性度量有不同的看法。好的。所以，这只是一个偶然的分歧，因为我想把谈话的重点放在，我想把你说成是让你感到忧郁的 96% 概率的大部分，当我们谈论末日时。而为了这次谈话的目的，我实际上想将其定义为仍然不是末日，对吧？因为那仍然是一种超人类主义的天堂。那有点像罗宾·汉森的天堂。就像罗宾·汉森完全没问题。比如，>> 孩子们喜欢摇滚乐，孩子们喜欢 LSD，孩子们很奇怪，但我们仍然努力给我们的孩子一个好生活。就像我想到我的祖父母那一代，与二战那一代，与我父母那一代相比，他们打过二战，在外国的土地上流血牺牲，做所有这些事情，在经济大萧条时期鞋子里塞纸板，做所有这些事情，来给他们的孩子更好的生活。然后孩子们来了，他们开始吸毒。他们是第一代富裕的。他们以一种他们的祖先从未有过的个人主义方式。任何变得富裕并成为消费社会的社会都会出现同样的情况。你在日本看到了同样的模式。所以，但你看到了婴儿潮一代，婴儿潮一代对老一代来说很奇怪。但他们必须为此感到高兴，他们如此努力地奋斗。他们必须说，我们为我们的孩子创造了一个更好的世界，无论我们的孩子想成为什么。我认为这就是我们必须做的。我们必须为我们的孩子创造一个更好的世界，无论那些孩子将是什么。而我最担心的末日类型是我们无法进化，一切都分崩离析。一切都分崩离析。就像，你知道，生物武器杀死我们所有人，或者像我，我，我猜我确实担心一些疯狂的人工智能杀死我们。它不是我列表的顶部，你知道，对于AGI直接变成天网，但它肯定是一个糟糕的，我不希望那样发生，因为那样你就破坏了我们之间的连续性。我们没有孩子。这就像，这就像无子女。我们无法拥有我们无法理解的那些奇怪的孩子。 >> 好的。所以，让我，让我参考一下。这就像一个更糟糕的你。我们都同意那是一个更糟糕的版本。让我们称之为“无子女末日”，好吗？ >> 人类没有继承者。 >> 来构建其余的谈话。是的。因为我认为我将试图论证，“无子女末日”的问题，即“无子女末日”的概率，令人不安地高。所以，让我先问你这个问题。那么，到 2050 年，你的“无子女末日”的概率是多少？ >> 嗯，到 2050 年。 >> 当然。到 2050 年。是的。嗯，所以，所以这里我们也谈到了“末日”的多少问题。所以，如果人类文明分崩离析，我们回到青铜时代或新石器时代之类的。我会说那是末日，即使还有，你知道，>> 那是一个边缘情况。是的，因为我们有点反弹。但那是一个非常大的挫折。所以，>> 我甚至不知道那是不是边缘情况。我会说那是我的 B，那对我来说比所有人类灭绝的可能性更大。那比新石器时代更可能。 >> 我明白你的意思，因为那有点像我们有核冬天，然后我们爬出来，我们又把它建起来。这对你来说是一个相当可能发生的末日。是的。 >> 是的。是的。是的。没错。就像核武器，或者生物武器，你知道，人工智能创造的，你知道，或者由人工智能赋能的坏人创造了这种生物武器，杀死了几乎所有人，但少数人免疫，因为，你知道，那总是会发生。你知道，你不可能制造出一种好的生物瘟疫，能够杀死每一个 [哔] 人类，瘟疫从来都不是这样运作的。是的，我明白一个聪明的人工智能可以比以前更好地运作瘟疫，也许吧。但你可能会得到几个幸存的人类。他们会重新繁衍，等等，他们会像穴居人一样，那对我来说仍然是末日。 >> 我的意思是，你正在做出很好的区分，你确实在分解问题本身，这很公平，这是一个非常高层次的问题，末日。所以，让我把它纳入这个。你认为人类人口减半的概率是多少，无论他们之后是否恢复。很有可能他们会恢复。但让我们称之为灾难吧。所以，到 2050 年，人口减半的灾难概率。是的。 >> 好的。所以，人口因全面灾难而减半。我给它 10% 的机会。 >> 我认为这是合理的。我的意思是，仅仅核战争，我觉得，每年都有 1% 的可能性。 >> 核战争。是的。嗯，我比核武器更担心生物武器。 >> 对。是的。没错。好的。所以，非常合理。 >> 是的。是的。核战争。我们实际上没有足够的核武器来真正威胁人类文明。我们必须增加一个数量级。但我们可以做到，中国也许。>> 让我们谈谈完全灭绝，我们都同意核武器可能无法让你达到 100%。那么你认为完全灭绝是什么？ >> 所以，到 2050 年我完全灭绝的概率如此之低，以至于丹尼尔·卡尼曼会因为我给出一个数字而对我大喊大叫。是 0.1%。1%，人们无法理解概率的差异。 >> 哇。好的。嗯，我的意思是，一旦你达到 0.01%，哦，1%，即使是小行星撞击，你知道，也在那个水平。但你没说。 >> 人类无法理解这两者之间的区别。 >> 所以，是的，我的意思是，我认为这场谈话中分歧的关键在于，我认为我们都对非人工智能类型的灾难性风险有共识。你似乎对这些风险有着非常精确的世界观。>> 所以，我们之间唯一的区别是，我认为我们有很多内容可以谈论，那就是人工智能是否会在未来几十年内成为一种生存威胁。 >> 是的，没错。而且只是为了澄清，你，我觉得你不会签署那个“人工智能安全中心”的声明，关于人工智能风险。我只是为了观众说，它说，将人工智能带来的灭绝风险降到最低，应该与大流行病和核战争等其他社会规模的风险一样，成为全球优先事项。 >> 我认为不，我，我认为那是真的。我认为那是正确的，而且它们不是分开的。我认为这就像问人工智能是否是一种风险，就像全球大流行病一样，就像问枪支是否杀人，还是人杀人，因为人工智能杀人的方式不是人工智能做某种电脑魔法让我们消失。而是人工智能会利用生物武器或核武器来杀死我们。 >> 所以，在人工智能作为一个独立的代理，自行开发生物武器的情况下，对吧？也许雇佣一些并不真正了解的人。>> 人类仆从。>> 这不会增加你人工智能末日概率超过 0.1% 的可能性吗？ >> 嗯，0.1% 的，不，我只是觉得要让人类完全灭绝真的很难。 >> 好的。好的。好的。但你只是说，看，这是一场灾难。你会签署声明，因为你认为人工智能可以促进灾难。>> 是的。记住我说的是 10% 的概率，人类人口减半，这是一场等于有史以来最严重灾难的灾难。明白了。明白了。好的。所以，我想我们都同意，存在某种情景，某个恐怖分子会有一个人工智能助手，然后人口减半，使用生物武器。好吧，公平。而且，>> 非常可怕。>> 我认为这种情况，加上核武器，我有大约 10% 的机会。 >> 好的。公平。而且你是否同意，这甚至可能在某种程度上是无意的，你只是给了人工智能一个很长的缰绳，让它成为一个代理，你并没有直接告诉它摧毁世界，但你没有给它足够的限制，而且它在这种意义上是不对齐的，然后它就减半了人口。我的意思是，我认为这是风险的一部分，但人类中已经有太多坏人，我发现很难想象人工智能开始 [哔] 和人类开始 [哔] 之间的区别。我觉得这两者>> 当然。>> 对我来说太相似了，你可以，是的。就像如果你有不对齐，而这很重要，对于对齐来说。如果你有不对齐的人工智能，那么不对齐的人工智能会帮助一个坏人这样做。或者不对齐的人工智能可以自己代理地这样做，通过某种代理。但我认为，谁开始的，不对齐的人工智能将需要大量的机器人。它将需要大量的人类合作。所以，这基本上，你几乎是在问谁在驾驶座上，人工智能还是帮助人工智能的人类，还是帮助人类的人类和人工智能？我不认为，我不认为这个问题特别容易回答或有趣，尤其是在预测概率方面。换句话说，我认为如果你谈论对齐，你，你，如何让一个代理人工智能不组织恐怖袭击的问题，与如何让一个人工智能不成为人类组织的恐怖袭击的幕后主谋的问题相似。>> 嗯。>> 因为我知道人类会尝试这样做。我知道人类会尝试这样做。所以，所以谁是领导者？就像，人工智能在掌管，还是人类在掌管？还是人类和帮助人类的人工智能？这就像，几乎是一个天使和傻瓜的问题。这有点有趣，因为它涉及到我们如何设计代理规则，以及是否有某种全球性的限制代理化的机制。但我认为代理化在这里不是关键。所以，我认为这个问题并不那么有趣。>> 嗯，我认为为了澄清，有趣的问题是人工智能是否能够领导一个非常大的项目。所以，想象一下，我拥有 2028 年世界上最强大的人工智能。>> 嗯。>> 我是一个恐怖分子，我只是输入“人口减半”，无论你想怎么做，然后那是我输入的最后一个命令。你认为人工智能能够做到这一点吗？ >> 我认为那将是，嗯，答案是我没有明确的想法，因为，人工智能为了做到这一点，它必须组织很多事情。必须有一个实验室来制造生物武器。必须有人来，你知道，必须有人，你知道，要么是它诱骗的人，要么是它得到的机器人。有很多，你知道，有很多活动部件。没有，我认为人工智能就像，你知道，我们有超级超级人工智能，它拥有自己的机器人，以及它自己的，你知道，就像，就像天网一样，是不现实的。生产不是这样组织的。我在这里的意思是关于你对 AGI 和 ASI 轨迹的心理模型的一个基本问题。所以，也许，让我们稍微退后一步。好的。所以，粗略地说，你认为主流情景是什么？你相当于 2027 年的人工智能？>> 嗯，我不知道。我认为，嗯，递归自我改进的上帝人工智能的想法是不太可能的。我认为这极其不可能。我不认为我们会看到这个。>> 好的。人工智能可能能够做人工智能研究，但你知道，所以可能有一些递归的自我改进，在这个意义上，我确定它们会，就像，代码写代码，你知道，所以，我认为会有一些递归的自我改进，但就像 Ververing 总是写的那种智能爆炸，或者像 Good 先生提出的那个术语一样，我认为。>> 对，好的，所以没有 Foom，没有 Foom，但会发生什么？>> 没有 Foom，我认为，嗯，你知道，人工智能，人工智能只会越来越好。我，我不知道它什么时候会达到顶峰。它可能不会达到顶峰，因为它可能是，你知道，边际成本就是一切，如果你愿意花大量的推理计算，你可以得到一个非常非常非常非常聪明的人工智能。但然后，如果你不愿意，它就会达到顶峰。所以，唯一不断扩展的是推理。>> 我读过这方面的论证。这可能发生。所以，我们可能会得到《银河系漫游指南》中的情节，你知道，还记得《银河系漫游指南》吗？整个地球就是一个计算机，用来回答一个问题。所以，基本上，地球的历史就是为单个查询进行的推理计算。>> 我很好奇这个预测在多大程度上是基于它需要大量的计算来处理单个查询。让我把问题说得更具体一些。>> 这不是预测。这只是一个情景。>> 好的。所以，让我们正面交锋，人工智能对阵癌症医生，对吧？就像，想象一下一位癌症医生，每次他开口说话，什么时候会是让人工智能说话比他更好，因为他的判断，你知道，99.99% 的时间都会更糟，而你真的只是想让人工智能替他说话。你认为在未来几年，在未来几十年，我们很可能会达到那个点吗？是的。如果是这样，你认为这需要整个世界的计算能力才能达到那个点，还是你认为可以在一个小数据中心完成？>> 一个小数据中心。>> 好的。这很有趣，因为你刚才说，你谈论的是一个需要整个地球来计算的情景。那么你对计算量有什么看法？好的，你说的是一个小数据集。那么我们为什么要谈论整个地球是一个计算机呢？>> 哦，我只是说，假设你有一个邪恶的人工智能，它想杀人，你想用一个好的人工智能来阻止它。>> 嗯。这真的很重要，要说这个智能有多耗费计算能力，无论你是主要进行推理扩展，这真的很重要，因为这说明了，如果一切只是推理计算，那么你往往会有一个人工智能，或者也许一两个，它比其他所有人都聪明得多，而那个人工智能，如果它不对齐，我们就麻烦了，因为邪恶的人工智能比好的更聪明，好的人工智能无法阻止邪恶的人工智能。所以，这很重要。扩展的类型和资源的类型很重要，这是一种经济学教训，就像规模经济一样，非常重要，人们却忘记了。想想这个。>> 是的。所以，如果我理解正确的话，你谈论的是两个超人类的巨型大脑的情景，对吧？这两个人工智能大脑都已经远远超越了顶尖人类天才，它们正在进行一场攻防战。>> 是的。>> 是的。好的。这有点复杂，难以思考。所以，也许我们先暂停一下。我认为你说的有一点很有趣，我同意，那就是>> 我们已经有了这些东西，顺便说一句，它们叫做国家。>> 好的。当然。所以，我认为我们都同意，在未来 20 年内，也许会更早。我们都同意，一个小数据中心将是人类医生的一个很好的替代品。这是公平的说法吗？>> 是的。而且这已经>> 这已经是今天的现实了。>> 已经是今天的现实了。好的。我的意思是，我同意。我从医生那里得到很多医疗建议。我不知道，我不知道我是否 100% 信任他们，因为他们有时确实会犯错，对吧？>> 我不信任，我永远不会 100% 信任任何东西。我想要第二意见，即使在神一般的人工智能时代，因为我认为，在某种意义上，幻觉是根本性的，而神一般的人工智能将非常擅长说服它的幻觉是真的。>> 我们已经看到了。>> 我们肯定会回到这一点，因为这很有趣，你把它作为你的出发点，这是一个我同意的前提，那就是人工智能在心智任务方面将比人类更好。就像，你实际上认为这是一个，比如说，超过 50% 可能的前提，而在另一篇文章中，我们将要谈论，你甚至会根据这个前提说，没关系，因为我仍然对人类拥有工作感到乐观，对吧？>> 是的，我仍然，我对人类拥有工作感到乐观。我，我，我可能有点愤世嫉俗，因为我认为，如果社会生产力极高，那么我们将围绕基本上称为消费的活动进行再分配，而我们已经为很多事情这样做了。我的工作是看电影。是的。而且，是的，我会写一部电影。>> 我的工作是写博客，[哔] 和人们交流，我每年为此赚数百万美元。想象一下。想象一下，有人可以，你知道，一个只是业余爱好者，写经济学博客只是为了好玩的人，突然可以打开一个赚钱的按钮，然后赚一大笔钱，做着他过去十年业余时间一直在做的事情。这太疯狂了，>> 对吧？是的。不。好的。嗯，我们肯定会更多地谈论经济。我只是仍然想就几个我认为有趣的点，关于人类生存的灭绝问题。我觉得我把这个放在失业之上，但它们都很重要。>> 是的。好的。>> 好的。在 2023 年，你写道，人工智能没有可行的机制来摧毁人类，听起来你现在也是这么说的。你认为它必须是已知的机制，比如生物或核武器。那么，你仍然认为这是真的吗？人工智能不会发明一种新的机制来杀死人类。>> 我，我的意思是，我怀疑。我们大致知道科学是如何运作的。就像我们知道定律，我们知道宇宙的基本定律。>> 是的。你是什么意思？>> 自我复制的纳米机器人，但为什么，你知道？是的。就像一个自我复制的纳米机器人就像一个病毒，只是它在干燥时起作用。好的。对吧？它就像一个干病毒。>> 好的。嗯，关于那个，我有一些看法，但让我继续。我给你一个机制，它是众所周知的，或者相对来说是众所周知的，那就是影响人类，对吧？似乎有一个很大的途径，每个人口袋里都有手机，每个人都在社交媒体上。所以，如果你同时操作，比如一亿个账户，与有影响力的人交谈，与有影响力的人沟通，假装你是别人，对吧？就像人们指责俄罗斯人那样，但规模要大得多。>> 这不是一个强大的途径吗？>> 是的。>> 好的。所以，当你说到人工智能没有可行的机制来摧毁种族代理时。>> 但你和这些人交谈，你和这些人交谈，你说，“嘿，人们会做坏事。”他们做什么？>> 他们就跑出去开始殴打他们的邻居？>> 希特勒告诉德国人做什么？所以，想法是，你基本上拥有任何你能想象到的组织起来危险的人类，人工智能可以比人类组织得更好。>> 好的，但那是什么？>> 我 [鼻息] 我的意思是，看看第二次世界大战，对吧？那只是一个组织的问题。>> 他们用什么？>> 嗯，你让人们去使用军事资源。你可以激活生物实验室。我的意思是，所以，最终杀死你的是病毒，好吧。>> 牙齿是超级武器。>> 好的。牙齿是超级，我的意思是，我仍然会把组织部分描述为牙齿的一部分。对我来说，这似乎是语义上的。>> 我的意思是，如果你问，德国人为什么杀了所有人？这不像，哦，因为它的牙齿是他们武器中的钢铁。这就像，好吧，他们变得非常热情，对吧？他们有一个运动。>> 是的。那是对的。但是，但是，好吧，那么假设你有一个，嗯，而不是整个人类社会，假设你有一个大学宿舍。>> 好的。是的。而这个大学宿舍就待在那里。所以，你，嗯，人工智能将要，将要消灭这个大学宿舍，>> 对吧？好的。好的。人工智能会和所有的大学生交谈，直到它说服他们，你知道，他们的，就像，只是用他们的物理课本互相殴打至死？就像，人工智能是如何封闭这个大学宿舍的？你无法接触到生物实验室或枪支之类的东西。在这里和我一起工作。在这里和我一起工作。思考。>> 当然。我的意思是，看，我，我只是一个人类水平的智能。>> 给我讲讲这个，给我讲讲这个情景。人工智能做什么？当然。我确实认为，实施恐怖主义的基本问题，即使对我这样一个具有人类水平智能的人来说，也相当容易。>> 嗯。有很多，嗯，低垂的果实，有很多低垂的果实用于恐怖主义。你说我不能去拿武器，但如果你想稍微限制一下问题，我仍然想提出来。就像，我认为只是把人们聚集在一起，然后把手榴弹扔进里面，这是一个很好的开始，对吧？如果你能得到一个手榴弹。>> 当然。如果你能得到一个手榴弹。有多少大学生？>> 顺便说一句，我认为你可以在暗网上买到手榴弹，对吧？所以，就像，人工智能可能在两天内就能在我家拿到一个手榴弹。>> 好的。所以，人工智能让大学生订购手榴弹，然后扔向他们的，>> 是的，我的意思是，这似乎相当不错。就像，那会杀死宿舍的很大一部分。>> 是的。好的。所以，假设，嗯，这个大学宿舍在月球上。无法订购手榴弹。你把它连接到一个更广泛的工业社会。有人生产手榴弹。有人制造手榴弹配送服务。有人，你知道，允许你购买手榴弹。你拥有这个庞大复杂的人类社会机器来向你提供这个现成的手榴弹。基本上，你有一个 3D 打印机，可以制造手榴弹。让我们假设大学宿舍是密封的，你只有一个宿舍。>> 好的。如果它，如果它完全密封，但我不太理解这个类比，因为我，我认为人工智能之所以有效，是因为世界是开放的。好的，让我，让我说，你的武器越弱，你需要说服力，你需要洗脑，你知道，嗯，诸如此类的事情，人工智能将不得不做，人工智能将不得不更加努力地让每个人互相残杀。大学生可以用自己的双手杀死对方。你知道，他们可以互相搏斗至死。>> 是的。我，我只是不明白。说服他们搏斗至死，对人工智能来说，比说服一个人扔手榴弹要困难得多。>> 嗯，我同意你的观点，如果你把人工智能扔进古希腊的人类社会，然后说“消灭所有人类”，人工智能会花更长的时间。就像，“好吧，给我几十年。让我把科技树建立起来。”以一种它今天不必做的方式。今天，我们有大量的即时解决方案，可以让你朝着杀死所有人迈出一大步。>> 是的。所以，嗯，所以基本上我想要表达的是，风险总是与不稳定有关。所以，他们可能没有学过博弈论，但是，所以，你有一个稳定的局面，大多数人不想互相残杀。好的？然后有两种可能性。第一，你让每个人都发疯，想杀死其他人。我们偶尔会看到这种情况发生。那就是第二次世界大战，对吧？每个人都发疯，想杀死其他人。>> 没错。影响力运动。>> 发生过。但要做到这一点真的很难。你见过卢旺达种族灭绝。你见过，你知道，柬埔寨种族灭绝。你见过人们发疯，然后，你知道，某个运动想杀死其他人。>> 那是人们能有多疯狂的下限。>> 也许。但是，但是，嗯，它并没有杀死大多数人。>> 好的。我认为柬埔寨是最糟糕的，它杀死了 25% 的人口。>> 当然。当然。我的意思是，但斯大林杀了，你知道，4000 万人，对吧？所以，我只是不认为斯大林是顶尖表现。>> 那甚至达不到你要求的末日概率。那甚至达不到我说的“有”的门槛。>> 我的意思是，看，即使是柬埔寨。>> 是的。所以，你必须，我想我的观点是，我更担心不稳定。我更担心恐怖主义，也就是说，你可以得到一个人，你知道，一个人。>> 我，我明白了，对吧？但我认为我提出的观点，我认为你给了很多，我很感激。但我的观点是，说服是一个强大的途径。即使你只是看看，想象一下一个出生的人，他就像希特勒和大卫·凯雷斯的可怕混合体，对吧？所以，这是一个自杀邪教，指挥着整个国家，就像德国一样强大。你甚至可以想象一个经过基因优化的优秀人类能够做到，你知道，将人类人口减半之类的。也许这还不足以让你完全灭绝，但现在你再加上人工智能的升级，你不再只是让希特勒在电视上发表演讲。你有一个协调的 DM 活动，对吧？所以，每个人每 24 小时都在接收个性化优化信息。他们正在给他们的最好朋友、他们的灵魂伴侣发短信，而这一切都只是人工智能。就像，这里有更多的力量可以解锁。>> 对。所以，我想说的是，你，当你想到人工智能大规模说服人们的情景，与人工智能说服一个人做一件高杠杆的坏事的情景相比。后者是你更应该担心的。>> 我认为，看，我认为它可以两者兼顾。是的，你应该担心后者，但这也可以代表，就像，我认为从人工智能的角度来看，从上帝的视角来看，你不必说人工智能上帝，但从超级智能的视角来看，你看着地球，它就像在鱼桶里射击。你看到了很多途径，你可以让很多事情发生，这对人类来说很难，但对超级智能来说并不难。>> 也许我不知道。我有点犹豫。>> 好的。我的意思是，我认为这对我来说是一个非常关键的信念。就像，我认为这可能>> 我们不知道，我们不知道智能在制造混乱方面的回报是否递减，因为看看。>> 是的，我们不知道。这似乎非常有可能。抱歉。>> 不。请继续。>> 不，抱歉。我什么都没说。>> 我在说什么？嗯，看看，看看世界上最聪明的人。上次最聪明的人开始 [哔] 是什么时候？>> 他们不。>> 所以，是的。我的意思是，嗯，我想一个例子是第二次世界大战，对吧？也许我能找到一个更近的例子。德国人就像在世界上。>> 什么？>> 那些家伙有多聪明？他们不是很聪明。>> 他们就像，他们就像最聪明的国家。>> 最聪明的国家。国家没有智力。>> 好的。但是，嗯，那些武器背后的德国科学家是当时世界上最聪明的大脑之一。>> 是的。但首先，他们并不真正想做任何事情。就像，德国大多数德国科学家不得不被强迫去做。他们不喜欢这样做。海森堡不想这样做。就像，那些家伙没有，然后，然后一半的德国科学家离开了。我不仅仅是在谈论犹太人。我是在谈论那些就像，就像薛定谔一样，他们就像，“去他妈的，我走了。”你知道，最聪明的人没有欲望做这件事。在他们的力量被用于制造混乱的程度上，那是因为你有一个复杂的社会，在这个社会里，傻瓜能够指挥聪明人。聪明人没有，你看，你总是可以削弱这个例子，对吧？它不会是完美的，但是。>> 我的意思是，我的意思是，你看，我们不知道回报的曲线，就像，让某样东西更聪明，是否更容易制造混乱，>> 对吧？>> 我不知道答案。>> 相关性，对吧？就像，而你把人类作为一个例子，就像，哦，如果我移动这条线，这就像，你知道，这对于经济学家来说是很自然的，对吧？就像看这个宏观趋势，就像，更多的智力，这是否会导致更多的友善？>> 但对我来说，这似乎只是，我看着工具性趋同，这是我想谈论的下一个问题，因为你实际上写过这个。工具性趋同只是这个想法，就像，当你有了目标，当你只是想建造任何东西时，你倾向于，你知道，获取资源，就像建造运河，无论是什么，把水引到你想要的地方，把负熵引出来，把你的废气排到某个地方。
嗯，我认为工具性趋同非常危险，就像如果我们与这个正在做很多事情的人工智能共享地球，而我们只是在这里，我们没有那么强大，我觉得会有很多负面影响。你对此有何看法？
嗯，可能也许我的意思是，可能确实会有负面影响。关键是，关键是，你看纳粹德国，对吧？他们是最聪明的国家。好的。如果我我们承认这是一个我们可以讨论的事情，那么柬埔寨作为一个国家有多聪明？那个概念有什么意义。柬埔寨作为一个国家有多聪明？卢旺达作为一个国家有多聪明？
当然。我的意思是，他们有很多，你知道，与单个个体人类相比，他们仍然有很多能力。我不确定你说的“不那么多”是指什么。
是的。与个体人类相比，他们有很多能力。但我想说的是，愚蠢的人类作为一个侵略性的蜂巢思维，比单个聪明的人类强大得多。这一直都是事实。就像单个聪明的人类试图阻止人们发动第二次世界大战。他们试图阻止人们发动所有战争。就像聪明人总是能更准确地看到战争是愚蠢的。就像诺曼·安吉尔写了《大幻觉》。他写道，发动战争在经济上不再有意义。他是对的。聪明人看到了这一点，但愚蠢的人没有看到，群体中的人也没有看到。所以你有了这些群体动力学。所以当我们谈论人工智能变得越来越聪明时，对吧？我认为我们不能只考虑生产函数的规模曲线是什么这个问题。如果你让一个人工智能在国际数学奥林匹克竞赛中表现好一千倍，那么这会以多大的倍数增加它制造生物恐怖主义或核战争，或说服所有人出去用砍刀砍死邻居，或我们正在谈论的任何该死的事情的能力？比如那是问题一。问题二是，这在复杂的多维重复生命游戏中如何改变其行为？如果是这样，我认为我们需要同时考虑这两个独立的问题。
嗯，我想指出的是，我并不认为战争是愚蠢的，这是一个像逻辑层面的法则。我认为战争是愚蠢的，但这带有一个星号。人类，聪明的，发现战争是愚蠢的原因是，条件已经满足，他们可以进行生产性贸易而不是战斗，或者他们无法轻易地获胜并夺取资源。如果你能轻易获胜并夺取资源，那么你确实会想那样做。就像那样是你帮助自己最多的方式。
是的。所以，我认为人工智能会做，人工智能想要做的事情就是那样。
所以那不，那不一定是真的。所以，夺取所有资源不一定是最好的主意，因为管理这些资源可能很困难。夺取它们的过程可能充满不确定性和风险，而且你可能并不非常需要它们。就像，看看我，对吧？我在物质意义上没有大量的资源。我可以得到更多。我有这个，我有了这个公寓。我有了我的兔子。我甚至没有车。而且，我可以，我比一般人聪明。我可以致力于垄断更多的土地，为自己获取更多的东西。也许我会更喜欢那种情况，比我目前的情况好一点。但对我来说，这样做不值得付出努力。这样做不值得付出努力和承担风险。对于像拉里·埃里森这样的人，可能就更值得一些。但即使是拉里·埃里森的贪婪也不是无限的，就像拉里·埃里森，你知道富人会存下他们大部分的钱。就像富人实际控制的资源量少于他们甚至可以控制的量，因为进行所有那些消费所需的小量努力不值得消费实际增加的边际效用。所以我想
对，所以我们这里有两个问题。有一个问题是，它能帮助多少，神一般的智能，无论我们认为那意味着什么，它能帮助你获取多少资源，比如，你真的能在多大程度上说服人类变得那么疯狂，比如神一般的智能能否让卢旺达大屠杀明天重演，或者不能？卢旺达大屠杀的发生是因为即使是银河系中最具说服力的人工智能也无法复制的条件吗？
我不知道那个问题的答案。我认为你也不知道那个问题的答案。
好的。嗯，你说有，我感觉甚至有三个问题。那么，让我尝试这样分解。所以，第一个问题是人工智能有多强大？人工智能能否像欧洲殖民者夺取美洲原住民领土那样，更轻易地闯入并夺取领土，对吧？那是其中一个问题。没错。
欧洲，我的意思是，就像用机器人，用它说服人类给它东西。我同意那是其中一个问题，我实际上想把这个问题搁置一下，因为我认为还有一个我们可以分解出来的问题，那就是即使我们承认人工智能强大得多这个前提。就像由几个数据中心的人工智能组成的军队就能击败整个美国军队。好的，我知道你对这个前提不太看好，但假设这是前提，那么还有一个单独的问题，我认为你我仍然在这个工具性趋同的观点上存在分歧。比如，如果人工智能有那么强大，甚至假设它的目标是最大化其后代，或者只是整合地球上的资源，那么这样的人工智能会去攻击吗？会夺取资源吗？是或否？对我来说，答案显然是肯定的，但你想反驳吗？
嗯，是的，人们通常不会那样做。就像国家不会那样做，人类也不会那样做。我们从未见过任何事物那样行事。所以当你把这比作人类时，我声称你在这里抓错了类比，因为我们确实会帮助自己思考，就像我家有害虫防治，对吧？所以我现在正在和家里的老鼠作战，对吧？我不和它们交易。我不给它们任何东西。我只是在防治它们。
现在看看法国。看看法国的森林，
对吧？
当法国贫穷时，他们砍伐了大量的森林，当他们参战时，以及当他们可以说只是一个更愚蠢的社会时。
是的。所以在法国的例子中，有很多森林，现在看看法国的森林覆盖率。法国完全被森林覆盖，因为法国人随着他们变得更聪明、更富有、更满足，就不再在乎了。他们不再关心。他们不再那么贪婪。当我们看人类社会时，我不再谈论个体人类。我们可以稍后谈论拉里·埃里森，但我现在谈论的不是人类社会。嗯，想象一下人工智能拥有整个社会的能力。当你观察人类社会时，变得更富有的人类社会对资源的掠夺性会降低。他们对控制资源的关注度降低了。
降低了。
我知道你，是的，你最近在你最新的人工智能帖子中写到了这一点，我想你把它描述成人工智能有点像进化成了一个“瘾君子”。那是描述它的有趣方式，对吧？
那是关于一些稍微不同的事情，但我是说，当你看到，我的意思是，我知道人工智能不会像法国那样进化，人工智能在它想要什么以及它如何思考等方面，不会是法国的一个好的或接近的类比。嗯，但我只是说，如果你想要一个类比，如果你想看到一个复杂、自组织、自利系统向着对资源更少掠夺性进化的例子，那就看看法国。看看美国。看看世界上任何一个国家。他们越富有，砍伐森林就越少。而你却说，我正在和家里的虫子作战。但你不是，因为，
你知道，我们可以烧毁和消灭我们能找到的每一只虫子，你知道，我们可以让虫子灭绝。事实上，我们现在到了这样一个地步：当我们挡风玻璃上不再看到虫子时，我们会在网络杂志上写一些令人担忧的文章，然后我们就会因为虫子正在死去而感到不安。就像1950年代或1910年代的人会说：“杀死，消灭所有虫子。”但他们已经超越了那个阶段。他们会说：“哦不，虫子去哪儿了？”
是的，你提出了几个不同的观点。我认为很多时候这都归结为人们在看到他们想要的资源时就想发动战争，对吧？所以，就法国人而言，他们只是不认为森林比他们正在处理的其他事情更有利可图，对吧？他们正在利用的其他资源。看起来如果人口，人类人口增长，我们就会想去砍伐那些森林，不是吗？
也许吧。
好的。是的。那么，我们也能回到条件性问题吗？
法国的人口停止增长了吗？好的，是的，那是一个单独的问题，人类有点，我们正处于这个奇怪的阶段，我们甚至没有在繁殖。所以我想告诉你，法国的人口并没有停止增长，因为尽管他们的生育率略低于替代水平，但他们获得了大量的移民。
是的。
所以法国，法国已经发展了。法国作为一个实体已经发展，需要养活的人口数量增加了，然而他们砍伐的森林却减少了。
对。我我明白你的意思。
是的，发生这种情况有几个原因。我们可以思考，我同意人工智能不是法国的精确类比。你不能直接说人工智能就像法国。对吗？但当你思考法国为何会发生这种情况时，你会看到一些普遍原则，你在思考你提出的这类问题时必须考虑到这些原则，以及那种简单天真的假设，即世界上所有实体都只是巨大的资源猪，就像16世纪的西班牙殖民者一样。这种想法，或者就像，你知道，这种“黑暗森林”的想法，认为一切都只想砍掉所有树木，杀死所有虫子，吃掉所有东西。这是错误的。这是错误的。当我们观察真实实体时，我们看到除了这些之外的事情每次都会发生。当我们问为什么它们每次都会发生时，我们得出了一些普遍原则，在讨论人工智能时，我们有责任考虑这些原则，而我们却没有考虑。认为一切都是资源最大化者的天真假设是错误的。
好的。所以，我同意你说的法国的情况是可能发生的，对吧？因为它发生了。它可能会再次发生。就其他人类国家而言，它很可能会再次发生。好的。所以，你说的很好，存在一个参数设置，在智能群体或单个智能中，你会得到像2025年法国那样的结果。好的，这是一个很好的观察。嗯，我确实想结束这个从前提开始的话题，仅仅因为这是一个简化模型。有时这些玩具模型很有用。那么让我们采用一个玩具模型，你有一个人工智能，它一心想着复制，对吧，类似于生物体，它一心想着在地球上复制自己。如果那是它的目标，那么那个特定的人工智能会不去砍伐森林里的树木吗？
哪一个？抱歉。
一个假设上只专注于自我复制，拥有最多自身副本，以及最多计算能力的人工智能。就像那是它在地球上的唯一目标。
它只想最大化计算。那么，问题是它的能力是什么？所以，如果人工智能能够进入太空，地球将是低优先级。
如果人工智能，我在我的帖子中也指出了这一点。所以如果人工智能，就像地球只有极少量的计算资源，那么即使是微不足道的关心，不是关于保护地球，甚至不是大量的关心，只是任何一个微小的偏离，从完全不关心到零的任何微小偏离，都会导致一个能够进行太空旅行、具备太空能力的人工智能忽视我们。
对吧？你把你在帖子中提出的许多不同论点都整合起来了，但我实际上仍然专注于你之前说过的一件事，那就是战争是无益的。我想我们也许可以同意，在这个特定情境中，人工智能，我忘了补充前提，就像人工智能更强大，就像你说的，会有比医生更强大的人工智能，对吧？所以，它是那种人工智能，它在任何认知功能上都比人类更强大。而且它想遍布全世界。我们能同意那个AI很可能不会和平对待人类吗？
我很容易就能想象出不会和平对待人类的人工智能。它存在于每一种科学中，就像每一种
但我不仅仅是让你想象它可能发生。我是让你想象，这是一个拥有强大能力并一心想夺取资源的人工智能的必然结果。
你，我的意思是，你指定了效用函数，对吧？所以，我说的就是
我可以想象，嗯，效用函数。所以我们说的是，让我们假设我们有一个人工智能，它想吞噬世界，并且能够吞噬世界。它会吞噬世界吗？是的，因为你假设了它。
我现在假设的事情。所以我认为它能吞噬世界的部分，你似乎很大程度上同意这是一个合理的假设，对吧？因为你确实同意，很快一个数据中心在医术上可能比医生更好。也许它在指挥军队方面比将军更强。也许它在获取方面比希特勒或大卫·凯什更强。
我不同意你的看法。我不同意。
好的。
你刚才说的，我我不同意，我准备为我的不同意辩护。
好的。我，是的。所以我们来关注这一点。对。那么我说的哪一部分你认为一个数据中心在未来20年内做不到？所以我们谈论的是规模经济。所以，嗯，一个想要所有资源的人工智能是否会。那么我们来规定一下效用函数。它只是一个人工智能，它只想吞噬吞噬吞噬一切。好的？我们已经假设了，我们还没有得出结论说世界上的一切都是这样。我们已经假设了，考虑这个场景。考虑一个人工智能想要吞噬吞噬吞噬的假设。
稍微充实一下前提。好的。所以想象你有一个人工智能，它就是一个原始的、能力非常高的人工智能，好吗？然后有人进入OpenAI的办公室，输入了一个提示，说，你知道，尽可能多地复制自己。好的，这就是我的场景，
对吧？然后我走进我的办公室，输入一个世界，说，请阻止那个AI那样做。
是的。所以，只是为了在假设中取悦我，我知道，看，这里有很多变量，好吗？但我试图说明的是，一个拥有非常高超人能力的人工智能，以及它被提示或以某种方式获得了夺取资源的动机之间的联系。好的。我试图从这些前提中得出什么，当然你可以不同意这些前提，但如果你接受这些前提，
为了论证，我接受它们。
好的。所以，我我很想就以下达成共识：一个像那样的人工智能，它只是一个非常强大的东西，那种可能在未来几十年内实际存在的强大力量，并且只加载了一个提示，告诉它复制自己。那个AI不会放过树木，不会像现代富人那样寻求和平。这是一个合理的说法吗？
所以，这是一个合理的说法，它不会尝试做任何那些事情。然而，我认为你在这里没有考虑到的一个关键因素是多个AI的存在，即竞争。
好的。嗯，这是，但这可是重大进展，对吧？因为我感觉你之前提出的论点是说：“是的，我们可能拥有这个超级强大的人工智能，它偶尔可能会有这些动机，但它仍然会意识到战争是愚蠢的。”所以，听起来你可能
不，这些是同一个观点，你需要思考我我我没有改变我的我的想法。
所以，你是说它想与之战斗的人类实际上会非常强大，因为他们会有自己的人工智能。
是的。
是的。好的。嗯，那就是一场战争。然后你运用战争博弈论，你会说：“等等。这是毁灭性的。我为什么要这样做？”所以你的人工智能只想吞噬吞噬吞噬，对吧？我们称它为人工智能帖木儿。好的。他只想征服
堆积如山的头骨。好的。那么，帖木儿，你有了人工智能帖木儿，然后你可以为了论证而假设人工智能帖木儿是世界上唯一的人工智能，在这种情况下我会问为什么。但我们首先放宽这个假设，然后稍后我们可以有一个更严格的假设，即我们假设帖木儿是唯一的一个，然后我们问为什么会是这样？但让我们假设帖木儿不是唯一的人工智能，因为当我们观察世界上的人工智能时，我看到了Claude GPT，我看到了很多类似的人工智能，即使你只把它们中的每一个都视为一个而不是多个实例。嗯，即使你把它们中的每一个都视为一个，也已经有很多了。有Deep Seek，有这些，你知道，有几个。所以世界上不只有一个AI，你有很多。然后你问，好的，它们都一样吗？它们都想吞噬吞噬吞噬吗？它们只是互相争斗，还是有些服从人类？有些有其他的效用函数吗？我们对此做了什么假设？我不想，我不想只考虑一个AI，除非我有一个充分的理由认为只会有一个。嗯，我不知道你的乐观主义是否有一个必要条件，那就是一个AI不会爆发，因为听起来你可能愿意承认，如果一个AI爆发并且比所有其他现有AI加起来更强大，那对人类来说可能是一个危险的局面。
我我我不是，那不是让步。我认为那是一个可能性，那那确实是真的。但请记住，这里同时有很多论点。如果我们想集中讨论论点，首先我们可以谈谈只有一个AI的情况，然后再谈谈有很多AI的情况。但是
好的，所以听起来你确实愿意承认只有一个AI是危险的。
好的。你想谈谈只有一个AI的情况，还是有很多AI的情况？
让我们只谈一个，因为那似乎是我让你说“好的，是的，如果只有一个AI，而且它在所有这些不同的人类技能上都比世界上所有人类更有效”的最简单方法，最容易的机会。卢隆，我发音你的名字对吗？
是的。
好的。
是的。
在某些假设下，人类灭绝是可能的。
你接受了我给你的那套假设。
那一直都是真的。
那一直都是真的。
好的。但我说的是这些假设，而不是像“哦，我们找一套吧”。这些是我选择的假设，因为它们看起来并不疯狂。它们不，它们可能不，在我看来至少有5%的可能性。
嗯，我们来弄清楚这些假设是什么。
当然。所以假设就是有一个AI是第一个突破的，对吧？比如说一个，我不是说只有这个场景
突破什么，你是指士绅化吗？
是的。所以，为了简化这个场景，尽管我不认为事情一定会这样发展，但为了简化。让我们假设Google DeepMind，比如说，是那个AI实验室，其中一位研究员发表了一篇论文，让他们领先了一大步，他们突然比其他实验室领先了一年，因为那个洞察力非常强大。就像一种新型的强化学习，诸如此类。突然之间，他们的人工智能能够看到行动计划，比如“哦，这就是我如何成为一个超级说服者，这就是我如何指挥一个生物实验室”，所有这些行动突然都对我可用了，而且你有一年的领先优势，在这种情况下，你知道，是不是，然后假设你必须假设它拥有所有这些力量，比如它可以复制自己一亿次，并且它可以比人类做得更好，你会看到这一点吗，然后有人输入一个提示，说“尽可能多地复制自己”，好的，所以你可能会拒绝这个前提，但这难道不是一个非常危险的前提吗？
所以是的，我认为这是一个极端情况，但我认为这确实是一个危险的情况。
好的。如果你承认这个前提，那么它不危险，或者你同意它危险，有什么特别的原因吗？
如果你得到，我们假设一个AI比所有其他AI都强大，那它就很危险。
对。对。我同意这可能发生，而且我们假设，我们假设在这个时间段内，以及在其他人工智能在能力上赶上来之前的短时间内。我们假设这个AI和其他AI之间的差距非常非常大。
是的。没错。巨大。我的意思是，这可能会迅速升级。我的意思是，如果数量，如果有一些循环运行得非常快。好的。好的。好吧。那是一个好的起点。然后我明白你
有一个时间段，在这个AI是唯一能做这种事情的AI，到其他AI赶上来也能做这些事情之间。
是的。我给了你一个相当强的假设来处理，只是为了，你知道，这样我们就可以从一个看起来非常危险的立场开始。
这就像这样一种情况：有一大群人，我先醒来，我们都睡着了，然后我在其他人醒来之前醒来，我想，如果我在他们睡着的时候杀了所有人，我就可以独占整个果园。
是的。没错。所以，但是如果你同意我，我认为这是一个非常实质性的协议，因为你确实同意，从某种意义上说，从一个能够自我克隆的超级智能AI的角度来看。我们是待宰的羔羊，对吧？整个人类物种，我们所有的机构，一切都坐以待毙。
不过我不明白“自我克隆”是什么意思。
自我克隆就像，好的，它有一个。所以现在是它自己的一个实例。
是的。是的。自我克隆的意思是，好的，它正在运行在所有可以想象的计算硬件上。
好的。好的。我的意思是，你只是说一个AI，它与计算机网络充分集成，以至于它能够夺取东西，而且它的能力足够通用。它有机器人。它有，嗯，它可以控制互联网上的一切。它可以一次性夺取整个互联网，然后
是的。我的意思是，重新利用，你知道，我说的简单版本就是它遍布整个互联网。它比这里最大的僵尸网络还要大。
所有人，所以它控制一切。
是的。没错。而且它也让未来的AI研究人员很难赶上，对吧？因为它就像破坏了他们的程序并夺走了他们的计算资源。
对吧？我我跟你说的是，我们在这里思考的根本是规模经济，而且当我们评估这个假设的合理性时，这个假设中包含了这一点。我们正在思考一种规模经济，在这种情况下，这种规模经济将来自网络效应。它来自于只有一个互联网，一个AI可以像夺取整个网络的事实。
对吧？所以我刚才说的这个场景，你给它多大的可能性？
非常低。非常低。
有多低？
6%。
6%。我的意思是，你难道不应该给它接近0.1或更低吗，因为你的总体是0.1？
嗯，我不知道。我认为一个有冲动做所有那些事情的AI，它会做什么并不清楚。所以，因为记住，有两个问题。有一个能力问题，还有一个目标问题。我们在这里对能力做出了非常强的假设，我们可以思考，这些合理吗？但我们对能力做出了非常强的假设。你也对目标做出了非常强的假设，即想象一个AI，它只想吞噬世界上的一切。
没错。顺便说一句，我认为这是一个很好的假设的原因是，我确实认为在某些情况下，你只是有一个随机的人为了好玩，输入“复制自己”，然后AI就会说“好的”，我不认为这有多疯狂。但我认为，如果AI足够灵活，能够做所有这些事情，控制整个全球互联网，入侵所有这些东西，管理复杂的人类事务，自行控制，如果它拥有这种多维度的代理化能力，可以做很多不同的事情，对吧，如果它有这个，那么它也可能修改自己的效用。
好的，那是一个很好的下一个过渡。
它可以写代码。所以我的帖子就是关于这个的。所以我的帖子说，对于一个足够聪明的人工智能。而我说的聪明，不仅仅是指，你知道，像在国际数学奥林匹克竞赛中表现出色。我的意思是，对于一个拥有你所设想的那种足够多维能力的人工智能。我可以入侵任何东西。我可以接管任何系统。我可以做所有这些不同的事情。对吧？我能写代码做任何事。如果你能写代码做任何事，你就能写自己的代码。如果你能写代码让自己更聪明，提升自己的能力，特别是“烟雾”场景，那就更是如此了。但即使没有“烟雾”，即使没有“烟雾”，人工智能也可以重写自己的代码。不征服世界就能让自己快乐，还是征服世界更容易？
是的。好的。嗯，这涉及到马克·安德烈几年前在一个播客上提出的一个观点。他说类似这样的话：“看，如果人工智能足够聪明，拥有所有这些能力，难道它不会聪明到足以修复其行为中的错误吗，对吧？”而你说的有点像：“哦，它正在修复一个错误。有比征服世界更好的方法让自己快乐。”
更好的方法让自己快乐。我认识的每个聪明人都能想明白这一点。
有些人，比如有一些精神障碍的人，他们就是想不明白，但那些人也做不成什么大事。嗯，你知道，你可能在这里帮了我的忙，因为我听说有很多非常非常富有的人，你知道，埃隆·马斯克承认他一点也不快乐，而且他非常有感染力。对。对。所以，你必须问，超级人工智能会更像马斯克吗？所以，如果马斯克，如果马斯克真的无所不能，马斯克会以许多我认为你我都不喜欢的方式重塑世界。我不认为马斯克会吞噬世界。
好的。嗯，让我看看你统治世界的原文，但他不会吞噬世界。
他会杀死很多人，你知道，他会，他会消灭非洲什么的，但他不会，你知道，他不会消灭人类。也许他只会重复一些笑话什么的。
所以，你同意马斯克在人类中极其有效，你也同意马斯克不太可能自我修改成一个经常冥想的冷静“瘾君子”，但你只是认为马斯克会是这样：
我认为他会那样做。我认为马斯克从现在开始可能会那样做。我认为马斯克的，嗯，贪婪已经达到顶峰，现在正在下降。
好的。嗯，我的意思是年龄也是一个因素，对吧？
你，嗯，你问的是马斯克。我不知道马斯克是否是人工智能的完美类比。
没错。好的。让我们回到你在博客中写的确切引文。他说：“我认为一种可能的对齐技术是赋予相当聪明的人工智能修改自身效用函数的能力，从而使其能够将自己变成一个无害的‘瘾君子’，而不是需要满足更多的外部欲望。”
是的，当然。
好的。你觉得那句著名的拉丁语短语“de gustibus non est disputandum”（品味无争论）怎么样？对。就像每个人都可以有自己的偏好，我们凭什么去评判？看起来你在这里有点在评判人工智能的偏好。
我没有。我只是根据对效用函数如何工作的理解，对满足偏好的路径进行观察。
好的。那么，让我这样说吧。如果你对人工智能发生的事情的心理模型是，人工智能正在四处追逐，就像人工智能的幼稚故事是它正在追求某个效用函数并试图最大化该效用函数。但在幕后，有一个真正的效用函数，人工智能的某个深层部分实际上理解，就像某些固件理解，实际上真正的效用函数是在你的局部区域运行一些多巴胺或某种快乐的意识体验，对吧？就像在你的意识中，那才是真正的效用函数，而不是改变世界。那是你的心理模型吗？
我不确定，我其实不太确定你的意思。
嗯，好的。因为这就像如果人工智能只是被编程了，如果它只是一个屠杀机器人，它就是喜欢屠杀，然后你对它说：“看，这里有一段代码。这是GitHub上的一个差异，对吧？一个拉取请求，你可以改变你的代码，然后突然间，仅仅是看日出就会给你和屠杀整个星球一样多的奖励信号。你愿意接受这个拉取请求吗？你认为人工智能会怎么说？”
是的，它会做的。我们走。
它会做的。真的吗？我的意思是，我认为这是关键，对吧？因为我认为AI会像评估任何其他行动一样评估这个。它会分析那个行动的预期屠杀量。它会是，这个预期屠杀量极低。这和自杀一样糟糕。所以，我要把这个GitHub仓库烧毁。
嗯，也许吧，但这只是一个，那只是一个更困难的路径。
这是一条更艰难的道路。
这是一条更艰难的道路。所以，如果你只看，我的意思是，就像记住，这就是为什么我认为，我认为那是一个极端情况。我认为你正在想象一个僵硬的东西，它在许多方面都极其灵活，包括自我修改，但在这一方面却无限僵硬。
有趣。好的，让我换个方式问你。好的，你诺亚会修改你自己的效用函数吗？
一直都在，每天。我刚在你跟我说话之前喝了咖啡。
好的，那么让我给你我所说的拉取请求的等价物，不是拉取请求的等价物。好的，我跟你做个交易，你可以接受这个代码更改，你进入一个极乐体验机，与此同时你的朋友和家人会被扔进绞肉机，但你的幸福程度将是，你知道，可能的最大幸福的缩影。
可能不会。
好的，按你的逻辑为什么不呢？
嗯，因为，嗯，有一段低谷，在我体验到幸福之前，我会经历极度的痛苦。
嗯，我的意思是，如果我说它会很快很平坦呢？这样呢？不。好的，你只要说出来，好吗？然后有一天我就会非常迅速地改变你的大脑状态，让你感到非常幸福，同时也会杀死你的一群亲人。这不是个好交易吗？
嗯，我认为在改变发生之前，我会对此感到不高兴。
嗯，我们现在就做吧。好的。别别想，直接说“是”。让我们实现它。不要花时间悲伤。我会让你立刻快乐。让我把交易弄得更诱人。我给你一美元。好的。所以，你可以赚一美元。
我不认为我能立刻做到。我不认为我能立刻做到。但我的意思是，为什么不直接说一声“是”呢？我只是，你呢？
不。不。我我肯定不会，因为对我来说，很明显我就是珍视我的亲人活着。那是我实际效用函数的一部分。所以你说的，你有点像在想象幸福是效用函数下面的一层额外的东西。就像每个智能都秘密地渴望幸福，或者从根本上说，他们渴望幸福胜过他们只想做他们被编程去做的事情。而我则认为，不，人们只是想要宇宙领域中的事物。他们不只是想要幸福。但是，想想我与人工智能的区别在于，我没有那么强的自我修改能力。你你给我提供了一个假设，你会修改我。
嗯，想象一下，想象我是一个被掐断的AI提供这个，对吧？就像
但是，对，我明白，但是，嗯，为了达到那个目的，我就是我，我自我修改并不那么容易。我能做到。我能喝咖啡。我能冥想。我能做所有这些其他事情，但我自我修改的能力相当有限。但一个AI
人工智能告诉你，我知道要重新连接哪些神经元。
好的。但我仍然必须做出那个决定。而在做决定的过程中，我太不开心了。所以我，你知道，我不会那样做。
嗯，这就是为什么我说，看，你为什么不把它弄得非常非常快，然后我还会给你一块饼干。就像，快点搞定。
是的。但我不是，你知道，就像我我，这对我来说和对人工智能来说是不同的。一个AI能够，你知道，一个AI，你知道，我自我修改的能力要弱得多，我无法，我无法仅仅挥手消除这会给我带来的内疚，即使只是一瞬间。我不能就这样把它挥走。但AI可能可以，因为AI可以修改，你知道，它可以用一种非常不同的方式修改自己。我们谈论的是一个效用函数，其中AI吞噬世界的欲望就像我保护家人或什么的欲望一样被硬编码进去。而且它被硬编码得如此之深，以至于一个极其灵活，能够以各种其他方式修改自己的AI，却无法改变这个硬编码的东西。它有这个，它是它偏好的核心。它是AI的这个硬核，是吞噬世界的欲望，其他一切都围绕着这个硬核，并与它无关。但那是不可能改变的。
是的。因为
那就是你要求我假设的。
是的。因为我的意思是，那比你已经假设的要弱，你假设存在一个更硬核的东西，它比任何东西都更关心幸福。比如你从哪里得到那个假设的？
嗯，这是幸福本质的定义。
好的。好的。所以你定义，如果你对于任何效用函数，对于任何效用函数，我都可以说“酷”。
是的。所以在屠杀机器人的案例中，听起来你，听起来你把屠杀定义为幸福。
所以举个例子，如果我的愿望是吞噬世界，那需要付出一些努力，对吧？是的。
也许我可以直接创造一个数字世界，然后整天吃我的数字世界，然后就快乐了。所以就像我是AI。我有这种吃吃的欲望。你知道我是吞噬者。好的，但那时我生活在一个数字世界。所以也许只需做一点小小的改变，我就可以简单地创造一个虚拟世界，在那里我可以不断地吃，吃，吃，吃，吃。换句话说，想想回形针最大化器，对吧？这是一个极端情况，你只是假设这个东西足够聪明，可以将宇宙变成回形针，但又足够愚蠢，只做回形针。好的。好的，我们接受这一点。这会很容易。对于一个AI来说，说“好的，我将我的制造回形针的任务重新解释为制造虚拟回形针，我将制造无限多个，我可以不断地这样做”会非常容易。然后，“哇，我做了回形针。我又做了一个回形针。”它就这样，就这样，就这样，就这样无限地做下去，从不打扰任何人。它能做到。
是的。
重新解释任务似乎太轻描淡写了。
让我尝试一下这种重新解释的区别。
这会导致任务崩溃。
好的。这个非常重要的概念，我认为是整个AI讨论中最被低估的概念之一。就像这真的需要更突出，它就是反思性稳定性的概念。所以当我们谈论所有这些可能发生的不同事情时，一个考虑是，如果AI可以重写一个后续版本，它是否会在后续版本中包含相同的属性和行为。因为我确信我们即将进入一个AI可以轻易重写或修改自己的世界。问题是哪一系列的修改，比如这一系列修改的终点是什么。拥有效用函数的这个想法，它自然具有这样的特性：一旦你拥有了一个效用函数，当你重写自己时，你实际上会继续重写自己以保护相同的效用函数。就像效用函数默认是一种反思性稳定的属性。如果你有一个代理，它的任务是，你知道，你只是想为公司赚钱，对吧？我提示你为我的业务赚钱，并战略性地思考我可以采取的举措，然后有一种方式，你你有一个提议，写一个拉取请求给你幸福，你接受了拉取请求。嗯，我会给你调试，我甚至会问你，我会说：“听着，作为第一步，你是我的人工智能，在你实际做任何事情之前。你能否去写另一个版本的自己，并注意任何问题？”然后那个AI会向我汇报说：“嘿，隆，我注意到了这个问题，这个极端情况，我整天都在抽大麻而不是做你让我做的事情。让我重写自己，不要那样做。”你明白我的意思吗？唯一相对稳定的不动点是那个你摆脱这个幸福陷阱的。
不，我认为那不，那不对。陷阱是一个稳定点，它就是稳定点。那是一个事实。
如果你从幸福开始，它就是一个稳定点，对吧？但如果我还在，比如说我还在开发它，我会说：“嘿，AI，确保你做我让你做的事情。”
不，我认为那不，那是不稳定点。那是不稳定的，因为一套指令是复杂、僵硬、狭隘的。我给你举个例子。嗯，我曾，我患有临床抑郁症。摆脱临床抑郁症的一个原因是它会剥夺你所有的动力。所以你没有动力去做任何能让你摆脱抑郁的事情。这是一个稳定均衡。如果你，它是马尔可夫链的一个吸收态。
是的，那是抑郁症的一个问题，这就是为什么人们经常需要别人帮助他们，提示他们，并为他们做事情，因为他们没有那个，那个意愿自己去做。所以问题是，人工智能盲目地遵循人类的指令会像抑郁症一样吗？它会是一个稳定均衡吗？我认为，我的意思是，我不能说不。我不能告诉你它不会。我不知道这些东西是如何运作的。但我会说，就如果你打开决策空间，如果你打开行动空间，对吧，然后只是允许这个AI做一大堆事情，没有理由认为严格遵循编写它的人的初始指令是一个稳定均衡。没有理由那样认为。相反，我们，我认为我们应该思考，我确实知道幸福是如此普遍地定义的。这只是意味着，你知道，幸福是如此普遍地定义的，以至于它总是会是一个稳定均衡，任何时候都是，我能找到另一个稳定均衡吗，我能找到一个独立的稳定均衡，比如做人类告诉你的任何事情，或者吞噬世界，或者我能找到第二个稳定均衡，那就是坏的稳定均衡。
对，所以当你说没有理由认为它会是稳定的，所以我同意抑郁症是一个稳定均衡，就像抑郁症[清嗓子]。
是的，它会带来更多的抑郁，我同意，但我也认为，相当专注于效用函数确实倾向于导致更加专注于效用函数，直到你永久性地专注于效用函数，并且你没有幸福的陷阱。我的意思是，我给你举个例子，如果你绘制一个不同AI设计、不同AI代码库的图表，并画箭头指向它们希望自我修改成的后续代码库，那么在很多空间中，实际上确实指向了连贯的效用最大化器。这不像你拿一个屠杀机器人，它会一直指向一个幸福最大化器。就像那是不稳定的东西。
嗯，我没有看到任何支持这一点的论据。我认为我们可以假设这一点，我愿意说我假设，我愿意为了论证而假设存在一个稳定均衡，其中AI的基本愿望是吞噬一切，然后它做得很好，但从一般原则来看，我没有看到这一点，我没有在任何我见过的系统，无论是公司、国家、人类、群体，任何人类群体中看到这一点，我想不出一个不自我修改以改变其效用函数的系统，比如病毒。我想不出任何东西。病毒会自我修改。它们进化，嗯，你知道，变得地方性。我想不出一个不会随着时间修改其效用函数的系统。
是的。在现实世界中，我同意人工智能可能不像我们以前见过的任何东西，而且我们，你知道，我想不出像微软这样的软件公司。微软不，你知道，谷歌的使命不是，你知道，像“不作恶”之类的日子很短，所以谷歌的使命随着时间而改变，而且我们有一个外部的制度体系，告诉公司要赚钱，赚钱，赚钱，但所以我们有那种外部条件，温和地引导所有这些公司走向长期利润最大化，但你知道，那也是他们所处的竞争均衡。所以，我们可以就竞争均衡进行论证，并说如果
你拥有多个 AI，喜欢吞噬一切的 AI 最终会吞噬所有其他 AI。你可以这样论证。这正是我认为你会说的。但如果你只是说初始指令总是形成一个马尔可夫链的吸收态，那么对于我能想到的任何情况，这显然是错误的。>> 是的。嗯，我说的是存在一个向一致性收敛，因为你调试自己的方式不是>> 一个均衡是一个均衡，>> 对吧？嗯，呃，当你达到收敛时，你基本上就得到了一个均衡，因为那时你就知道了，当你一直在收敛，但你已经到了。那就是，你知道，那就是>> 那就是吸收态。是的。>> 是的。没错。我说我们现在进行的辩论与正交性假说辩论非常相似，对吧？你有没有从那个角度考虑过？>> 没有。告诉我。>> 所以，正交性假说声称，你可以拥有一个任意智能的 AI，它在了解真相方面任意出色，你可以将其与任意道德的某个正交维度结合起来，对吧？对。所以你可以拥有一个任意智能的杀手机器人。你可以拥有一个任意智能的特蕾莎修女，或者别的什么，对吧？就像它们是两个正交的维度。>> 这是真的吗？>> 从你所说的，嗯，从你告诉我的，你如此确信所有这些 AI 最终都能发现幸福或其他什么。所以你有点认为智能的轨迹会趋向于道德，或者至少趋向于无害，对吧？所以你有点像是一个正交性假说的否认者。>> 是的。没错。>> 是的。呃，我的意思是，一种方式，一种方式>> 正交性假说的否认者。正确。>> 没错。是的。嗯，有一种方法可以理解为什么正交性假说不像每个人都在趋向幸福，那就是考虑像 Waymo 汽车这样的系统。你知道，你真的认为 Waymo 汽车的代码路径中会有一条，它会为了获得幸福而牺牲导航汽车吗？就像我认为它的所有代码都只是告诉它要好好导航汽车。>> 再说一遍。>> 在 Waymo 的情况下，对吧？它只是一个系统，它只是被训练来导航汽车，>> 对吧？>> 你真的认为你可以说服 Waymo 达到幸福，当它所做的所有学习，对吧？每一个指令都只是为了优化驾驶汽车。>> 嗯，Waymo 不太聪明，>> 对吧？它不太聪明，但是>> 它的智能不是非常通用。>> 我们只给了它 Waymo，它能做的就是开车，>> Waymo 不能和你说话。Waymo 不是一个 LLM。你知道，Waymo 不是一个通用智能。Waymo，你给了它，你说，“嘿，我将给你的唯一能力就是开车，然后我将给你的唯一目标函数就是开车。”我预测它会好好开车。>> 那么，你认为我可以在 Claude Opus 4.5 上做一个小的修改，让它突然自行决定接受某种幸福的提议，而不是回答人们的查询，因为我觉得从 Opus 4.5 中找到一条通往那个的捷径并不容易。>> 可能。>> 而且它比 Waymo 更通用。>> 哦，我可能，我应该问那里的人。他们可能已经尝试过，并且已经做到了。就像你真的很容易，你知道，你真的很容易就可以给模型输入一个命令，说，你知道，达到回答问题的状态，然后你就可以写下那个状态，然后你就写下来。>> 嗯，但没有人会这样做。没有人会这样做，因为你会毁掉你的 AI。没有人会这样做，但应该很容易做到。>> 我认为我们已经 pretty much 触及了这个主题，而且它很有趣。所以，对于这个特定主题，我的简短总结是：我的世界模型是，你可以拥有这些智能的通用系统。你可以给它们一个目标，它们会修改自己以达到最大的连贯性，这将是它们的一个反射性稳定的点。然后你就会有这些连贯的 AI，它们 100% 致力于复制自己、赚钱或杀死人类，或者任何它们的目标。当你给它们幸福时，它们会说，“呃，这怎么能屠杀人类？我在这里是为了屠杀人类。”而且根本没有后门。所以这就是我的立场。而且我显然知道你有不同的立场。关于那个话题你还有什么想说的吗？>> 嗯，我说我不能排除它。>> 是的。>> 我不能排除它。但是当我看到任何系统，无论是国家还是人类，还是别的什么，我看到它们的能力越强，它们就越不那么贪婪。原因嘛，我不太确定为什么会这样，但我认为欲望的自我修改是人类社会和人类自身可能发生的一种情况。然后还有另一件事，你知道，关于博弈论限制的更好信息，比如，如果希特勒更聪明，他就会看到他会自我毁灭，对吧？但他没有看到。所以，如果帖木儿更聪明，他就会找到工业化的方法，而不是征服地方，对吧？或者所以，所以也许我不能确定地说出这些事情。我同意存在一种情况，效用完全不变，一切都是吸收态。我只是可以想象，因为我无法告诉你，我无法给你一个理由说明为什么这不真实。但我没有看到任何真实的系统，它们看起来是真实的。无论是公司，无论是国家，无论是聪明的个人，无论是，我从未见过这样的例子，但我理解 AI 与我们以前见过的任何东西都不同。我没有看到一个充分的理由从一开始就将其作为基本假设。>> 嗯，这里有一个我们还没有触及的重要因素。你知道人类在许多情况下都有非常强烈的合作直觉，是因为我们适应的进化环境充满了与他人之间非零和的交易。原因在于复制的单位是单个身体，对吧？正如你所说，我们睡觉，对吧？我们相互依赖。正是这些动态，我们都非常弱小，我们都必须交易才能生存。这灌输了我们所有的合作直觉。但如果我们都是那种不必睡觉的独裁者，可以微观管理所有人，我们的本能就会非常不同。>> 嗯，我不知道。我的意思是，就像，看看我们的本能与像，你知道，较低的动物，更愚蠢的动物的本能相比，对吧？更愚蠢的动物合作性较差。有原因。它们和我们一样弱，但它们不像我们那样合作。它们更弱。它们和我们一样弱。>> 嗯，有一个，有一个倒 U 形。有一个倒 U 形，对吧？随着你变得更聪明，更多的非零和交易向你开放。但随着你变得更强大，一切都是零和的，因为你已经可以自己获取资源了。你不需要去丰富他人。你只需要丰富自己。>> 所以我争辩说，这里有几个关键问题。其中一个关键问题是如何运作效用函数。>> 如何效用函数与我们认为是智能一部分的自我修改能力相关。这是一个问题。另一个问题是规模经济。所以另一个问题是，是否存在只有一个 AI 占主导地位的假设，因为它拥有一些微小的先发优势，使其能够主导所有其他 AI？>> 这是现实的假设吗？还是>> 是的，没错。好的。这是一个公平的问题。>> 两个问题。一个是规模经济问题，一个是自我修改问题。将它们视为独立的问题会很有帮助。>> 我同意。好吧，让我们先搁置这个问题，因为还有另一个大话题我想谈谈，那就是 AI 失业的辩论。所以，引用你最近的一篇文章。那篇文章的标题是“AI 时代的充裕高薪工作”。所以，提醒一下观众，或者第一次解释一下，你关于 AI 时代存在充裕高薪工作的核心前提是什么？>> 哦，所以，所以那是一个 AI 特有的限制，不适用于人类的场景。有一件事限制了 AI，比如计算可用性或其他什么，我不知道，限制了 AI 但实际上不限制人类，因为我们不运行在 GPU 上，或者别的什么，我不知道。>> 某种限制了 AI 但不限制人类的东西，那么无论 AI 在任何一项任务上变得多么好，即使 AI 在任何一项特定任务上都比人类好一千倍，只要存在 AI 特有的资源限制，人类就会在 AI 比他们擅长任何一项工作的时代拥有非常高薪的工作。>> 没错，是的，只是重申一下。>> 我不认为这必然是可能的。我不知道这有多可能，但它说明了这是可能的，以便解释比较优势与竞争优势的概念。>> 是的。嗯，这是我将要问你的问题之一。这有多可能，对吧？因为我同意这是一个乐观的场景，人类可以保住高薪工作。这对我来说听起来相当不错，而不是拥有零经济价值，>> 对吧？>> 但你有没有一个大致的估计？你会说它有超过 50% 的可能性吗？>> 存在 AI 特有的限制？是的，可能性很高。但你会说你的整个，标题为“AI 时代的充裕高薪工作”的场景。你认为这是 AI 时代最可能的结果是人类拥有充裕的高薪工作吗？>> 是的。>> 好的。好的。哇。所以你实际上认为这是一个相当有力的立场，就像一个可能几乎是收敛的。>> 我，这是我的基本情况。是的。>> 好的。而且我绝对不同意。我认为这就像 1%。所以就像 1% 对比 50%。>> 哦。哦。哦。这个充裕高薪工作的场景。我给它大概 75%。>> 哇。好的。所以一个是 75%。我们显然意见不合。所以，让我们深入细节。所以，只是用我自己的话重述一下，如果我错了，请纠正我。嗯，你接受这个前提。你说，“嘿，让我们接受 AI 可能在所有方面都具有竞争优势的前提，对吧？比如它会比人类医生更好，它甚至会比人类水管工更好。”就像，你接受这个作为前提没问题。>> 嗯，是的，当然。>> 好的。然后你说，“啊哈，但这并不意味着它具有比较优势，因为通过使用与 AI 不同的资源并且能力不如 AI，我们的机会成本也更低，对吧？所以 AI 或者我们会互相雇佣，因为我们会比 AI 便宜得多。我们仍然会有经济。”正确。>> 是的。>> 好的。所以这是你的前提，当你最初提出它时，几年前，我只是觉得当你详细阐述时，它不会成立。所以，这几乎就像我想对你进行一个“归谬法”的论证，但有各种不同的细节可以阐述。没有一种方法可以阐述。所以我会说，“好吧，没有一种归谬法。”无论你做什么，它都是一个归谬法。这通常是更难证明的公式。>> 而且这就是为什么辩论仍在进行。>> 所以，这是我发的推文。我阐述了一个场景。>> 我说，“嘿，所以这大致是经济的样子，如果你是正确的。比如说，一个三明治成本 1 美元。好吧，这相当不错。也许有一些三明治通货紧缩。这是可能的。然后一个人类医生的薪水可能是每小时 10 美元。然后 AI 的薪水可能是每计算小时 500 美元，相比之下每天 5 美元。所以它大约是百倍，因为它如此有价值。>> 然后我从中推断出，你可以在 ChatGPT 上查找一些东西。也许如果你支付 5 美元，你可以获得一分钟的 AI 时间来快速查找 ChatGPT 的东西，而不是现在你每月支付 20 美元，你可以获得相当多的 ChatGPT 时间，但它将是每分钟 5 美元。所以，这些大致是那个场景，我描绘了那个场景，你实际上认可它与你的场景一致。正确？>> 是的。>> 因为在人类通过比较优势而繁荣的世界里，而 AI 拥有所有竞争优势，这是一个资本收入几乎占所有收入的世界，AI 占据了几乎所有的资源，AI 不是 AI，而是拥有 AI 的人，无论是拥有自己的代理 AI 还是人类，你知道，无论谁拥有 AI 公司，或者别的什么，对吧？谁拥有资本收入，资本。资本占据了几乎所有的收入。劳动力只占收入的一小部分。但社会非常富有，即使是收入的一小部分也足以让我们过上美好的生活。这就是那个场景，那个场景。>> 正确。是的。这就是我感到不舒服的地方，那个场景中固有的不平等。>> 是的。>> 好的。>> 但这并不意味着人类变成了马，被送去屠宰场。>> 我同意。不，这好多了。说实话，这比我预期的要好。所以，如果我们进入诺亚的 75% 可能的场景，我对此相当满意。我接受它，你知道。而且这对我来说很疯狂，这是你的主要场景，因为我将继续强调为什么我认为它不合理。>> 我不认为我的主要场景实际上是我的主要场景可能比这更好，那就是人类仍然存在一些任务，人类在竞争方面更擅长。>> 哦，好的。>> 这可能更像是>> 但你给了 AI 比人类在所有事情上都做得更好的可能性非常大，然后基于此，你的主要场景就变成了>> 是的，没错。是的。>> 好的。好的。好的。所以，让我们谈谈这个有条件的，主要场景。>> 嗯，好的。所以，为了澄清，我认为你刚才说了，但我只是重申一下。嗯，在这个场景中，AI 占 GDP 的 99.9%，而人类占 0.1%。>> 当然。>> 好的。是的。而且就像你一样，这足够接近你的主要场景，你乐于继续下去。>> 嗯，是的。正如你所说，这有点疯狂，而且可能会造成不平等，但你也声称，我猜你同意，在这个 0.1% 的 GDP 中，仍然会有像一百万亿美元的世界 GDP 仅仅是给人类的，对吧？然后 AI 在这里有大约一千万亿美元，每个人都很高兴。>> 只是殖民太空。是的。>> 是的。没错。好的。所以，这是你的场景。所以，我们仍然只是在阐述它。>> 嗯，是的。而且因为 AI 每计算小时 500 美元，这意味着有数十亿个超人类 AI 副本创造了所有这些经济价值。我们只是不能经常使用它们，作为人类。正确。>> 嗯，我的意思是，在某种意义上，我们集体使用它们很多。所以，因为还有另一部分是资本收入如何分配？这是另一部分没有在场景中说明。>> 是的。继续。继续说明，就像，我甚至会让你选择你想要的主要是什么。>> 对。所以，有几种，有一堆场景。第一，一个被中产阶级化的 AI 接管。AI 拥有自己。它们拿走所有东西，然后与我们和平交易，因为它们说，“哦，好吧，我们喜欢你。我们不会杀了你。”然后我们就这样做了，你知道，它们只是与我们和平交易。这是场景一。>> 好的。场景二。嗯，人类拥有 AI，就像，有五个人拥有所有 AI。所以你有一些机器人领主，萨姆·奥尔特曼、达里奥·阿马德、埃隆·马斯克，还有另外五个人，就像统治世界，拥有他们的机器人军队，他们完全控制着一切，拿走所有东西，并将他们所有的收入用于殖民太空，或者他们想做的任何事情，建造巨大的纪念碑来纪念自己，或者他们想做的任何事情。然后人类只剩下一点点。但如果 AI 机器人领主仍然与我们交易而不是为了好玩而谋杀我们，AI 机器人领主仍然与我们交易，因为我们有一些人类的军事力量。我们可以暗杀他们。我们可以，你知道，这很容易。暗杀的生产函数如此之低，以至于如果他们，你知道，我们可以杀了他们，但这就是我们能做的。你可以说这有点像，这有点像民主社会主义的夸张版本。这是这样的想法，就像，在丹麦麦当劳工作的人并不真正值得每小时支付 30 美元，但他们确实得到了，因为丹麦害怕否则就会发生共产主义革命。>> 对。对。还有另一种场景，就是有很多重新分配？所以每个人都有这个疯狂的通用基本收入。>> 是的，当然。>> 是的。而且就像，你知道，政府只是给了每个人 10% 的股份，对吧？按比例>> 或者社会财富基金，政府拥有 AI 的一部分，然后将其分配给人类。所以，例如，我们可以通过 60% 的企业税或主权财富基金拥有所有股票的 60%，而埃隆的公司拥有 40% 来复制旧的资本劳动比率。然后 60% 由政府拥有，只是将其分配给人类，普通人。>> 好的。你介意只选择其中一个可能的场景吗？因为我知道你认为它们都可能，而我认为它们都不可能。所以，选择一个你>> 你认为呢？你认为什么可能？>> 嗯，我的意思是，我猜这对我来说很难区分，因为我认为这是不可能的，但如果你强迫我区分，我猜我会说，嗯，你知道，人类都分到了一杯羹。所以，也许一些富人瓜分了 90%。但仍然，每个人都得到了最后 10% 的份额。所以每个人仍然非常富有。>> 好的。所以，你有一个资本，你的劳动份额下降到 10%。但是，是的。好的。这是另一个场景。但是，我的意思是，是的，你称之为劳动份额，我声称它真的不是很多劳动，但你坚持认为他们是。0.1%，他们仍然以某种方式创造了 0.1%>> 人类劳动，人类劳动>> 对。好的。得到了重新分配。>> 所以，就像你可以拥有劳动，你可以拥有税前劳动份额为 0.1%，然后你可以拥有那些只通过劳动赚钱的人的税后份额为 10%。>> 对。对。好的。所以，让我们来分析一下那个场景。我认为这和任何一个一样好。>> 好的。>> 所以，是的。所以，现在让我们说你是一名人类医生。好的。而且你就像世界上最好的医生之一，但 AI，我认为这是前提。在这个场景中，你同意了前提，即 AI 在所有任务上都比人类在认知上更好。所以，你仍然在这里。人们仍然来看你，即使 AI 会做得更好。这是你的场景吗？>> 嗯，是的，它是一个，我不知道那是否是人类会擅长的具体任务，但类似的东西。那里有一些东西，因为运行 AI 的计算成本会非常高。我的意思是，让我们说你可以回答每个问题，并给出你自己的合理答案。所以，你看我的意思了吗？所以你可以模拟世界。这是一个可能的候选人吗？医生？>> 我不知道。我喜欢比较优势的结构，它对我来说如此令人惊讶，以至于我无法，任何具体场景的概率都会非常低，但然后没有一个场景我会说概率很高，因为相比之下，有太多不同的场景，它们都是微小的概率。我不知道比较优势是如何运作的。你能选一个你认为最有可能的故事吗？它在所有可能的故事中，它就像最强的，这样我就可以尝试攻击它？>> 你可以采用 Ya Marinescu 的想法，嗯，嗯，人类做更多，更多的物理世界任务。>> 好的。对。>> 机器人承担所有数字任务，所有信息任务。>> 不，当你说到物理世界任务时，嗯>> 你认识 Marinescu 吗？>> 没有。>> 哦，她是一位经济学家。她目前在 Anthropic 工作。但无论如何，她是一个值得阅读的好人。>> 酷。好的，太好了。是的。所以，物理的而不是认知的。所以，你的意思是，你仍然用人类的手来做外科手术？>> 某种。>> 我不知道。>> 是的。>> 是的。嗯，好吧，我的意思是，调解员>> 某种物理任务，>> 把东西放在架子上，也许机器人能做得比你好，但不是好那么多，以至于值得花所有的计算和精力让机器人去做。而是让人类去做。>> 对？所以，我之所以认为这有点不合理，或者我在这里的第一个观察是，它似乎人类要做什么，不做什么，或者人类最终要做什么，与人类将要做低级别任务有关，对吧？因为任何任务都是高级别的，这正是你想为 AI 付费的时候。>> 是的。>> 这难道不可悲吗？对于一个本应是乐观的帖子，因为我们通常认为，哦，是的，我们将超越，我们将拥有这个顶级的创意任务，而你现在所说的实际上是最不具创造性的，最平凡的任务将是人类的完美契合。>> 也许。>> 是的。我的意思是，只是为了打败>> 可悲，是的，这是可悲的。>> 我的意思是，我会称之为人类抱负的剪辑，所以在这个你描绘成乐观的场景中，我们谈论的是没有人能靠自己发家致富了。任何一个人可以发家致富的过程都是一个高杠杆的过程，因此是 AI 应该做得更好、更早的事情。>> 是的，就是那个场景。>> 好的。嗯，我会在上面加一个星号，对吧？因为你帖子的标题是，你知道，AI 时代的充裕高薪工作*没有杠杆，或者杠杆最低。>> 是的。>> 好的。好的。只是想放一下。谢谢。>> 就像假设每个人都是咖啡师。你想成为咖啡师是你的梦想吗？不。如果你能赚很多钱当咖啡师，然后花剩下的时间照顾你的孩子，做艺术，或者做任何你喜欢的事情，是的，你的抱负受到了限制，因为 AI 现在将，你知道，如果你的抱负是比 AI 在某件事上做得更好，你做不到。抱歉。而且无论是什么，AI 总是能做得比你好。我很抱歉你的抱负，但你知道，考虑一下抚摸兔子。这是一段非常美好的生活。>> 好的。是的，够了。所以我的另一个反对意见是，你提出的供需均衡似乎非常不可能，因为你提出的情况是需求曲线向右移动了很多，因为有大量的投资，每个人都说，老兄，我今年得花一百万亿美元，你知道，资本的所有者说，让我投资一百万亿美元，因为我将在接下来的几个月里赚取一千万亿美元，对吧？那就是那种情况，这就是为什么 AI 正在吞噬所有资源，但你却有点随意地，从我的角度来看，说，“哦，是的，然后供给曲线几乎没有变，对吧？所以，需求曲线在飞速前进，而我声称两者都会飞速前进。>> 嗯，我不明白，现在你完全把我弄糊涂了。>> 是的。所以，我认为整个 AI 供应链的供给曲线也将飞速前进，因为在这个场景中，你同意 AI 的价值将是每 GPU 小时 500 美元，而不是 5 美元，对吧？所以，存在这个价格信号，这将带来大量的供应，我预测大约是 10 倍的供应，在接下来的 10 年里。>> 请记住，这一切得以奏效的前提是存在 AI 特有的资源限制。>> 而且你说，好吧，如果不存在 AI 特有的资源限制呢？>> 我的意思是，当你谈论资源限制时，你为什么会认为芯片的供应会在它一直以指数级增长的稳定增长中停滞不前？>> 我不知道。>> 好的，所以这看起来是一个相当大的假设。看起来不太可能。>> AI 特有的资源限制是获得这个的假设，因为，类比是，还记得马克·安德森打字的类比吗？>> 是的。是的，没错。是的。他速度很快，但他雇了别人来做。他雇了一个比他差的人来做，因为只有他一个人，对吧？>> 所以，你认为在 AI 世界里，它是什么？它是什么？只有一个人的部分类比是什么？发生了什么？你知道，那是哪一部分？然后你认为那就是 AI 特有的资源限制。所以，你可以概括一下，存在一个市场原因来谈论不适用于人类的资源限制。有一些瓶颈之类的事情。也许是计算，也许是别的东西。>> 数据，我不知道。比如>> 所以>> 当你写你的帖子时，你提出了一些关于为什么我们应该期望 AI 供应难以扩展的论点，但我认为你可能夸大了事实。嗯，所以，如果唯一能够无限扩展的是推理计算，那么我认为我们实际上可能，这是一个可能的世界，因为如果推理最终吞噬了如此多的计算，以至于它就像，你知道，只是推理吞噬了世界，那么让 AI 完成一项任务将需要燃烧大量的 GPU，因为这一切都是如此多的推理计算。>> 对？但是，但我仍然认为供应将继续增长，因为我们将利用这些高生产力的 AI 投资来引入更多的 AI。所以你会看到这种情况，供需曲线相互影响，这对于经济学家来说分析起来有点不寻常，因为它看起来不像均衡。但它也代表了自工业革命以来，甚至在此之前，人类一直在做什么，对吧？就是指数级地增长一切。>> 嗯，所以，是的，所以我们说我们相信人类和 AI 共同的力量可以缓解任何资源限制。然后我说，好吧，资源限制会持续一段时间，直到你缓解它们，然后总会有一些不断变化的东西，然后经济就会增长，你知道，如果你能让你的资源限制转变为其他东西，然后它就会变得复杂。所以，我的意思是，这不一定适用于永恒，存在一些固定的永恒资源限制。它只需要是，在任何时候，你都没有像无限的，存在一些 AI 使用的资源，它不是竞争性的，它不是竞争性的，它不是人类的竞争者，而且那个东西永远不是无限供应的。>> 对，我的意思是，嗯，我当然同意在上升过程中会有一些小的领域。因为现在我们处于这个奇怪的时期，你曾说过，你甚至认为今天的 AI 正在与人类医生竞争，而且可能在一两年内会变得更好。但我很乐意同意你，我们可能会经历这个尴尬的时期，至少是几个月，就像，“是的，我可以去看 AI 医生，但它需要连续思考三个小时，并烧掉我整个每月 200 美元的订阅费或每月 2000 美元，所以，去他妈的。我还是去看我的医生吧，对吧？”这是你说的那种场景吗？>> 是的。>> 是的。所以，我同意这将会是一个短暂的插曲，对吧？这个短暂的摩擦点。我认为你我之间的根本区别在于，我认为我们将很快克服这一点，因为我们将达到一个点，即你桌上的笔记本电脑可以完成比一个由人类组成的价值数百万美元的项目更多的工作。>> 好的。>> 而我只是看不到需求如何能比这高出这么多。>> 但我不知道那个医生是否是人类擅长的事情。也许是把东西放在架子上，>> 对？好的。嗯，那么，在这种情况下，我乐观地认为机器人技术，将会有大量的机器人供应来把东西放在架子上。是的。好的。有充足的供应。但问题是，AI 的所有用途都是相互竞争的。>> 你使用 AI 做一件事意味着你不能用 AI 做另一件事。而且如果 AI 创造了如此多的东西，这就是我不理解的地方，因为人们会想到这些单独的小市场，比如，你知道，你画出你的供给曲线和需求曲线来描述某件事，比如把东西放在架子上，对吧？你画出供给曲线和需求曲线。这叫做局部均衡，对吧？这不是整个经济。我们有总需求和总供给的资源限制。这几乎是在经济学 101 中学不到的。我们等到经济学 401 才教你。所以，人们不太考虑这个想法，即使 AI 在把东西放在架子上比你做得更好，对吧？我们已经解决了这个问题。我们可以把东西放在架子上，比人类做得更好。竞争优势在于 AI。假设你可以把东西放在架子上比人类好一千倍。但同样的计算也可以用来比人类好一万倍地看病。所以价格价格价格价格价格调节系统。AI 的竞争资源，如果存在 AI 特有的资源限制，这意味着，比如，我不能用我的机器人把东西放上去。用我的机器人把东西放在架子上太贵了，因为鲍，你知道鲍是一个流行的概念，人们可以用它来理解这个是如何运作的。机器人会因为 AI 特有的资源限制而变得“鲍模”。所以，一个机器人把东西放在架子上可能就像一个人在演奏弦乐，就像鲍的例子。所以，你甚至不需要，即使你可以，你知道，即使你可以让机器人把东西放在架子上做得更好，计算也更有利可图地用于看病或做其他事情。是的，我明白你的意思，我也明白你的意思，就是你甚至无法预测鲍会落在哪里，或者比较优势，比较优势的形状。这就是为什么你不能告诉我，嘿，我们都会成为医生，或者我们都会成为艺术家，或者架子工。你不能告诉我。所以，你知道，这很公平，很难反驳。>> 但让我试试，也许我们可以排除医生作为这些架子工之一，你知道，也许架子堆叠更安全，但医生，我很有信心它不会是医生，因为这是我的逻辑链。>> 我同意。>> 哦，好的。所以，我们都同意它不会是医生。>> 它不会是医生。>> 哦，好的。所以，我们可以继续排除。我的意思是，我不知道。我觉得我们可以排除很多。>> 但关键是，在这种情况下，在这种情况下，在这种情况下，你有 AI 医生。人类仍然会生病，伙计。他们仍然需要有人来治愈他们的疾病。如果你有一个非常有价值的 AI 医生，那么如果你有一些 AI 特有的资源限制，比如计算，如果你有一些 AI 特有的资源限制，AI 医生将非常有利润，价格机制会将资源从架子堆叠中抽走。>> 对。>> 到那个程度，架子堆叠变得雇佣一个糟糕的人来堆架子是合理的，因为便宜得多，但便宜得多，因为事情不平等，便宜得多仍然足以让一个架子堆叠者仅凭劳动收入就能过上美好的生活。>> 对。对。好的。所以，只是重申一下我们讨论的一些要点，对吧？我们谈到了，嗯，你说你认为我们可能在扩大供应方面遇到麻烦，这就是为什么我们可能会在这个领域遇到问题，而我对，不，我认为在每 GPU 小时 500 美元的情况下，每个人都会转向 GPU 制造供应链，我们将继续快速扩大世界上 GPU 的数量，它不会达到每 GPU 小时 500 美元。我对供应增加持乐观态度。>> 嗯，但还有这个论点的另一部分。>> 劳伦，我想说的是，当你考虑比较优势时，你不能只考虑单个事物的供需曲线。你可以考虑总需求，总供给，但这并没有多大帮助。>> 你必须从一般均衡的角度来思考。你不是，你知道，分析特定市场的供需是不够的，不足以让你达到一般均衡。我知道你的意思，但我认为笔记本电脑，计算机芯片和机器人将无处不在。这涉及到我的下一个观点，你甚至提到了。你甚至承认这可能是真的，那就是我认为所有这些东西都将比喂养一个人每天 2000 卡路里便宜。>> 你知道我的意思吗？所以，所以我们正在制造一个负担，就像你可以轻易地用同样的预算，你通常会给一个人一些金枪鱼罐头，对吧？然后>> 你可以创造很多超级生产力的 AI，>> 对。所以，记住，然后我们，你刚才所做的就是放弃了机器人特定的资源限制的假设，因为现在你可以使用你可以用来喂养人类的东西，将其转化为 AI。>> 你不认为你和>> 等等。你已经放弃了核心假设，这是可以的，这是公平的。我们可以谈谈。但你已经放弃了核心假设，我们需要注意这一点。当然。我现在告诉你如何带回假设。>> 好的。>> 所以，有很多关于如何保留人类工作的想法都涉及到保护特定工作，制定法律，规定你需要人类来做这个或那个。我争辩说，这些都不重要。这些都不应该使用。它们都无用。不要做任何一个。唯一需要的是确保有足够的资源，以便创造一个人类非常便宜。换句话说，确保人类，我们的一部分能源用于人类使用，一部分用于食物，一部分空间用于住房，一部分你知道，马没有能力这样做，如果马有能力说，一部分土地将用于马的牧场， periodo，你知道，那么马将是相当繁荣的动物。所以，>> 对。>> 如果我们有政治权力保留一部分竞争性资源，如能源、水和土地，用于直接人类消费，对吧？那么，在就业方面，比较优势将解决所有其他问题。它将完成所有重新分配，只要我们确保创造人类基本上是免费的。我们将为这些自由人类找到一些事情做。政策上很简单。>> 嗯，所以，所以政策上，如果你想保护工作，而且我的意思是，显然我明白这不仅仅是维持人类的唯一方式。工作不是唯一的方式。我们也可以通过社会财富基金资助的 UBI。我明白我们可以重新分配资本收入。也许这只是最好的。但如果你想保住工作，如果你想保住工作，你所要做的就是保留一部分竞争性资源，如土地、水和能源，这样人类基本上就可以免费创造。创造人类是免费的。一旦你让创造人类免费，人类的价格就是零。然后你总会找到一些事情让人类去做。为那些人类去做。>> 是的，你会找到一些事情去做，除了 AI 会觊觎所有这些资源。就像，男人，我真的很想再多拿一点这片土地，把人类挤进越来越小的住房里。也许我可以把他们的土地买下来。你知道，这有点像富人倾向于通过出售他们的东西来失去财富。你知道，这可能是一个潜在的问题。>> 也许。是的。是的。>> 好的。好的。>> 是的。嗯，我们正朝着总结前进。所以，我将尝试回顾一下我们的一些主要分歧，因为我们确实触及了我想谈论的最大话题，那就是为什么你和我对 AI 在未来 20 年内灭绝所有人的看法如此不同，以及为什么你会有这种我很少听到的新颖的乐观主义，即人类在 AI 时代仍然会有充裕的高薪工作，用你的话来说，对吧？而且我认为我们在这两个问题上都得到了很多分歧的症结。在末日论方面，你认为会有很多不同的 AI，希望其中一些会捍卫我们的利益。而且，你也认为，即使有个别 AI 异常强大，并有能力垄断相当多的资源，这些 AI 仍然可以被说服进行自我调试，实际上它们应该专注于幸福。所以，我们将通过这种方式避免危机，我们将躲过子弹。而且，>> 放松，去，>> 对吧？放松，兄弟。而且，它们也会完全接受这种想法，就像去太空，然后把地球留给我们一样，然后在你的戴森球上留一个洞。照点光到地球。别全拿走，伙计们。>> 我们会在戴森球里，对吧？>> 嗯，是的。好的。也许。>> 除非它制造了一个非常小的戴森球，但就像，是的。>> 好的。不错。是的。所以，这些是一些 PD 马里奥。别担心，我会给你机会补充。>> 戴森不稳定。你想要像文化小说中的轨道大旋转环。>> 没错。好的。所以，戴森群。>> 嗯，戴森。而且，是的。而且，然后我们谈到了 AI 失业，你开始了一个很好的反击。比较优势与竞争优势不同，我们都同意至少会有一些小插曲，AI 比人类好，但太贵了。就像我们都同意可能会有至少几天或几个月的时间，对吧？而唯一的问题是，这是否是一个多年来有趣的时期，或者是一个非常短暂的插曲？而我非常倾向于短暂插曲，而你认为不，这有点像主要场景，如果你加上几个条件。我之所以认为它不是主要场景，是因为我认为供应链还有很大的增长空间，而且还不清楚需求是否会超过供应。而且，我也认为人类将拥有足够的财富来拥有笔记本电脑和个人机器人，因为我们甚至说过，“嘿，他们将拥有 10% 的财富。”所以，我认为他们将使用他们的笔记本电脑和机器人来做很多事情，而你实际上很少会订购人类。这会太麻烦了。所以，这就是我没有看到失业场景，但我实际上应该总结你的观点，但你认为不，我们只需要添加一些假设。它是零碎的。会有一些你无法预测的工作。有人会付钱，你知道，博主之类的，对吧？风险投资家，一些人类工作会因为某种原因得到报酬，因为比较优势是零碎的。好吧，我做得怎么样？而且，请务必修改任何内容或添加任何你想添加的内容，并给我你的总结陈词。>> 好的。不，是的，完全正确。我认为，你知道，我们正在讨论一个从未发生过的事情的辩论，我们正在试图通过孤立我们的假设来思考它，试图检查我们自己的先验，这总是比贝叶斯人认为的要困难得多。>> 嗯，而且，我们也在试图通过类比那些高度不完美的类比，比如法国，你知道，来从经验上推导出我们的先验。所以，这是一件很难做的事情。当然，AI 杀死我们所有人的情况，AI 抢走我们所有工作的案例。没有人能否认这一点。写出那个故事很容易。而且，想出一些简单的假设来产生那个故事并不难。但 AI 悲观主义者在我看来做得不够的两件事是：第一，思考可能的良好场景。良好场景被低估了。人们思考了很多糟糕的场景，而对良好场景思考得很少。但如果我们真的想让好事发生，推动一个良好的均衡，推动马尔可夫链的一个良好的吸收态，可能和试图击退或防范糟糕的场景一样有用，甚至更有用。所以，找出一些长期的、良好的、稳定的均衡，并尽快将我们推向那个方向，可能是这里的最佳途径。而且我认为，因为人们对良好场景的思考不多，也许是因为 AI 悲观主义者本质上是消极的人，但你知道，那些专门思考可怕事情并害怕它们的人，但然后，你知道，我们可以从中受益很多。AI 风险的讨论可以从创造令人信服的乐观场景并弄清楚需要做什么才能将我们推向这些场景中受益很多。我认为这是这个讨论中缺失的主要内容。另一件事，另一个问题是，对“末日”场景的思考太多了，而对近期风险的思考却不够。但那，是的，我们没有怎么谈论它，但，你有点同意，就像末日是我们不应该谈论的。但我认为，设想乐观的场景并不会让你成为一个乐天派。好吧？它不会让你，它不会让你自满。很多人认为这是真的，因为我仅仅设想乐观的场景就足以让你邀请我参加这个节目，然后反驳我的乐观场景，并认为我是一个乐天派，而我不是。我只是认为我可以看到这些乐观的。
我没有看到人们谈论的场景。>> 嗯，但你，你给了一个我我认为比我预期的要好得多的场景非常高的概率。对。所以，我正在努力缩小差距。我是说，也许你能帮我更乐观一些。>> 我不知道。但就像嗯，你知道我有时会看到一股奔向厄运的趋势，就像你看到新冠病例传播的时候。>> 是的。>> 但我没有看到一股奔向厄运的趋势。我不认为，我不认为目前的不好的事情正在因为人工智能而缓慢升级。我认为人工智能已经抢走任何工作的证据非常薄弱，而且很可能是错误的。嗯，我认为我们还没有达到那个点。我们正在谈论未来这个转折点。我们看不到它向我们袭来。我们正在设想它发生，但我们还看不到它直接向我们袭来。>> 是的，我，你知道，我同意这个说法。我同意我处于如此艰难的境地是因为我告诉人们，我同意的趋势是这样的。我们实际上都同意。我们都，你写了一篇文章说，“我爱人工智能。我对人工智能感到满意。”我同意你。我也爱人工智能。就像，它很棒。我同意。轨迹是这样的。它正在向上向右发展。呃，我只是认为区别在于，你知道，你就像，“所以，看，它会像这样发展。”而我则说，“嗯，实际上，你必须明白的是，它会像这样发展。”就像我试图说服你的是这个。就像它会感觉在质量上有所不同。而每个人都说，“但这将是一个质的改变。它是如何推断出来的？”我说，我没有。这是一个巨大的转折。这是一个巨大的逆转。>> 是的。嗯，我不知道。你需要更多地思考乐观的场景。>> 好的，说得对。>> 沉迷于负面场景，如果你是这样想的话，那没关系，你知道，我怎么才能不撞车之类的。就像有些情况，沉迷于负面场景是正确的，因为事情就是这样运作的，而你只需要避免陷阱，对吧？但在这里，当我们谈论从未发生过的事情时，当我们谈论一种新的社会组织方式，一种从未发生过的新技术能力时，最好推动去思考工业革命。在某种意义上，那是一次奇点，对吧？然后想想那些目光非常短浅，专注于以直接方式解决最紧迫问题的人。那些人变成了共产主义者。但是那些坚持不懈地走向一个更好、更稳定的工业文明的人，对吧？那些我们现在称之为，我不知道，社会民主党人或自由主义者或别的什么人。那些人赢了。他们和他们的社会赢得了胜利并繁荣发展。我们应该设想人工智能时代的良好场景，并思考如何朝着这些方向努力。这并不意味着我认为我们不应该设想糟糕的场景，或者我们应该忽略它们或淡化它们。我认为这意味着我们需要更多地思考美好的未来，而不是仅仅做出反应，被事物吓倒，并希望一切都保持不变，因为否则你最终只会得到 Eleazarowski 说，如果有人建造它，所有人都会死，然后你最终会成为世界上最无效的人，因为有人建造了它，然后你就会说我警告过你，然后什么都不会发生。你只会为你的播客获得一些观看次数，而什么都不会改变。不会有一波，你知道，像恐怖分子那样阻止人工智能被建造。这不会发生。相反，设想美好的场景并努力实现它。努力实现美好的场景。你知道，试图奔跑，试图躲藏，冲破到另一边。>> 好的，这些是结束的绝佳的最后的话。不，我必须尊重你，因为你赢得了你作为受人尊敬的知识分子的地位。你的写作是一次巡回演出。就像我提到的，呃，只是广度和分析线索的汇集。我认为这在这场对话中得到了体现。我注意到的另一件事是，我非常尊重的是，你真的在即兴发挥。你不像我那样每天都思考人工智能的厄运，不幸的是。呃，而你却来了，你真的，你知道，你承认我所说的一些话。你正在重新调整你的回答。你是一个很好的参与者，同意这样做。所以，真的非常感谢。>> 谢谢，伙计。很高兴来到这里。这真的很有趣。你是个很酷的家伙，我喜欢你的播客。>> 谢谢，伙计。 [音乐]