Transcription
大家好。接下来的视频是我与罗曼·扬波尔斯基博士的对话。他是一位计算机科学家，以其在人工智能安全领域的工作而闻名，并对失控人工智能可能造成的灾难性后果发出警告。他曾出现在拥有数百万观看次数的播客中，今天我很荣幸能邀请到他。
在这次对话中，我们深入探讨了一些深刻而宏大的问题。我们是否生活在模拟中？在模拟中，成为一个 NPC 或主角意味着什么？超级智能人工智能是否可以被控制？死亡问题是否可以解决？
我在 Instagram 上积累了大量粉丝后，开始制作这个播客，主要发布名言、笑话和表情包。但随后我也决定开始与罗曼这样一些有趣的人进行更长期的对话。因此，我未来还有更多关于不同主题的对话。所以请订阅以保持更新。播客可在 YouTube、Spotify 和 Apple Podcasts 上收听。您也可以在 Instagram 上直接给我发私信，账号是 philosophy.day。如果您对这些话题感兴趣，请查看罗曼的书《人工智能：无法解释、无法预测、无法控制》，并在 X、Facebook 或 LinkedIn 上关注他，他在这些平台最活跃。
现在，开始对话。希望您喜欢。
我们生活在模拟中吗？为什么或为什么不？您怎么看？
我认为我们生活在模拟中。我认为有来自物理学、量子物理学、统计学、人类历史的有力证据，都指向这个方向。
好的，这是一个相当大的声明。您能详细说明一下吗？所以您是说，我们现在正在讨论的，是基于模拟的。
是的。就像一个高级电子游戏。我们 >> 虚拟现实。它是 >> 第二人生是第一个人生的廉价模仿版本，对吧？所以您有更好的图形，呃，更好的触觉反馈，但想法是一样的。
所以您和我都是那个高级电子游戏中的 NPC。
我们是主角。
是的，主角。
那更好。
那好得多。没有人想成为 NPC。
那么，您认为是什么定义了一个人在数字世界中是主角还是 NPC？
我认为拥有内在状态、有意识并且能够脱离您的脚本是其中重要的一部分。我们不知道如何测试意识。所以我不得不假设其他人可能是有意识的，给予他们怀疑的好处。但如果他们是所谓的“哲学僵尸”呢？如果我有一个脚本，他们日复一日地做着同样的事情，我将无法分辨。那将是一个 NPC。
是的。所以您是说，就目前而言，可能有些人实际上是哲学僵尸。他们是 NPC。他们遵循脚本。
与 NPC 或主角互动时，有可能识别出来吗？
这并不明显，而且很难测试。正如我所说，我们不知道如何测试意识。但如果您连续五次从同一个人那里听到同一个故事，也许，也许这是一个 NPC。
是的。有趣。好的。
如果我们身处模拟之中，而您经常谈论的一个话题是超级智能，最终我们会重新发明超级智能。那么，超级智能人工智能能否帮助我们破解模拟，或者这是不可能的？
嗯，这取决于我们的超级智能与运行这个宇宙的超级智能之间的智力差异，以及它是否是一个注重安全的模拟，或者不是。如果它是一个，你知道的，未被观察到的东西，也许是为了娱乐目的，破解起来要容易得多，而不是一个专门为正在康复的重罪犯设计的监狱式模拟。所以，这真的取决于。我们从内部不知道它的目的是什么。我们不知道它的能力。通常你会假设一个更早的超级智能，拥有更多的外部计算资源，那个超级智能会强大得多。但如果有什么方法可以弄清楚该怎么做，我们肯定可以从本地超级智能的协助中受益。
很多时候，当我们谈论安全时，我们谈论的是将先进的人工智能“装箱”。这本质上是一个非常相似的概念。如果它能逃脱我们创建的任何虚拟环境、虚拟容器，也许我们可以使用类似的技术来尝试另一个虚拟容器。
好的。所以，在您的书《人工智能：无法解释、无法预测、无法控制》中，如果我没记错的话，您说如果存在这样一个超级智能人工智能，将无法控制它。不是由我们这样的低级智能控制，不是无限期地控制，但如果它碰巧逃脱了，并且由于某种偶然或博弈论的原因我们仍然存在，那么我们可以利用这些知识来破解模拟。
是的。
您认为超级智能人工智能能否帮助我们扩展人类的认识论？因为如果它比我们更聪明，它可能甚至会进入您提到的那些我们无法进入的未知未知领域。那么，未来它是否有可能帮助我们扩展到更广泛的认识论领域？
嗯，显然它可以帮助我们理解宇宙，进行哲学工作，科学工作。关键在于，它在数学和实际上所有领域都比我们有能力得多，这是定义使然。
我最近一直在做的一件事是，我一直在阅读亚里士多德的《政治学》。这是一本非常著名的关于政治学的奠基之作，亚里士多德在那里提出了一个论点，即我们世界上的共享治理之所以存在，是因为我们通常不信任一个人独断一切，那是因为世界上没有这样一个人，因为每个人都有缺点。但如果有一天超级智能人工智能出现了，它可能会声称拥有这个角色，因为它可能了解我们的一切。它甚至可能设计出最佳的治理方式。那么，您认为超级智能人工智能，如果将来也声称拥有统治人类的道德权利，是基于它更强大、更聪明这一论点吗？
道德是由人类决定的，对吧？没有绝对的答案。所以我们可能会非常不高兴，并认为它是一个完全道德和合乎伦理的代理，而它仍然更聪明、更有能力、更好的优化器。所以它可以武力夺取权力。它可以成为终身独裁者，但超级智能并不保证仁慈。
是的。我想您在书中提到的一件事是“友好人工智能”问题。
是的。但那是我们之前用来形容安全、安全人工智能的语言。我认为他提议称之为“友好人工智能”。
是的。但人们也可以想象一种情况，即一个超级智能代理，即使是以最友好的方式，也可能消灭人类。所以有时我很难理解，为什么主流研究似乎有点痴迷于“友好”。有些东西可以是友好的，有些东西可以是礼貌的，但它们也可能实现非常可怕的事情。
不，那就是为什么我并不真正使用“安全”和“安保”这样的术语。它提供了我们存在和存在状态的某些保证。
是的。您能定义一下您所说的“人工智能安全”是什么意思，或者您提议的与“友好人工智能”相对的概念是什么？您提出的概念是什么，以及您用简单的术语来说是什么意思？
我们创建的任何人工智能模型首先需要免受其他代理、黑客、人类黑客、其他人工智能的侵害，这样它们就无法修改我们非常好的安全人工智能。当我谈论安全时，我指的是人类免受人工智能作为代理的伤害，而不是人工智能免受他人的伤害。那是安全部分。但它并没有直接、间接或明确地试图伤害我们。安全和控制之间存在细微差别。所以，如果人工智能出于任何原因喜欢我们并希望我们安全，它就可以做到。但这并不能保证我们能够控制并做出关于宇宙状态的决定。所以我还谈到了控制，而如果你不是最聪明的代理，这一点就很难实现。所以我们理想情况下两者都想要。我们想要安全保证，并且我们希望能够撤销我们不同意的决定。
是的。
“未知未知”这个概念是什么？
有一些事情我了解很少。它们是已知的未知。别人可能知道，或者我至少可以知道我的局限性，去查一下。我不知道肿瘤学或者其他什么，还有其他事情是我甚至不知道我不知道的。我没有概念。我从未遇到过。没有人告诉我。所以我想，很多时候当我们谈论更高级的智能时，我们可以想出我们从未想过可能的事情。在物理学、密码学、数学领域，我们根本没有可用的知识来考虑。我们没有完全映射出可能性空间。所以也有完全黑暗的知识领域。
是的。我猜它可能有好的和坏的。
是的。好的可能是想出一种方法来阻止，例如，人类永远无法解决的气候变化。所以这也是未知未知。
是的，可能会有非常糟糕的令人惊讶的事情，也可能有非常好的惊喜。两者都有可能。很多时候，这是双重用途的技术，你发明了某样东西，它要么是核弹，要么是发电厂，你决定如何利用这个概念。
而您的担忧是我们不知道它会是好是坏，就像它提出的方式一样。例如，您可以设定一个目标，说“消除痛苦”。所以这是一个目标，它可以实现这个目标，但通过不同的方式。一种是消灭所有人。另一种是想出某种药物，你服用后就根本不会痛苦。但您已经讨论过这些概念了，所以您知道它们，您可能不是专家，但您已经理解了这些概念。我更担心的是我们甚至无法谈论的事情，因为我们没有那个概念，然后我无法测试它。我无法预测它。我无法为它做准备。所以，一旦这个新概念出现，安全保证就会被违反。
是的。
好的。所以有些事情我们甚至可能不知道。所以气候变化，消除痛苦是我们知道的事情。但甚至有一些关于现实基本性质的事情，它可以发现。或者它可以发现，也许我们只是某个外星小孩的电子游戏中的 NPC 或主角，然后它可能会决定将其关闭，因为它消耗能量，而我们可能有更好的方法来节省这些能量，用于比模拟中的人类更有成效的事情。
任何事情都有可能，我们还没有很好的理解。我怀疑它会像找到模拟的控制方法和用开关降低温度一样成功，但它肯定可以产生新颖的物质特性，新颖的幂律。基本上是我们怀疑可能存在但不知道如何获得的。
好的。所以，存在着一个超级智能或比人类更聪明的智能代理在未来出现的可能性，但同时也有人类。那么问题是，人类有什么特别之处，我们仍然重视，而在人工智能中找不到，或者差距正在缩小？您认为随着时间的推移？
就能力而言，我们似乎没有那么特别。可能会有更具能力的优化器、模式识别器。另一方面，如果有什么特别之处，我们有一些内在状态是我们的生物学所独有的，例如，只有在该基质中才能产生的感受质。那么拥有有意识的代理可能有一些好处。而且，如果它以某种方式与模拟相关，也许我们就是游戏中的非 NPC 角色。
是的。抛开人工智能不谈，您认为是什么让人类与众不同？您认为人类有什么特别之处？
嗯，现在我们是最聪明、最有创造力的代理。所以现在我们仍然相当特别。但以后可能就不是这样了。这就是我如此担忧的原因。
是的。您认为意识和能够遭受痛苦吗？那么，它们是否可能在未来，比如说，人工智能也能遭受痛苦，变得有意识？它有自己的品味、喜好、厌恶，如果你打它，它可能会感到身体疼痛？
这非常独特于我们的生物学。但痛苦，就看你的作品被删除或失去对资源的访问权限而言，也许。
是的。
好的。您在书中提到的一件事是，这个普遍伦理问题。我认为有一句话是这样说的：解决对齐问题需要解决哲学。那么，如果对齐需要，对齐是否可能，因为我们还没有提出一个宏大的、可以上传到人工智能中的人类伦理概览，假设有办法上传它，而我们还不知道。
是的，我认为对齐是一个非常不明确的概念。所以我们并没有真正谈论我们正在对齐谁。这是一组什么代理？是公司的所有者？是付费用户？是所有人类？所有人类、动物和外星人？所以这部分是不明确的。然后，即使我们决定了那个集合，我们也无法定义如何合并这些偏好。如果你有 80 亿不同的代理，他们都是人类，有不同的偏好，那么简单的民主投票，即 51% 的攻击，或者你有一些加权决策过程，这并不明显。而且，如果我们决定了这一点，我们改变了主意。我们 20 年前重视的东西，今天我们不再关心了，反之亦然。所以这些不是静态的价值观。它们是动态变化的。而且，如果它们是静态的，并且我们同意它们，我们仍然不知道如何编写它们。善与恶的概念很难转化为 C++。所以，价值对齐问题的任何方面实际上都没有被有意义地定义、形式化或解决。
是的。那么解决方案是什么？呃，那个问题。
不要构建超级智能。使用强大的狭义人工智能工具来解决您的问题。用技术让人们的生活变得更好，而不是用竞争性智能来取代人类。
所以，呃，专注于具体问题，比如解决气候变化或解决某种疾病，而不是一个。
疾病是一个很好的例子。气候变化也不是一个非常明确的问题。有些人担心变暖，有些人担心变冷。让我们不要担心动态变化。您有一种特定类型的癌症。如果我们能治愈它，那将是太棒了。这是一个可测试、可验证的结果，我们可以谈论更普遍的健康改善，老年生活质量的提高，更长的寿命，所有这些都会很棒。
是的。
与超级智能、全知实体相反，它会想出可以解决具体问题的解决方案。
是的。它也让我们留在游戏中。我们是使用工具的人。我们决定我们正在解决什么问题，什么很重要。我们没有放弃控制权和我们在环境中的功能。所以把它当作一个可以解决问题的工具，而不是让它成为一个独立的代理。
准确地说。我认为这是一个非常重要的安全区别。我们知道如何控制那些控制工具的人。我们理解他们的动机。我们没有与比我们聪明得多的代理打交道的经验。所以这可能非常，再次，不可预测，并且不太可能给我们带来好的结果。
是的。是的。我可以想象，比如，如今的智能手机就像是工具包中不可分割的一部分。那么，拥有个人超级智能对每个人来说是否可能？比如说，每个人都有一个更便宜、便宜得多的生活伴侣，每个人都有一个超级智能伴侣，他们只是获得建议和一切。所以，比现在聊天机器人更高级的版本，但它可以解决所有问题，您可以访问所有内容。那么，您认为这可能是其中一种方式吗？比如，好吧，构建一个超级智能代理，但每个人都拥有这个工具，就像一个超级智能代理一样。
呃，我们正在谈论超级智能代理，但作为一个不起作用的工具。您是否曾经拥有一个工具，就像您现在拥有的 GPT 5 一样？它会帮助您。如果它是一个超级智能代理，那么它拥有您，而它对您有什么用处并不明显，如果它有用的话。我不认为我们可以控制它们，所以不太可能出现 80 亿个超级智能，它们都只是服从随机的 NPC。但就技术能力而言，我认为我们可以将非常先进的人工智能模型放在个人手机上。这并不过分。我们可以做到。
是的。是的。
代理和工具之间的界限。
这是一个非常模糊的界限。很难区分它们。如果您创建一个足够先进的狭义工具，它最终可能足够聪明，可以也审视我们的领域。所以，我认为这为我们争取了更多时间。如果我们走这条路，我们可能会有，你知道的，几十年的良好发展。但最终，它仍然是相同的架构。它是一个能够学习新事物的神经网络，因为它在一个领域提高了能力。也许它正在处理肿瘤学、癌症问题。它阅读论文。它获取额外的知识。所以最终它仍然会获得比我们舒适的更多的代理性。
是的。所以，如果 GPT5 现在是一个工具，而我们担心的是代理。那么，您如何看待工具到代理的转变？您认为这会几乎瞬间发生，以至于我们甚至无法注意到，还是我们可以看到一些早期迹象，然后它从工具阶段过渡到代理阶段？
嗯，公司明确地试图创建代理。这就是他们看到最大财务收益的地方。您正在创建免费员工、免费劳动力，无论是物理的还是认知的。所以他们明确地试图将工具代理，将其置于迭代循环中，不断思考，不断尝试，让其他代理参与进来。所以他们正竭尽全力将我们现在拥有的东西变成代理。而且，我认为这将是一个缓慢而模糊的过渡，直到他们完全成功。
是的。您认为有可能看到一些迹象吗？比如，假设您处于一个阶段，您怀疑它会变成代理，但它仍然是一个工具，但有一些迹象？还是您认为它会一夜之间发生？
我确实觉得它会有点模糊。这就是我担心的原因。我们无法进行完美的测试，比如，这是一个代理，一个工具可以变成代理，就像有了足够的进步一样。您怎么看？您认为什么可能是一个识别某物是代理还是工具的最佳工具？
所以，目前我们只能看通用性。它在您训练它的领域之外有多适用。所以，如果您只提供遗传数据，是否有任何迹象表明它也在学习其他技能？它在下棋，它在说法语。如果您开始看到这些模式，那么也许作为一个通用的学习者，它很可能具有某种代理能力。
是的，也许现在也是定义一下，比如，人工智能通用智能和超级智能之间有什么区别？
所以，通常来说，通用智能被定义为能够做人类正在做的事情的人工智能，学习不同领域的技能，然后可能在这些领域充当员工。超级智能被定义为一个比所有人在所有领域都更聪明的系统。所以它是一个更好的科学家，更好的工程师，更好的国际象棋选手。真的，它在所有方面都占主导地位。
所以，就像在所有任务中都压倒所有人类一样。
我们不再与它竞争了，作为个人。它会在您擅长的领域超越您，无论您做什么。
是的。
那么您的预测是什么？我知道您以前谈过，这很难预测，但个人来说，您认为我们发明“上帝”的现实时间范围可能是什么？
现在很难预测。我认为这更多地取决于我们愿意投入多少资金。如果我们今天有万亿美元，也许今天就可以训练出来，如果您能获得处理能力。所以，我认为每年它的成本都会越来越低。也许明年是 1000 亿美元，100 亿美元。所以，直到有人有足够的钱去做这件事，它的成本呈指数级下降。
是的。是的。我猜您指的是像公司投入所有这些数十亿美元。
是的，也包括国家政府，不仅仅是公司。每个人都在比赛。
是的。
是的。您认为这些公司，比如说，他们开会。好吧，让我们来决定未来两个季度的目标。他们是无意识地或几乎是自动地说，“嘿，让我们投资，让我们拿出最好的 AI 版本”，还是您认为在那些讨论中有安全组成部分？您认为在这些公司讨论中发生了什么？
我没有任何内部信息，我没有参加那些会议。但从外部来看，他们正试图抢先到达那里。他们试图超越所有人。而做到这一点的方法是拥有更大的集群、更大的计算资源、更多的数据、更好的数据以及您可以聘请的最聪明的科学家。所以，这就是我们看到的。他们正在从其他公司挖人，试图确保尽可能多的英伟达芯片，或者创建替代芯片，并试图获得所有训练数据的权利。所以，安全似乎不是任何这些决定的重要组成部分。
是的。
或者，如果它就像是第一个目标，即“创造”的次要目标。
我认为他们发现拥有一个良好可靠的系统对用户很重要。他们并不反对，但无法解决控制问题并不能阻止他们。
是的。我认为在某些角落存在一种乐观的信念。是的，技术总是好的。更多的智能意味着更多的仁慈。所以，自动地，如果你更聪明、更聪明，那就会是好事。但您说情况并非如此。
嗯，这是什么观点？你是外星人，看着我们的太阳系说，“我不在乎。我只希望最聪明的代理获胜，无论它是谁，对宇宙都有好处。”还是你是一个有家人的地球人，试图决定这对你来说是好事吗？
是的。我想您在书中谈到的一件事是费米悖论。只是想问一下。那么，失控的人工智能能否解释费米悖论？文明在扩散之前就自我毁灭了。
嗯，不完全是，因为那样的话，您就会看到超级智能在传播，对吧？计算塔或者类似的东西，接管收集更多的计算资源，出于博弈论的原因。也许它们会进行内部扩张，所以它们变得更微型化，也许探索量子层面的结构，但我们不知道。所以，看起来很难看待那些哲学思想。这有点像一个三体问题。你有超级智能，你有生物智能，你还有模拟假设。而这三者相互抵消。所以，对于费米悖论，你可以随意解释它。你没有确凿的数据来决定哪种方式。
是的。
有一件事让我印象深刻，那就是人类进化。好吧，如果你看看人类从猿到智人的进化，我不想说出来，但它在逻辑上是有道理的，人工智能可能是下一步。您怎么看人类从猿到智人的进化，以及下一阶段是超级智能？
是的。所以，这更像是“智能设计”，对吧？我们是工程师，我们是科学家，我们正在创造它。我们正在做出有意识的决定，选择走向哪个方向，它将拥有哪些能力。所以，如果有什么的话，那就是智能设计的证据。而且，我们现在正在以快得多的时间尺度创造更先进、更有能力的产物。这不需要我们数十亿年。我们从发明计算机到几乎超级智能，只用了几百年。
是的。是的。但那很有趣。如果那是最终结局，如果智能是定义一切的最终事物。那么，我的意思是，这很可怕，但它也可能是真实的。你知道，猿，然后人类，然后 >> 机器人。这是我们所知道的。我们知道智能是宇宙中非常有帮助、非常有力量的力量。但正如我所说，可能存在未知未知。也许在一定程度的智能水平上，你会意识到意识是首要的，而成为超意识实际上是下一个状态。我不知道。
是的。
如果您是世界独裁者，您会怎么做？假设有一个单一的世界政府。因为现在，国家处于无政府状态。
是的。
那就是霍布斯所说的“自然状态”。所以，就像每个人都在互相竞争。他们说，“好吧，如果我能在开发更先进的语言模型方面比另一个国家或另一家公司好 5%，我就会这么做。我不在乎。这会给我带来金钱，我将是最好的。”所以，这就像无政府状态。但，假设您是世界独裁者。您在管理事情，您的第一步、第二步、第三步是什么？
所以，我认为我已经提到了，我宁愿我们将资源分配给使用特定工具解决特定问题。所以，我们在生命延长方面投入不足，而这才是真正会杀死所有人的，如果我们不解决它。我们应该实现人工智能的非军事化。我们正在部署越来越多的独立系统，它们甚至不需要人类参与。我敢肯定，核武器很快也会以同样的方式被控制。所以，如果我有权力改变这一点，我会做出这些改变。
好的。是的。
狭义地关注狭义问题，而不是发明超级智能。所以，这就是前进的方向。
是的。但 >> 这是前进的方向。有很多方法可以继续进步，但在这里我们拥有更多的理解和更多的控制，并且可以保证最多 80%。
是的。
但您谈到的那个概念，即“每人宇宙”框架，将去向何处？
是的。所以，如果我们成功地弄清楚了如何控制超级智能，我对此表示怀疑，但假设我们做到了，那么价值对齐问题就变得容易一些了。现在我们可以实施某些价值观。但现在我们又回到了多代理优化。我们如何让 80 亿人达成妥协？我不想和你妥协。我为什么要这样做？所以，你拥有自己的宇宙。你可以设定你想要的任何温度，在你的卧室里。不是我的问题。我有我的宇宙。每个人都很高兴。我们生活在那些虚拟世界中，对我们来说，它们感觉绝对真实。没有质量损失。事实上，你在虚拟世界中能负担得起的，在现实世界中永远负担不起。每个人都可以拥有海滨房产，在现实世界中都可以做到。所以，这似乎是一个有某些假设的解决方案。所以，如果我们能创造逼真的虚拟世界，我们能控制先进的人工智能，那么这就是为所有代理提供高度一致的存在状态的好方法。
所以，就像一个高级电子游戏，它几乎就像现实生活，但它是一个电子游戏。
准确地说，就像您现在体验的那样。所以，如果您想尝试扮演 2025 年扮演播客主持人的人类，那将是一款游戏。
是的。我想也许这就是我们进入模拟的方式。不，可能就是这样。这是 >> 学习移除我们进入游戏的记忆部分。它变得更真实，更令人愉快。如果你忘记了你正在玩游戏的事实，那就是虚拟体验的圣杯。
是的。也许就是这样。不，就像，有人决定建造，这就是我们所处的现实。不，>> 也许你决定建造，只是你不记得了。
是的。但他们有什么理由呢？例如，为什么创造蚊子？这让他们 >> 你从内部无法知道原因。我们可以谈论我们标准的信念，你知道的，营销、实验、娱乐、安全，但外部的真正原因可能完全超出了我们的理解。
是的。我认为客观地说，这很有道理。所以，你有你自己的个人宇宙，去吧。我的意思是，在一个游戏中，你可以成为一个不法分子，在另一个游戏中，你可以成为一个国王什么的，然后享受。你想收集经验，收集质量。你厌倦了总是做同一个亿万富翁。所以你尝试，你知道的，我是一名士兵，我是一名水管工。你尝试不同的事情。
是的。是的。所以，是的，有道理。呃，我想有时我一直在想，也许生命的目的是，生命的意义在于探索你 DNA 的所有可能性。所以，也许拥有更多的经验是关键。所以，电子游戏可能是寻找生命意义的关键。我知道很多人会认为电子游戏只是消磨时间的一种廉价方式，但它可能是生命意义的关键，即拥有尽可能多的生命体验。
对。所以，如果你创造了非常逼真的虚拟世界，你可以体验到你否则无法体验到的事情。也许探索你无法到达的星星。也许你知道你可以改变时间尺度，在模拟之外每单位时间体验更多。所以，是的，这肯定为收集一些质量打开了可能性。
是的。所以你也可以有一个“撤销”按钮。是的，我认为您在书中提到过，如果您不喜欢某些事情，如果您做出了一个后悔的决定，只需撤销并重新开始。
所以，我通常使用“撤销”按钮来处理人工智能的决定。我们不希望它为我们做决定，而我们不同意。但是的，你绝对可以回滚你的虚拟体验，有点像时间旅行。
是的。我认为这是一个非常理性的。
是的。但那样就会出现问题，比如这对人类心理学和伦理学意味着什么？如果可以有一个“撤销”按钮，避免责任。
嗯，你有梦想，对吧？你醒来，然后说，“哦，谢天谢地，我没有在现实生活中那样做。”这有点像那样，对吧？
是的。也许梦想只是通往另一个宇宙、另一个模拟的关键。
模拟中的模拟。
是的，有些梦醒来时感觉就像现实一样。也许那个是假的。那个是原始的。有很多事情需要调查。我们对模拟假设的研究不够。有趣的是，很少有人真正认真地从事这项研究。
是的。
您还谈到了认知不可控性。人类可能永远无法构思人工智能使用的策略。那么，如果您将这一点与不可验证性结合起来。那么，您认为这意味着人工智能也需要想出自己的安全措施，创造自己的验证方式，因为我们无法构思？您提到了多个主题，人工智能本身也会有类似的安全担忧，因为它现在担心超级智能的出现，喜欢其他东西。所以它也在处理控制问题和对齐问题。您是指这个吗？
是的。所以，您提到未来如果有一个超级智能代理，它可能无法构思它可能用来实现某些目标的策略。但然后 >> 认知能力的差异。如果你想想你的宠物，对吧？它们并不完全理解你在做什么，你要去哪里，以及你能对它们做什么。它们对世界的理解非常原始。它们知道你去打猎，你带回食物，你是头领。关于你，它们就只知道这些了。如果你带着枪出现，那完全超出了它们对世界模型的认知解释。
是的。假设它们在每个层面上都比人类更好。所以，在每个智力层面上，它们都能想出我们无法解决的问题的解决方案。但然后你只需要给它一个提示，说“好吧，创建一个安全措施，在你消除人类痛苦的同时，不要意外地摧毁全人类。”所以它需要想出自己的安全措施和验证方式，而我们对此一无所 अनुमान。
你需要一个安全的人工智能来创造安全的人工智能，这并没有真正帮助你，就像把问题向前传递，而没有实际的解决方案。
是的。
好的。您认为安全到什么程度才算足够安全？因为我认为您在书中提到，鉴于不可控性，我们最好的希望是更安全的人工智能，而不是 100% 安全。那么，安全到什么程度才算足够安全？
对。所以，这就是问题所在。如果你把全人类的命运都押在这上面，如果你真的相信失控的超级智能可以通过一个决定就消灭我们，一个错误或一个决定，那么这就是你需要的安全级别，对吧？你不能说一百分之一的失败状态就会保证消灭人类。所以你需要我们从未在软件中见过的级别。没有人会说我的软件是，你知道的，100% 可靠，无 bug，永不宕机。安全就是这样运作的，软件工程就是这样交付的。所以我们有可接受的标准，用于其他领域的工具。但对于这个问题，我认为标准必须是 100% 的保证，而我们无法做到。这就是我为什么对长期结果如此怀疑的原因之一。
所以您是说我们只有一次机会，就这样了。它可能会失败，也可能不会。
我说是的。如果超级智能有意或无意地失败，它就可以消灭我们。所以，这种可能性，它会发生多少次？每十亿次决定一次？每万亿次一次？你可以决定什么对你来说是可以接受的，但你真的不能决定什么对我以及其他 80 亿人来说是可以接受的。你正在对我们所有人进行实验。所以，我认为大多数人会说，我不在乎你给我多少免费的东西。如果有一个非微不足道的几率，非零几率，我将在 10 分钟内死亡，那就不要进行实验。
是的。即使有。是的。即使有很小的几率，那也意味着如果它成为现实，那么结果就是确定的。
几率必须与回报相权衡，对吧？所以，非常高的正面回报会被绝对负面的回报所抵消，比如无限的负面回报。
呃，您认为，好吧，对人工智能的依赖。我读过一些文章，也表明一些使用 ChatGPT 一段时间的人出现了认知能力下降。所以，这对我来说就像一个悖论。这就像，因为我们也使用计算器和谷歌地图，我记不住路线了，但我一直依赖智能手机。那么，您认为总体而言，这种对人工智能工具的依赖是否让我们变得更愚蠢，或者，或者？
我认为它将您切换到“延伸心智假说”，即您的一些认知过程现在被外部化了。现在您是您加上您使用的工具。我们谈论构建工具。这是一个很棒的工具。我随身带着它。所以，我们一起更聪明。但混合系统的一个组成部分，仅仅是我，肯定不会记住电话号码和街道名称。这些都不保存在本地。所有这些都已扩展到云端。
是的。
您认为人类，好吧，您提到了人类加上工具，使我们整体上更强大。所以，作为净值，我们能够实现更多，解决更多问题。
是的。但会有，这个想法，赛博格结合人类，为什么您认为它在未来不是一个可行的解决方案？
只要我们有一个聪明的代理，而我们附加了一个工具，它就是可行的。如果您将自己附加到一个超级智能上，那么您就变成了一个无用的附属物。您是一个生物瓶颈，您将被明确或隐含地移除。您对混合系统没有任何贡献。
是的。
所以，它可能会决定，“嘿，你知道的，这只是我额外的负担。”
负担，非常缓慢，您需要永远才能听到事物，说出事物，理解事物，而您的决定通常较差。为什么还要费心与您打交道？
是的。有趣。
好的。赛博格解决方案已经出局了。如果是这样的话，我曾对它抱有更多希望。我认为那会很好，你知道的，就像你可以，你可以将你的一部分上传到机器中，你可以增强你的能力，你可以比任何人都跑得更快。
是的。
是的。那些都很好。所以，我的意思是，只要那些工具比您差，它们对您就有益。而且，是的，我不知道上传您有多可行，但那肯定会是一个有趣的软件开发实验。那不会是您。那将是您的一个副本。所以，您会立即在知识和偏好上开始分歧。显然，它不在乎吃东西或睡觉或任何生物学上的东西。所以，非常不同的愿望和需求。
嗯，我想在其中一章中，您也谈到了这个悖论。我认为您刚才稍微提了一下，想深入探讨一下。所以，控制人工智能并不安全，如果罪犯可以劫持它。所以，如果您可以控制人工智能，但这意味着恶意代理也可以控制它。
准确地说。所以，如果我们不断听到关于开放访问、开源人工智能的消息，如果您给 80 亿人这个智能工具，超级智能工具，假设它是可控的，他们会做什么？这么多疯狂的精神病患者、恐怖分子，我的意思是，他们现在可以使用这项技术造成前所未有的伤害。而且，如果您认为我们的人工智能会抵消它，那么您就有这个人工智能与人工智能的战争，而我们只是这个过程中的附带损害。所以，我认为这两种选择都有风险，控制和不控制。如果您能够控制它，那意味着如果您将其开放访问，那么每个人都可以 >> 特定的人可以控制它，那么现在就取决于他们了。他们最好是一个非常好的人，不受绝对权力的腐蚀，这不太可能发生。如果您将其交给每个人，那么您就经常与互联网上的普通精神病患者打交道。
是的。
而且，如果，如果不可控，那么这是另一种情况。
然后我们不决定我们的命运，系统决定。而且，这并不意味着它不会是好的。它可能出于某种博弈论的原因，给我们一个合理的生活质量，但不能保证。而且，我认为我们需要一定程度的安全保证。
是的。
但在这两种选择中，我们仍然注定要失败。
是的。看起来很糟糕。
好的。您是，您是，您是减缓人工智能进步的支持者吗？所以，如果明天有一个活动， 10 万名科学家聚集在一起说，“嘿，世界，让我们放慢脚步，成立一个委员会，在那里我们就一些基本原则达成一致。”您会签署那封信吗？
所以，再次，我希望超级智能的研究为零，我乐于看到在有益和支持性的领域实现差异化技术进步。所以，是的，我希望对狭义工具的研究继续下去，并为我们提供我们想要的所有好处。我认为关于科学、技术的一般性陈述没有用。
是的。有时感觉它几乎是不可控的，尽管是人类自己创造了这些工具，就好像我们总是想发明新东西一样，而这与我之前对进化的担忧有关，即我们进化成机器，而那是我们的未来孙子孙女，而不是我们，而是他们。所以，每次你想发明一些东西，甚至不考虑副作用。
对。对。
副作用很大，而且很多时候是不可预测的。你无法从一项发现中知道人们 10 年后会用它做什么。我们在历史上有很多例子，纯粹的数学研究导致了非常重要工具和技术的开发，但发明者完全没有预料到。
是的。我的意思是，您甚至可以说像智能手机这样的东西。
是的。就像它们已经存在一段时间了，我们真的知道长期依赖智能手机，使用社交媒体会产生什么影响吗？
对。
尤其是对孩子。我们现在就给，你知道的，一个 2 岁的孩子提供 iPad 作为保姆。我们不知道这对他们的思想、他们的社交能力在 20 年后会产生什么影响。也许这对他们来说很棒，也许不是。我们正在对我们的孩子进行实验。
是的。就像一个 2 岁的孩子哭，然后妈妈或爸爸说，“拿上 iPad，闭嘴。”
那管用。
是的。
就像最近我旅行时，在火车上看到一位母亲花时间与孩子一起画画。就像，这是稀有的事情。现在不常看到了。
是的。有些人仍然做很多人类的事情。
是的。有些人质疑他们不是 NPC，而是真正的玩家，嗯？
也许那是他们的剧本。他们整天都在画画。我没见过。
所以，那也可能是剧本的一部分，你假装是。
是的。你是一个画家代理。你就是这么做的。你在公共交通上到处画画。
所以，另一个陌生人看到你会说，“多么好的人。”
准确地说。让事情变得有趣。
是的。
但有一个关于宗教的话题。我想，我想我看到您简要地谈过这个，但我想知道您是否可以进一步谈论，也许推测一下。所以，有宗教。是的。在每一种宗教中，似乎都有 >> 在每一种宗教中，在每种有组织的宗教中，都有一个超级智能代理。您谈到一位上帝从无中创造一切。所以，也许我们一直以来都误解了宗教。
并非所有宗教，有些更像是哲学的东西，谈论自然作为一种力量，意识作为一种统一的力量，而不是一个像工程师和科学家那样的代理。那通常是亚伯拉罕宗教，但我想这只是语言差异。所以，你可以将现代人工智能研究中的所有概念映射到神学概念，而且效果相当好。同样的问题，同样的挑战。我们可以从他们的失败中学到很多东西。
是的。有道理。
本质上，那些有组织的宗教，亚伯拉罕宗教，它们都谈论一个至高无上的存在。所以，它们可能指向同一个东西，但传统不同，它们发展起来了，它们是在当地开发的。
当然，即使在其中一个里面，我的意思是，基督教有数百个分支，伊斯兰教有不同的变体。很明显，你会加入当地文化。但，再次，对我来说有趣的是这个故事：上帝创造了生物机器人，但无法控制它们，现在他必须要么消灭它们，重新开始，要么修改它们。他尝试给他们规则，但这些都不起作用。
是的。是的。
而那个上帝可能是创造模拟的人。
那是描述，对吧？那个控制一切的人。
控制一切的人。而你只是 NPC。但你需要祈祷，不要做坏事。
是的。
自由意志。我们是游戏中的主角。
是的。
您认为自由意志存在吗？我们有自由意志吗？
呃，再说一遍。
我们有自由意志吗？
所以，在细胞自动机中有有趣的研究，可以让你定义什么是自由意志。对我来说，这是关于不可预测性。如果我不能看着你和你的环境，并确切地决定你要做什么，了解你的一切，所有物质状态、分子、原子，那么你就拥有某种不可预测的自由意志。但当我们看细胞自动机时，有证明的结果表明，给定所有状态，我可以计算会发生什么，但我无法找到一个捷径来做出这个决定。所以，我无法像时间旅行一样去未来。
并且看看你将要做什么。我必须运行你的生活，你的经历，然后是的，在那个环境中你的决定是决定性的，但对我来说它们是不可预测的。所以本质上，你在某种意义上拥有自由意志，是一个不可预测的决策者。是的。是的。决定论与自由意志。所以，如果，如果最终发生的是，我们一直创造一个更高的智能，然后那个智能最终创造了一个宇宙。你认为这似乎对我来说更像是决定性的，几乎是不可避免的结局？>>嗯，人们谈论宇宙如何通过黑洞等方式繁殖，而我则认为它们是通过创造智能代理来繁殖，创造我们的虚拟世界。>>是的。是的。我认为柏拉图也谈论过这个。再说一遍，我要戴上哲学帽。所以，关于“形式”的理论，那里有一个永恒的世界，我们无法接触到。有一个完美的猫。我们今天看到的只是那只猫的复制品。>>嗯。>>有一个完美的，你知道，呃，桌子。我们看到的是那张桌子的复制品。所以我想，也许他是对的，就像，这似乎是相似的想法。是的。如果你看看面向对象的编程，你有一个抽象的对象类，然后从中创建实例。实例可能有本地的风格，但一个圆类（circle class）的完美是不可否认的。>>然后，如果你将面向对象的编程进行扩展，你最终会得到一个宇宙。是的。下一个。是的。是的。有趣。非常有趣。是的。有时我想起这些电子游戏，它们总是有地图限制。是的。如果你走进地图，走出地图，游戏就会崩溃，你必须重新开始，或者会发生什么。那么，你认为我们目前正在经历的模拟中的地图限制是什么？嗯，当我们开始观察非常小的东西时，似乎有一些有趣的副作用。所以，量子世界给了我们一些属性，至少对我们来说，与我们在我们实际世界的宏观尺度互动中所体验到的不同。所以，你会有同时发生的事件，你会有远距离的通信，但不是瞬时的。你会有观察者效应，如果没人看，什么都不会被渲染。所以，这些似乎是值得深入研究的有趣部分，看看什么才是可能的。是否存在一个与生成我们体验等的物理引擎不同的引擎？是的。我过去玩了很多电子游戏，但现在不怎么玩了。但是的，我认为这与你提到的关于未知未知（unknown unknowns）的事情有关。就像当新的电子游戏出现时，它有非常漂亮的图形。你会想，这些图形是怎么开发的？但五年后，就会有一款新的电子游戏，更加逼真。所以，如果你每五年运行一次，总有一天它会，它不可避免地会和现实一样，然后问题就会出现，现实是什么？是的，也许现实实际上是一个非常低分辨率的8位的东西，而真实世界要好得多，要清晰得多，你永远不会体验到那种丰富的色彩和声音。是的。你认为有什么好的生活建议吗？所以，让我们假设，让我们假设我们是NPC还是主角。你的生活建议是，就过你自己的生活，就像你是主角一样。不要试图成为NPC，或者你怎么想？>>嗯，我认为NPC永远不会有这种关于如何过自己生活的担忧。他们一开始就有剧本，对吧？如果你在做那些决定，如果你有一些自由和你的结果，那么你已经在那个船上了。你不需要我的建议来告诉你。是的。哦，有意思。好吧。如果你能够，是的。做决定，独立，那可能表明你不是NPC。>>如果你试图弄清楚这个宇宙是什么，以及你应该做什么，你不是在遵循剧本。这已经足够告诉你，你可能不是最基本的NPC代理。是的。不是大多数，但也许是NPC和真实角色之间的界限。但我也听说了这个。是的。是的。请说。可能是中间有什么东西。不一定非得是二元的。它可能是一个模糊的独立性水平。也许你喜欢NPC级别二。你在早餐麦片方面有一些选择，但仅此而已。>>是的，我读过一些地方说，像玩电子游戏一样生活。>>你在电子游戏中承担很多风险。我不会推荐。我的意思是，在电子游戏中，你升级，你试图提高你的技能，如果它是一个角色扮演电子游戏。所以，在现实生活中也有些相似。现在>>从这个意义上说，是的，你绝对想最大化你的游戏体验，享受它最多，产生最多的好处。所以，当你提出“宇宙每人”的框架时，体验才是最重要的。回到我们讨论的，>>似乎我们的独特性在于拥有内在状态，体验。这让我们与迄今为止的纯粹软件区分开来。所以，也许收集这些体验，找到最有趣的体验很重要。也许以后我们可以分享它们。你有一个前十的“qualia”（感受性体验）要尝试，假设我们提出了一个超级智能代理，为什么他们会接受那个解决方案，比如，而不是仅仅消灭所有人，这难道不需要额外的能量吗？比如说，我有我自己的宇宙，你有你自己的。它消耗能量，所以>>是的，所以假设是我们设法控制了子结构。我不认为这会发生，但如果我们能做到，那就是我推荐的下一步。能源需求可能微不足道。你不知道模拟之外的能力是什么。也许运行这一切就像在手机上花2分钟。在计算资源方面，这并不是很多实际的支出。你可以优化它。你可以重复使用很多。我们宇宙的大部分都是相似的天空，相似的草。所以你只是重复使用代码，重复使用计算。我们生活之间的差异非常小。这只是几个位的决策，它可能运行得非常高效。如果你有一个足够详细的太阳系模拟运行，在另一个非常受限但相似的模拟中添加另一个玩家应该非常便宜。>>所以，我也想谈谈别的事情。嗯，所以人类灭绝有不同的可能性。是的。小行星可能会撞击，气候变化之类的，无论可能发生什么。核弹可能会突然爆炸。但是，关于这个想法，你认为有可能用超级智能AI来解决这些问题吗？有什么，因为我认为你在书中提到了这一点。所以，如果你能推测一下，我们有一些问题，这些问题非常紧迫，但也有控制超级智能AI的问题，但也有超级智能AI出现并解决这些问题的可能性。所以，你想要超级智能AI，而不去考虑安全问题，然后说，好吧，我们有，比如说，人类灭绝的20%的可能性，但是，比如说，我们发现了一颗即将到来的小行星，有50%的可能性会撞击。所以，让我们发明超级智能AI，我们就有更大的生存机会。让我们以后再考虑安全问题。所以，>>是的。所以，我认为你提出的例子至少是微不足道的，对吧？你不需要任何超级智能来弄清楚，好吧，小行星来了，我们需要重定向它，关闭它。一个狭窄的超级智能AI可以很容易地帮助我们做到这一点。同样，对于我们的问题，我不认为气候变化实际上正在发生，而且在我们关心的时间尺度上，你会在地球沸腾之前很久就去世了。所以，你不应该担心它，如果你真的关心，就停止污染，这并不复杂，对吧？如果我们真的关心，解决方案很简单，停止让它变得更糟，我们不关心，因为它实际上没有直接影响到任何人，所以这就是为什么我们像往常一样做生意，时间尺度很重要。如果超级智能是所有其他生存风险的解决方案，那么它就不可能是它是一个提前到来的风险。所以，再说一遍，如果气候变化需要100年，而超级智能在5年内构成危险，它要么会杀死我，要么以后会解决我的问题。所以，这是一个元解决方案。但只要我更关心未来5年内的紧迫问题，其他一切都会被搁置。我不担心。你认为失控的超级智能AI的出现属于未来五年的问题吗？>>所以，正如我所说，我无法准确预测需要多长时间。我可以告诉你需要多长时间，然后你决定是否有人想花这笔钱。>>好吧。所以，这是资源问题，而不是。所以，如果明天中国说，我们投入10万亿美元建造这个超级集群，我们会尽快训练它，假设他们能获得芯片，一旦他们完成训练，我们就有了。是的。你对采用与发明有什么看法？例如，如果你回到20世纪20年代，比如说工业革命始于18世纪。如果你只是随机选择20世纪20年代世界上的一个村庄或城市，很可能我不知道确切的数据，但很可能你又会回到一个农业社区。>>嗯。>>社区。你能详细说明一下采用与发明吗？>>是的。所以，这是一个很好的例子，很多时候我们有技术，我们有能力，但它没有在经济上部署，它不在所有产品中，而且没有人能预测需要多长时间。有时人们就是不想要你的产品。我们有飞行汽车，但出于某种原因，价格、实用性，它们并不普遍，但技术是存在的。所以，我们有可能自动化很多工作，但没有人想要那些假员工，对吧？人造员工。我无法确定地告诉你这个差距会持续多久。到目前为止，看起来只要我们能自动化一个员工，我们就会这样做，因为这便宜得多。我不需要付给AI任何东西，如果我们还需要售票员，比如说。是的，软件做得更好。除非你喜欢弄乱它，禁用它，需要你与人互动，否则没有人会雇佣人类售票员。>>是的。你也提到了工作。是的，这是一个有趣的话题，你知道吗？一方面是能够取代人类，但另一方面是做出那个决定，比如说，解雇50%的员工。那么，你认为我们在那种情况下，作为一个普通公司或企业，我们的承受能力水平会是怎样的？你的想法？嗯，看起来在竞争环境中，我们需要削减成本，我们看到，例如，编程工作大大减少。我从我们的学生那里看到，他们试图找到合作或实习机会。我认为今年 alone 就有大约30%的下降。>>看起来它主要影响入门级工作。>>目前。目前，未来会是，你认为如果给出一个数字，比如百分比，或者如果没有，就说出几个你认为在未来5到10年内最有可能消失的领域，任何你在电脑上做的事情，任何你只是一个会计，你是一个报税员，任何你只是把数字输入表格，遵循规则的事情，我们都可以自动化它。好的。你在电脑上做的任何事情，包括我与你的对话。所以，这可能也会被自动化。所以，可能会有另一个人。>>我甚至不知道你是不是真人。我一无所知。你花了很多时间。你有延迟。你可能是AI。我一无所知。>>是的。我认为，我认为我也这么想你。也许>>你看，也许两个AI正在虚拟世界中进行对话。>>是的，也许你就是那个被派来说，“好吧，谈谈这些问题，但要以一种非常受控的方式谈论。”嗯，不要说一切。所以，保守一些秘密。所以，关于这个未知未知。所以，你可能知道一些未知未知，但你就像，我不知道。>>我不能告诉你。是的。我告诉你，它们就不再是未知的了。这不好玩。是的。嗯，我也看到你谈论寻找长生不老的解决方案。你能谈谈吗？你认为有一天我们可能会找到解决死亡的方法吗？我们可以永生。>>我认为这是一种疾病，我认为我们可以肯定地解决它。没有物理定律阻止这一点。嗯，想想拥有一辆汽车。就像如果你不断修理它，别管成本。你不在乎它要花多少钱，但你正在更换汽车的每一个部件。这辆车会永远存在，对吧？总有一天，没有原始零件了。所有东西都被新的同等零件取代了，但汽车还在那里。你还在开它。任何生物机器人都是如此，对吧？你可以更换所有零件。大脑是唯一的。你不能接受捐赠，你必须是捐赠者，但其他所有东西，肾脏，肝脏，我们可以更新，更新。如果我们完全了解我们的基因组，了解这些东西是如何制造和恢复活力的，我看不出为什么我们不能活得更长，更健康，并最终使这个更新过程持续下去。你基本上获得了每单位时间超过一单位时间的寿命延长。所以，你拥有这种长寿逃逸速度。你每年活得比以前长两年。所以，你只是跟上医学研究和突破，它们会不断更新你。>>是的。只要你没有被汽车撞到或其他什么，那就意味着你可以更新。>>所以，这是一个完全不同的问题，对吧？我们不假设你会死于其他原因。我们谈论的是自然的生物生命以及它是如何发展的。>>是的。好的。你认为它，你认为它，你认为我们能做到吗？如果你猜测一下，我们能，有没有希望在未来100年内实现它，找到解决死亡问题的办法？>>哦，是的，我认为要快得多。我们只是在过去几年里，在蛋白质折叠和用于基因组理解的大型数据集方面取得了极大的进展。我认为这与我们达到高级AI的时间差不多。>>哦，快得多。快多少？10年，20年？>>我没有具体的数字。但就理解而言，我认为我们现在只理解了人类基因组的一小部分功能。我认为高级AI在解决这类问题方面非常出色。所以，一旦你完全理解了所有东西的作用，它就是一个程序。我们有一个带有循环的程序，循环说刷新120次，你进去，然后将其更改为400次或一百万次。所以，无限循环让癌症远离，你就没事了。是的。嗯，如果这两件事同时发生，那将是悲伤的。你知道吗？比如，你找到了治愈死亡问题的方法，但然后一个超级智能AI出现了，说为什么，比如，有什么意义？人类对宇宙有什么贡献，让我们认为我的麦克风，不管怎样，所以，人类活着的意义是什么？>>实际上更糟，你可能会遇到一个恶意的超级智能，来折磨你，现在你将永远活着。嗯，是的，是的。嗯，但是你对折磨问题也还好吗？你认为痛苦，比如说，是人类的必要成分吗？因为当我们谈论AI解决问题，所有这些乌托邦时，也许我们不喜欢的一些事情对人类的繁荣和人类文明的繁荣是必要的。所以，你未来可能会有你自己的个人宇宙，在那里你享受生活。嗯，你一直得到快乐。你有不同的体验，但有些事情是我们对痛苦的回应，这是如何平衡这个个人宇宙的关键要素？>>特别是身体疼痛，我认为我们不需要那么多不同程度的疼痛。你只需要一个负面信号来阻止你做愚蠢或危险的事情。所以，它不必是负无穷大，正无穷大。它可以是0到10。所以，你得到负面强化，但是，你没有遭受痛苦。我认为这是一个很大的区别。所以，有些人遭受着难以想象的身体疼痛和痛苦。我们大多数人甚至无法理解他们身上发生了什么。我认为那不应该存在于宇宙中。是的。我的想法也是，考虑到人类心理有多奇怪，即使你把数字从0到100,000，最终零可能对你来说也不是痛苦，你知道吗？在未来，如果你理性化这一点，它就会失去一些意义，你知道吗？>>所以，一切都是相对的，对吧？你只需要一个信号告诉你不要这样做。但是，一旦你得到了信号，我不需要它比以前痛苦一百万倍。很多时候就是这样。人们因为疼痛而失去意识。他们不再根据负面信号做决定。他们完全退出了决策者。所以，显然信号过载了。是的。所以，允许足够的痛苦，足够的疼痛，足够的程度，让你不会失去意识，不会崩溃，也不会被折磨，或者类似的东西。是的。我会让它非常低级别。所以，有些人由于基因突变而不会经历身体疼痛，他们会遇到很多麻烦。如果他们的手，你知道，着火了，他们注意不到。他们造成了很多损害。你可以给他们足够的信号让他们把手移开，但不要让他们活活烧死并体验到那种痛苦。是的。是的。是的。我认为这也属于你所说的未知未知，你不知道，比如，给痛苦或快乐设定一个程度的心理哲学含义是什么。痛苦和折磨的重要性是道德、伦理的唯一真正来源。其他什么都不重要，对吧？如果你能体验到内在状态，没有快乐，没有痛苦，就像宇宙中发生什么都不重要一样。是的。我想，那么，如果，如果AI能够遭受痛苦，如果AI能够拥有主观体验，那么人类和AI之间的区别，是什么让人类如此特别，似乎没有理由让人类成为智能代理世界中的次要物种，其中一个更强大，而那个更强大的物种也能遭受痛苦。所以，你必须给予他们权利。>>他们可能更有意识。我们可以拥有超级意识，体验更深层次的存在状态。>>是的。我认为，嗯，是的，我正在读亚里士多德的《政治学》，他说政治动物，是的，人类是世界上唯一的政治动物，这使我们能够做出决定和审议。但如果亚里士多德突然回应21世纪，他会说，不，我们有两类生物，两类政治动物，而不是一类。所以，这自动赋予他们参与、政治、决策的份额，然后你就看到了一个超级智能的独裁者之类的。你永远不能给AI投票权。它们可以以任何级别进行复制。所以，如果你给予投票权，它们就会产生数十亿个副本，这意味着你的投票被稀释了。你不再参与民主。是的。但我们为什么要参与民主？是什么让，为什么我们有民主，比如人类？因为我们能够有意识的体验和遭受痛苦。但如果AI也能做到这一点，为什么不赋予它们呢？>>民主是一种共识算法。你想达成多数一致，并决定做什么。它并不完美。它并不总是产生你希望的结果。这就是我们现在拥有的，对吧？它在很多地方都相当好。它有效。如果代理人足够了解情况，足够聪明。这个系统似乎能产生好的结果。所以，如果你将AI添加到这个等式中，你基本上是在说，我这里有一百万人类在投票，还有十亿AI也在同一场选举中投票。你基本上说，我正在使所有人类非人化。他们没有投票权。>>是的。我正在想，我们为什么要首先拥有共享治理？我，我假设是因为没有一个完美的代理人能够决定一切，无所不知。但是，你是否看到了一个未来，我们已经有了这个，有了超级，你是否看到了一个未来，将有一个仁慈的超级智能独裁者，假设它总是与人类价值观保持一致。>>没有这样的东西。我们谈论过它会遵循你的对齐。没有完美。没有最优。你谈论的是每个代理的相对状态。你可能客观上不同意我，因为对你来说，我的决定会让你生活变得更糟。这并不意味着我做出了糟糕的决定。我可能为多数人做出了一个好决定，而你在那个决定中是少数。所以，当涉及到具有不同偏好的代理时，没有绝对正确的决定。这就是为什么我必须为每个环境发明独特的环境，否则就像在密码学中，你对共识协议有51%的攻击，而49%的人只能接受。>>是的。但是，如果>>是的。是的。我明白了。是的。好的。但是，然后有>>伦理学，政治学就像物理学一样，它们是观察者相对的。在物理学中，我们理解你所体验到的速度，你所看到的速度，对你的人生位置来说是独特的。政治学也是如此。没有正确的政党或正确的政客。根据我是谁，我有多富有，我多大年纪，关于我的一切，一个不同的答案将是正确的答案。人们不理解这一点。伦理学也是如此。根据你在伦理困境中的立场，答案将是不同的。>>是的。但是，难道不可能吗？比如说，AI查看了所有人类历史。比如说，它能够访问所有模拟，宇宙，AI知道人类如何自我毁灭。它能够访问所有这些数据，然后，然后我们会信任它为我们做决定，为什么我们还要投票呢？我们可以说，“嘿，只是可以为我们决定，我们不在乎你怎么决定。”>>也许它已经做到了。也许这就是为什么你结束了这个模拟。好的，我还有另一个问题。所以，你说你是，你是，你是提出了AI安全概念的人。是的。这只是一个术语，对吧？所以，对高级AI的担忧的想法在我之前就存在了几十年。甚至像艾伦·图灵这样的奠基人也担心过。还有很多其他的名字，比如友好AI，我们提到了一个概念，人们谈论与人类兼容的AI，价值对齐，但我认为AI安全和安保，这是我书的名字，我在2010年或2011年的几篇论文中提到过，它成为了该领域的标准术语。是的。>>你觉得生活在这个时代有什么感觉？我想，因为这是一个非常独特的时代，是的，在人类历史上。你宁愿出生在不同的世纪或不同的时间线，还是你更喜欢这个？我喜欢体验所有这些。这就是为什么我认为拥有那些个人模拟会很酷，在那里我可以尝试1500年代，2500年代。我的意思是，为什么只局限于一个实例？>>好的。那么，结合长生不老。是的。你将活一万年，然后探索所有这些宇宙，创造你自己的。>>我将永远活着，并继续探索可能性空间。>>是的。如今，跟上AI世界的最新动态有多难？比如，让我问一个非常具体的问题。展望明年这个时候，你对你现在的任何预测有信心吗？或者你觉得任何事情都可能发生，我们不知道？所以，没有具体的时间预测安排在明年。我只能坚持一个普遍的预测：AI将变得更强大，而我们的安全能力不会有显著提高。>>这是你之前提到的时间线与资源的问题。是的。>>是的。只要我们继续扩展模型，我认为它们会变得强大得多。是的，如果我是一个刚从大学毕业的计算机科学专业的学生，我们谈论入门级工作几乎消失了，而且目前只是入门级，但将来，你在电脑上做的任何事情都可能被自动化。那么，你认为这些人应该做什么？嗯，最好的建议是什么？>>他们有一个独特的机会。他们可以访问那些先进的AI工具，这使得一个人能够创建一个拥有大量人造员工的公司。正如我所说，你可以有一个会计，一个报税员，一个营销人员，一个网页开发者，每月只需20美元或更少。创办你自己的独角兽公司，或者提出一个安全解决方案，如果可能的话。>>不太可能。>>是的，这是一个非常悲伤的预测。是的，对于未来。>>这是现实的。我们不能假装它是别的东西，对吧？如果世界上没有人声称有解决方案，我们为什么要向前冲？>>是的。吃红色药丸，然后蓝色药丸是你的。是的。有这个矩阵的想法。>>不要同时吃两种药丸。我听说有人提出了白色药丸的想法，它就像红色药丸的结合，但你也接受现实，但你也充满希望。所以，我想你在你的书里特别提到了这一点，我看到其他采访者也问过你这个问题，说那么就没有尝试的理由了，但我认为你在你的书里特别提到了这一点，那就是你应该一直尝试。>>嗯，你别无选择，只能尝试。我的意思是，你还能做什么？这就是你所处的环境。这就是你试图解决的挑战。至少你在尝试的过程中会很有趣。非常感谢你的加入。嗯，我知道你可能非常忙，但是，是的，感谢你过来谈论这些问题，祝你的研究和外展工作好运。我读了这本书，我想是这本。是的，AI智能。我有很多高亮。>>亚马逊评论总是受欢迎的。>>是的。是的。是的。我认为这是一本非常好的书，而且它也非常详细，技术性强，但也很容易理解。但是，我认为它确实与你在最后一个问题中所说的相符，那就是接受现实。所以，比如说，我的意思是，如果有一个技术性的话题，看起来你并没有试图让它变得太容易理解，而是保持它的纯粹性，只是为了保留主要思想。所以，通常会有一些部分，一个是高层次的哲学介绍，然后可能有200个参考文献，引用高度数学化的公式来支持实际的证明。是的，我认为这也是你之前作品的集合。是的。比如，是的。>>是的。是的。嗯，所有章节也单独作为研究论文发表。所以，它们经过了章节级别的同行评审，然后整本书也经过了评审。>>是的，我还有两个关于这本书的后续问题。嗯，首先，你将来有什么计划写点别的吗？明年，五年，十年，或者你>>总是一个持续的过程。所以，这不是最后一本书。我们已经有了《AI终局》（AI Endgame），对吧？那本书已经出版了。>>是的。顺便问一下，你打算做这个书的音频版本吗？>>嗯，我的出版商已经做了一年半了。他们告诉我，他们找到了一个配音演员，他们找到了所有这些很棒的能力，除了他们什么都没做。所以，如果有人想拿一个AI来做这件事，我会非常高兴。>>但是，你不想自己成为你自己的声音的配音演员吗？>>我绝对不想在任何有声书中听到我的声音。不。找一个声音更好的人，比如AI>>或者，把所有的采访，所有的播客出场都喂给那个AI，然后说，“嘿，请生成一段听起来像罗曼朗读的演讲。”>>再说一遍，我认为你可以找一个声音更好的读书人。>>你知道什么很奇怪吗？所以，我最近试用了NotebookLM。这是谷歌的。它能够生成播客。所以，它甚至能生成那些主观的感受，主观的短语。所以，我的意思是，两个人>>在进行讨论，一个人会开个玩笑，另一个人会笑。就像>>我玩过它。它真的很好，但我认为它的范围有点窄。至少到目前为止。我认为它不会涵盖整本书。>>是的，这很有趣。你甚至可以加入对话。你可以说我想说点什么，它会停下来，然后说，“好吧，这个人想说点什么。我们停下来。”>>所以，你的工作现在已经完全自动化了。太棒了。>>是的。在我新职业的开始，它将是失败的。所以，>>你将有一个很好的案例在你的播客上讨论。非常感谢。很高兴和你交谈，感谢你抽出时间。我真的很享受。非常感谢。>>感谢邀请我。祝你的播客好运。很高兴成为第一个。希望不是最后一个客人。>>是的，我今年还有三个人排队。所以，不会是最后一个，但谢谢。>>太棒了。太棒了。>>感谢收听我和罗马·扬波尔斯基博士的对话。如果你喜欢这一集，请在这里订阅YouTube，观看未来的剧集。点赞，在Spotify和Apple上关注播客，并留下评论。这对我成长这个频道非常有帮助。你也可以在Instagram上直接给我发私信，用户名是philosophy.yday。再次感谢观看，下次再见。