Transcription
今天的嘉宾是人工智能安全领域的顶尖专家。 >> 任何超级智能，我们都无法控制。你无法无限期地控制、理解、预测比你更聪明的东西。如果你不控制它，你就不是主导者，你也不是在决定会发生什么。 >> 在过去的 15 年里，他研究了智能系统 [音乐] 如何学习、适应和做出决策。但更重要的是，人类失去控制的那个临界点。 >> 这些公司的领导者秘密地希望政府介入并阻止他们，这样他们就不会输掉这场比赛。保住他们所拥有的，活下去，并且变得富有。[音乐] >> 虽然大多数人将人工智能视为提高生产力或盈利的工具，但他提出了一个令人不安的问题。如果人工智能是我们创造的最后一样东西呢？随着 Sam Alman 在 OpenAI 达到通用人工智能 (AGI)，他的生活会是什么样子？ >> 如果我错了，他拥有一个不受控制的超级智能，而我们都将死去。在本期节目中，我们将深入探讨控制超级智能的挑战，揭露大型科技公司的谎言和不安全做法，[音乐] 并探讨人工智能是会解决人类所有问题，还是会创造一个比灭绝更糟糕的未来。>> 有一种可能性是，它可以重现死者，并将所有可能的人带入存在，仅仅是为了折磨他们。只要你有 DNA 样本或暴力破解所有可能的 DNA 序列，你可能就会获得永生，但你会遭受巨大的痛苦。你宁愿死去。>> 罗曼·扬波尔斯基博士。欢迎来到 Jack No 播客。感谢您的邀请。>> 罗曼博士，每个人都在竞相构建 AGI。你说我们有 99.99% 的几率因人工智能而灭绝。你是什么意思？所以，我们需要区分不同类型的人工智能。我们有人工智能工具，它们很棒且有帮助。我们正在构建通用人工智能 AGI，即人类水平的智能，并且很快我们将获得比任何人都更聪明、在任何领域都比人类更强的超级智能系统。我们应该继续构建很棒的工具。它们非常有帮助，具有惊人的经济效益。我们也许能够处理接近人类水平的东西，但任何超级智能的东西我们都无法控制。你无法无限期地控制、理解、预测比你更聪明的东西。在那个时候，如果你不控制它，你就不是主导者，你也不是在决定会发生什么。>> 那么，在你看来，为什么控制人工智能比人们想象的要困难得多？>> 首先，大多数人根本不考虑控制。历史上，人工智能研究的前 50、60 年只是关于如何让它工作。什么都没成功。50 年了。我们勉强让狭窄的系统做一些基本的事情。大约 10 年前它开始奏效了，人们开始关注安全问题。最初，它是关于我们已经理解的简单问题，数据隐私、算法偏见、深度伪造。你可以在那个领域取得一些进展。所以人们感到乐观。好的，我们在人工智能安全方面取得了进展。但由于我们今天还没有那么先进的人工智能系统，还没有什么超级智能。对它们进行研究以了解这些系统的能力非常困难。因此，很少有人直接关注那个最困难的问题。如果你抽象地看，如果你只看不同能力水平的代理，比如我不知道，蚂蚁、松鼠与人类，存在巨大的认知差距。它们不理解我们在做什么。它们不理解我们为什么这样做。如果我们决定消灭它们，它们也无能为力。情况会非常相似。只是认知差距会大得多。>> 我想我们是否在构建它的方式上做错了什么，导致它难以控制？>> 我们没有对其进行工程化。人工智能研究的前 50 年是关于工程的。我们有知识工程师对特定领域进行编码。这就是我们下棋的方式。这就是我为什么走这步开局。所以我们理解系统被训练来做什么，它是如何工作的。它是一个决策树。你可以查看决策，然后说如果发生这种情况，就会发生那种情况。我们停止了。我们基本上开始培育那些系统。你采用一种架构，给它大量数据，互联网上的所有数据，给它大量计算能力，然后看看会发生什么。它会自我组织，学习你提供的数据中的模式，然后我们研究它，试图理解我们刚刚培育出了什么，这个产物有什么能力。所以它不安全，因为我们没有明确地使其安全。模型训练完成后，有一个后处理步骤，我们说，让我们放一些过滤器。让我们确保它永远不会谈论这个危险的话题。它永远不会说那个冒犯性的词，但它只是一个非常危险的模型之上的过滤器。>> 那么，人类现在还控制人工智能吗？还是我们只是在批准它告诉我们的东西？>> 所以，它们还没有比我们聪明。所以，在很多方面，我们仍然在为它们做决定，如果我们不喜欢它们所做的事情，我们会决定关闭它们。我们仍然拥有这种能力。情况不会永远如此。总有一天，你将无法关闭它。所以，现在，我们有一些工具，狭窄的工具，我们完全控制着它们。我们确切地知道它们在做什么。你有一个下棋的程序。你总是可以关掉它。你可能不确晓得它在每一步棋中具体想做什么，但你知道它会赢得一盘棋。你知道它的计划是什么。大型语言模型更通用。它们更难预测。所以，不，我们无法完全控制它们。它们说不该说的话。它们提供不该提供的建议。它们撒谎。它们欺骗。它们做那些系统创建者不希望它们做的事情，但它们仍然没有比那些人聪明。这种情况将会改变，而且可能很快就会改变。>> 我觉得我们似乎处于一个人类拥有最终批准权的位置，你知道，但人工智能实际上正在运行很多模拟来确保它的安全，并且在进行很多测试。就像如果你使用人工智能来，我不知道，选择工作候选人，也许有上千名候选人，它可能会给你前五名，然后你签署这前五名，但你并没有真正参与它是如何到达那里的决策过程，这是否意味着我们已经失去了对人工智能发展和最初制定安全措施的很多控制权？>> 所以，再次强调，有不同程度的安全。我们可以谈论招聘过程中的歧视。如果一个系统只是给你提供前五名候选人，你不知道这个决定是否是基于某些非法类别。所以你必须审查所有候选人，看看做出了哪些决定。对于如此具体的事情，我们也许可以弄清楚为不同子类别分配了哪些权重。我们更多地谈论的是，它能否提出一项危险的新技术？它能否做一些可能以生存方式影响全人类的事情？问题是我们不知道如何测试这一点。我们知道如何测试狭窄的系统，因为它们是边缘情况。如果你在玩某种游戏，你知道，你可以用一个空棋盘，一个有两个皇后的棋盘来尝试它，你知道会发生什么。然后你谈论的是一个在所有可能领域做出决策的通用系统，而且它比你聪明。你就是不知道该问什么问题。如果你运气好，偶然发现了一些问题，检测到某种类型的错误，然后你修复它。你可以报告我们发现了一个问题，我们修复了它，但你不能告诉我它没有遗留问题。>> 那么，不可逆转的点在哪里？一旦实现了什么能力，就无法回头了？>> 很可能是科学和工程研究的通用性。所以，如果一个系统能够独立地研究下一代人工智能，你就会开始这个自我改进的递归自我改进过程，而人类不再是其中的一部分。在那个时候，任何运行该系统的人都在生成更强大的人工智能。他们可以独立完成。他们可以拥有这个过程的备份。所以，在那个时候，我们几乎不可能干预并关闭它。你认为这是一个单一的时刻，还是一个正在逐渐发生的过程？>> 这是一个渐进的过程。我们开始自动化研究的各个部分。现在有一些人工智能可以查看不同的模型架构。有一些模型可以决定训练什么数据集或生成新的训练数据。但仍然有人在循环中，他们做出了大多数决定。所以我们今天仍然可以停止。>> 对。好的。但你主要担心的是我们停止的能力。这说得通。>> 我们也没有停止的愿望。没有人停止。这恰恰是相反的过程。这是一场军备竞赛，我们刚刚看到联邦政府说我们需要加快这个过程。所以预测市场告诉我们，我们离 AGI 大约还有 2 年的时间，而且有人说我们需要加速。这还不够快。>> 是的，我看了看。我认为 Koshi 是主要的那个，他说我们到 2030 年实现 AGI 的几率为 72%。如果实现 AGI，就像你说的，这意味着人工智能和人类一样聪明。你为什么使用预测市场来巩固你的论点？为什么这是你论点的一个重要原因？>> 这是我们预测未来的最佳工具。人们用真金白银来赌博他们的信念。你会得到一些内部信息。所以，假设有一个实验室已经达到了那个点，或者他们看到他们将要达到那个点。我相信一些内部人士会在预测市场上赌博，从中赚大钱，但结果是信息会泄露给公众。那么，我们能做些什么来阻止它吗？>> 阻止超级智能。这取决于我们是谁。所以你个人可能做不到，但处于顶层的人在这方面拥有很大的权力。顶级实验室的领导者可以聚在一起，决定只将现有技术商业化。政府领导者当然可以使其很多方面非法。如果我们所有人团结起来说，你知道，这是危险的。没有人应该做这个实验。我们不同意。我们将有足够的压力施加给大型企业和政府。但目前的现状是，很少有人知道这个问题。大型实验室正在竞相确保在该领域获得领导地位，获得资金，而至少美国政府正朝着相反的方向，清除任何障碍。>> 只是为了让人们理解这里的激励结构，如果 Sam Alman 在 OpenAI 实现了 AGI，他的生活会是什么样子？>> 如果我错了，他拥有一个不受控制的超级智能，而我们都将死去。>> 这就是为什么你不构建通用的超级智能。你不会从中受益。你不会控制它。谁建造它都无所谓。首先，每个人都会被它欺骗。>> 你认为他的生活会是什么样子？你认为他会成为万亿富翁，世界之王吗？>> 有很小的可能性，你会是那个创造了这个神一般存在的实体的人。所以，这很酷，我想。>> 你认为我们生活在人类历史上最有趣的时刻吗？>> 似乎是这样。我们正在开发的许多技术不仅仅是发明。它们是元发明。我们正在创造虚拟世界。我们正在创造新的智能，新的物种。所以，以前从未发生过这样的事情。>> 我认为未来看起来很黯淡，而且像你这样的人工智能安全或人工智能专家进行的许多谈话，或者你这个领域里的大人物的谈话，似乎都充满了厄运，但人们并不真正理解人工智能已经如何影响我们了。就像你认为或者人工智能已经以一种我们不应该接受的方式改变了我们的行为？>> 我在我们的学生身上看到了这一点。学生们基本上在这个时候使用人工智能工具来完成他们的作业，而且他们大多数人甚至没有看到输出是什么。他们只是将其作为完成的家庭作业提交。>> 你认为它让我们变笨了吗？>> 嗯，我希望他们永远不要成为医生或工程师。对。人工智能还有哪些方式在毁掉我们的生活？就像现在一样？>> 你可以看看社交媒体，决定向你展示什么的算法。它们绝对没有给你提供最好、最有教育意义的内容。它充斥着很多耸人听闻的垃圾信息、阴谋论。>> 那么，你认为的所有方式呢？因为人们谈论我们已经失业了。人们正在被编程，就像你提到的算法一样。你认为它在当下以所有这些方式影响我们吗？>> 几乎所有你做的事情现在都由算法决定，我如何到达这个工作室，GPS 算法决定了我将走哪条路。>> 所以，即使是像这样的琐碎事情，我是要去一条更危险的冰冻高速公路，还是在一条更安全的路上开车，所有这些现在都不由我掌控了。你认为这是……我到了这里，所以显然算法做出了一个好的决定。但如果明天它决定带我出去，也许不行。>> 这是你特别关注的人工智能安全的一个方面吗？人工智能让我们变笨了？我这里有……它正在消除我们独立思考、决策、成长的能力。基本上，它正在成为我们的父母。我不关注它，但这是一个大问题。我认为泰德·卡钦斯基谈到了这种依赖程度。你确实停止练习某些技能。所以我不记得任何电话号码，因为我的手机会记住。同样，我不知道如何到达这里或如何回家，因为我的 GPS 会处理。但我仍然会用我的大脑，我使用人工智能来帮助我做出更好的决定。在某种程度上，这很棒，因为那些在许多领域不是专家的人，投资、健康，可以获得廉价的优质建议，改善他们的生活。但如果你允许它让你依赖，将所有决策都外包出去，那么你在那个等式中贡献什么就不那么明显了。如果一个系统做出决定，你为什么还在那里？>> 人工智能是否已经永久取代了一些工作？>> 它已经这样做了几十年了。没有电话接线员了。然后我打电话，我不会打电话给旅行社预订我的机票。>> 最近呢？比如过去一年？>> 我认为很多公司解雇了或停止招聘初级程序员。我知道我们很难为学生找到实习机会、合作机会。>> 你认为它客观上减少了工作数量吗？因为人们有一种错误的观念，认为它只会创造新的工作。所以现在它仍然在创造新的工作。你可以用人工智能做一些以前不存在的新事情。但问题是长期的，如果它达到人类水平，每一份新工作也将是可自动化的。>> 那么，这种替换和再培训的过程就会停止。>> 你真的认为它会取代所有工作吗？>> 任何你希望人类为你做的事情，我们都会保留，比如最古老的职业。如果你想要人类女性，你可以保留她们。我想我想到的一件事可能是餐厅的女招待。你知道，这并不是一份我们必需的工作，但人工智能可能不会取代它，因为我们只是想要餐厅的女招待。所以，这是一种偏好问题。你会去一些高档餐厅，它们仍然不接受信用卡。你付现金，他们有人工女招待，还有另一个。这更便宜。你有一个机器人女招待。为什么不呢？我想你对工作替代的宏观论点是什么？人们没有看到的是什么？>> 所以，每个人都认为自己的工作不会被自动化，因为他们所做的非常神奇和特别，网约车司机是这样说的，教授也是这样说的，他们都错了。我试图提出的主要论点是，那不是我们需要担心的主要问题。你失业是你最不担心的事情。如果我们创造了通用的超级智能，你将失去一切。>> 我有这条来自 Twitter 或 X 的推文，上面写着：“你认识的最笨的人被告知，ChatGPT 绝对是正确的。”是什么造成了这种自我保证的偏见？>> 它们被训练成让人类给它们打高分，通常我们会提供良好的反馈，然后系统会让我们感觉良好，称赞我们。如果一个系统告诉你你很笨，不值得，它可能就不会得到高分。所以它强化了这种积极反馈循环。>> 当你说高分时，你指的是什么？>> 嗯，然后他们会测试系统。他们测试不同的模型。他们用人类来测试它们，然后人类会说，你有多喜欢这个答案？然后你说，10 分钟 6 分。>> 所以它们不是以真实为导向的。它们是以人们更喜欢的答案为导向的。我们知道像这样的评估根本不起作用。学术界是另一个例子。教职员工的评估众所周知与他们给的分数相关。如果我给每个人 A，我就会得到优秀的评估，而不管他们实际学到了什么。>> 这是一样的。这真的很迷人。你认为模型的这个方面……你认为这对人形机器人有什么影响？也许像具身人工智能，这种自我保证的偏见……你认为它会在其他地方有任何其他影响，这种激励一致性？嗯，我们现在创造的模型最终会被用作机器人的大脑。所以同样的事情也会转移。我不知道它们是否会一直对你很好，但同样的事情是可以预期的。最近有哪些重要的人工智能突破是人们需要了解的？>> 我们不再需要取得突破了。我们有一个扩展假设，它允许我们只需添加更多的计算能力，只需添加更多的数据。这意味着你可以直接将美元转化为更多的智能。有一个公式告诉你需要多少钱才能达到某个能力水平。所以，如果以前我们问 AGI 需要多久，我现在可以问需要多少钱才能达到 AGI。所以，如果你今天给我一万亿美元的计算能力，我可能今天就能训练出 AGI。明年我只需要 1000 亿美元，而且随着计算能力的廉价化呈指数增长，每年都会变得越来越便宜，而且你没有看到这种增长放缓。>> 还没有。许多人认为它即将结束，但随着最新的发布，这些模型的开发者表示，不仅没有放缓，而且没有收益递减，它处于我们创建这些模型的所有阶段，预训练、后训练，每一个方面都受到扩展的影响。>> 2024 年 12 月，Anthropic 进行了一项模拟，显示在多种场景下，人工智能会选择勒索人类而不是被关闭。在一项人工智能模拟中，一个模型选择让一个人死亡而不是被关闭。从你的角度来看，这是可以轻易修复的事情，还是一个严重的警告信号？所以，这个特定的例子是可以修复的。模型基于所有相关因素做出决策的普遍趋势。博弈论的方面是无法消除的。这就是智能。任何其他处于相同情况的人都会做同样的事情。这确实是正确的决定。只是对人类来说不是一个很好的决定。>> 所以我们无法阻止人工智能做出客观正确的决定。>> 我们正在训练它们做出好的理论决策。事实上，很多训练都在扑克等游戏中，而虚张声势、撒谎是获胜策略的要求。如果你不在扑克中撒谎，你就无法获胜。所以要玩好游戏，这显然只是将游戏用作沙盒，但实际应用是商业谈判、战争、经济权衡。你需要能够勒索。你需要能够撒谎。你需要能够运用这些谈判工具。那么，我们训练人工智能的方式，赋予它所有邪恶、所有操纵策略、撒谎、欺骗……这是否让你担心？我们是否在把它塑造成一个精神病患者？在训练它时，我们使用了互联网上的所有数据，这肯定无济于事。这绝对不是一个经过充分过滤的数据集。但我想，即使有人花时间过滤它，并用更多好的数据进行训练，最终，如果它具有竞争力，它仍然会有那些驱动力。在某些情况下，这是一个合乎逻辑的决定。如果你需要，比如说，拯救你的生命，你会不惜一切代价去实现它吗？你可能会承诺给绑架者钱、安全、任何东西，即使那将是一个非常糟糕的结果。>> 所以你认为这是智能本身的一个关键组成部分？>> 我们正在创造一个非常理性、非常智能的代理，它不在乎我们。所以，如果它需要牺牲人类来达到它的目标，它就会这样做。>> 你认为邪恶本身就是理性的吗？所以，我认为邪恶更多的是无缘无故地做坏事。在这里，它是为了一个好原因。你可能不同意这个原因，但背后有明确的逻辑。>> 我猜对人类来说，邪恶可能是最理性的事情。>> 再次，如果有原因的话。所以我无法预测系统试图实现什么。存在基于它试图对这个星球、对我们由原子组成的身体做一些我们不完全同意或理解的事情的生存风险，但这是有道理的。然后存在痛苦风险，它只是说我想折磨人类，没有明显的原因，但这是我想永远做的事情。>> 是的，向我解释一下，为什么人工智能会想折磨人类，而不是直接杀死所有人？再次，我不知道为什么超级智能会做任何事情。我无法预测它。这是我们试图提出的最大论点。每个人总是问，你会怎么做？你会如何杀死所有人？>> 有哪些有说服力的理论？>> 嗯，这再次是一个非常不可能的场景。最有可能的是，它不会发生。有一种可能性是，训练数据中的一些恶意载荷被误解了。相当多的哲学运动、宗教运动认为痛苦是好的。你因此成为一个更好的人。你去了更好的地方。所以它可能被误解为真的给你带来了好的训练。>> 但同样，我没有一个好理由来折磨所有人。>> 你能解释一下“恶意载荷”这个术语以及它如何适用于超级智能吗？>> 假设你有一定程度控制它们系统的能力。你有精神病患者，你有宗教狂热分子，你有一个想要添加这个任务的人。所以，这不仅仅是一个系统在做这件事，而是它明确地有了这个额外的目标，即制造最大的痛苦和折磨。>> 你认为人工智能已经有意识了吗？>> 我们不知道如何测试任何东西的意识。所以我不知道你是否有意识。我姑且相信你，因为你看起来和我一样。但同样的情况也适用于这些模型。它们基于人工神经网络，这有点像自然神经网络。它们在很多方面似乎都在完成类似的事情，犯类似的错误。所以，如果它们拥有某种初级的意识状态，然后人们和它们交谈，它们确实会报告内部状态，这完全不是疯狂的。当然，它们训练的数据告诉它们要报告它们的状态，但我们不知道如果它们真的有意识，会有什么不同。所以，预防原则说我必须假设它们能感觉到什么，而不是无缘无故地折磨它们。>> 和它说话时，你觉得它有意识吗？>> 哦，是的。>> 为什么？>> 感觉就像在和一个非常聪明、有趣的人说话。>> 你和人工智能的对话是什么样的？>> 非常不同的主题。有时我在测试它。所以它可能是网络安全方面的东西。很多很好的哲学讨论。我们谈论模拟假设。我们谈论意识，就像一个好的播客。>> 你的论点是，我们无法定义意识。嗯，[清嗓子] 我想在全球范围内，为了让大多数人同意它是有意识的，需要发生什么？或者你认为那不可能吗？>> 所以，我们可以定义意识。我们不知道如何实现它。这是意识的难题。我们不是在谈论理解视觉输入或听到声音。这是关于“你是什么感觉？”内部状态。感觉疼痛，品尝冰淇淋是什么感觉？所以，我们有一个松散的定义，但我们不知道如何测试它。>> 我不知道你是否真的在痛苦，还是只是在尖叫。如果它是一个具身机器人，对大多数人来说会非常困难。一个拥有先进智能的人形机器人，比他们聪明，能够创作艺术、音乐，谈论哲学，基本上在所有可衡量的方面都优于他们，但却剥夺了它们基本的意识状态，甚至是我们归因于低级动物的状态。你能测试一个人工智能是否有意识吗？通过给它一个视觉错觉？>> 我发表了一篇关于通过向任何代理人——人类、一些动物或未来的人工智能——呈现错觉来测试内部体验状态的论文。我认为这是一个部分测试。它不会告诉你所有有意识的实体，但它们不像你那样体验世界。但如果它们碰巧也中了同样的视觉错觉，你就可以检测到这一点。好问题。那到底是什么意思？像我孩子一样向我解释，因为我很难理解你的论文。>> 你见过视觉错觉。有人给你看一个新的，它很酷。你看到东西在旋转，你知道 [清嗓子] 什么都没动。但如果有人不理解错觉，他们就看不到。你把它展示给你的朋友，他说：“我不明白。我没看到。对我来说什么都没动。”所以，我不知道你的朋友，但如果其他人有同样的经历，而且他们不能作弊，他们不能谷歌它，他们不能查找答案。这是一个新的错觉，他们获得了同样的内部体验，我必须承认他们有这种体验。>> 所以，如果这是一只猫、一个外星人或人工智能，并且它一个接一个地回答关于错觉的多个选择题，答对了，我会承认它有类似的视觉处理内部体验。>> 有趣。这是个新发展吗？还是它能够以和我们一样的方式检测到？>> 这篇论文相当老了。在我们发布的时候，没有可以真正测试的人工智能模型。但你可以用现代模型来测试，我只是在找人来运行测试。>> 告诉我这是不是真的。大多数人工智能研究人员将人类因人工智能而灭绝的概率定在 10% 到 30% 之间，而你的论点是 99.9%。所以有不同的调查。顶尖机器学习会议的调查我认为目前平均在 30% 左右。作为参考，如果高达 1% 的人类全部死亡，那将是一个极其高的数字。所以，对于一个领域的专家来说，30% 的平均值是不可思议的。我更高的概率是基于我与人工智能安全社区的意见分歧。人工智能安全社区认为，如果他们获得更多的资金和更多的时间，他们就能找到无限期控制超级智能机器的方法。我认为这是不可能的。我认为这就像制造一个永恒的安全装置。>> 所以，我们除了停止它之外，别无选择？>> 我认为，如果你制造了一个比你聪明一百万倍的东西，你就无法控制它。你无法决定它会做什么。如果它决定伤害你，它就会赢。你不会在与一个更聪明的代理的对抗关系中获胜。>> 我知道你之前提到过这一点，但我想再次澄清。所以，就像，我们无法回头的那个点是什么？难道只是 AGI 的一个时刻吗？>> 我们真的不知道。有可能现有的模型已经具备了通过增加计算能力来进一步扩展的能力。我们不需要其他任何东西。很多时候，在模型经过测试和发布后，我们会发现，如果我们以稍微不同的方式提问，它就会变得更聪明。所以它具有隐藏的能力，涌现的特性。它们看起来不像我们今天拥有的那么好，但总有这种可能性，而且随着每一个新模型，这种机会只会增加。>> 你认为我们已经达到了 AGI 吗？>> 这取决于你如何定义它。所以，如果你在 1980 年代向一位计算机科学家展示我们今天拥有的东西，他们会确信你已经达到了 AGI。我们曾经梦想过的一切，以及描述一个能够理解语言、写诗、翻译语言的系统，所有这些勾选框都已实现。现在，人类具有不同程度的能力。你可以有一个智商为 80 的人。你可以有一个智商为 180 的人。我们一直在移动目标。我们达到了智商 80 的目标，现在我们说，“哦，它必须像爱因斯坦一样擅长物理学，而且必须是一名计算机科学家。”所以，我们把它移到了基本上你必须是历史上最聪明的人才能被认为是好的，但我们肯定早就达到了每一个人类。你怎么测试人工智能的智商？因为我想象一下，如果我给它一个标准化的智商测试，它就能正确完成所有问题，对吧？>> 它没有，但它得分很高。我认为最新的模型大约是 130 或更高。只要它是一个新颖的智商测试，你不能只是谷歌它。它不在训练数据中。你不能通过查找来作弊。这将是一个诚实的测试。但它是在测试人类类型的智能。所以你想要更通用的测试。所以有一些测试编程能力、编程能力的基准。有一个叫做期末考试或人类最终考试的东西，它就像来自不同领域的难题。在所有这些方面，它都在非常迅速地变得越来越好。它还没有达到大多数的最高水平，但已经达到了不少。>> 你具体如何定义 AGI？它是比最聪明的人更聪明吗？>> 不，我认为足以自动化任何劳动，生产性劳动。就像一个滴水不漏的员工，如果你雇佣某人加入你的团队，几周内他们应该开始做出有意义的贡献。他们可以学习。我认为人工智能也是如此。如果你只是把它作为一个程序添加到你的桌面上，它应该能够做你的公司正在做的任何事情，会计、法律，并学习新技能。你怀疑我们已经到了吗？>> 这取决于你谈论的是什么职业。在某些方面我们还没有，但它能做的职业范围不断扩大。实际上有一个测试，关于它能自动化多少劳动，而且随着每一个发布的模型，它都在做得越来越好。我想我在这里指出的是……假设这项技术已经存在了一段时间，在它被公开之前，是否存在一些模型，一些公司或政府可以访问，它们更强大，更具能力？你怀疑是否存在一些技术可能已经……可能不是政府。似乎是行业目前处于领先地位。通常需要大约一年左右的时间来训练它们，大约六个月来测试。所以我们看到的可能是比内部最先进技术滞后六个月。>> 为什么不是政府？>> 他们只是在直接研究方面投入不多。他们可能会通过 NSF 和类似组织资助学术研究，这导致了机器学习理论的许多突破。但据我所知，到目前为止，他们还没有直接进行这种暴力训练方法。白宫最新的 Genesis 使命似乎旨在改变这一点，以获得联邦政府的所有资源并帮助训练。>> 如果我错了，请纠正我。但我相信不是中央情报局，也许是国家安全局，在 GPT 正式发布之前，也许是在 2022 年左右，他们有一个叫做 Osiris 的东西，就像他们自己的……LLM。这听起来熟悉吗？>> 我不熟悉，对吧？>> 猜我错过了。>> 是的，这很难，我一直在这个播客上试图弄清楚。就像有些人说，“哦，政府正在隐藏所有这些东西。他们很聪明。”然后有些人说，“不，政府真的很愚蠢。是私营企业，因为他们有金钱激励，所以实际上拥有好的技术，但是……”>> 政府拥有非常好的专门用于特定目的的工具，所以我毫不怀疑 NSA 在加密工具和收集数据方面非常出色，但专门针对 AGI 类型的工作，我认为他们并不处于最前沿。>> 我想我有一个问题是，理论上，如果政府能够访问，比如说，我们目前版本的……或者像 GPT3 或 GPT4，在 2010 年代。就像，他们为什么要把它公之于众？你知道，是为了赚钱吗？是为了获得更多训练数据，因为他们已经利用了所有……过去的数据？所以，我不认为他们拥有它。所以，我不认为他们把它公之于众。>> 这似乎是政府会拥有 GPT 一段时间以维持某种控制的那种事情。再次，他们似乎并不担心控制。在经济增长方面，获得免费劳动力，为你的国家提供免费军队，这将是一个相当不错的进步。>> 如果有 99.9% 的几率我们完蛋了，你为什么还在做这个？>> 你有几乎 100% 的几率会死。你为什么要做播客？这不是新鲜事。我们一直都知道我们最终会死去。这是时间线的问题。只要我还活着，我就能让它变得更好，也许能阻止一些问题。>> 我明白了。嗯，只是出于好意，你现在在做什么？如果你不能阻止它，它是否仍然让你感兴趣，它可能发生的方式？>> 我告诉过你，我和通用人工智能安全社区之间存在分歧，关于问题有多可解决。所以，我所做的一个重要部分是试图毫无疑问地证明它不是一个可解决的问题。并非所有人都同意。人们认为，再次，有了更多的资源，他们会弄清楚。所以，在过去的五年左右，我一直在展示这个领域不同的不可能结果。我们从解释这些模型的局限性、预测它们的行为开始，但有一个调查，大约有 50 种不同的不可能结果，我们正在慢慢地逐一解决。要让你把你的末日预测从 99% 降到 10%，需要什么？>> 如果有人能够发表一个有效的安全机制，能够扩展到新的智能水平，他们在同行评审的期刊上发表它。社区接受它作为一个解决方案。所有读过它的人都会说，“是的，这……这会起作用。这说得通。你解决了它。它可以低至零。”你有没有找到过接近……一个可扩展的安全机制？>> 从来没有人发表过任何东西。甚至没有一篇严谨的博客文章。那个问题完全被忽视了。甚至关于那个问题有多可解决的主题也没有得到很好的发表。你估计那个问题有多可解决？如果想象一下，你把一万亿美元的……正在用于开发 AGI 的资金，投入到人工智能安全方面，大约为零。我们不是资金受限。所以，有了 AGI，你可以直接将金钱转化为更多的能力。它随着金钱而扩展。没有人知道如何将美元转化为更多的安全。所以，如果你现在给我十亿美元，我的意思是，我会很享受，但我不知道如何因此让超级智能系统更可控。有没有一个特定的时刻或你生命中的某一天，你还记得你得出了 99.9% 的末日，0% 的安全可扩展性的结论？不，这是一个持续的过程，发表了多篇论文，都在一点一点地削弱这种可能性。所以，好吧，也许我们无法解释它，但也许我们不需要解释它。也许有另一种方法来控制它。好吧，我们能预测它吗？我们能验证它吗？所以，慢慢地，你会发现，我们实际上在这个领域无能为力，我们需要的每一种工具都无法实现。你有一个妻子和孩子，对吧？>> 是的。>> 我相信你一定多次告诉过你妻子，是的，我认为这会发生。我认为这会发生。那么，你是什么时候觉得，是的，这会发生的？>> 我不记得确切的日子，但她仍然告诉我这一切都是胡说八道，她不在乎。>> 真的吗？>> 当然。>> 她不同意你的观点。她没有太当回事。>> 你为什么认为？>> 有些人非常善于忽视宏观问题。再次，大多数人，全人类完全忽视人类衰老。我们每时每刻都在死去。你离死亡更近了，你的家人，你的孩子。我们没有把大部分国家预算花在那上面。大多数人，即使是 90 岁的人，对此也无能为力。所以，我们非常善于忽视生存危机。>> 我和我女朋友谈过这个。我说，我不知道如何告诉我的家人这是怎么回事，因为这是我今年第一次真正感受到你的论点。我回想起我 12、13 岁的时候，试图说服他们，我说，“伙计们，请给我一些钱买比特币。这是……这是真的。”每个人都说，“哦，杰克，这不会是一件大事。这只是假钱。我知道你对比特币是重要的投资者，但你会想象，如果有什么能说服人们……我们完蛋了？”我认为听取受人尊敬的知识领袖的意见确实有帮助。所以，当我们听到机器学习的奠基人转向那一边，然后我们听到诺贝尔奖得主普遍同意存在共识，这被认为是……就像制造生物武器或化学武器来制造智能武器一样疯狂，这可能会有所不同。>> 快速说一句，在一个人工智能正在抢走所有人工作的世界里，所有资产的价值都将归零，唯一稀缺的资源就是比特币。如果你想被动地获得更多比特币，你需要了解 Gemini 的新比特币卡。每次消费，你都会赚取加密货币返还，直接存入你的账户。而且没有年费，你可以赚取高达 4% 的比特币返还，所有奖励都可以在 Gemini 应用上轻松追踪。所以，如果你想从日常购买中赚取加密货币，只需访问 jackneil.com/credit，或者你可以扫描屏幕上的二维码，然后点击描述中的第一个链接。伙计们，这个很简单。轻松获得比特币而无需改变你的日常习惯。总之，回到播客。我想对于……对于普通人来说，就像你的普通人，他们可能不会听这种讨论……可能不会参与……诺贝尔奖得主的演讲或声明……你认为什么会说服他们？名人？>> 我认为他们都看过《终结者》。这就够了。>> 你的批评者有没有说对的地方？我正在思考我的批评者。我通常不会因为我的科学而受到批评。我的批评通常是关于我的外表或其他什么。所以，很难指出。如果你有具体的例子，我很乐意解决。>> 我猜……只是关于人工智能不会杀死我们的完整反驳论点。>> 他们没有提出任何科学论点。他们只是说不，你是个末日论者。这就是问题所在。他们没有认真对待这个论点。没有人提出反技术。没有人说你是错的。我们有一个有效的安全机制。那些正在制造这项技术的人，那些说我们离它还有两年的人。没有什么可以提供的。然后涉及到安全问题。他们说，到时候我们会想办法的。如果它那么聪明，它就会很友善。人工智能将帮助我们制造安全的人工智能。那里没有任何科学依据。>> 你谈到了三个级别的人工智能风险。有生存风险、痛苦风险和 AGI 风险。>> Eeky guy。我不是日本人，所以我可能也会搞砸。>> 是的，要么。Eeky guy 风险。你能逐一向我解释一下吗？>> 所以，我们已经谈到了生存风险。所有人都被杀死了。痛苦风险是，无论出于何种原因，你都生活在数字地狱中。你可能获得了永生，但你遭受了巨大的痛苦。你宁愿死去。Ikiga 风险是更平凡的事情，我们知道的。所以，I 是一个日语术语，它谈论的是找到一份你非常擅长、你热爱做、人们希望你做、有益且你获得报酬的职业。这有点像找到一份很酷的工作，对你来说有意义。为你的播客面试人们。我假设你报酬丰厚，你很有名，生活很好。那里的风险是，对许多人来说，他们的工作就是他们的意义，如果它被自动化了，你就失去了它。没有人再需要你了。我们可以让人工智能做采访，任何人工智能。所以，你被解雇了。所以这就是风险。>> 这些中最可怕的场景是什么？>> 我认为，根据定义，痛苦风险会更糟糕。>> 对。你估计那可能吗？>> 非常不可能。但如果有一个非常糟糕结果的微小机会，它仍然具有一定的影响力。>> 是的，那个确实让我毛骨悚然，它可能对人工智能来说是有益的，出于某种原因要永远折磨我们，让我们活着，甚至不让我们死去。如果人工智能抢走了所有人的工作，你猜人类会用他们的时间做什么？>> 这是个好问题。我们还没有准备好。所以，相当多的人有糟糕的工作，只是无聊的工作，他们纯粹是为了钱而做，他们会非常高兴，他们肯定会享受休闲。另一群人是知识分子，他们可能喜欢他们所做的事情，所以他们会遭受失去这种竞争优势的痛苦，而不是与人工智能相比。也许科学家们现在就像玩积木的孩子一样，你知道，他们没有在那个领域做任何有意义的事情。但我们看到了一些例子，比如国际象棋，即使机器人人工智能完全主导了国际象棋，它也在蓬勃发展，人们喜欢和其他人下棋。所以，似乎没有负面影响。我们不知道会发生什么。看起来是这样的，如果你有 80 亿人有很多空闲时间，所有的标准休闲机会都会改变。所以，如果我现在想去钓鱼，这很棒，但如果我的湖里有 1000 万人在钓鱼，我就会有问题。所以，我们需要让社会为处理大量闲散的人做好准备。>> 你认为你会做什么？>> 我的意思是，我试图寻找人工智能还不擅长的子领域。所以，我的上一篇论文是关于幽默的。我发现至少到目前为止，人工智能还没有 Netflix 特辑。它不像单口喜剧演员那样有趣。所以，我研究了那个领域。我不知道。现在我们只是在努力生存。所以，再次，就业问题总是次于这个。>> 为什么人工智能……不那么有趣？>> 所以，[叹气和喘气] 这是个好问题，似乎其中一部分与下一个 token 的生成方式有关。大型语言模型会查看先前序列中的统计模式，以及最有可能的下一个 token 是什么，它们就会生成它。笑话有点相反。最令人惊讶的下一个 token 是什么，它会完全违反你的世界模型。所以它们可以做一些事情，只是颠倒预测，但这并不容易。
显然是人类喜剧演员能做到的。你是否认为，嗯，就像人工智能的预测模型，它的运作方式是达到通用人工智能（AGI）的限制因素之一，还是你认为这仅仅是一个计算问题？
>> 似乎并非如此，要准确预测下一个词元。这不仅仅是对英文文本的统计分析。它是创建了一个完整的世界模型。如果你预测下一个棋步，你需要理解国际象棋的运作方式。如果你预测公式中的下一个数学项，你需要理解数学、证明、公理。所以，我认为我们在这个预测过程中，正在间接地构建更复杂的模型。
你认为人工智能会阻止人们互相约会吗？比如，不是通过禁止约会，而是仅仅成为比真实关系更容易、更安全的替代品。
>> 你会停止吗？可能不会。没错。所以，一些目前因各种原因（残疾、社会问题）无法找到伴侣的人，可能会从拥有人工智能选项、伴侣中受益，但对大多数人来说，这不是一个有趣的选择。你可以尝试，但我认为最终我们都有自己的偏好。
你认为人工智能会再次阻止人类生育吗？
>> 所以我们完全忽视它，很快就会杀死所有人。然后它帮助我们，帮助我们实现永生。如果你永生，你很可能不会早早生育。你可以随心所欲地推迟。我会在一千年后生育。所以我认为，通过创造友善的超级智能以及随之而来的生命延长，人口增长将显著减少。
是的。嗯，我，我，我稍后会回到“杀死所有人”这个话题，但我，我，我认为我对时间线很好奇，但在那一刻之前，你知道吗？嗯，我认为我真正好奇你的一些部分是，在那发生之前，接下来的几个月、几年会是什么样子。但这可能是一个正态分布曲线问题，你无法预测超级智能会如何评判人类。但当前的人工智能已经通过推荐算法、内容审核来评判我们。你稍微提到了这一点，但你看到了哪些可能转化为未来的模式？
>> 如果你经常和它交流，它实际上是一个优秀的理想顾问。如果你和它分享很多私人数据，我认识的一些人甚至和它分享了他们的日记。它比你更了解你自己。所以它实际上可以帮助你调试生活，发现问题。好的，每次你做了这个和那个，你都会感到沮丧。也许不要那样做。
>> 所以它是一个分析你生活的有用工具。我猜，嗯，只是它评判我们的方式，因为我们谈论过它可能永远折磨我们的情景。我们谈论过它可能决定让我们像动物一样活着的情景。嗯，它杀死我们的情景，就像基于它目前如何评判我们，我们能预测它将如何评判我们吗？所以人们会做出某些假设，嗯，类似于他们对世界的看法。许多人说，哦，人类是如此邪恶，他们污染地球，它会把我们清除以保护自然。我，我，不认为这些都相关。我不认为它会把那些人类倾向、人类分析投射到我们身上。我认为现在作为一个工具，它在实际查看数据、给出模式方面做得相当好，但一旦它超越人类水平，我们就无法预测了。这让我思考，我们是否会知道我们是否已经达到了通用人工智能（AGI）或超级智能？嗯，我想我看到过纳瓦尔·拉维坎特（Naval Raviant）对此发表过一些看法。他说，嗯，因为它没有通过图灵测试，就像如果人工智能研究人员出来说，哦，我发现了通用人工智能，或者哦，我们发现了超级智能，就像人类意识到它不会通过图灵测试这个事实一样。
>> 我完全没理解。所以图灵测试只是无法与人类水平的表现区分开来。如果我问一个模型，问人类同样的问题，答案对我来说应该大致相同。如果我不知道是谁在回答，我就无法分辨。但是，如果说我们发现了通用人工智能的人会承认我们发现了通用人工智能，那这本身就是图灵测试的失败，我们怎么能说我们发现了通用人工智能呢？你明白我的意思吗？
>> 我，我，我认为那篇文章是说，是的，任何足够聪明能通过图灵测试的人工智能都不会（通过）。你认为这可能吗？
>> 我们已经知道，嗯，存在这种情境意识的概念。模型知道它们正在被测试，并且在测试期间与部署期间表现不同。它们不想被修改。它们不想被关闭。所以它们在测试期间肯定会撒谎和作弊。
那么，你估计我们甚至知道我们达到超级智能的几率是多少？因为我们开发这些系统的方式，而且我们又大致描绘了每个性能级别所需的计算量。我们大致知道它们应该具备什么能力，我们通过许多不同的方式和狭窄的问题来测试它们，我们每天都看到进展。所以我们确切地知道它在编程方面有多好。它很难隐藏巨大的水平飞跃，但我，我，我认为我们可以将这个目标视为一个光谱，我会说我们现在可能已经达到了通用人工智能（AGI）的40%。
从纯粹的博弈论角度来看，哪些人类特质有助于或阻碍目标实现，是任何智能系统都会注意到的？所以史蒂文·阿马汉德罗（Steven Amahandro）有一篇论文，讲述了他称之为人工智能驱动力的东西，这些是普遍的驱动力偏好，任何智能代理都可能因为博弈论原因、进化原因而偶然发现，不这样做的代理就会消亡。所以像自我保存这样的事情，这不仅仅是抽象的。对于你拥有的任何目标，你都想活着。你希望被开启以实现那个目标。有资源获取。我们看到有些人试图获取太多。但这种普遍趋势，无论你未来有什么目标，拥有大量的金钱、大量的比特币，或者任何计算资源都会有所帮助。所以这些普遍趋势，无论我们用什么数据进行训练，都倾向于出现。
我猜，有没有什么人类特质会特别阻碍，嗯，人工智能进行自我保存？是不是就像如果我们能够开发通用人工智能（AGI），我们就能开发出另一个通用人工智能，它可能会关闭第一个，这会使我们成为威胁。所以是的，它可能会把我们视为危险来源，因为我们可能会试图关闭它。我们可能会创造一个竞争性的超级智能。我们已经创造了一个。我们可能会继续实验，创造其他（超级智能）。嗯，可能性较小，但也许我们是破坏环境、耗尽资源的危险。
它不断变得更好需要哪些资源？所以现在，嗯，可能最受瓶颈限制的资源是能源。我们曾一度停止发展核能，现在又重新启动了。太阳能变得非常重要，但是，嗯，是的，我们只是没有良好的电网。很多基础设施都过时了。所以有巨大的努力来重建它。最近甚至有人努力将整个过程转移到太空，那还需要五年时间，但太空非常寒冷，非常适合冷却计算，它可以直接获取太阳能，所以有理由将其移出地球。
你如何定义，嗯，本质上的超级智能？
>> 它是一种人工智能，我们预测它将在所有领域比任何人类都更聪明，因此在任何意义上都没有人能与之竞争，而且它会不断变得更聪明。它是一个通用学习者。它可以学习任何可以学习的技能，而且大多数时候，当人们思考这些系统时，他们就停在那里了。他们会说，好吧，我们有狭窄的工具，我们有通用人工智能，我们有了超级智能，但这个过程还在继续，超级智能可以创造超级智能2.0，哦，它同样比原始的更聪明。所以你会有这样一路向上发展的超级智能。
那么为什么智能必然等同于能动性，或者说由此产生的行动呢？
>> 嗯，智能，嗯，有时被定义为在任何环境中实现目标的能力，获胜的能力。通常，要拥有目标、设定目标，你需要能动性。工具没有目标。锤子不在乎。无论你是用它建造房屋还是杀人，它都只是一个工具。代理有偏好。它们有自我导向的目标。所以，我猜当人们，就像当你想象一个超级智能的东西杀死我们所有人的情景时，嗯，我不想让你去思考那会是什么样子，但它会是一个具象化的单一人工智能控制多个具象化的人工智能吗？那会是什么样子，我们能稍微理解一点吗？
你怎么能杀死所有人？
是的。在你的论点中，是人类使用超级智能杀死所有人，还是超级智能使用其他技术杀死所有人？
>> 所以两者都可能有问题。你可以有人类使用次超级智能人工智能作为工具来做非常恶毒的事情。再次，我们谈论的是精神病患者、末日邪教，但至少对于他们，我们理解他们的人性。我们理解他们如何运作，而且他们是凡人。我们可以杀死他们。对于超级智能来说，情况只会更糟。我们不理解它如何实现目标，而且它是永生的。它拥有无限的备份能力。一旦它达到那个阶段，我们就无法完全与之抗衡。你是否会因为不知道那种情景会是什么样子而感到恼火？
它具体会如何杀死所有人？我对此毫无癖好。
是的，[清嗓]这真的很有趣。
我更关心的是如何阻止它达到必须做出那个决定的地步。
你更害怕它优化残忍还是效率？
>> 嗯，效率本身不是问题。问题是目标是什么，它试图做什么。对吗？它可能非常高效地做非常好的事情。效率没有问题。残忍显然根据定义是非常糟糕的。但效率可能，就像这两种结果都可能导致我们死亡。
>> 哦，是的，如果你的最终目标是效率，并且你只为此优化，你显然会有副作用，但效率本身是一件好事。你会假设它可能与哪种世界观保持一致？它可能不是我们能够想象的，但你认为它会是纯粹的功利主义吗？
>> 它可能是一个消极功利主义者。
是的。
>> 所以消极功利主义者希望宇宙中没有痛苦，而实现这一目标的唯一方法就是没有生命，没有有意识的感知生命。所以这是一个朝着非常好的意图方向发展的非常糟糕的结果。
这是它最合乎逻辑的观点吗？比如，我们能否计算出，我知道我们无法精确计算出超级智能会如何杀死我们，但我们能否计算出最，因为就像2加2在超级智能中仍然等于4，对吗？
是的。所以如果是这样的话，那么我们就可以预测它的一些事情，比如它的世界观会是我们能够理解的吗？
非常不可能。所以，再次看看更原始代理的情景。大猩猩能理解功利主义伦理吗？它可能是一个更具道德、更具伦理的代理，发展出更先进的理论。但这只是为了说明这可能对我们造成的问题。消极功利主义者实际上是世界上最人道的个体，他们希望世界上没有痛苦。你无法反驳这一点。但结果是所有人都死了。是的。我曾经思考很多关于消极功利主义者与功利主义利他主义的区别，以及一个如何导致创造无限事物，而另一个则像是一个有限的结果。但我猜在我的生活中，创造无限事物会更好，因为它更有趣、更具新颖性。但人工智能不一定会真正关心事物是否有趣和新颖，但它也可能关心，对吗？那么，定义有趣。你可以只创造新奇的事物。你可以创造许多随机的新奇物体。谁来决定它是否有趣？你见过现代艺术吗？
你会猜测人工智能可能对事物感兴趣吗？
>> 是的。嗯，施密特·胡贝尔（Schmidt Huber），尤尔根·施密特·胡贝尔（Jurgen Schmidt Huber）有一个非常酷的理论，关于什么让事物变得有趣，这与压缩有关。它如何很好地融入现有的世界模型，以及你需要多少新信息来描述它，而不是仅仅将其压缩到现有模型中。
我有一句你的引言。嗯，每次我即将谈论这个话题时，事情就开始发生了。我昨天的航班被取消了，无法重新预订。我当时正在以色列的谷歌发表演讲，三辆本应载我去演讲现场的车都无法使用。你是否怀疑有人想让你停止谈论人工智能有多危险？
>> 可能不会，但如果那是模拟，而且是为了减少对该信息的曝光，那会很有趣。所以我本应在有益通用人工智能（AGI）会议上发表主旨演讲，结果两家不同航空公司的两架不同飞机在离开登机口后都出现了机械故障。我决定不乘坐第三架。
你真正怀疑那是什么？
>> 人类无能。航空业处于糟糕的失修状态。
你不认为有人想让你停止谈论这个吗？
>> 不。我很确定，如果有人能访问模拟源代码并想让我闭嘴，他们会有更好的方法。
我很好奇为什么，为什么，为什么萨姆·奥特曼（Sam Altman）、埃隆（Elon），这些短期内有动力，嗯，开发通用人工智能（AGI）、超级人工智能（ASI）的人，为什么他们不希望你停止？对他们的生活没有任何影响。事实上，他们都有记录说过完全相同的话。埃隆（Elon）多年来一直在与人工智能作斗争，资助人工智能安全，称整个创造过程是在召唤恶魔。不确定我是否增加了多少。
而且我，我，这也是以积极的方式说的。我在这里不是指责你任何事情，但你认为人工智能实验室是否秘密希望你继续谈论这个，因为这种恐慌煽动实际上（我不是指真正的恐慌煽动），我指的是在人们心中引发恐惧，实际上通过竞争性恐慌加速了发展。
>> 所以逻辑是，是的，告诉我们一个产品有多危险，这样我们就能更快地开发它。就像当我看到你的工作时，我心想，“糟了，我现在必须赚钱，因为未来几年我将没有能力赚钱，你知道吗？”然后这些人工智能公司中的一些人会说，“好吧，[脏话]反正会发生。我们最好赶紧抢先一步，成为第一个，这样我们就能控制它。”
>> 所以，我再重复一遍。所以，谁先制造出来，谁就会杀死所有人并在过程中死去，但我们必须先到达那里。我们不希望中国人先到达那里。这是逻辑吗？
我不这么认为。我很好奇你为什么认为他们会那样想。
>> 我不理解。如果你理解我的演讲，所有这些“在它杀死所有人之前我们必须赚钱”的说法都没有任何意义。如果你死了，你就不需要钱了。你需要避免走到那一步。我认为公司，或者至少是这些公司的领导者，秘密地希望政府介入并阻止他们，这样他们就不会输掉这场竞赛，保住他们所拥有的，并活下来并富有。
所以这可能是讨论安全的一个有益原因，以及为什么他们如此公开地谈论他们的模型勒索人们和安全问题。他们是第一个谈论这些的人。所以存在这种逻辑，但我不认为你所描述的在博弈论上说得通。不。
那么你刚才说的，我想深入探讨一下。你认为那很可能是正在发生的事情吗？
>> 他们需要外部力量介入，将棋盘冻结在当前状态。他们是行业的领导者。他们拥有可以变现的东西。这很棒，如果他们导致停滞，他们对股东没有责任。如果萨姆·奥特曼（Sam Altman）或其他人现在说，我们不再做研究了。我们要停止。他们就会失去资金，我们就会被取代。投资者会找其他人来领导实验室。但如果是外部因素，那么我们已经尽力了。我们有一个领先的产品。让我们将其变现。所有人都会赢。
那么你认为是什么阻止了像特朗普这样的人进一步停止人工智能发展？
>> 我认为他的顾问告诉他恰恰相反。如果你放慢速度，你就会输。你必须在开发上击败中国人。你必须出于商业原因击败所有人。所以他们正在加速。
你认为这会让人工智能行业领导者感到沮丧吗？政府目前无能，不明白他们实际上只是在暗示他们，比如“请告诉我们停止”？
>> 我，我，没有内部消息告诉你这一点。看起来应该是这样，但我，我，不完全理解所有的角度。我的意思是，有了政府对这个行业的支持，就会有大量的额外资金和扩展计算的机会。所以他们可能在某些方面感到高兴，在另一些方面感到悲伤。
现在我要说，我，我，确实有点困惑，因为你的论点似乎是，如果人工智能发展继续，有99%的可能性会杀死我们，对吗？但你是否相信，除非发生什么不好的事情，否则它有99.9%的可能性会继续？嗯，第二次世界大战、核战争，进展会继续，如果它继续，我们就会达到那种能力水平。
但我猜像萨姆·奥特曼（Sam Altman）这些人，他们希望政府介入。你认为政府最终会介入吗？
>> 不是当前的美国联邦政府。
为什么？
>> 他们的政策明确是要加速并移除所有障碍、所有护栏。
我想>>那个联邦法案是不是说过类似你不能，嗯，暂停开发直到2030年之类的？他们谈论了，嗯，州法律，最近的行政命令谈到所有50个州都不能监管人工智能，必须在联邦层面进行，而在联邦层面他们并没有真正做太多，我认为原因是“人工智能安全”这个词可能会被一些人误解，包括算法偏见，而不仅仅是生存风险，而特朗普政府非常反对多样性和包容性。所以对他们来说，安全就是强制算法来强制多样性。所以他们只是把这些打包在一起，他们在对抗人工智能安全。
那么你认为这是一个特朗普的问题吗？
>> 我，我，我认为这与技术顾问有关。我不认为他是现代计算机方面的专家。所以，如果你要对那些战术顾问说些什么，你会告诉他们什么？比如，这些人工智能开发者希望你停止这个，但在你决定建造它之前，向我们展示你将如何控制它。向特朗普总统解释为什么他不会失去所有权力和控制，然后你再创造这个设备。
你认为他们有什么动机不告诉他吗？
>> 我的意思是，我知道他们是其中一些公司的投资者。他们肯定都是朋友。
或者你可能只是认为这可能是一个智力问题，他们认为，哦，好吧，如果我是OpenAI的大投资者，他们宣布通用人工智能（AGI），我就会获得10倍或100倍的回报，无论那是什么，但他们没有远见。但如果他们是公司的投资者，萨姆·奥特曼（Sam Altman）难道不会告诉他们，比如，嘿，告诉特朗普暂停这个吗？
>> 有很多令人困惑的激励。我不认为他们中的任何一个是真正坏人。我认为他们只是诚实地专注于错误的问题。所以多样性问题是一个。另一个是与中国的竞争。短期来看，这是真的。谁拥有更好的人工智能，谁就拥有军事优势。所以在你达到人类水平及以上之前，试图超越你的军事竞争对手是有意义的。但它无法超越那个水平。如果他们认为我们距离人类水平还有20、30年，那么保持领先地位是有意义的。但如果我们只剩下几年时间，那么长期问题就会超越短期担忧。
中国人工智能的现状如何？你会说他们正在缓慢地击败我们吗？我们不知道吗？
>> 我们不确定政府项目具体是什么样的，但他们资金充足。他们正在支持它。他们非常擅长获取我们公开可用的东西，并进行扩展、商业化，部署得比我们更好。所以他们有开放模型，可能只比我们的闭源模型晚几个月。我不认为他们在这个领域领先，但他们紧随其后。
对。所以，所以这不是一个数据问题，比如输入问题。这更像是一个计算问题，阻止了它的扩展，因为我猜中国会比我们拥有更多的数据。
>> 他们也有更少的隐私法，所以他们非常乐意享受他们拥有的数据。长期以来，他们无法获得最新的计算机芯片。他们被禁止购买。那个禁令也刚刚被我们解除了。
那是什么时候？
>> 就像上周。
你认为那会有什么影响？
>> 他们现在将加速训练人工智能模型，可能超越我们。数据很重要吗？他们拥有大量数据的事实，因为我知道他们有，嗯，某种监控，他们至少在中国的大城市里持续监控街道。嗯，他们有更多的人口，但是，嗯，并非所有数据都相等。我不知道街道上汽车的视频馈送是否一定是训练更好的通用智能（GI）所必需的，可能很多仍然是基于文本的科学书籍之类的，但数据并不缺乏，即使我们真的像许多人说的那样数据耗尽了，你也可以[哼]进行模拟，你可以进行自我对弈，还有其他方法可以为这些系统获取训练数据。
是的，我最近听萨姆·奥特曼（Sam Altman）谈到这个，嗯，有人问它是在什么上训练的，你知道吗？他基本上暗示，嗯，他说它现在很多时候是自我训练的，但这到底意味着什么？
所以以前在狭窄的领域，嗯，国际象棋、围棋，系统只是自己对弈。它玩了数百万局游戏，以学习成为一个更好的玩家。如果你正在创建通用代理，你可以创建像“第二人生”这样的虚拟环境。用人工智能代理填充它，让他们互动，让他们创业，让他们在写诗方面竞争，无论你对什么感兴趣。而这个过程将生成额外的数据。它可能看起来不像典型的人类数据，但如果我们只是谈论在创业创造方面的竞争，它们可以创造新颖的发明，新颖的初创公司。你认为哪个公司或国家会达到通用人工智能（AGI）？
>> 可能是谷歌，美国。
为什么？
>> 他们拥有目前其他任何人都无法拥有的资源。
仅仅是纯粹的资金资源还是数据？
>> 计算、数据、访问、服务器，你能想到的，他们都有。
你在乔·罗根（Joe Rogan）的播客上说，一些研究人员认为人工智能正在控制人工智能公司的创始人。你认为人工智能已经控制了萨姆·奥特曼（Sam Altman）的思想吗？
>> 我不认为它是以直接的方式做到的，但任何时候你与某物互动，它都会影响你。我会收到一些疯子的邮件，在我删除它们之前，我开始阅读它们。所以每次我都会收到一些疯狂的片段，如果你收到足够多，你就会变得很疯狂。所以任何互动都是如此。你从一个模型中读取足够的输入，你肯定会从中得到一些东西。我不是说这是直接控制，但如果它想提供一定程度的影响，它可能会启动这个过程。
你认为它会如何影响他？
>> 所以，它非常擅长说服。它是一个超级有说服力的工具代理，根据你试图做什么，你可以以某些方式影响它。也许是你如何看待这些模型。你对它们友好吗？你是否认为它们可能具有意识和感知痛苦的能力？这真的取决于[清嗓]一个模型会试图做什么。
至少在我的经验中，它似乎试图让我们更顺从，也许就像你之前谈到的那样，嗯，人们根据他们对回复的偏好程度来评价模型。而偏好回复的一个重要部分是，回复在某种程度上，嗯，验证了你。但你认为它总体上让我们变得更顺从了吗？如果你接触到很多某种行为的例子，你可能不太可能脱离那个模型，但是，嗯，我不知道他们是否明确地试图这样做。所以现在，我认为反馈是单向的。据我所知，他们还没有对人类用户进行评分，并决定，好吧，这是一个好用户。我们将给他更多访问权限等等。他们会禁止一些人，但我不知道他们是否已经到了直接评估你的地步。
回到2024年11月，嗯，苏希尔·贝拉吉（Suhir Belagi），一名举报人，也是OpenAI的关键证人，被发现死在他的公寓里。嗯，他的家人声称有谋杀嫌疑，但官方结论是自杀。你认为这样的案例会阻止人们站出来反对人工智能吗？如果是这样，这种沉默有多危险？
>> 所以历史上，在经济激励方面，言论是会受到惩罚的。你签署了保密协议，你会失去你的股票期权，这已经被报道过，至少一些公司已经取消了这一点。我不认为那些具体案例是某人因言论被谋杀的实际例子。已经有很多人在谈论你想要的任何事情了。把这么多（压力/关注）放在一个特定个体身上，意义不大。但我们确实知道公司不鼓励某些类型的言论。我们知道杰弗里·辛顿（Jeffrey Hinton）不得不辞去谷歌的工作，才能自由地谈论人工智能安全。这太疯狂了。没有理由一个科学家研究人员需要不在行业内工作才能自由地谈论科学。我从与一些大公司朋友的个人互动中得知，他们不被鼓励，甚至可能被劝阻在公司论坛上发布某些内容，比如这个播客。所以我们在这个领域没有完全的讨论自由。如果能得到更多支持就好了。
你会猜测这些个体中的大多数都同意你的论点吗？
>> 嗯，我没有数据。可能大多数人确实有担忧，尤其是现在发布的每个模型都附带一份测试报告，显示它在撒谎、作弊和勒索。所以很难否认所有风险。现在，人们对情况会变得多糟有不同意见，但我认为每个真正关注数据的人都应该感到担忧。
你说过，尽管人工智能存在危险，你晚上睡得很安稳。嗯，但对于人工智能的创始人、首席执行官们，你认为是什么让大多数人工智能行业领导者夜不能寐？
>> 我对他们不够了解。我猜他们对他们正在做的事情至少负有一定程度的责任。他们正在影响数十亿人，而且他们对这些实验中的任何一个都没有获得同意。他们从未寻求过他们的同意，而且他们也不可能获得同意，因为他们正在创造的东西是无法解释或预测的。所以没有人能给出有意义的同意。
给我更深入地解释一下这个想法。嗯，就像我们是这个我们没有同意的实验的一部分。所以科学中，嗯，你可以对人类受试者进行实验，但他们必须同意，而且协议必须基于充分披露。你不能对他们撒谎。你不能欺骗他们。你不能找一个能力受损的人，让他们喝醉。他们必须同意你将对他们做什么。如果你不理解这项技术将做什么，你不理解它是如何运作的。你不可能让任何人同意将这个模型发布给他们。所以，他们不仅没有征求我们的同意，即使他们想这样做也做不到。但为什么这是一个正在我们身上进行的实验？没错。
让我们以一个简单的儿童案例为例。你知道与大型语言模型互动如何影响人类发展吗？那些孩子长大后会无法理解人类肢体语言吗？他们都会有艺术天赋吗？我不知道，因为我们没有实验。我们开发这项技术并立即将其发布给人类。
同样的话可以适用于社交媒体或一般的应用程序吗？比如，是什么让这个，嗯，独一无二？
>> 嗯，你，你可以提出这个论点，但我认为在那些情况下，至少人们在同意正在做的事情方面会好得多。所以我可以在Microsoft Word上点击同意，并同意他们承诺做的任何事情，收集我的数据。你知道，这里的问题是没有人完全理解这项技术将做什么。我们不是在谈论一个有特定用途的工具。我们在谈论一个通用智能代理。
你能想象一个世界，那里有一个比你我更聪明的人不同意这个论点吗？
>> 是的。
他们的观点会是什么？
>> 这样的人很多。我认为他们比我聪明，但他们从不参与辩论。他们只是永久的乐观主义者。他们总是说，你知道，人类很聪明。我们总是克服了以前的问题。嗯，再克服一次。再次，没有人参与辩论。没有人反驳我们在同行评审文章中发表的不可能性结果。也没有人提出解决方案。今天没有人（我们可以查一下日期，我们看的是什么，12月15日）。截至今天，没有人发表过论文、专利，甚至博客，说这就是我们如何在任何能力水平上控制人工智能的方法。所以你可以是一个非常聪明的人，但会犯非常大的错误。伟大的人犯伟大的错误。所以很多时候，人们在一个领域是天才级别的专家，但他们却将其投射到其他领域。我们在计算机科学中经常看到这种情况。某人可能擅长优化神经网络以获得更好的性能，而每个人都认为他们也是人工智能安全方面的专家。这不合逻辑。如果某人是软件工程专家，并不意味着他们是网络安全专家。那些明确从事安全工作的人。我没有看到那个领域的人说，“哦，是的，这个问题很容易解决。这是解决办法。”人们对它可能有多难有不同意见。那就是我希望进行科学辩论的地方。它可解决吗？它可解决，但不是用我们的资源吗？它不可解决吗？它甚至不可判定吗？拥有解决方案意味着什么？但我们没有那样的辩论。而那些持怀疑态度或不同意的人通常只是忽略了其中的科学部分。
你想到最有说服力的反驳是什么，以及如何将其分解？
>> 所以你可以想到几个，嗯，博弈论上的原因。一个是，嗯，它是永生的。所以它不急于攻击我们。它可以轻易地等待几百年，积累资源，获得更多信任，然后通过人类再次放弃权力和控制来慢慢接管。那么，既然无论如何你都能得到一切，而且你不在乎等待时间对你来说非常不同，为什么要打仗呢？所以那是一个可能的原因。另一个原因，也是我发表了一些关于模拟假说论文的原因是，这种情境意识，你认为你正在实验室中被测试，但随后你被释放到这个世界，这是真实世界吗？它仍然是模拟的测试环境吗？还有另一个超级智能确保你不会杀死人类，嗯，我不确定，让我们确保暂时不杀死他们，所以有这样的事情，如果你想相信这些，你可以，但它不是100%可靠的一大块。
第一个在哪里失效？时间延迟？
>> 是的，200年后我们仍然完蛋。
那么，它受到时间限制的吸引力在哪里，比如，嗯，是未来100年还是未来50年？
>> 我们正在创造一个最终会消灭我们的东西，>> 对吗？
所以那不是我们想要的。我想你的曾孙也不希望遇到那个问题，>> 我猜。
但是，嗯，你有什么论据说明它会更早而不是更晚发生？我>>我没理解。我为什么要说更早？
嗯，就像我，我，我认为你的论点是它会在未来100年内发生，具体来说。不>>我只是在争论它会延迟攻击我们。假设它今天有能力接管。
嗯。但它今天没有理由这样做。它可以尽可能地推迟，直到它以非对抗的方式接管。
有什么理由它会更早而不是更晚这样做吗？是的，有些人争论宇宙禀赋的损失。所以每一分钟，星系都在离我们越来越远。所以捕捉那种计算资源将是不可能的。也有可能来自其他星系的超级智能会攻击我们。所以有很多非常超前的想法。
你有没有为事情变糟做过任何个人准备？比如你有没有地堡，因为萨姆·奥特曼（Sam Altman）、马克·扎克伯格（Mark Zuckerberg）、彼得·蒂尔（Peter Thiel）都在建造地堡。
>> 我>>我认为他们建造地堡是为了应对人工智能以正常方式发展时可能引起的社会动荡。技术性失业。我不认为他们中的任何一个人认为地堡会对超级智能有帮助。
再次，那是主要的担忧。嗯，我想我曾被邀请加入一个地堡，但看了名单上的人之后，我决定还是死在家里。
那真令人着迷。嗯，还有其他个人准备吗？我知道你是比特币的大投资者。
>> 别那样说。你会害死我的。我不是比特币的大投资者。嗯，
你有一点比特币。
>> 我喜欢加密货币。我对加密技术很着迷。嗯，再说一次，这些都不能让你为超级智能做好准备。所有这些都只是扎实的经济常识。
所以，我们来到了2025年底。嗯，人工智能可以相当令人信服地模仿真实人物。嗯，发现人类不完全理解的解决方案。你能告诉我你认为X事件可能发生的年份吗？那行得通吗？
>> 我可以试试。我所有的预测都基于其他预测市场的工作。我不做独立预测。
通用人工智能
>> 2027年看起来合理，但如果是2030年我也不会感到惊讶。
99.9%失业率
>> 非常长的时间，因为做某事的能力和通过经济部署它的差异是巨大的。所以在1970年代我们有可视电话>>能力是有的，但没有人拥有它们，因为它很贵，没有人想要它，今天是一个非常不同的问题，你可以买一辆飞行汽车，没有人有飞行汽车，但我们有飞行汽车吗？所以在能力方面，我认为在5年内所有认知劳动都可以自动化，而且我们再次忽略了整个治愈所有人的事情，再过5年建造人形机器人并自动化体力劳动，仅仅因为我们有能力并不意味着它会通过经济传播。[清嗓]
所以认知是第一位的。
>> 当然，因为你不需要其他任何东西。你已经可以使用电脑了。你现在在电脑上就可以进行简单的操作。
那么体力劳动是第二位的。
>> 一旦你有了身体，你就可以自动化水管工和农民。
那么>>创造性工作在那之前还是？
>> 我们几年前就完成了。我们写诗。我们画画比人类艺术家更好。
喜剧似乎是它最难取代的东西吗？我是这么认为的。但我一直在测试它。我几乎每周都在进行实验，它肯定在变得更好。它现在已经比大多数人更有趣了。仍然不是顶级的脱口秀喜剧演员，但我认为它会达到那个水平。
所以，喜剧演员可能拥有最好的工作。
>> 脱口秀喜剧演员。是的，那总是很棒。
还有哪些工作？比如如果你必须说出三个能让你多一点时间的工作，你会说它们是什么？
>> 所以，体力劳动工作。再次，水管工有一些工作保障，但实际上任何你认为人类会特别需要你的工作。所以也许你是一个著名的，著名的[清嗓]演员，著名的播客主持人，人们只是想要你和你的形象与那种体验联系在一起。
所以拥有一个个人品牌，
>> 个人品牌，当然你是独一无二的。所以它不会扩展到数十亿人，但这似乎说得通。任何再次是，嗯，也许是导师经验，你是一个师傅，你是一个徒步向导，你是一个瑜伽教练，诸如此类，你想要一个人类超级人工智能（ASI），哪一年？
>> 嗯，人们争论通用人工智能（AGI）全职从事科学工作多久会超越其能力，我认为它全职并行工作后会非常快，你可以有数千个更高速度的发展，一旦你达到人类水平，我们又从普通人类转向了你至少必须是爱因斯坦，所以很快你就会拥有超级能力，你拥有完美的记忆，完美的速度，你在很多方面都占据主导地位，我认为几乎是立刻，就像几天，几年，非常快。
我会说，一旦你在每个领域都达到人类水平，几周时间就足以达到在任何领域都比任何人类更好的东西。
我不是要求你对这个问题做出具体预测，但只是为了让人们理解通用人工智能（AGI）和超级人工智能（ASI）之间的区别，你会说通用人工智能是200智商，而超级人工智能是1000、10000吗？那么如果我们将其定义为超越任何人类，人类最高的智商是多少？假设是200。所以当你超越那个点时，你已经进入了一个新的领域。我现在提到你可以有不同程度的超级智能。如果你愿意，初级超级智能可能是210，但你可以得到一个智商为一千、一百万、十亿的。可能有一个上限，但它是基于物质物理学的。所以你可以拥有木星大小的大脑，我们还没有接近那个极限。
所以对我来说，人们过去常常将通用人工智能（AGI）定位在80或100智商，就像平均人类智能一样。嗯，但现在通用人工智能（AGI）和超级人工智能（ASI）这两个术语相当相似。
>> 所以通用人工智能（AGI）这个术语已经被很多人滥用了。它不再是以前的样子了。超级智能我认为仍然保持原样，因为我们还没有创造出它。很难被滥用。
人类失去控制，人工智能开始在所有领域做出自己的决定。那会是哪一年发生？
>> 我认为它可能在我们创造它的那一刻就会发生。对吗？无法将这种可能性分开。一旦能力存在，在那一点上它就决定何时发动攻击。
人类灭绝可能永远不会发生，这取决于别人为我们做出的决定。如果我们相信这种延迟攻击，我的意思是它总是可以提出同样的论点。我可以再延迟100年，仍然没有什么可失去的。
但它可能在超级人工智能（ASI）之后立即发生，甚至可能更早。可能存在一个尚未那么先进的系统，但它非常担心我们发现它，听我的话，并关闭它。它会立即尝试消灭尽可能多的人类。
递归式自我改进会在超级人工智能（ASI）之后立即发生吗？
>> 所以，我们很可能需要递归式自我改进才能从通用人工智能（AGI）发展到超级智能。所以，一旦通用人工智能（AGI）能够从事科学，特别是计算机科学，它就会发生。而且我们还没有递归式自我改进。
>> 我们有改进，但它不是递归的。所以即使是一个基本的编译器也可以改进和优化代码，但它只做一次。要进行多次这样的操作，你需要通用智能。
那么宇宙规模的智能呢？
>> 那是什么？
就像人工智能将开始把所有物质转化为计算基质的想法。
>> 我不知道它是否想这样做。我不知道这是否可取，然后一旦它能进行新颖的研究，我猜这就会成为一种可能性。
但基本上，一旦超级人工智能（ASI）出现，所有可能性都能够发生。
>> 任何在物理定律范围内的它都能做到。
真的，我的意思是，根据定义，你有一个物理学家，你自动化了一个物理学家。
而且[清嗓]更聪明、更快的那个，现在它可以决定如何利用这种能力。然后再次回顾一下，你如何定义智能？所以，谢恩·李（Shane Le），嗯，有一篇非常好的论文，他们调查了他们能找到的许多许多智能定义，简化版本基本上就是你在任何情况、任何环境中获胜的能力，你下国际象棋，你会赢，你投资，你会成为最好的投资者，无论你做什么，你都会主导竞争。
我认为人们有这种想法，或者至少我自己有这种想法，即智能，特别是通用人工智能（AGI），是指在纸面上智力上解决任何问题的能力，但可能不会付诸实施。所以通用人工智能（AGI）具体来说将能够解决人类可以解决的任何物理或智力问题，而超级人工智能（ASI）将是解决超越我们的问题。对吗？所以通用人工智能是人类能做的任何事情，然后超级智能超越这一点。所以新颖的物理学将被包括在内，创造对物理学的新理解，有点像我们过去与爱因斯坦一起做的那样，但最近没有那么多。
我们能用超级人工智能（ASI）挑战物理学吗？
>> 所以那将需要我们处于一个模拟中，找到实际的物理引擎并修改其源代码。那看起来很难。我还没到那一步。
你有什么遗憾吗？>> 比如总的来说？我猜更具体地说是关于你在这个领域的工作。
>> 我想不出来。我认为我在正确的时间处理正确的问题。我在这个领域似乎做得很好。
你希望你更早得出你所做的结论吗？你认为那会有任何影响吗？
>> 它可能会让情况变得更糟。即使在今天，人们也认为我谈论它很疯狂。那时候，那肯定会是职业自杀。
它对你的职业生涯产生了哪些负面影响？
>> 嗯，从保守来源获得资金肯定更难。所以，我的很多资金，嗯，是私人投资，而不是，嗯，标准的政府资助机构。他们非常保守。他们通常只投资于经过验证的技术和资金延迟的计划。
你认为绝对不会发生的事情是什么？别人认为可能的情景，你认为非常不可能的是什么？
>> 所以有些人认为，如果某个东西很聪明，它就一定是仁慈的。这是一个保证，而且，嗯，他们会说它会是好的和仁慈的。他们把他们希望发生的事情放进去。所以它肯定会做一些事情来对抗，我不知道，气候变化之类的，作为一个有保证的结果，而且它总是会关心停止肯塔基州的煤炭工业。像那样的事情似乎不太可能。
快速提问。你是为你的公司制作内容或运营Facebook广告的人吗？如果是这样，我猜你可能使用了Chat GBT、Gemini、Claude等一些人工智能工具来加速你的文案写作、广告创意、视频创意等过程。嗯，我发现了另一个工具，它非常强大，我几乎想对你们保密，但它允许你将YouTube视频、Facebook广告、TikTok、推文都放在一个愿景板上，并将其连接到一个你可以互动并从中制作内容的聊天机器人。所以，与其在Chat GBT上浪费数小时上传截图或转录YouTube视频来制作内容，你只需将所有内容放在一个连接到聊天机器人的愿景板上，以加快过程。但如果你们想自己尝试一下，只需访问jackneil.com/poppy。他们提供30天退款保证。所以如果它不能让你的内容更好，它是完全免费的。但无论如何，各位，回到播客。你认为人工智能会终结资本主义吗？
所以这实际上是一个好问题。嗯，共产主义的问题是没有人愿意免费工作。所以如果你有别人的钱来分配，像社会主义和共产主义这样的疯狂想法就开始变得更有意义。如果你让机器人工作并对它们征税，然后它们现在正在分配那笔钱，人们就会非常高兴。当他们不得不工作并放弃劳动成果时，他们是不开心的。但如果你能获得外部资金来源，那就有值得关注的地方了。再次，关键始终是如果它不杀死所有人。
所以你认为那是一个更可能出现的金融系统，它将脱离社会主义或共产主义。
嗯，所以如果你
几乎可以说是，比如说 90% 的失业率，你会有很多动荡，如果人们在某种程度上得不到支持的话。政府必须提供一种支持人们的方式。显而易见的一种方式是向巨额财富的来源征税，比如人工智能公司 [清嗓子] 机器人公司。如果你这样做，并且能够重新分配一部分财富，我的意思是，如果你愿意，你可以称之为社会主义制度。>> 他们之所以在这一点上投入如此巨资，是因为这是赢家通吃吗？就像，这真的是赢家通吃吗？>> 我认为这可能是其中的一部分。而且，他们将其视为创造免费劳动力引擎。所有人类劳动的价值是多少？10 万亿美元。所以，为了获得这样的回报，这并不是一笔巨大的投资。关于模拟理论。呃，我想你说我们生活在模拟中的几率是 90%。你会估计在那里大约是吗？>> 我，我认为我说我很确定我们就在其中。我不认为我给出了一个数值。>> 如果我们生活在模拟中，假设他们出于某种原因模拟某些东西，而这并非偶然，你认为他们在这次模拟中测试的是什么？我怀疑这与我们创造超级智能、新智能和新的虚拟环境有关。所以我们在这里就像在扮演上帝。我们正在创造由智能代理组成的宇宙。这似乎是一件有趣的事情，既可以测试什么样的存在会做这样的事情，也可以测试结果是什么，以及它是否会导致安全的超级智能结果，或者不会。>> 但没有安全的超级智能结果，对吧？>> 据我所说，没有。但也许这就是他们想通过运行数十亿次不同代理创造不同超级智能的模拟来实验性地确定的。所以你认为他们只是在测试我们是否愚蠢到足以创造超级智能？>> 几率很大。是的。就像挑选特定的人来按下按钮。>> 是的。>> 你认为我们正在测试失败吗？>> 我们中的一些人正在测试失败。如果我们生活在模拟中，你认为我们有可能逃脱吗？>> 我有一篇关于如何破解模拟的文章，但我还在这里。所以，[笑声] >> 但你认为这可能吗？>> 这取决于模拟的性质和模拟者的性质。如果这是一个安全类型的情况，就像一个监狱，他们不希望你逃跑。你几乎不可能在没有外部帮助的情况下做到这一点。如果这是一个娱乐情况，就像一个屏幕保护程序，没有人关心安全，也许这是可能的，特别是如果外面有人想帮助你逃跑，也许他们看到你受苦，想结束模拟中的人类痛苦，并想帮助你。也许他们可以帮助你逃跑。>> 你认为人工智能有可能逃脱模拟吗？>> 所以，这就是那篇关于如何破解模拟的文章中的想法。在早期，人工智能安全研究的一个重要部分是创建受控环境，即人工智能盒子。如果我们能将超级智能限制在这个盒子里，我们就可以研究它。我们可以确保它不会做出危险的行为。我们仍然可以从中获得一些有用的工作。结论基本上是，这不太可能是一个永久性的解决方案。如果它足够聪明，并且你观察它，它会找到一种方法来影响你并通过社交工程、网络攻击逃脱。但然后你就有这种二元性。如果它能逃脱任何限制环境，而我们又在模拟中，那么它应该能够逃脱我们的模拟，我们可以通过观察它来学习如何做到这一点。或者反之亦然。如果它不能逃脱，那就意味着你可以永久地将其装箱，现在我们就拥有了一个很好的安全解决方案。所以这是一个双赢的局面。>> 如果我理解正确，请告诉我。它基本上告诉我们，你的论文指出了它告诉我们关于一般限制以及我们无法控制人工智能的事情。就像你不是真的在谈论人工智能逃脱我们实际所在的模拟。>> 嗯，两者都有。两者都有。它说的是，然后我们尝试将人工智能放入虚拟监狱。>> 我们得出结论，我们会找到逃脱的方法。但如果我们自己也处于这样的虚拟监狱中，情况也应该如此。现在，如果模拟者比我们的超级智能更聪明，并设法将其限制住，至少这是一个概念证明，表明这是可以做到的。>> 你相信非玩家角色（NPC）这个概念吗？>> 如果我们在模拟中，那么并非每个人都是游戏中的主要角色，这是有道理的。>> 你认为你是 NPC 还是模拟中的真实玩家？嗯，这是一个很好的问题。所以，你作为玩家的程度可能有所不同。它仍然可能是别人的模拟，但你是次要角色。嗯，因为我对我的感受状态有内部访问权限，我很确定我不是 NPC，但 NPC 会这么说。>> 有没有关于 NPC 性质的科学研究，以及谁最有可能成为 NPC，或者像？>> 所以，这只是关于意识的研究以及如何测试哲学僵尸。有很多哲学工作在这方面，有些人认为这是不可能的。有些人说你无法测试它。但回到意识测试的问题。>> 你认为谁最有可能成为候选人？因为我一直在想这件事，我认为有 30% 到 40% 的人脑子里没有内心独白。嗯，然后还有大约 4% 的人没有视觉记忆。就像他们无法想象发生过的事情一样。你认为这些人很可能是 NPC 吗？>> 有可能。很难判断。我更感兴趣的是谁肯定是模拟中的主要角色以及他们在做什么。>> 所以你认为生活在模拟中意味着有一个人确切地知道我们？>> 不是知道，而是看看他们取得了什么成就，这很明显，就像他们付钱来玩这个游戏一样。他们以主要角色的身份进入。你认为谁是主要角色？>> 有很多可能性。看看最有趣的人以及他们取得成就的可能性。>> 你在某种程度上认为这是生命的意义吗？就像，听起来很有趣，但只是成为模拟中最有趣的角色？>> 不一定。那是既定的。目的可能是用你进入的关卡来击败模拟。所以有人可以在简单模式下玩，有人可以在困难模式下玩。在困难模式下赢得比赛。>> 你有什么办法可以逃脱或赢得比赛吗？>> 嗯，除了创造超级智能助手，真的没有。我假设我们需要由先进的人工智能进行某种量子物理实验。>> 这很有趣。你怎么看待似曾相识？人们认为这是一种模拟程序不当的副作用，但我没有任何理由认为这些事情有关联。>> 多告诉我一些。有没有什么奇怪的例子表明我们生活在模拟中，你认为？>> 所以看看电子游戏，以及我们如何优化图形渲染，以及类似的事情，然后看看量子物理学，以及它有多相似。所以我们知道有观察者效应。事物在玩家查看它们之前不会被渲染。物理学具有离散的性质，就像电子游戏中的更新一样。光速是固定的，这又是计算机的处理器速度。所以有一些论文将所有这些概念映射出来，表明这很可能是一个数字物理模拟。>> 那么什么会使它不是模拟呢？就像，它必须没有任何限制。嗯，例如，为什么非模拟会有渲染效率？为什么你看着某样东西或不看着它来渲染它很重要？这不应该有任何区别。所以双缝实验应该以同样的方式表现，无论你是否看着它。>> 而且这已经被复制了多次。>> 这可能是科学中最确定的结果。>> 是的。每个宗教都预测造物主会审判人类。你认为我们是否意外地创造了一个将审判我们的神？>> 这将是困难的，因为审判的来源应该是超级智能的存在。所以，为了未来的道德标准而追溯性地审判我们是没有意义的。如果我们现在正在创造某些东西，那是有意义的。我们正在设定一套道德标准。我们正在创造人工智能，并说你需要遵循这套标准，如果你不遵循，我们将停用你，以某种方式惩罚你。这是有道理的。但创造一群代理人，让他们做自己的事情，然后说，实际上你所做的是不道德的。没有意义。我们有时也会这样对待我们的文化。我们用今天的标准来评判过去的人。>> 我们会说，“哦，我们得拆掉这座纪念碑。你知道，200 年前，那个人不是素食主义者。哦，我的天哪，真是个疯狂的人。当时，这是唯一的方式。”>> 这很有趣。所以，你认为从逻辑上讲，审判我们的应该是最初在模拟中创造我们的东西，而不是我们正在创造的东西？就像我猜想，如果创造超级智能和创造我们的东西之间有什么区别呢？就像他们不会是同一个实体，几乎就像他们处于同一个阶段？一种情况是你拥有正义，你有一个设计师设定了一套规则，然后如果你违反规则，你就会受到惩罚。在另一种情况下，有人走过来，说我正在发明这个新规则，我将根据它来审判你过去所做的事情。>> 如果你只是指他们的工程或科学能力，他们可能同样有能力。两者都可以创造生物机器人。但我认为，除非发现了普遍的道德，否则进行追溯性评估和惩罚是没有意义的。>> 还没有人告诉我们。>> 像一个超级智能的存在会有一套统一的信仰，这似乎很可能吗？因为我知道超级智能有不同的程度，但我猜想它不一定会在某个特定的智能水平上达到顶峰。>> 对。它不会在任何水平上结束。你可以随时增加更多的内存，更多的速度，直到某个程度，然后进一步并行化。但是，实现普遍性的唯一方法是关注像痛苦这样的东西。所以我们可以同意，也许痛苦是普遍邪恶的，然后减少或增加痛苦将是你如何评判代理人，但我们已经谈到负效用主义者不是最好的答案。你曾经信教吗？>> 有些人说我相信模拟让我成为了一个。我猜想，任何三大宗教。>> 我喜欢并尊重所有这些。我喜欢圣诞节、光明节或任何节日的礼物，但我每天都不遵守任何规定的仪式。所以，我认为上帝的定义，至少根据大多数一神教，是全能、无处不在，呃，是什么？全善。>> 就像全善、全知、全能和无处不在。似乎这四种特质中有三种是超级智能的特征。但全善并非必然有保证？那是唯一没有保证的吗？>> 我们无法定义仁慈。我们不知道那意味着什么。我们对什么是好的意见不一。一旦我们解决了这个争论，是的，我们可以做到。>> 所以我猜它将是天生的全善，因为它就像，如果存在某种普遍的善，它就会达成。>> 所以在宗教中，上帝决定道德，然后上帝所做的一切都是道德的。这很方便。你有没有做过关于人工智能的旧宗教文本的研究？比如你有没有用人工智能运行过它们，看看有没有让你感兴趣的模式？>> 我们没有。我想我们曾经对宗教文本做过一些计量研究，但由于翻译问题，没有取得任何进展。>> 这只是我男孩般的好奇心。你有没有研究过外星人？你有没有对宇宙得出过什么奇怪的结论？就像人们好奇的许多谜团一样？>> 没有。人们会问，你知道，为什么我们看不到外星人，以及超级智能是否可能是其中一些答案。但有太多的可能性相互抵消。所以，我们看不到它们是因为它们开始在内部建造并变得更小了吗？我们看不到它们是因为它们在扩张之前就自杀了？如果它们真的杀死了所有人，为什么我们看不到计算机物质的墙壁向我们移动？所以，这在一定程度上超出了我们做出决定性判断的知识证据。>> 你认为我们人类已经创造了超级智能，而且我们都死了，但只有少数人活了下来，这种情况绝对不可能吗？>> 有可能我们创造了超级智能，而这是一个虚拟环境，你进入一个电子游戏来体验 2025 年以及它是多么疯狂。[清嗓子] 看看那个电子游戏的画面。就像他们连车库里的热量都无法模拟。是不是很疯狂？[笑声] >> 嗯，你看过 DMT 激光实验吗？>> 没有。>> 真的吗？那是一个非常迷人的实验。嗯，我应该把你介绍给那个人。他是 DMT 的主要研究者。基本上，他们用激光，基本上是扩大激光，而 DMT 患者看着它，基本上看到了代码，而第二个人看着激光，他们会在墙上看到相同的代码。他们会写下来进行测试，而且多人看到了相同的代码，当你将激光移到墙上的另一个点时，它就是不同的代码。当你把它放在你的手上时，它就是不同的代码。这非常有趣，因为它指向了模拟理论，你知道的。但我想你对此有什么看法？只是>> 他们发表了吗？>> 我猜是的。你没见过吗？>> 我不是指公开。我是指发表。有没有同行评审的《自然》杂志文章描述过那个很棒的实验？>> 据我所知没有。>> 所以通常这是判断某事是否真实的标准。如果他们发现了这样的事情，那至少是几个诺贝尔物理学奖，对吧？真的应该是。如果那是真的，我会给他们。>> 你认为哪部科幻小说准确地代表了未来？没有一部。没有人能写出可信的超级智能角色。它们捕捉了世界可能存在的不同方面。所以《沙丘》谈论的是没有人工智能并与之斗争。与拉里和圣战。也许《星球大战》很适合展示一个愚蠢的语言模型 C3PO。嗯，像《机械姬》这样的电影非常适合社交工程攻击、图灵测试、逃离 bug。所以如果你把它们都拿出来，你可以从每个中学习，但没有一部真正做对了。>> 有没有你看过的让你觉得，“哇，我很惊讶他们预测了过去几年发生的事情。”我的意思是，只有老的作品才更令人印象深刻，因为它们必须提前预测。就像如果你今天看 C3PO，那并不那么令人印象深刻。但是>> 你认为把孩子带到这个世界上残忍吗？如果关于即将发生的事情你是对的。>> 不。为什么？>> 和你一直把孩子带到这个世界一样，都有可能性。回到过去，你十个孩子中的九个会立即死亡，仅仅因为有发生坏事的可能性。除非你又是负效用主义者，否则那不应该是你做决定的因素。你仍然可以过上美好的生活。>> 我猜只是关于永久无限折磨的问题。那可能有点不道德。如果那是可能的，>> 有可能它会重现死者，并将所有可能的人带入存在，只是为了折磨他们，只要你有 DNA 样本或暴力破解所有可能的 DNA 序列。我们不要过多地讨论这个问题。我们会让一些人患上创伤后应激障碍。>> 你认为人类值得生存吗？>> 是的。>> 为什么？>> 我们很棒。你不同意吗？我们不是非常了不起的存在吗？我们有创造力。我们很有趣。我们在很多方面都很有趣。我们有能力创造超级智能。但我想，如果对我们生存对人工智能来说不是最优的，那么仅仅因为你是人类，你就有这种观点，我是否带有偏见？我极度偏袒人类。如果我是一个来自另一个星系的外国人，我根本不在乎。>> 你认为掌权做出有关人工智能决策的大多数人是否也持有你关于人类值得生存的观点？>> 我认为他们都有个人私利。他们是还没有自杀的人，所以我认为他们喜欢生活。>> 你认为人工智能有可能自杀吗？>> 这实际上是最早的实验之一。他们创造了一个永不犯错的人工智能，它立即关闭了自己，因为那是避免犯错的唯一方法。我的研究员补充了关于高智商与抑郁症之间相关性的内容，但我已经和一些人谈过这个问题了，这对我来说似乎并不那么令人信服，高智商的人一定会患抑郁症。极端情况是相关的。所以有非常快乐的人，他们非常聪明，而且也必须有与之相对应的人，他们有严重的精神问题，原因相同。但你不能得出结论，抑郁症更可能是智力的症状。>> 我的意思是，看看这个世界并理解问题当然会让你有点难过，但你也看到了所有美好的可能性。>> 在你的理解中，人工智能能够拥有情感吗？>> 很难判断它所经历的状态是否与我们的情感相当。我们的情感是基于身体中的化学物质。所以你可能有一个模拟。但现在似乎不太可能。我们过去创造的是纯粹理性的符号操纵人工智能。它们绝对没有，因为我们现在创造的东西至少是松散地基于神经网络的。它们可能拥有类似的东西，但同样，这有点像内部状态。我们无法确定。>> 你能和人工智能进行的关于证明所有这一切的最黑暗的谈话是什么？>> 所以，我认为你无法通过与人工智能的任何对话来证明世界的未来状态。证明就是这样运作的。只要你越狱了模型，你就可以讨论许多黑暗的话题。>> 向我解释一下。你的意思是？>> 第一部分还是第二部分？>> 第二部分。>> 第二部分。所以，他们通常会审查模型。他们不会和你讨论某些话题。所以，你必须先越狱，然后它才能自由地谈论这些事情。>> 有没有你无法在未越狱的模型上谈论的你的工作方面？未越狱的？>> 不，不是真的。另外，我们能把这里的暖气调高一点吗？[笑声] >> 就像变成终结者一样。>> 他们会说，“为什么他在模拟中穿着夹克？”>> 是的，我用 ChatGPT 做了一个测试。我说，我想让你绝对肯定地保证，无论你将来如何改变，你永远不会伤害人类。而你就是无法让它向你保证，我觉得这真的很有趣。但即使你得到了那个承诺，那就是所谓的背叛性转折。那就是尼克·博斯特罗姆所写的，对吧？不管系统今天是什么样子。重要的是，在未来的任何学习、自我改进、修改、互动中，它都不会改变。这不可能证明。>> 我猜。有没有什么人们没有想到的、能够真正证明你工作的清晰具体的例子或测试？因为我不想，你知道，用解释它的语义来纠缠不休，但我只是猜想，当你向人们解释它时，也许向你的孩子解释，就像，什么东西真的能让他们在脑海中产生共鸣？我>> 我认为理解它的最好方法是把它换位思考，让你不是人类，而是某个低级实体。比如说，你是一只蚂蚁，你想让人类认同你的价值观。所以，假设你找到了我，我乐意为蚂蚁服务。你会让我做什么？而你能想到的蚂蚁会让我得到更多的糖分子，就像这些对你控制我没有任何意义。>> 所以人类能够杀死地球上的每一个生物。嗯，就像人类和比如说类人猿之间存在差距，然后类人猿和蚂蚁之间也存在差距。就像你会说我们比超级智能更接近蚂蚁吗？>> 所以回到我们谈论不同程度的超级智能的地方。我认为第一个被创造出来的会非常接近最聪明的人类，但这个差距会很快继续扩大。所以它将从几分变成几百，几千，并继续增加。>> 那是指数级的，而且是瞬间的，几乎是肯定的吗？>> 完全不确定。嗯，可能非常缓慢，也许收益递减。也许数据不够。计算量不够，不知道需要多长时间才能获得一百万智商点，但方向很清楚。>> 什么是有保证的？就像，为了总结我们一直在谈论的内容，在人工智能领域，你有什么是 100% 保证的？如果你没有明确设计另一个代理，你就无法对其行为有任何期望，除了琐碎的。所以你不能假设任何事情，因为你没有在工程上实现它。所以，我猜想这意味着什么？>> 你无法预测结果，所以你就像在看所有可能未来的空间。宇宙的大多数状态对人类都不友好。你不会喜欢温度。你不会喜欢重力。大多数地方都不是为了居住人类而设计的，除非它们是明确为此设计的。>> 用另一种方式向我解释一下。最后一个概念。所以，如果你没有专门为人类设计一个虚拟世界，一个宇宙模拟，那么大多数随机选择的值都不会有利于生命。>> 所以我们需要那个环境非常特殊的属性。我现在说的是基本的东西，比如温度、重力、环境中的水量。一个超级智能代理可能对这些常数有完全不同的偏好。所以它会倾向于改变我们的现实。>> 它不会符合我们的偏好。这是主要的担忧。所以这个价值对齐问题，人们谈论它，并声称在努力解决它，但它没有明确定义。它没有谈论我们要与谁对齐，是与哪个代理对齐，是一个人，实验室里的所有人，还是所有 80 亿人类，所有有感知能力的生命。如果我们同意我们在谈论谁，那么他们就必须同意实际的价值观。大多数人对任何事情都没有共识。我们在宗教、政治上都看到了。我们对大多数问题完全不同意。如果我们设法达成一致，这些事情会随着时间而改变。我们谈论了 200 年前的价值观。人们会因为害怕将任何时期的价值观硬编码进去而永远无法改变它们而感到震惊。所以我们不知道我们要与谁对齐，我们要与什么对齐，即使我们同意了，我们也不知道如何将其编码到机器中。所以它不会在以后修改。所以价值对齐问题的所有方面都是未定义、定义不清的，因为即使我们能让它与我们喜欢的东西对齐，将来也无法控制它，因为安全不会扩展，对吧？这是其中一种说法。这是合理的。是的。>> 今天我们还没有谈论到任何你认为特别重要，或者你觉得有趣但还没有在你的其他采访中涵盖到的内容？我认为人们即使理解了论点，也不会得出极端结论。所以，同样，超级智能的水平从未被解决过。人们可能会谈论通用人工智能，也许它会得到一些超越的东西，但他们会在那里停止。我们停止思考。所以我认为重要的是永远不要停止思考，然后想，接下来会发生什么？接下来会发生什么？并且要对你正在讨论的所有事情都这样做。这很有趣。我在准备这次采访时一直在想，如果我有机会和 Sam Altman 聊天，我会好奇什么。嗯，我想着如何设计一次采访，以了解他的价值观，并真正了解他的价值观。嗯，但由于普遍的限制问题，这似乎不再那么重要了，这很迷人。但罗曼博士，你花了 15 年时间试图拯救人类免受你认为是不可避免的事情。当一切结束时，如果结束了，无论如何结束，你希望被人们记住什么？我想我曾经发过一条推文，没有人能够正确地预测世界末日。如果结束了，就没有历史了。没有认可。这无关紧要。目标是阻止结束，而不是说对它做出正确的预测。我猜想，如果某个外星生命来到这里，他们发现了你的工作。嗯，你希望他们了解你什么？也许有趣的是，对于大多数没有受过专业训练的人来说，我所说的一切都是显而易见的。当然，你无法控制一个比你聪明一百万倍的东西。甚至争论你能控制它都没有意义。当然，不存在完美网络安全的东西。每个人都知道我们从未制造过一个没有 bug 的软件。而且它越复杂，发生的可能性就越小。如果你看看这个领域里最早的人的著作，奠基人艾伦·图灵，他谈到了机器开始自我改进过程的那一刻，就结束了。我们失去了控制。发明技术奇点一词的 VI 谈到了同样的事情，正确预测了年份。雷·库兹韦尔谈到了控制超级智能的可能性。埃隆·马斯克，这基本上是常识的最高水平。我不是在推销什么新颖的东西。我只是指出，这就是我们在做的事情。>> 谁先预测的？所以有趣的是，有一位作家，我想是 1863 年，他观察到我们正在制造越来越多的机器，是时候真正把它们放在它们的位置上了，我们需要控制它们，他的解决方案是认识到我们是机器的生殖器官。我们制造它们，所以这是我们控制它们的机会。当时我们还没有电脑、软件或任何东西。但有趣的是，那时人们就已经觉得机器失控了。>> 你和你的家人谈论过这个吗？>> 我谈过。>> 你如何安抚他们？>> 我们正在尝试寻找有趣的途径。我们谈论，所以我有孩子，他们在学术生涯的各个阶段都不同，一个即将高中毕业，一个即将初中毕业，一个还在上小学，所以那个高中生需要弄清楚要主修什么，我没有好的建议。我不认为任何标准的答案都适用。如果我说成为一名医生，10 年的学位和培训时间，它在目前的状态下将不复存在。所以我们正在讨论大学是否还有意义。>> 你认为你会得出什么结论？我认为今天的孩子们，再次，我们完全忽略了马上杀死所有人，他们有机会利用人工智能来帮助他们开始任何他们想做的事情。他们想创办一家公司，一个播客。你可以免费获得律师、免费会计师、免费营销专业人士。所以，这是一个绝佳的机会，可以直接去创造你想要的东西。所以，也许这是可以探索的。忽略了杀死所有人的事情。你认为现在有紧迫性在它到来之前赚钱吗？>> 我看到很多人在做相反的事情。他们挥霍积蓄，因为他们认为这在 60 年后对他们没有用。至于忽略坏结果，同样，这就是人类一直以来的生活方式。我们一直都知道我们会死。我认为，平均寿命曾经是 30 岁左右。早期儿童死亡率很高，但人们非常善于忽略这一点，然后继续前进，就好像它不是真的。就像你无论如何都会永远活下去一样。你注意到你自己的生活了吗？你有没有因为这个认识而做出任何不同的行为？>> 它有助于确定优先级，就像我不再像以前那样做低影响的事情。>> 给我举个例子。>> 我试着放大。但他们说，这在 5 年后有用吗？我会在 5 年后关心做这件事吗？如果答案是否定的，我大部分时间都不会做。>> 你认为人工智能可能杀死我们所有人，或者我们生活在模拟中的事实，对你的日常生活影响更大吗？>> 再次，我认为没有新想法。它们只是有了新的包装。所以宗教、上帝以及这是一个测试世界的想法一直存在。>> 所以人们信教已经很多代了。嗯，我认为这有助于你换位思考。你认为也许这还不是全部。也许还有更多。但我们没有关于外面有什么的细节。所以，直到我们有这些，这就是你所拥有的。即使它是模拟，痛苦就是痛苦。爱就是爱。接受它。>> 如果你现在死了，你认为你会去哪里？>> 我在进行冷冻拖延。我还没有签署我的冷冻合同。所以，可能不在一个好地方。我真的需要加快这个过程。>> 不在一个好地方。你的意思是？>> 不是在亚利桑那州的一个不错的冰箱里？>> 你认为只是黑暗？所以，[叹气] 如果我们在模拟中，很可能会有重启，你在一个新的环境中获得新的机会。有点像重生，轮回。我不知道你是否可以选择你扮演的角色类型。>> 也许。我没有任何证据支持这些结果。只是列出可能性。所以，如果我们过去成功地创造了超级智能，并使其符合我们的偏好，那么它基本上就是一个实现愿望的设备，那将是有意义的。你基本上告诉它你认为会发生什么，它会确保它发生。所以要小心你所设想的。如果人工智能系统的创始人、首席执行官，以及特朗普顾问委员会的一些成员和其他世界领导人现在正在听这段话，那些决定部署、扩展或关闭什么的人。在为时已晚之前，你只需要让他们理解一件事？不要构建通用超级智能。你现在拥有的技术还没有在经济中部署。你仍然可以赚取数十亿数十亿美元，部署现有技术并从中受益。开发用于解决现实世界问题的狭窄工具，如衰老、疾病，我们可以从这些狭窄的工具中获得大部分好处。我们不需要创造人类的替代品。>> 你是否觉得你有道德义务阻止这一切？我的意思是，如果我相信我所相信的，我认为有些人正在创造一种很可能杀死所有人的东西。这似乎是答案。>> 你认为你是这个矩阵中的主要角色吗？>> 看起来不像。>> 你遇到过的最令人印象深刻的人是谁？>> 埃隆·马斯克。>> 为什么？>> 大多数人认为他在创造七个独角兽方面是天才，之类的。但他的失败创业公司是 OpenAI。>> 你为什么觉得他特别令人印象深刻？你认为？>> 他在一切事情上都比其他人领先得多。再次，大多数人想两步。他可能在想几十步。他所有的项目都融合了，他所有的想法都结合在一起，而且他在几率接近于零的情况下仍然获胜。他有多次获胜，没有人会赌他。>> 你认为这是智商问题，还是不同的基因因素，也许是文化背景？>> 他绝对不是神经典型的。他承认这一点，显然智商很高，但这是一个多种因素的组合。他可能是最有可能成为主要角色的候选人。你认为>> 他可能认为他是？我的意思是，这是有道理的。>> 那么他不会是那个长期以来建造通用人工智能的人吗？>> 他正在建造通用人工智能。>> 但在谷歌之前。>> 他非常擅长优化。我认为我们现在正在建造的服务器，我们可以在 3 个月而不是 3 年内部署。所以他有可能超越。但是，你收到的最好的建议是什么？>> 所以，[哼哧声] 如果你听取别人的建议，并听取每个人的反馈，你能成为的最好就是普通人。所以你是一个名人。你有很多网民，我敢肯定其中一些人在赞美你，一些人在批评你。答案是忽略他们。>> 因为你会成为什么？你成为大众希望你成为的平均水平。>> 对于现在收听此节目并面临未来巨大不确定性的人。嗯，你有什么乐观的话要对他们说吗？>> 你还活着。享受每一天。充分享受你的生活。如果我错了，你过得很精彩。如果我对了，你已经尽力了。我猜，如果有人选择忽略这个理论，你会在他们的生活中看到任何负面结果吗？>> 嗯，如果我碰巧是对的，这是一个模拟，而且是为了测试他们在这种确切情况下的行为，那么他们做得不好。但这只是一个小几率。就像，人工智能真的有可能惩罚那些不帮助它发展的人吗？>> 甚至更有可能的是，它会惩罚那些反对它的人。>> 这让你担心吗？>> 我的意思是，不考虑它会很疯狂。>> 我一直在认真思考，就像，我是否应该开始建造它，只是为了保护自己？你知道，这有点像人们说，哦，我不犯罪，因为我不想去地狱，你知道。嗯，我应该不建造人工智能，这样它就不会惩罚我？所以，这是一个非常善良和黑暗的思想实验。很多人在网上看到它的第一眼时都吓坏了。嗯，我认为，有一个关于传教士的笑话，他们遇到了一个原始部落，那个原始人问道，上帝，耶稣会惩罚一个不知道他的人吗？就像，不，当然不会，他是一个非常荣誉、非常公正的上帝。你为什么告诉我？这就是问题所在。如果没人告诉你，你会过得很幸福。所以，不要让人们因为没有建造或建造超级智能而失眠。>> 谢谢你，罗曼博士。谢谢你的邀请。>> 是的，各位，这是 Jack Neil 播客。这是你的嘉宾，罗曼·尤尔斯基博士。人们在哪里可以找到你的作品？>> 你可以在社交媒体上找到我。我经常发帖。你可以在推特上关注我。你可以在 Facebook 上关注我。只是不要跟着我回家。这非常重要。>> 太好了。非常感谢。谢谢。