Transcription
以下是与 Max Tegmark 的对话，这是他第二次来到播客。事实上，上次的对话是这个播客的第一集。他是一位物理学家和人工智能研究员，就职于麻省理工学院，是未来生命研究所的联合创始人，也是《生命 3.0：人工智能时代的人类》一书的作者。他还是许多其他宏大而迷人的项目的负责人，并撰写了许多你应该去看看的东西。他一直是那些公开谈论人工智能的长期生存风险以及它令人兴奋的可能性和解决现实世界问题的方案的关键人物之一。最近，他关注人工智能与物理学的交叉领域，以及通过控制我们看到的信息来重塑分裂我们的算法，从而制造出我们今天看到的“信息茧房”和其他各种复杂的社会现象。总的来说，他是我有幸认识的最有激情、最聪明的人之一。我希望将来能在这个播客上与他进行更多次对话。
快速提及我们的赞助商：Jordan Harbinger Show、Sigmatic Mushroom Coffee、BetterHelp 在线心理治疗和 ExpressVPN。所以，选择是智慧、咖啡因、理智还是隐私。明智地选择吧，我的朋友们。如果你愿意，请点击下面的赞助商链接以获得折扣，以支持这个播客。
顺便说一句，我想说的是，机器学习和人工智能领域的大多数研究人员并不花太多时间深入思考人工智能的生存风险，因为我们目前的算法被认为是“有用但愚蠢”的。很难想象它们在可预见的未来如何会破坏人类文明的结构。我理解这种心态，但这对我来说非常令人不安。这是一种危险且缺乏灵感的观点，让人想起龙虾坐在一锅一分钟前还是冷的温水里。我感到与这只龙虾有种亲近感。我相信，驱动我们在社交媒体上互动的算法已经拥有了远远超出任何一个人类的智力和力量。现在确实是时候思考这个问题了，来定义技术与我们社会中人类互动轨迹。我认为人类文明的未来很可能就取决于人工智能在我们社会中的作用这个非常问题。
如果你喜欢这个节目，请在 YouTube 上订阅，在 Apple Podcast 上评论，在 Spotify 上关注，在 Patreon 上支持，或者在 Twitter 上与我联系：Lex Fridman。
现在，这是我和 Max Tegmark 的对话。
所以，人们可能不知道，但你实际上是这个播客的第一集，就在几年前，现在我们回来了。碰巧的是，在物理学和人工智能这两个你都非常热衷的领域，都发生了许多令人兴奋的事情。我们能否试着跟上人工智能领域正在发生的令人兴奋的事情，尤其是在它正在破解科学领域不同问题的背景下？
是的，我很乐意。尤其是在我们开始 2021 年的时候，这是一个思考人工智能领域最重大的突破的有趣时机，不一定是媒体报道的那些，而是真正重要的那些。这对我们做好科学研究的能力意味着什么？这对我们帮助世界各地人民的能力意味着什么？以及如果我们不够聪明而无法避免，它们可能导致的新问题又意味着什么？所以，我们基本上从中学习到了什么？
是的，绝对。你参与的其中一件很棒的事情是人工智能与基础互动研究所。这个研究所怎么样？你们在做什么？你们在想什么？
这个想法是我非常热衷的，那就是人工智能与物理学的结合。你知道，自从我五年前将我在麻省理工学院的研究从物理学转向机器学习以来，已经快五年了。起初，我注意到我的许多同事，尽管他们很礼貌，但他们都在想：“Max 在做什么？他怎么会做这些奇怪的事情？他是不是疯了？”但后来，我和一些同事逐渐说服了我们物理系越来越多的其他教授对这个领域产生兴趣。现在我们得到了这个了不起的 NSF 中心，未来五年有 2000 万美元的资金，麻省理工学院和我们附近的一些大学也参与其中。我注意到，那些曾经奇怪地看着我的人，现在已经停止问我这个有什么意义了，因为它变得越来越清晰了。我坚信，当然，人工智能可以极大地帮助物理学，让物理学做得更好。但物理学也可以极大地帮助人工智能，无论是通过构建更好的硬件——我的同事 Marin Soljačić，例如，正在研究用于更快机器学习的光学芯片，其中计算不是通过移动电子来完成的，而是通过移动光子来完成的，能耗大大降低，速度更快，效果更好。我们也可以通过提供一套不同的工具和一种可能更宏大的态度来极大地帮助人工智能。你知道，在很大程度上，人工智能一直是一门工程学科，你只是在尝试制造能起作用的东西，并且对销售它们比确切地弄清楚它们如何工作并证明它们将永远起作用的定理更感兴趣。这与物理学形成了鲜明对比。你知道，当埃隆·马斯克将火箭送往国际空间站时，他们并没有仅仅通过机器学习进行训练，比如“让我们稍微向左一点，再向左一点，再向右一点”，虽然那样也错过了，让我们试试这里。不，你知道，我们发现了万有引力定律和其他定律，并获得了真正深刻的根本理解，这就是我们对火箭如此自信的原因。我的设想是，在未来，所有真正影响人们生活的机器学习系统都将被深入理解。所以，我们信任它们，不是因为某个销售代表告诉我们这样做，而是因为它们赢得了我们的信任。我们甚至可以证明它们在安全关键的事情上总是会做我们期望它们做的事情。这非常符合物理学的思维方式。
所以，如果你看看今年机器学习领域发生的重大突破，那很有意思。你知道，从跳舞的机器人开始，那真是太棒了，不仅仅是因为它很酷，而是如果你想想，就在不久前，这个 YouTube 视频，这个 DARPA 挑战赛，麻省理工学院的机器人出来了，然后摔倒了。几年过去了，我们走了多远。同样，AlphaFold 2，你知道，解决了蛋白质折叠问题。我们可以更多地谈论对医学研究的影响等等，但嘿，你知道，这是巨大的进步。你可以看看 GPT-3，它们可以滔滔不绝地说出英语文本，有时真的让你惊叹不已。你可以看看 Google DeepMind 的 MuZero，它不仅在国际象棋和将棋上击败了你，而且还在所有这些 Atari 游戏中也是如此，而且你甚至不需要教它规则。你知道，除了强大之外，所有这些都有一个共同点：我们并不完全理解它们是如何工作的。如果只是跳舞的机器人，那没关系，最糟糕的情况就是摔倒。或者如果它们在下棋，最糟糕的情况就是它们走错一步输掉比赛。如果控制你自动驾驶汽车或核电站的是这些东西，那就没那么好了。而且我们已经看到，尽管好莱坞拍了所有那些电影，试图让我们担心错误的事情，比如机器变得邪恶，但自动化实际发生的坏事并不是机器变得邪恶，而是由于过度信任我们没有像我们认为的那样理解的事物。即使是非常简单的自动化系统，比如波音公司在 737 MAX 中安装的那个，也杀死了很多人。那个小小的简单系统是邪恶的吗？当然不是，但我们没有像应该的那样理解它。我们信任而没有完全理解。我们过度信任，甚至没有意识到我们不理解。
谦逊是成为一名科学家的核心。我认为。成为一名科学家的第一步是永远不要欺骗自己，认为你理解了你实际上不理解的事情。是的。这可能是对人类普遍的良好建议。我认为普遍的谦逊。而且这很好，但在科学中，它非常壮观。为什么我们从亚里士多德开始就一直有错误的引力理论？直到伽利略的时代，为什么我们会相信如此愚蠢的事情？如果我扔这个水瓶，它会以恒定的速度向上运动，直到它意识到它的自然运动是向下，然后改变主意？你知道，因为人们只是假设亚里士多德是正确的，他是一个权威。我们理解这一点。为什么我们会相信这样的事情？为什么我们会相信太阳绕着地球转？为什么我们会相信时间对每个人来说流逝的速度都一样，直到爱因斯坦？一次又一次地犯同样的错误。我们只是不够谦虚，无法承认我们实际上并不确定。我们假设我们知道，所以我们没有发现真相，因为我们假设那里没有什么可以发现的。关于 737 MAX，有一些东西可以发现，如果你更怀疑并更好地测试它，我们就会发现它。而且，到目前为止，自动化造成的绝大多数伤害也是如此。
我不知道你是否听说过一家叫 Knight Capital 的公司？没有，那很好，这意味着你早期没有投资他们。他们部署了这个自动交易系统。一切都很好，很闪亮。他们没有像他们认为的那样理解它，它每分钟损失 1000 万美元，连续 44 分钟。直到有人大概说：“哦，关掉它。”它是邪恶的吗？不，又是错误的信任，是他们没有完全理解的东西。而且，即使人们被机器人杀死，这种情况仍然相当罕见，但在工厂事故中，在每一个案例中，都不是恶意，只是机器人不理解人类与汽车零件或其他东西不同。而我们……这就是我认为物理学方法有如此多机会的地方，你只是追求更高水平的理解。如果你看看我们谈到的所有这些系统，从强化学习系统和跳舞的机器人到驱动 GPT-3 和下棋软件的所有这些神经网络，它们基本上都是黑箱。这与你教一个人东西而你不知道他的大脑如何工作没什么不同。除了人类大脑至少在数个世纪的进化过程中得到了纠错，而这些系统中的一些则没有。而我的麻省理工学院的研究完全专注于揭开这个黑箱的神秘面纱。可理解的智能是我的口号。
这是一个很好的说法。可理解的智能。不是说我们不应该满足于看起来智能的东西，而是它应该是可理解的，这样我们才能真正信任它，因为我们理解它。就像，埃隆信任他的火箭，因为他理解牛顿的万有引力定律和推力以及所有工作原理。让我告诉你为什么我对这个感到乐观。是的。我认为我们犯了一个小错误。有些人仍然认为我们永远不会理解神经网络，我们将不得不与之共存。它是一个非常强大的黑箱。对于那些没有花时间自己构建它的人来说，它非常简单。你输入一长串数字，然后对它们进行一系列操作，乘以矩阵等等，然后输出一些其他数字。那就是它的输出。然后有一堆旋钮可以调整，当你改变它们时，你知道它会影响计算，输入输出关系。然后你只是给计算机一个好的定义，它会不断优化这些旋钮，直到它尽可能好地执行。通常你会觉得，哇，这真的很棒。这个机器人可以跳舞，或者这台机器正在和我下棋。最后，你得到了一些东西，即使你可以看到它里面，你也不知道它是如何工作的。你知道，你可以打印出所有数百万个参数的表格。现在它如何工作是清楚的吗？当然不是。所以我的许多同事似乎愿意接受这一点，而我则认为，不，这是半途而废。有些人甚至走得更远，猜测这种不可解释性是其力量的来源，并带有一些神秘主义。我认为那是胡说八道。我认为神经网络的真正力量并非来自不可解释性，而是来自可微分性。而我的意思是，仅仅是输出取决于你调整旋钮时只会平滑地变化。然后你可以使用所有强大的优化方法。我们在科学中可以稍微调整一下，看看是否有所改善或变差。这是机器学习的基本思想，机器本身可以不断优化，直到它变得更好。假设你用 Python 或其他编程语言编写了一个算法。那么，旋钮的作用就是改变你代码中的随机字母。那将是史诗般的失败。你改变了一件事，它没有说打印，而是说语法错误。你甚至不知道这是否是朝着好的方向改变。对我来说，这就是……我相信这是神经网络的根本力量。
只是为了澄清一下，改变程序中的不同字母不是一个可微分的过程。它通常会使程序无效，然后你甚至不知道如果你改变更多字母，它是否会再次起作用。所以，这就是神经网络的魔力。不可解释性，可微分性，即参数的每一个设置都是一个程序，你可以判断它是更好还是更坏。所以，你不是喜欢神经网络作为其力量来源的诗意和神秘感？
我通常喜欢诗歌，但不是在这种情况下。它具有误导性，而且最重要的是，它会改变我们。它会让我们低估我们能取得的好事，因为……所以，我们小组一直在做的事情基本上是第一步，训练神秘的神经网络来做好某事。然后第二步，使用一些额外的 AI 技术，看看我们是否现在可以将这个黑箱转化为同样智能但你可以理解的东西。例如，我给你一个例子，我们刚刚发布的 AI Feynman 项目。我们从我最喜欢的物理学教科书之一中选取了 100 个最著名或最复杂的方程，事实上，是那本让我对物理学产生兴趣的教科书，《费曼物理学讲义》。所以你有一个公式。你知道，也许公式的输入是六个不同的变量，输出是一个。所以你可以制作一个巨大的 Excel 表格，有七列。你为这六个输入变量的六列输入随机数字，然后用公式计算第七列，即输出。所以也许最后一列是力等于其他变量的某个函数。现在任务是，好的，如果我没有告诉你公式是什么，你能从我的电子表格中找出它吗？是的。这个问题叫做符号回归。如果我告诉你公式是我们所说的线性公式，那么它只是输出是所有输入变量乘以某些常数的总和。这是我们一直以来在科学和工程领域解决的著名难题。但一般的，如果它是更复杂的函数，带有对数或余弦或其他数学，它是一个非常非常困难的问题，而且通常不可能快速解决，因为带有 n 个符号的公式数量，你知道，就像密码的数量一样，随着长度的增加而急剧增长。所以，但是我们有一个想法，如果你首先有一个能够近似你刚刚训练过的公式的神经网络，即使你不理解它是如何工作的，这也可以是理解它是如何工作的第一个步骤。所以，这就是我们首先要做的。然后我们现在研究这个神经网络，输入所有原始训练数据之外的各种其他数据，并利用它来发现公式的简化属性。这使我们能够将其分解成许多更简单的部分，一种分而治之的方法。所以我们能够自动发现所有这 100 个公式，以及许多其他公式。而且，看到这段代码，任何现在听着的人都可以在电脑上输入 `pip install ai-feynman` 并运行它，这确实是令人谦卑的。你知道，它实际上可以做到约翰内斯·开普勒花了四年时间盯着火星数据，直到他说，“有趣的，这是个椭圆。”是的，它会为你自动完成，只需一个小时。或者马克斯·普朗克，他一直在研究热物体在不同波长下辐射出的能量，发现了著名的黑体公式。这个会自动发现。我实际上对发现不仅是旧公式，还有没有人见过的、新的公式感到兴奋。
你喜欢这个过程吗？使用神经网络来寻找一些基本见解，然后解剖神经网络以获得最终的？所以，从那个角度来看，你迫使了可解释性问题，真的试图分析神经网络它所知道的东西，以便提出一个潜在的、美丽的、简单的理论来解释整个初始系统？
我喜欢。我如此乐观地认为它可以被广泛推广的原因是，这正是我们作为人类科学家所做的。想想我们提到的伽利略。我敢打赌，当他还是个孩子的时候，如果他爸爸扔给他一个苹果，他会接住它。为什么？因为他的大脑里有一个神经网络，他训练它来预测重力作用下抛出的苹果的抛物线轨道。如果你把一个网球扔给一只狗，它也有同样的深度学习能力来弄清楚球会如何移动并接住它。但伽利略更进一步。当他长大后，他回去说：“等等，我能写下一个公式吗？”是的，y=x²，一个抛物线。你知道，他帮助我们所知的物理学发生了革命。所以，童年时期有一个基本的神经网络，它捕捉了观察不同轨迹的经验。然后，当他长大后，他能够用另一个额外的神经网络回去分析所有这些经验，然后说：“等等，这里有一个更深层次的规则。”他能够以符号形式提炼出那个复杂的黑箱神经网络在做什么。他不仅得到了公式，而且最终变得更准确。你知道。同样，这就是牛顿如何得到牛顿定律，这就是为什么埃隆现在可以将火箭送往空间站。所以，它不仅更准确，而且更简单，简单得多。而且它如此简单，以至于我们可以向朋友和彼此描述它。我们现在只在物理学的背景下谈论了它。但嘿，你知道，当我们彼此交谈时，我们不也是这样做的吗？我们就像狗、猫、花栗鼠和蓝鸟一样，带着我们的神经网络四处走动，体验世界上的事物。但然后我们人类会在此之上进行额外的步骤，然后提炼出我们从中提取的某些高级知识，以便我们能够以符号形式，用英语，在这种情况下进行交流。所以，如果我们能做到，并且我们相信我们是信息处理实体，那么我们也应该能够制造出做到这一点的机器学习。
你认为整个过程都可以学习吗？因为这个解剖过程，就像 AI Feynman 一样，第二阶段感觉像是推理，而第一阶段感觉更像是基础的、可微分的学习。你认为整个过程都可以是可微分的学习吗？你认为整个过程都可以基本上是相互叠加的神经网络吗？就像“层层叠叠的乌龟”一样，一直都是神经网络吗？
这是一个非常有趣的问题。我们知道，在你的情况下，它是层层叠叠的神经网络，因为你的头骨里有一堆神经元在做它们的事情。是的。但如果你更普遍地问这个问题，你的大脑使用了什么算法？我认为这是一个非常有趣的比较。我认为我们历史上有点走回头路了。因为我们人类首先发现了“老式人工智能”，基于逻辑的人工智能，我们通常称之为 GOFAI（Good Old-Fashioned AI）。然后最近我们做了机器学习，因为它需要更大的计算机。所以我们不得不晚点发现它。所以我们认为机器学习和神经网络是现代的，而基于逻辑的人工智能是老式的。但如果你看看地球上的进化，实际上是反过来的。我会说，例如，鹰的视觉系统比我的好，狗在接网球方面和我一样好。所有这些都是通过训练神经网络而不是用语言解释来完成的。你知道，这是我们许多动物朋友都能做到，至少和我们一样好的事情。我们人类能做什么，而花栗鼠和鹰不能呢？这更多地与基于逻辑的东西有关。你知道，我们可以将信息提取成符号、语言，现在甚至是方程，如果你是一名科学家。所以，基本上发生的是，首先我们制造了能够快速进行数字乘法和符号操作的计算机，我们觉得它们很笨。然后我们制造了神经网络，它们可以看到得和猫一样好，并且可以做很多这种不可解释的黑箱神经网络。我们人类也能做的是将两者结合起来，以一种有用的方式。是的，人工地，在我们自己的大脑里。是的，在我们自己的大脑里。所以，如果我们想要获得能够像人类一样做好所有工作的通用人工智能，那么这就是所需要的，能够以一种好的方式将神经网络与符号结合起来。将旧的人工智能与新的人工智能结合起来。我们在大脑中这样做。现在行业中有两种策略，我看到一种让我毛骨悚然，另一种我觉得更有鼓励性。
哪种？你能分开吗？是哪两种？
一种让我毛骨悚然的态度是，我们将制造越来越大的系统，我们仍然不理解它们，直到它们能够像人类一样聪明。我不知道会出什么问题。我认为这是一种鲁莽的行为。不幸的是，如果我们作为一个物种成功地构建了通用人工智能，那么我们仍然不知道它是如何工作的。我认为我们有至少 50% 的机会在不久的将来灭绝。这只会是一次彻底的史诗般的乌龙球。你知道，就像那个损失 44 分钟金钱的问题，或者像回形针问题，我们不理解它是如何工作的，它在几秒钟内就朝着一个非常成问题的方向发展。甚至在你担心机器本身会决定做一些事情之前，我们必须担心人们使用具有 AGI 能力的机器来做坏事。我的意思是，只要花点时间，如果任何人对高级人工智能不特别担心，就花 10 秒钟想想你现在在地球上最不喜欢的领导人。不要告诉我他是谁，我不想政治化，但就在你眼前看到那个人的脸，持续 10 秒钟。是的。现在想象一下，那个人拥有这个极其强大的人工智能，并且可以利用它来强加他的意志于整个星球。你感觉如何？
所以，你能简要地分开吗？对于我们可能遇到这个方法问题的 50% 的机会，你认为更大的担忧在于领导者还是人类利用系统造成损害？或者你更担心——我认为我属于这一类——我更担心的是意外的、无意的破坏一切。就像人类试图做好事，而且大家都认为这是好事，只是他们试图在不理解的情况下做好事。因为我认为历史上每一个邪恶的领导人都认为他们在某种程度上是在做好事。哦，我确定希特勒认为他在做好事。是的，他们也很好。我读了很多关于斯大林的书。我确定斯大林真心认为共产主义对世界有好处，并且他正在做好事。我认为毛泽东也认为他所做的“大跃进”是好事。
我实际上对这两者都感到担忧。在我承诺详细回答之前，但在此之前，请允许我完成对第一个问题的回答，因为我告诉你，我们可以获得两种不同的通用人工智能的推动力。一种让我感到恐惧，那就是我们构建了一些东西，我们只是说越来越大的神经网络，越来越多的硬件，然后训练它，然后砰，它就非常强大了。我认为这是最不安全、最鲁莽的方法。另一种选择是可理解的智能方法。我们说神经网络只是一个工具，就像第一步获得直觉一样，但然后我们将投入大量的资源用于其他人工智能技术，以揭开这个黑箱的神秘面纱，并弄清楚它到底在做什么，这样我们就可以将其转化为同样智能但我们真正理解它在做什么的东西。也许我们甚至可以证明关于它的定理，比如这辆车永远不会被黑客攻击，因为它在驾驶。这里有一个完整的科学。它不适用于神经网络，它们是大的黑箱，但它适用于其他类型的代码，而且我们很确定。这种方法我认为更有前景。坦率地说，这就是我为什么在做这个，不仅仅是因为我认为它对科学来说很酷，而是因为我认为我们越理解这些系统，我们就越有可能让它们做对我们有益的事情，而不是我们期望的事情。
所以，你认为有可能证明像神经网络这样复杂的东西吗？这是希望。嗯，理想情况下，最终也不必是神经网络。你知道，我们发现了牛顿的万有引力定律，在牛顿的头脑中有一个神经网络，是的。但它不再是埃隆·马斯克火箭导航系统中的编程方式了。它用 C++ 或我不知道他具体用什么语言编写的。是的。然后有叫做符号验证的软件工具。DARPA 和美国军方在这方面做了很多非常出色的研究，因为他们真的想了解，当他们建造武器系统时，它们不会随意开火或发生故障。而且甚至有一个叫做 Sel 3 的完整操作系统，它是由 DARPA 资助开发的，你可以实际证明这个东西永远不会被黑客攻击。有一天，我希望我们也能对我们笔记本电脑上运行的操作系统说同样的话。你知道，我们还没有到那一步，但我认为我们应该有雄心。坦率地说，是的。而且，如果我们也能利用机器学习来帮助进行证明等等，那么验证证明是否正确就容易多了，而不是首先提出证明。这才是这里的核心思想。如果有人来到你的播客上说他们证明了黎曼猜想或某个新的轰动性的新定理，那不是我。哦，让别人找一些聪明的数学研究生来检查，比如“这里有一个错误，在第五个方程上”或者“这确实得到了验证”，这比发现证明要容易得多。是的。虽然其中一些证明相当复杂，但是的，尽管如此，验证证明仍然容易得多。
我喜欢这种乐观精神。我们甚至在系统安全方面，也有一种犬儒主义，充斥着那些认为“哦，这是没有希望的”的人。就像你刚才说的，当你们现在工作的时候，让我们看看发生了什么。安全人员都说：“嗯，总会有攻击向量。”是的，就像攻击系统的途径。但你是对的，我们对这些计算系统非常陌生，我们对这些智能系统也非常陌生。而且，就像人们不理解星星和行星的运动一样，这并非不可能。完全有可能，希望很快，但可能在 100 年内，我们将开始拥有关于智能的明显“引力定律”，甚至关于意识的，上帝保佑。那个是公认的。
我认为，当然，如果你卖的电脑经常被黑客攻击，那么让人们认为它不可能安全，这对你作为一家公司来说是有利的。这样就没有人会想到起诉你了。但我想在这里注入乐观情绪。绝对有可能做得比现在好得多。你知道，你的笔记本电脑做了很多事情。你不需要音乐播放器像你未来的自动驾驶汽车那样超级安全。如果有人黑了它，开始播放你不喜欢的音乐，世界末日就来了。但你可以做到的是，你可以将其拆分，说控制你安全的驾驶计算机必须完全物理隔离，与娱乐系统完全隔离。而且它必须是物理上的，它在驾驶时不能接受无线更新。而且它可以，它不是说它最终可以有一个操作系统，它是符号验证和证明的。它总是会做它应该做的事情。我们可以基本上拥有，公司也应该这样做。他们应该看看他们所做的一切，然后说：“我们公司里有哪些系统会因为被黑客攻击而威胁到整个公司？”然后为它们设定最高标准。然后他们可以通过选择那些廉价的、理解不清的东西来省钱。你知道，我认为这是非常可行的。
回到你担心的那个更大的问题，即会有意外的故障。我认为这里有两种截然不同的风险。我们已经谈了很多其中一种，那就是目标是崇高的。人类说：“我希望这架飞机不要坠毁，因为现在不是穆罕默德·阿塔驾驶飞机。”现在，技术上的挑战是确保自动驾驶仪确实会按照飞行员的意愿行事。如果我们把这一点放在一边，还有一个独立的问题：我们如何确保飞行员的目标实际上与乘客的目标一致？我们如何确保，更广泛地说，如果我们作为一个物种都能同意我们希望人类整体都过得好，那么目标就会在这里保持一致？这就是对齐问题。是的。而且，在这方面已经取得了很大的进展，因为突然有大量的研究在进行。我非常感谢埃隆·马斯克五年前给了我们钱，这样我们就可以启动第一个关于技术人工智能安全和对齐的研究项目。有很多事情正在发生，但我认为我们需要做的不仅仅是确保小机器总是按照它们的主人说的去做。你知道，这并没有阻止 9/11。如果穆罕默德·阿塔说：“好的，好的，自动驾驶仪，请飞向世界贸易中心。”你知道，即使在另一种情况下也发生了。有一个沮丧的飞行员安德烈亚斯·卢比茨。他让他的德国之翼客机飞向阿尔卑斯山。他只是告诉电脑将高度改为 100 米之类的。你知道电脑怎么说？好的，好的。而且它有阿尔卑斯山的地图，它有 GPS，一切都有。没有人 bothering 教它基本的幼儿园伦理，比如“不，我们永远不希望飞机在任何情况下都飞向山脉”。所以我们必须超越技术问题，思考我们如何普遍地在这个星球上对齐激励措施，以实现更大的利益。
所以，从简单的事情开始，比如，每架装有电脑的飞机都应该被教授任何足够聪明的幼儿园伦理，它能理解，比如“不，如果飞行员告诉你，不要飞向固定物体”。然后进入自动驾驶模式，发送电子邮件给警察，并在最近的机场降落。任何带有前视摄像头的汽车都应该由制造商编程，使其永远不会加速撞向人类。这将避免像尼斯袭击和许多可怕的车辆恐怖袭击那样的事情，他们故意这样做。这不是什么“你知道，我们和中国有不同的看法”的事情。世界上没有一家汽车制造商希望汽车这样做。他们只是没有想到要做对齐。而且，如果你更广泛地看这个星球上发生的问题，绝大多数都与糟糕的对齐有关。我的意思是，让我们回到很久以前，我知道你非常擅长。在很久以前的进化中，我们有了这些基因，它们想复制自己，这就是它们唯一关心的。所以一些基因说：“嘿，我将在我的身体上建立一个大脑，这样我就可以更好地复制自己。”是的。然后它们决定为了自己的利益而更多地复制自己，所以它们将你的大脑的激励措施与它们的激励措施对齐。它不想让你饿死，所以它给了你吃东西的动力。它想让你复制基因，所以它给了你坠入爱河并做各种不当事情的动力来复制它。是的。所以，这是成功的价值对齐，由基因完成。但它们创造了比它们自己更智能的东西。但它们确保了尝试对齐价值。但后来有些事情与基因想要的有点背道而驰，因为许多人类发现：“嘿，你知道，我们真的很喜欢基因让我们享受的性行为，但我们现在不想生孩子。”所以，我们将破解基因并使用避孕措施。而且我真的很想喝可口可乐，但我不想发胖，所以我将喝无糖可乐。你知道，我们想出了所有这些事情，因为我们比基因更聪明，我们如何才能有效地颠覆它们的意图。所以，毫不奇怪，我们人类现在扮演着这些基因的角色，创造了其他具有强大力量的非人类实体，我们必须面对同样的挑战：如何让其他强大的实体拥有与我们一致的激励措施，这样它们就不会破解它们？
例如，公司。我们人类决定创造公司，因为它们可以给我们带来巨大的好处。现在突然有一个超市，我可以去那里买食物，我不必去打猎。太棒了。然后，为了确保这家公司做对我们有益而不是有害的事情，我们创建了制度来约束它们。比如，如果当地超市出售有毒食品，那么超市的所有者就必须在监狱里反思几年。所以，我们创造了激励措施来对齐它们。但当然，就像我们能够看穿这件事并开发出避孕措施一样，如果你是一个强大的公司，你也有一种激励措施来尝试破解本应管理你的机构，因为你最终作为一家公司有最大化利润的激励措施。这就像你有一个激励措施来最大化你大脑的享受，而不是为了你的基因。所以，如果它们能够找到一种贿赂监管机构的方法，它们就会这样做。在美国，我们有点明白了这一点，并制定了反腐败和贿赂的法律。然后在 19 世纪末，西奥多·罗斯福意识到，不，我们仍然被黑客攻击，因为马萨诸塞州的铁路公司拥有的预算比马萨诸塞州大，而且它们做了很多非常腐败的事情。所以他做了整个反垄断的事情，试图将这些其他非人类实体，即公司，与美国整体的激励措施更紧密地对齐。
所以，这并不奇怪，你知道，这是一场你必须不断战斗的战斗。现在我们拥有比以往任何时候都更大的公司。当然，它们会试图再次支持这些机构。不是因为，你知道，我认为人们犯了一个错误，就是过于黑色地看待事物，就像争论公司是好是坏，还是机器人是好是坏。机器人不是好或坏，它是工具，你可以用它来做伟大的事情，比如机器人手术，或者坏事情。公司也是一种工具。当然，如果你给公司好的激励措施，它就会做伟大的事情，比如开医院或杂货店。如果你有任何坏的激励措施，它可能会开始向人们推销成瘾性药物，然后你就会有阿片类药物流行病。这完全是关于……我不想，我们不应该犯错误，陷入某种童话般的善恶之争，关于公司或机器人。我们应该专注于建立正确的激励措施。
我乐观的设想是，如果我们能做到这一点，那么我们就能真正获得好东西。我们现在在这方面做得并不太好，无论是人工智能方面，还是其他智能非人类实体，比如大公司。比如，拜登政府现在将有一位新的国防部长，他曾是雷神公司董事会的活跃成员。所以，你知道，我对雷神公司没有任何意见，我不是和平主义者，但如果一个人负责决定与谁签订合同，那么就存在明显的利益冲突。我认为我们可能需要另一位西奥多·罗斯福再次出现，然后说：“嘿，你知道，我们想要对所有美国人都有利的东西，我们需要再次认真地重新调整我们给予这些大公司的激励措施。”然后，我们将变得更好。
似乎自然而然地，就像你优美地描述了整个历史一样，人类就是这样。一切都始于基因，它们可能对自那以后发生的所有意外后果感到非常不满。但似乎它就像在不同层面上出现的集体智能一样。它似乎有时会在最后一刻找到一种方法来重新调整价值观或保持价值观的对齐。它几乎找到了一个方法，就像不同的领导人，不同的人出现在各地，重置系统。你想要……你对此有什么解释吗？还是这只是幸存者偏差？而且，这与人工智能系统有什么根本不同吗？你不再处理直接的，也许公司是相同的，直接的进化过程的副产品？
我认为有一件事改变了，那就是为什么我不那么乐观。那就是为什么我认为，如果我们采取愚蠢的方式对待人工智能，那么人类将在本世纪灭绝，有大约 50% 的可能性。首先，大局来看，公司需要有正确的激励措施，即使是政府。我们过去有政府，通常只是某个国王，你知道，他的父亲是国王。你知道。然后拥有这个强大的王国或任何帝国都有一些好处，因为它至少可以阻止很多地方性的争吵。所以，至少那个地区的所有人都不会互相警告，王国不同城市之间的激励措施变得更加一致。你知道，这就是整个卖点。哈拉里。诺亚·哈拉里有一篇精彩的文章，讲述了帝国是如何促进合作的，以及他为什么发明了金钱，就是为了这个原因，我们可以有更好的对齐，我们可以进行贸易，即使是与我们不认识的人。所以，你知道，自古以来，这种事情一直在发生。
改变的是，它发生在越来越大的规模上。技术不断进步，因为科学在进步。所以，现在我们可以跨越更远的距离进行交流，以更快的速度运输物品。所以，实体变得越来越大，但我们的星球不再变大了。所以，过去你可以进行一次完全搞砸的实验，比如复活节岛，他们实际上设法有了如此糟糕的对齐，以至于当他们灭绝时，那里的人们没有其他人可以回来取代他们。如果埃隆·马斯克没有把我们带到火星，然后我们大规模灭绝，我们就不会回来了。这就是根本的区别。这是我宁愿我们不要犯的错误。
出于这个原因，过去的历史充满了灾难，但从来没有涉及整个星球。然后，好吧，现在这里有一片宜人的无人居住的土地，其他人可以搬进来更好地组织事情。这是不同的。
第二件事也是不同的，那就是技术给了我们更多的赋权。对好事，也对搞砸。在石器时代，即使你有一个目标非常糟糕的人，比如他可能因为他的石器时代女朋友甩了他而非常生气，他想杀死尽可能多的人。他能用石头和棍子杀死多少人，直到他被制服？你知道，只有几个人。现在，有了今天的技术，如果我们之间发生意外的核战争，比如俄罗斯和美国之间，我们已经有大约十几次了，然后我们有了核冬天，它可能会消灭七十亿人或六十亿人，我们不知道。所以，我们可以造成的损害规模更大。而且，如果……显然没有物理定律规定技术永远不会强大到足以让我们完全消灭我们的物种。认为科学注定不会变得比这更强大，那将是幻想。科学正在变得越来越强大。而且，在我们有生之年，有人设计出一种传播速度像新冠一样容易的基因工程大流行病，这并非不可能。
基本上就是把所有人都杀了。我们已经有了天花，得了天花的人三分之一都死了。你觉得呢？这里有一个直觉，也许它完全是天真的，我有一个乐观的直觉，它似乎，也许是我有偏见的经历，但似乎我一生中遇到的最聪明的人，都是非常善良的人，不是那种天真的善良，而是他们真的想为世界做好事，也许这符合我对善良的理解。所以我觉得，那些将站在技术最前沿的人，将是那些做好事的人，而不是做坏事的人。所以，我对美国总是能在最后一刻想出解决方案感到乐观。所以，如果有一种能够摧毁大部分人类文明的工程化流行病，我觉得，要么是在此之前，要么是在此期间，我们都能够汇集人类物种的集体智慧。我从你的微笑中可以看出，你至少有些怀疑，但那会不会是人类本性中的一个基本法则，即进化只创造，创造的业力是有益的，善是有益的，因此一切都会好起来的。我希望你是对的，如果你们是对的，我真的会非常高兴。如果有一种自然法则说，我们总能在最后一秒因为业力而幸运起来，但你知道，我宁愿不把事情搞得那么近，也不愿去冒险。而且，我认为，事实上，过于相信这一点可能是危险的，是的，因为它会让我们自满。如果有人告诉你，你永远不必担心你的房子着火，那么你就不会安装烟雾探测器，因为你为什么要这样做呢？对吧？即使有时我们不采取非常简单的预防措施。如果你觉得，“哦，政府会为我们处理一切，我永远可以相信我的政客”，你知道，我们就会推卸自己的责任。我认为，更健康的心态是说，“是的，也许事情会好起来的，也许我真的不得不自己站出来，承担责任。”而且，风险太大了。我的意思是，如果我们做得对，我们可以开发出所有这些越来越强大的技术，治愈所有疾病，创造一个人类健康富裕的未来，不仅仅是下一届选举周期，而是我们宇宙中的数十亿年。这确实值得努力工作，而不仅仅是坐着，希望某种童话般的业力。我只是想说，你绝对是对的，从个人的角度来看，对我来说，首要的事情应该是承担责任，并利用你的技能集来构建解决方案，是的，这有很多。我认为我们经常大大低估了我们能做多少好事。如果，你或任何听到这个的人，完全确信我们的政府在处理任何未来的工程化流行病或未来人工智能危机方面都会做得尽善尽美。你觉得政府在 2020 年发生了什么事情上做得完美吗？这是一个非常悲伤和令人失望的现实，希望它能让每个人都醒醒吧。对于科学家，对于工程师，对于人工智能领域的研究人员，尤其如此。看到我们在收集正确的数据，以一种保护隐私的方式，以及传播这些数据，并利用这些数据来做决定方面效率低下，这令人失望。是的，我认为当坏事发生在我身上时，我很多年前就对自己发誓，我不会抱怨。所以当坏事发生在我身上时，当然这是一个过程，失望，然后我试着专注于我从中吸取了什么教训，这可以让我成为一个更好的人。失败时通常总有一些东西可以学到。我认为我们都应该问问自己，我们能从这次疫情中学到什么，以便我们在未来做得更好。你提到有一个很好的教训，你知道，我们不像我们想象的那么有韧性，我们可能也没有我们希望的那么有准备。你甚至可以看到地球上非常鲜明的对比。韩国，他们有 5000 多万人，你知道他们有多少人死于新冠吗？我最后一次查看时，没有，大约 500 人。为什么呢？嗯，简而言之，他们做好了准备。他们非常迅速地采取了行动，进行了非常快速的检测和接触者追踪等等，这就是为什么他们从未有过比他们能够有效追踪的更多的病例。他们甚至从未有过像我们在西方那样的大规模封锁。但更深层次的答案是，这不仅仅是韩国人有什么特别好的人。我认为他们准备得更好的原因是因为他们已经在大约 17 年前经历了一场非常严重的非典疫情，或者说它从未成为一场大流行病。所以，这是一个新鲜的记忆，你知道，我们需要为大流行病做好准备。所以他们是对的。所以也许这对我们所有人来说，从新冠疫情中吸取一个教训是，与其只是等待下一场大流行病，或者等待人工智能失控的下一场问题，或者任何其他事情，也许我们应该只拿出我们 GDP 的一小部分，让人们系统地进行一些地平线扫描，然后说，“好吧，有什么事情可能会出错？让我们来讨论一下，看看哪些更有可能，哪些是真正可行的，然后做好准备。”所以，作为我这样渺小的一个蚂蚁/人类，我的一项失望的观察是，今年我观察到的信息上的政治分歧。讨论似乎不是关于发生了什么，以及深入理解发生了什么，而是关于有不同的真相，就像“我的真相比你的真相更好”的争论。这就像红与蓝，或者不同的，就像这种荒谬的论调，似乎无法触及任何真相。它甚至不像某种科学过程，科学也以一种让我非常心碎的方式被政治化了。你在人工智能方面有一个令人兴奋的项目，试图重新思考你提到的公司，这是另一个集体智能系统，所有这些都是社交网络，以及互联网的传播，信息在互联网上的传播，我们分享这些信息的能力，有各种各样的新闻来源等等。所以你说，从第一原理出发，让我们重新思考我们如何看待新闻，如何看待信息。你能谈谈你正在进行的这项了不起的努力吗？我很乐意，这是我新冠期间的大项目，自从封锁以来，我一直在晚上和周末忙碌。为了过渡到这一点，让我回到你之前说的话，你曾希望在你看来，那些非常有才华或常常是理想主义的人，并且想做好事。坦率地说，我也有同样的感受，总的来说，我对所有人都这么认为。总有例外，但我认为绝大多数人，无论教育程度如何，都基本上是善良的，对吧？那么，为什么人们仍然会做这么多卑鄙的事情呢？我认为这与我们得到的信息有关，是的。你知道，如果你去瑞典 500 年前，然后你开始告诉所有的农民，丹麦的那些丹麦人，他们是多么糟糕的人，你知道，我们必须入侵他们，是的，因为他们做了所有这些可怕的事情，而你无法自己核实。很多瑞典人都这么做了，对吧？而且，我们今天在世界上看到了很多这种情况，无论是地缘政治上的，你知道，我们被告知中国是坏的，俄罗斯是坏的，委内瑞拉是坏的，而那些国家的人们常常被告知我们是坏的。我们也看到了微观层面的情况，你知道，人们被告知，哦，那些投票给另一方的人是坏人。这不仅仅是智力上的分歧，而是他们是坏人。而且，我们越来越分裂。那么，你如何调和这一点与这种内在的善良呢？我认为很明显，这又与他们所获得和被给予的信息有关，对吧？我们进化成生活在小群体中，你可能总共只认识 30 个人，对吧？然后你有一个系统，对于评估你可以信任谁，不能信任谁，相当有效。如果有人告诉你，“乔是个混蛋”，但你亲自和他打过交道，见过他的所作所为，你很快就会意识到，也许这实际上并不准确，对吧？但现在，我们星球上大多数人都是我们从未见过的人，我们必须有一种方式来信任我们得到的信息，这非常重要。那么，新闻项目从何而来呢？纵观历史，你可以去读马基雅维利，你知道，从 1400 年代开始，你就会看到，即使在那个时候，他们也在忙于用宣传等手段操纵人们。宣传一点也不新鲜，操纵人们的动机也一点也不新鲜。有什么是新的呢？新的是机器学习遇到了宣传，这就是新的。这就是为什么情况变得如此糟糕。你知道，有些人喜欢指责某些个人，比如在我所在的自由派大学圈子里，很多人都责怪唐纳德·特朗普，说这是他的错。我看法不同。我认为唐纳德·特朗普只是在这个机器学习算法时代的游戏中拥有极高的技巧，这是一个他十年前无法玩的游戏。那么，什么改变了呢？Facebook、Google 和其他公司，我不是在贬低他们，我有很多朋友在这些公司工作，他们是好人。他们部署了机器学习算法，只是为了稍微增加一点利润，只是为了最大化人们观看广告的时间，他们完全低估了它们会多么有效。这又是那个黑箱，难以理解的智能。他们只是注意到，“哦，我们获得了更多的广告收入，太棒了。”花了很长时间，他们才意识到原因、方式以及它对社会的危害有多大。因为，当然，机器学习发现，将你粘在你的小矩形上的最有效的方法是向你展示能引发强烈情绪的事物，比如愤怒、怨恨等等。它是否真实并不重要。找到不真实的故事也更容易，如果你不受限制的话。这只是局限性。让我们向人们展示，这是一个非常有限的事实。在此之前，我们获得了前所未有的规模的惊人过滤气泡。再加上在线新闻媒体也非常有效，它们扼杀了许多平面媒体。我相信，现在美国的记者人数不到一代人之前的一半。他们无法与在线广告竞争。所以，突然之间，大多数人甚至不读报纸，他们从社交媒体获取新闻，而大多数人只在他们的小气泡中获取新闻。所以，现在出现了一些像唐纳德·特朗普这样的人，他们是第一批成功的政治家之一，他们发现了如何真正玩好这个新游戏，并变得非常有影响力。但我认为唐纳德·特朗普只是利用了它，他并没有创造根本条件，而是由机器学习接管新闻媒体创造了根本条件。这就是我这个新冠期间的小项目所激励的。所以，你知道，我之前说过，机器学习和技术总的来说不是邪恶的，但它也不是好的。它只是一种工具，你可以用它来做好事或坏事。碰巧的是，机器学习和新闻主要被大公司，大科技公司用来操纵人们，让他们观看尽可能多的广告，这带来了意想不到的后果，那就是真的搞砸了我们的民主，并将其分裂成过滤气泡。所以我想，机器学习算法基本上是免费的，它们可以在你的智能手机上免费运行，如果有人把它们送给你。没有理由它们只能帮助大人物操纵小人物。它们同样可以帮助小人物看穿大人物的所有操纵企图。所以，这个项目叫做“改进新闻”（improve the news.org）。我们构建的第一件事是一个小的新闻聚合器，看起来有点像 Google 新闻，除了它上面有滑块，可以帮助你打破或你的过滤气泡。所以，如果你正在阅读，你可以点击，点击，然后去你喜欢的话题。然后，如果你只是把左右滑块移开，一直移到左边，有两个滑块，对吧？是的，有一个最明显的，上面标有左右。你向左走，你会得到一组文章，你向右走，你会看到一个非常不同的真相出现。哦，那是字面上的政治光谱的左右。政治上的，是的。所以，如果你正在阅读关于移民的例子，它非常非常明显。而且，我认为第一步总是，如果你不想被操纵，就是能够识别人们使用的技巧。所以，仅仅看到他们在两边如何解读事物是非常有帮助的。我认为许多人误以为主要问题是假新闻。不是。我有一个很棒的麻省理工学院学生团队，我们做了一个学术项目，用机器学习来检测主要的偏见类型。是的，当然，有时会有假新闻，有人只是声称一些虚假的事情，对吧？比如，“希拉里·克林顿刚刚离婚了”之类的。是的。但我们看到更多的是遗漏。你去那里，有些故事，左派或右派都不会提到，因为它不符合他们的议程。然后他们会提到其他故事，非常非常多。例如，我们有很多关于特朗普家族财务往来的故事，然后有一些关于拜登家族亨特·拜登财务往来的故事。不出所料，它们在左右两边没有得到平等的报道，对吧？一边喜欢报道拜登的亨特·拜登的事情，一边喜欢报道特朗普的事情。你永远猜不到是哪个，对吧？是的。但好消息是，如果你想，如果你是一个普通的美国公民，你讨厌各种形式的腐败，那么滑动，滑动，你就可以看到双方，你就会看到所有腐败的政治腐败故事。能够看到双方，双方的解读，这确实是一种解放。它以某种方式开启你的思想，让你自己思考。意识到，我不知道，这和苏联时期很有用，当时每个人都更清楚地意识到他们被宣传包围着，对吧？你说的太有意思了。所以，诺姆·乔姆斯基，你知道，他曾经是我们麻省理工学院的同事，他说，宣传之于民主，就像暴力之于极权主义。他的意思是，如果你有一个真正的极权政府，你就不需要宣传了，对吧？人们会因为恐惧而做你想让他们做的事情，对吧？是的。但否则，你需要宣传。所以，我想说，事实上，民主国家的宣传质量更高，更可信，而且非常出色。当我与来自俄罗斯和中国的科学同事交谈时，我注意到他们实际上比我的许多美国同事更清楚地了解他们自己媒体中的宣传。这很棒，这意味着西方媒体的宣传更好。是的，西方媒体更好。哦，天哪，这很好。但一旦你意识到这一点，你就会意识到，也有一些非常乐观的事情可以做，对吧？因为首先，遗漏，只要没有公然审查，你就可以看到双方，并相当迅速地拼凑出一个更准确的想法，了解实际情况。并培养一种自然的怀疑精神。是的，就像一种分析性的科学思维，关于你如何获取信息。是的。而且，我认为我必须说，有时我觉得我们学术圈子里的一些人太傲慢了，认为，“哦，这只是那些不如我们受教育程度高的人。”但我们自己也常常同样容易上当。你知道，我们只读我们的媒体，看不到事物。任何像这样比较双方的人，会立即开始注意到正在发生的欺骗。而且，你知道，我认为我试图用这个应用程序做的就是，大科技在某种程度上试图责怪个人被操纵，就像大烟草公司试图完全责怪个人吸烟一样。然后，后来，你知道，我们的政府介入了，说，“实际上，你知道，你不能只责怪小孩子开始吸烟。我们必须要有更负责任的广告等等。”我认为这里的情况有点相似。大科技公司责怪人们，说他们只是愚蠢，容易被骗，这非常方便。通常的责怪方式是说，“哦，这只是人类心理学，人们只想听到他们已经相信的东西。”但麻省理工学院的戴维·兰德教授实际上部分地驳斥了这一点，他做了一个非常好的研究，表明人们倾向于对听到与他们信仰相反的事情感兴趣，如果以尊重的方式呈现的话。比如，假设你有一家公司，你即将推出这个项目，你确信它会成功，有人说，“莱克斯，我不想告诉你，但这个项目会失败，原因如下。”你会说，“闭嘴，我不想听。”你会感兴趣，对吧？而且，如果你在飞机上，你知道，在新冠疫情之前，你旁边的家伙显然来自政治光谱的另一端，但他对你非常尊重和礼貌，你难道不想听听他是如何看待事物的吗？当然。但现在很难找到尊重的分歧，因为，比如，如果你是民主党人，你想看一些来自另一方的东西。所以你只是去 breitbart.com，然后在最初的 10 秒钟后，你感到非常侮辱，然后它就不起作用了。或者，如果你是一个共和党选民，你去左边看一些东西，你很快就感到非常冒犯，因为他们在首页上故意放了一张唐纳德·特朗普的丑陋照片，或者别的什么。这真的不起作用。所以，这个新闻聚合器也有这个细微的滑块，你可以把它拉到右边，然后更容易接触到更学术风格或更尊重的观点。最后，我认为人们最了解的一种偏见是左右偏见，因为它非常明显，因为左右两边在这里都非常强大。你知道，他们都有资金充足的电视台和报纸，很难错过。但还有另一个，建制派滑块，它也很有趣。我喜欢玩它。这更多的是关于腐败，是的。因为，如果你有一个社会，几乎所有有权势的实体都希望你相信某个特定的东西，那么你就会在左右两边的主流媒体上读到它。当然。而有权势的公司可以非常强硬地反击，就像烟草公司当年非常强硬地反击一样，当人们开始写关于烟草危险的文章时。所以，最初很难获得很多报道。而且，如果你从地缘政治上看，当然，在任何国家，当你阅读他们的媒体时，你主要会读到很多关于我们国家是好人，而其他国家是坏人的文章。所以，如果你想获得更细致的理解，你知道，就像德国人过去被告知，英国人被告知法国人是坏人，法国人被告知英国人是坏人。现在他们经常互相拜访，有了更细致的理解。我认为法国和德国之间不会再有战争了。但在地缘政治层面，它和以往一样。你知道，现在有一场大的冷战，比如中国等等。如果你想更细致地了解地缘政治正在发生什么，那么看看这个建制派滑块就很有趣了，因为事实证明，左右两边都有大量的报纸，有时会挑战建制派，说，“也许我们现在不应该入侵伊拉克。也许这些大规模杀伤性武器的事情是胡说八道。”如果你看看后来的新闻研究，你就可以清楚地看到，CNN 和 Fox 都非常支持“让我们摆脱萨达姆，他们有大规模杀伤性武器”。然后有很多小报纸，它们说，“等等，这些证据似乎有点可疑。”但当然，它们非常难找到，大多数人甚至不知道它们的存在。然而，如果这些声音也出现，对美国的国家安全来说会更好。我认为入侵伊拉克实际上损害了美国的国家安全。而且，可以说，这些小来源对这种思维方式也有更多的兴趣。所以，当你说是“大”的时候，更多的是关于广播的覆盖范围，但它不是“大”在兴趣方面。我认为，对这种反建制或对“跳出框框思考”的怀疑有很多兴趣。你认为这个新闻项目或类似的项目会“接管世界”，成为我们获取信息的主要方式吗？我们如何才能做到这一点？我们如何才能做到这一点？所以，这个想法很棒。你称之为你在 2020 年的“小项目”，但它如何成为我们获取信息的新方式呢？我希望，首先，只是播下一点种子。因为通常，在媒体中做任何事情的主要障碍是，你需要大量的钱。但这对我来说一点钱都没花。我只是自己支付。你每个月支付一小笔钱给亚马逊，让他们在他们的云端运行它。我们没有，也永远不会有广告。重点不是从中赚钱。我们只是训练机器学习算法来对文章进行分类，等等。所以它基本上是自动运行的。所以，如果它有一天足够好，开始流行起来，它就可以扩展。如果其他人复制它，制作更好的版本，那就更好了。我认为机器学习有一个真正的机会来赋权个人，而不是强大的玩家。正如我一开始所说的，到目前为止，情况基本上是相反的。大玩家拥有人工智能，然后他们告诉人们，“这就是真相，就是这样。”但它同样可以反过来。而且，当互联网诞生时，实际上很多人都有这样的希望，也许这对民主来说是一件好事，更容易了解事情。也许机器学习和类似的东西可以再次做到这一点。我不得不说，我认为现在比以往任何时候都更重要，对吧？因为这与我们之前讨论的整个生命未来也非常相关。我们正在获得越来越强大的攻击。你知道，如果你从一个或两个世代，三个世代的时间尺度上看，很清楚只有两种方式可以结束，地缘政治上。是的，要么对全人类来说是伟大的结局，要么对我们所有人来说是可怕的结局。真的没有中间地带。而且我们如此陷入困境，因为，你知道，技术没有国界，当武器越来越强大时，人们就无法再打仗了。无限期地，最终，运气会用完。而且，你知道，就像现在，我爱美国，但事实是，对美国有利的事情，从长远来看，并不与对其他国家有利的事情对立。如果是某种零和博弈，就像几千年前那样，一个国家获得更多资源的唯一方式就是从其他国家夺取土地，因为那基本上就是资源。你看看欧洲地图，一些国家不断变大变小，无休止的战争。但自 1945 年以来，西欧就没有发生过战争，而且由于技术，它们都变得更加富裕。所以，乐观的结果是，本世纪最大的赢家将是美国、中国、俄罗斯以及其他所有人，因为技术使我们都更健康、更富裕，我们找到了保持地球和平的方法。但我认为，不幸的是，现在有一些非常强大的力量在朝着完全相反的方向推动，试图妖魔化其他国家，这只会使我们正在建造的越来越强大的技术更有可能以灾难性的方式使用。是的，用于侵略而不是合作之类的。是的。看看现在的军事人工智能吧。120，看到这些跳舞的机器人真是太棒了，我喜欢！但机器人领域最大的增长领域之一当然是自主武器。而且，2020 年是自主武器的最佳营销年份，因为在利比亚内战和纳戈尔诺-卡拉巴赫，它们发挥了决定性作用。而其他所有人都看着说，“哦，是的，我们也想制造自主武器。”在利比亚，一方面是我们的盟友阿联酋，他们用从中国购买的自主武器轰炸利比亚人。另一方面是我们的另一位盟友土耳其，他们驾驶着他们的无人机，而这些其他国家没有任何皮肤在游戏中。当然，利比亚人才是真正被坑的人。在纳戈尔诺-卡拉巴赫，又是土耳其，他们派遣了由一家公司制造的无人机，这家公司实际上是由一位毕业于麻省理工学院航空航天工程的家伙创立的。你知道那个背景吗？是的。所以，麻省理工学院对此负有直接责任。很多平民在那里丧生。你知道，因为它在军事上非常有效，现在突然出现了巨大的推动，“哦，是的，是的，让我们在这些武器中加入越来越多的自主性，这将是伟大的。”而且，我认为那些痴迷于某种未来术语情景的人，现在应该开始关注这样一个事实，即我们面临着两个更紧迫的威胁，其中一个就是我们现在谈论的整个民主的毁灭，我们的信息流被机器学习操纵。另一个是，现在，你知道，今年是失控军备竞赛，至少是自主武器竞赛的军备竞赛将开始或停止的一年。所以，你觉得 2020 年是自主武器竞赛的催化剂吗？是的，因为那是它们在战场上发挥决定性作用的第一年。而且，这些仍然不是完全自主的，大多数是远程控制的。但你知道，我们可以很快地制造出像智能手机一样大小和成本的东西，你只需要输入 GPS 坐标，或者你想杀死的人的脸，他的肤色，或者别的什么，它就飞走了，然后就完成了。而美国和其他所有超级大国应该对此踩刹车的一个真正好原因是，我们决定禁止生物武器的同一个原因。所以，你知道，我们颁发了“生命未来奖”，我们可以稍后谈谈，哈佛大学的马修·梅塞尔斯顿，说服尼克松禁止生物武器。我问他，你是怎么做到的？他说，“好吧，我只是说，‘看，我们不希望有 500 种大规模杀伤性武器，即使我们所有的敌人都能负担得起，甚至是非国家行为者也能负担得起。’”尼克松说，“说得好。”你知道，美国对武器的威力都非常昂贵感兴趣，所以只有我们能负担得起，或者也许是一些更稳定的对手。核武器就是这样，但生物武器不是。这就是为什么我们禁止它们，这就是为什么你再也听不到它们了。这就是为什么我们热爱生物学。所以，你觉得，世界上的大国，大国，能够同意自主武器不是一场我们想参与的竞赛，它不会有好结果吗？是的，因为我们知道，它只会导致大规模扩散，而且世界各地的每个恐怖分子都将拥有这些廉价的武器，他们将用它们来对付我们。而且，我们的政客们必须不断担心自己会被暗杀，每次他们外出时，都会被某个匿名的迷你无人机暗杀。你知道，我们不想要那样。而且，即使美国、中国和所有其他国家都能同意，只有当这些武器的成本至少达到 1000 万美元时才能建造，这对超级大国来说将是一个巨大的胜利，坦率地说，对每个人来说都是。你，人们经常反驳说，防止作弊太难了。但嘿，你也可以对生物武器说同样的话。你知道，问问你生物学系的任何一位麻省理工学院的同事，当然，如果他们真的想，他们可以制造一些恶毒的生物武器。但首先，他们不想，因为他们觉得这很恶心，因为有污名。第二，即使有一个疯子想这样做，也很可能其他研究生或者某个人会告发他，因为其他人都觉得这太恶心了。事实上，我们现在知道，即使在生物武器禁令上也有相当多的作弊行为，但没有国家使用它们，因为它们太有污名了，以至于揭露它们作弊并不值得。你谈论无人机，但你似乎认为无人机是远程操作，它们大部分是。是的。但你没有进行下一步的智力思考，即它会走向何方。你似乎认为无人机的问题在于，你将自己从直接暴力中抽离出来，因此你无法维持做出正确战略决策所需的共同人性。但这是批评，而不是像你所说的那样，如果它是自动化的，并且正如你所说，如果你自动化它，并且有一场竞赛，那么技术就会变得越来越好，这意味着越来越便宜，越来越便宜。而且，不像核武器，它与资源有关，你知道，很难获得，很难设计。感觉就像，你知道，科技行业和自主武器之间的重叠太多了，以至于你可以拥有智能手机式的廉价性。如果你看看无人机，你知道，你知道，花一千美元，你就可以拥有一个令人难以置信的系统，能够自主飞行，为你拍照等等。你可以看到它进入自主武器领域。但为什么这没有得到充分的思考或讨论呢？你认为，你看到那些跳舞的波士顿动力学机器人，每个人都有这种感觉，好像这是遥远的未来。他们有一种恐惧，哦，这将是终结者，在某个不确定的 20、30、40 年后。他们不认为，嗯，这种不那么戏剧化的版本实际上正在发生。它不会合法化，它不会跳舞，但它已经具备了利用人工智能杀死人类的能力。波士顿动力学的腿部机器人，我认为我们想象它们拿着枪，只是因为你们都看过阿诺德·施瓦辛格，对吧？那是我们的参考点。那几乎没用。那不会是它们的主要军事用途。它们将来可能在执法方面有用。然后有一个关于你是否想要机器人带着枪出现在你家门口，告诉你服从控制它们的任何独裁者的争论。但我们暂时把这个问题放在一边，看看现在真正相关的事情。在军事领域，人工智能有很多可以做的事情。再次，表明我的立场，我不是和平主义者，我认为我们应该有良好的防御。例如，捕食者无人机基本上是一架非常精密的遥控飞机。有一个人类在驾驶它，最终是否用它杀死某人的决定仍然由人类做出。这是我認為我們絕不應該跨越的界限。目前国防部有一项政策，你必须有人在循环中。我认为算法永远不应该做出生死攸关的决定，它们应该留给人类。那么，我们为什么会跨越这条界限呢？首先，这些都很昂贵。例如，当阿塞拜疆拥有所有这些无人机而亚美尼亚没有任何无人机时，他们开始试图拼凑廉价的东西，让它们飞来飞去。但当然，他们的敌人会干扰它们，阿塞拜疆会干扰它们，远程控制的东西可以被干扰。这使得它们处于劣势。而且，从我们远距离驾驶飞机到现在，速度是光速，人类也有反应时间。消除这种干扰的可能性和时间延迟会很好，通过使其完全自主。但现在你可能会，如果你这样做，但现在你可能会跨越那条精确的界限。你可能会编程它，让它，“哦，是的，空中无人机，去这个国家上空盘旋一段时间，只要找到一个坏人，你知道，就杀死他。”现在机器正在做出这些决定。而一些为这辩护的人仍然说，“这在道德上是好的，因为我们是好人，我们会告诉它我们认为道德的‘坏人’的定义。”但现在你会非常天真地认为，如果 ISIS 购买了同样的无人机，他们将使用我们的“坏人”定义。也许对他们来说，“坏人”是穿着美国军服的人。或者，也许会有一个奇怪的种族群体决定，另一个种族群体是“坏人”。问题是，人类士兵，尽管我们有缺点，我们仍然有一些基本的内在机制，比如“杀害儿童和无辜平民是不对的”。而自主武器则没有这些。它只会做它被编程的任何事情。就像一个完美的希特勒的艾希曼的强化版。他们告诉艾希曼，“你知道，他想做这个，这个，这个，让大屠杀更有效率。”他去了，然后做了。我们真的想制造像这样的机器吗？完全不道德，并且会根据用户的定义来决定谁是“坏人”？然后我们想让它们如此便宜，以至于我们所有的对手都能拥有它们？可能会发生什么？我认为这是我们今年真正应该踩刹车的原因。而且，我认为你可以看出，即使在美国军方内部，以及无疑在世界其他军队中，也存在着非常活跃的辩论，关于我们是否应该有一些国际协议，至少要求这些武器的尺寸和成本必须达到一定水平。你知道，这样事情就不会完全失控。最后，只是为了回答你的问题，但有可能阻止它吗？因为有些人告诉我，“放弃吧。”但再次，马修·梅塞尔斯顿，来自哈佛大学，生物武器的英雄，也有同样的批评，关于生物武器。人们说，“你怎么能百分之百确定俄罗斯没有作弊？”他告诉我这个，我认为非常巧妙的见解。他说，“你知道，马克斯，有些人认为你必须进行检查等等，你必须确保你能百分之百抓住作弊者。你不需要百分之百。百分之一通常就足够了。”因为，就像，如果它只是一个敌人，如果它是另一个大国，比如中国和美国签署了条约，划定了一条界线，说，“是的，这些无人机是可以的，但那些完全自主的则不行。”现在，假设你是中国，你作弊了，秘密开发了一些隐秘的小东西，或者你正在考虑这样做。你的计算是什么？你会想，“好吧，我们被抓的可能性有多大？”如果可能性是 100%，当然我们不会这样做。但如果可能性是 5%，那么这将是我们巨大的尴尬。而且，我们仍然拥有核武器，所以它在威慑美国方面并没有什么巨大的不同。而且，它会加剧你建立的那种污名，那种普遍的污名。他们说，“我们很可能逃脱。”但如果我们没有，美国就会知道我们作弊了，然后他们就会全力以赴地发展他们的计划，说，“看，中国人是作弊者，这很好。现在我们有了所有这些武器来对付我们，这很糟糕。”所以，仅仅污名就非常非常强大。而且，再次看看生物武器发生了什么。已经 50 年了。你上次读到生物恐怖袭击是什么时候？我唯一知道的生物武器造成的死亡是美国人设法杀死了一些我们自己人，用炭疽病。你知道那个把它们寄给汤姆·达什尔和其他人的白痴，在信里。同样，在苏联的斯维尔德洛夫斯克，他们有一些炭疽病，在某个实验室里，也许他们在作弊，谁知道呢？它泄露了，杀了一些俄罗斯人。我认为这是一个相当不错的成功。50 年，只有两次超级大国的“乌龙球”，然后什么都没有。这就是为什么每次我问别人他们对生物学的看法时，他们都认为它很棒，他们将其与新的治疗方法、新的疾病、也许是好的疫苗联系起来。这就是我希望未来如何看待人工智能的方式，我希望其他人也这样看待人工智能，作为我们所有问题的伟大解决方案的来源，而不是“哦，人工智能，哦，是的，这就是我今天出门感到害怕的原因。”是的。生物武器和核武器我们已经想明白了，这真是太棒了。当然，它们仍然是巨大的危险源，但我们已经想出了一些方法来为这些武器制定规则和社会污名，从而创造了一种稳定性。那种博弈论的稳定性，正是如此。而我们却没有与人工智能。你正在从山顶上尖叫，说我们需要找到它，因为，就像，正如你指出的，未来生命研究所的奖项所指出的，核武器，我们可能已经毁灭自己好几次了。而且，这是一个非常昂贵的学习经验。我们颁发了“生命未来奖”。我们第一次颁给了瓦西里·阿希波夫。大多数人甚至没听说过他。你能说他是谁吗？瓦西里·阿希波夫，在我看来，他对人类做出了现代历史上任何人类最大的积极贡献。也许听起来有点夸张，我有点言过其实，但让我告诉你这个故事，也许你会同意。在古巴导弹危机期间，我们美国人不知道俄罗斯人派了四艘潜艇，但我们抓了两艘。我们不知道。所以我们向他所在的潜艇投掷了练习深水炸弹，试图迫使它浮出水面。但我们不知道这艘核潜艇实际上是一艘核潜艇，上面有一枚核鱼雷。我们也不知道他们有权在没有莫斯科批准的情况下发射它。而且，我们也不知道他们正在耗尽电力，他们的电池几乎没电了，氧气也快没了，水手们晕倒了一片，船上的温度大约是 110 到 120 华氏度。那里的条件真是地狱般的，简直是末日般的。在那时，美国人开始投掷这些巨大的爆炸声。舰长认为第三次世界大战已经开始。他们决定发射核鱼雷。其中一人喊道，“我们都要死了，但我们不会玷污我们的海军。”你知道，如果突然出现一个巨大的蘑菇云，我们不知道会发生什么。对美国人来说。但既然每个人都按下了扳机，你不需要太有创造力就能想到，这可能导致一场全面核战争。在这种情况下，我们就不会在这里谈话了，对吧？实际发生的是，他们需要三个人批准。舰长说“是”。还有共产党的政治官员，他也说“是，我们去做吧”。第三个人是这位瓦西里·阿希波夫，他说，“是的，是的。”他不知道为什么，他比其他人更冷静。他是恰当的时间的恰当的人。我不想我们这个物种依赖于恰当的时间的恰当的人。你知道，我们找到了他的家人，住在莫斯科郊外相对贫困的地方。他去世后，我们飞了他的女儿，飞到了伦敦。他们从未去过西方。这非常感人。所以，你必须尊敬他们。第二年，我们把“生命未来奖”颁给了斯坦尼斯拉夫·彼得罗夫。你听说过他吗？是的。他当时负责苏联的早期预警站，该站是用苏联技术建造的，老实说，并不可靠。它说有五枚美国导弹正在飞来。如果当时发射了，我们可能就不会在这里谈话了。他主要凭直觉决定不告诉，不升级。我很高兴他没有被一个只是自动执行命令的人工智能取代。然后，我们颁发了第三个奖项给马修·梅塞尔森。去年，我们把这个奖项颁给了那些实际上用技术做好事的人，而不是避免坏事，而是做好事。那些消除了比新冠更糟糕的疾病的人，这种疾病曾杀死半亿人。
过去，它的最后一个世纪，天花板，对，我们之前提到过，平均而言，它杀死的人不到百分之一，天花板，大约百分之三十，他们最终维克多·多诺万和比尔·费奇，我的大多数同事都从未听说过他们中的任何一个，一个美国人，一个俄罗斯人，他们做了一项了不起的工作，不仅让美国和苏联在冷战期间联手对抗天花板，而且比尔·费奇还想出了一个绝妙的策略，使其能够彻底消灭这种疾病，而无需为所有人接种疫苗的资金，结果我们没有，我们从我出生的那一年天花板造成的 1500 万死亡人数，那么我们现在有什么呢？不到两百万，对，是的，今年和永远，估计有两亿人，如果不是因为这个，他们本可以死于天花板，所以科学是不是很棒，当您将其用于善时，我们想庆祝这些人，是为了提醒他们，科学是如此棒，当您将其用于善时，那些奖项实际上，那里描绘了一幅非常有趣的画面，所以前两个正在看着，想到这些普通人在某种意义上，他们是您知道的数亿其他人类的产物，他们之前的进化，以及您说的一些小小的肠道，您知道，但那里有一些东西阻止了人类的灭绝，那是一件神奇的事情，但那就像一种深刻的人类事物，然后是另一个方面，这也是非常人类的，那就是为我们面临的生存危机建立解决方案，就像建立它，承担责任，并想出不同的技术等等，是的，这两者都是深刻的人类，肠道和思想，无论那是什么，最好的就是当它们一起工作时，群岛，我希望我能见到他，当然，但他已经去世了，他是一位非常出色的军事军官，结合了我们在美国军队中钦佩的所有最佳特质，因为首先，他非常忠诚，当然，他一生中从未告诉任何人，即使您认为他有一些吹嘘的权利，但他只是说这只是生意，只是在做我的工作，直到他去世后才出来，其次，他之所以做正确的事情，不是因为他是什么自由派，也不是因为他只是哦，您知道，和平与爱，部分原因是他在另一艘核反应堆熔化的潜艇上担任舰长，是他的英雄主义帮助控制了这一点，这就是为什么他后来死于癌症，但他也看到了他的许多船员死亡，我想对他来说，这给了他一种直觉，您知道，如果美国和苏联之间发生核战争，全世界都将经历我看到我的亲爱的船员所遭受的痛苦，这对他来说不仅仅是一件抽象的事情，我认为这是真实的，其次，不仅仅是直觉，思想，对，他不知何故非常冷静的性格，一个非常聪明的人，这正是我们希望我们最好的战斗机飞行员也成为的那样，对，我永远不会忘记尼尔·阿姆斯特朗登陆月球时，几乎没油了，当他们说三十秒时，他甚至没有改变语气，只是继续前进，我想就像那样，所以当爆炸开始时，他的船长尖叫着，我们应该用核武器炸他们，而他却说，我认为美国人不是想击沉我们，我认为他们想给我们发个信号，这很酷，是的，因为他说，是的，如果他们想击沉我们，不，他说听，听，它在左边交替发出一次响亮的爆炸，右边一次，左边一次，右边一次，他是唯一注意到这种模式的人，我想这是他们想给我们发个信号，他们想让我们浮出水面，他们不会击沉我们，不知何故，这就是他最终能够通过他的直觉和冷静的分析思维相结合来缓和整个局势的方式，是的，我想这是人类最优秀的一面，回到我们之前谈到的，是神经网络的结合，您知道，我在这里流泪，情绪激动，但他是我最喜欢的超级英雄之一，拥有心灵和思想的结合，尤其是在那个时候，我敢说，在美国，人们习惯于这种个人主义的想法，就像靠自己思考一样，是的，我认为在共产主义下的苏联，实际上更难做到这一点，哦，是的，他甚至没有得到任何赞誉，当他回来的时候，对，他们只是想把整件事压下去，是的，这与切尔诺贝利有回响，有各种各样的，嗯，那是一个非常有希望的事情，在大中央权力之间，无论是公司还是国家，个人仍然有独立思考和行动的力量，但我认为我们不应该把这些人看作是万能药，我们总是可以依赖的，而应该看作是警钟，您知道，因为他们，因为阿奇波夫，我们还活着，从中吸取教训，吸取我们不应该继续玩俄罗斯轮盘赌，差点因为错误而引发核战争的教训，现在，因为依靠运气不是一个好的长期策略，如果您不断地玩俄罗斯轮盘赌，生存的概率会随着时间的推移呈指数级下降，是的，如果您每年都有意外核战争的概率，不发生这种情况的概率也会呈指数级下降，我认为我们可以做得更好，所以我想，信息非常清楚，偶尔会发生，而且有很多非常具体的事情我们可以做，以减少发生这种情况的风险，在人工智能方面，如果我们只是努力，是的，所以您和埃隆·马斯克是朋友，经常和他谈论历史上一起做过的许多有趣的事情，他有一系列对人工智能未来，通用人工智能的担忧，您是否感觉到，我们已经谈论过我们应该担心的关于人工智能的事情，您是否感觉到他担忧的形状，特别是关于人工智能，关于我们谈论过的哪些子集，无论是创造，您知道，它是那种创造巨大计算系统，这些系统不可解释，不可理解的智能，还是，它是，然后，作为其分支，它是大公司或邪恶个人的操纵，用它来毁灭，还是无意的后果，您是否感觉到他对这个问题的看法，从我和埃隆的许多谈话中，是的，我当然有一个关于他如何思考的模型，实际上与我的思考方式非常相似，我将详细说明一下，我只想反驳您说邪恶的人，我不认为这是一个非常有帮助的概念，邪恶的人，是的，有时人们会做非常非常糟糕的事情，但他们通常这样做是因为他们认为这是好事，是的，因为以某种方式其他人告诉他们那是好事，或者给了他们错误的信息，或者其他什么，我相信人性的基本善良，如果我们好好教育人们，他们就会发现事情的真相，人们通常想做好事，做好事，因此价值对齐，是的，这是关于信息，关于知识，一旦我们有了这些，我们将很可能能够以与所有其他思考者一致的方式做好事，而且不仅仅是个人，我们必须对齐，所以我们不仅希望人们受到教育，了解事物的真实情况，并好好对待彼此，但我们也需要对齐其他非人类实体，我们谈论了公司，必须有机构，这样他们所做的事情对他们所在的国家是有益的，我们应该对齐，确保国家所做的事情对整个物种都有益，等等，回到埃隆，是的，我的，我对埃隆如何看待这个问题的理解与我自己的非常相似，这也是我如此喜欢他并享受与他交谈的原因之一，我觉得他与大多数人非常不同，因为他比大多数人更多地思考真正的大局，不仅仅是下一个选举周期会发生什么，而是数千年，数百万年，数十亿年之后，是的，当您从这种更宇宙的视角来看时，很明显，我们正在凝视着这个宇宙，据我们所知，它大部分是死的，生命几乎是微不足道的扰动，是的，他看到了我们宇宙变得生机勃勃的巨大机会，让我们成为一个星际物种，火星显然只是这次宇宙之旅的第一站，正是因为他思考得更长远，所以他比大多数人更清楚，我们对这个俄罗斯轮盘赌的事情，我们一直在玩核武器，是一个非常糟糕的策略，非常鲁莽的策略，而且我们还在构建这些越来越强大的我们不理解的人工智能系统，这也是一个非常鲁莽的策略，我觉得埃隆是一个人，一个非常人道主义者，因为他想要一个美好的未来，他希望我们控制机器，而不是机器控制我们，是的，您知道，为什么我们不坚持这一点，毕竟是我们建造了它们，为什么我们要建造让我们变成机器中的一个微小齿轮，而不再有发言权的事情，这也不是我心目中的鼓舞人心的未来，是的，如果您从时间和空间两个方面来看宇宙尺度，很多事情都得到了应有的重视，每当我遇到糟糕的一天时，我都会想到这一点，它会立即让我感觉好起来，这让我很难过，至少对我们个体人类来说，现在，旅程结束得太快了，我们无法体验宇宙的尺度，是的，我的意思是，我有时认为我们的宇宙是一个刚刚开始醒来的生物，就像，您知道，当您在早晨刚刚开始意识到的第一个微小闪光中，在喝咖啡之前，甚至在起床之前，甚至在睁开眼睛之前，您就开始稍微醒来一点，这里有些东西，您知道，这正是我对我们所处位置的看法，您知道，那些星系，您知道，我认为它们真的很美，但它们为什么美，它们之所以美，是因为有意识的实体实际上正在观察它们，并通过我们的望远镜体验它们，如果我，您知道，我将意识定义为主观体验，无论是颜色、情感还是声音，所以美是一种体验，意义是一种体验，目的是一种体验，如果没有有意识的体验来观察这些星系，它们就不会美，如果我们将来在地球上对人工智能做些愚蠢的事情，导致地球起源的生命灭绝了，而宇宙中就只有这些了，那么对我来说，美、意义和目的就结束了，我认为那将是一个巨大的机会损失，坦率地说，我认为当埃隆指出这一点时，他受到了媒体的严重不公平诽谤，因为我们谈论的所有愚蠢的媒体偏见原因，他们会摘录埃隆的话，脱离上下文，这些话非常吸引眼球，比如他因为召唤恶魔这句话而受到了很多批评，我恰好确切地知道上下文，因为当他们发表那次演讲时，我坐在前排，那是在麻省理工学院，您会很高兴知道，那是在航空航天周年纪念日，巴兹·奥尔德林从登月回来，克雷斯奇礼堂挤满了麻省理工学院的学生，他有一个很棒的问答环节，可能持续了一个小时，然后我们谈论了火箭和火星以及所有事情，最后，一个学生，实际上是我班上的一个学生，问他关于人工智能的事情，埃隆说了一句，他们把它脱离上下文，打印出来，病毒式传播，就像人工智能一样，我们正在召唤恶魔，类似这样的话，并试图把他描绘成一个悲观主义者，您知道，是的，您知道埃隆，是的，他不是悲观主义者，他是一个如此积极的梦想家，他警告这一切的原因是因为他比大多数人更清楚，如果搞砸了，机会成本是什么，未来有如此多的精彩之处，我们可以，我们的后代可以享受，如果我们不搞砸，我非常生气，当人们试图把他描绘成某种技术恐惧症的卢德分子时，而此时，当听到人们说担心通用人工智能的人是卢德分子时，这很可笑，因为当然，如果您仔细看看，一些最直言不讳的警告者是伯克利大学的斯图尔特·罗素教授，他写了最畅销的人工智能教科书，您知道，所以声称他是一个不懂人工智能的卢德分子，笑话实际上是在说这话的人身上，但我认为更广泛地说，这个信息还没有完全被理解，他们担心的是，他们认为埃隆和斯图尔特·罗素等人担心的是跳舞的机器人拿起 AR-15 并开始大肆杀戮，他们认为他们担心机器人会变坏，他们不是，我不是，风险不是恶意，而是能力，风险是我们构建了一些能力极强的系统，这意味着它们总是会实现其目标，即使这些目标与我们的目标发生冲突，这就是风险，为什么我们人类，您知道，将西非黑犀牛逼到灭绝，是因为我们是恶意的邪恶犀牛仇恨者吗，不，只是因为我们的目标与那些犀牛的目标不一致，对犀牛来说运气不好，所以我的观点是，我们不想把自己置于那些犀牛的境地，创造比我们更强大的东西，如果我们还没有弄清楚如何对齐目标，而且我很乐观，我认为如果我们努力工作，我们可以做到，因为我花了很多时间与比我更聪明的人类实体在一起，我小时候的妈妈和爸爸，那没关系，因为他们的目标实际上与我非常一致，但我们今天已经看到了许多例子，我们的强大系统的目标并不那么一致，所以那些点击优化算法，那些极化的社交媒体，实际上与民主的利益非常不一致，结果是，再次，我们迄今为止在机器学习中遇到的几乎所有问题，都不是因为恶意，而是因为对齐不良，这正是为什么，这就是为什么我们应该担心它在未来，您认为有可能，通过像 Neuralink 和脑机接口这样的系统，再次从宇宙尺度来看，埃隆谈论过这一点，但历史上其他人也谈论过，弄清楚如何实现那种对齐的确切机制，其中一个就是与人工智能共生，这就像想出巧妙的方法，我们被困在这种奇怪的关系中，无论是生物的还是某种其他方式，您认为有可能实现那种共生，还是我们应该专注于我们人类与可理解的自我怀疑的人工智能交谈的独立实体，就像斯图尔特·罗素所想的那样，他说我们是自我怀疑的，充满不确定性，然后拥有完全确定的人工智能系统，我们来回沟通，从而实现共生，我真的不知道，我想说，因为我们不确定，我们的哪些想法会奏效，但我们知道，如果我们不，我坚信，如果我们不让任何这些想法奏效，而是继续前进，那么我们的物种，您知道，很可能在本世纪灭绝，本世纪，您认为我们正面临这场危机，一场 21 世纪的危机，就像本世纪会被记录在硬盘上，或者在某个地方的硬盘上，或者被后代记住，就像，将来会有未来生命研究所的奖项颁给那些为人工智能做过事情的人，也可能更糟，我们没有被任何人工智能超越，要么我们完全被消灭了，就像复活节岛一样，我们的世纪很长，还有 79 年，想想过去 30 年我们取得了多大的进步，所以我们可以更多地谈论可能出错的事情，但您问了我一个非常好的问题，关于最佳策略是什么，是 Neuralink，罗素的方法，还是其他什么，我认为，就像，您知道，当我们进行曼哈顿计划时，我们不知道我们四种浓缩铀和获取铀-235 的想法是否会奏效，但我们觉得在希特勒之前拿到它非常重要，所以，您知道，我们做了什么，我们尝试了所有四种，我认为这里是类似的，存在我们物种面临的最大威胁，当然也意味着美国国家安全，我们不知道是否有任何方法可以保证奏效，但我们有很多想法，所以我们应该大力投资，以开放的心态追求所有这些想法，并希望其中至少有一个奏效，好消息是，这个世纪很长，您知道，我们可能需要几十年才能拥有通用人工智能，所以我们有一些时间，希望如此，但解决这些非常非常困难的问题也需要很长时间，这将是我们作为物种要解决的最困难的问题，所以我们必须现在就开始，而不是，您知道，在一些人喝了太多红牛，打开开关之前就开始思考它，我们必须追求所有这些不同的途径，看看您是否是我的投资顾问，我试图投资未来，您认为人类物种在本世纪最有可能如何毁灭自己，是的，所以，如果许多我们面临的危机都在未来一百年内，我们如何明确地，让未知变得已知，并解决这些问题，以避免最大的，从最大的生存危机开始，所以作为您的投资顾问，您打算如何赚钱，毁灭自己，我必须问，我不知道，它可能是俄罗斯的起源，以微观的详细策略某种方式参与，当然，这些是人工智能对齐的未解决问题，我们可以将其分解为三个未解决的子问题，我认为，您知道，您首先要让机器理解我们的目标，然后采纳我们的目标，然后保留我们的目标，所以快速地解决这三个问题，当安德烈亚斯·卢比茨告诉他的自动驾驶仪飞入阿尔卑斯山时，问题是计算机甚至不理解他的任何目标，它太笨了，实际上它可以理解，但作为系统设计者，我们必须付出一些努力，不要飞入山脉，所以这是第一个挑战，您如何将人类价值观、人类目标编程到计算机中，我们可以开始，而不是说哦，这太难了，我们应该从简单的事情开始，正如我所说的，自动驾驶汽车、飞机，只需输入我们已经同意的所有目标，然后养成习惯，每当机器变得更聪明时，它们就能理解更高一级的目标，您知道，将它们放入，第二个挑战是让它们采纳目标，对于像这种情况，您只需将其编程进去很容易，但当您拥有像孩子一样的自学系统时，您知道，任何父母都知道，让我们的孩子理解我们想要他们做什么，以及真正采纳我们的目标之间是有区别的，对于人类，对于孩子，幸运的是，他们会经历这个阶段，他们太笨了，无法理解我们想要什么，我们的目标是什么，然后他们会经历一段时期，他们既足够聪明可以理解它们，又足够灵活，我们可以有机会好好抚养他们，然后他们会变成青少年，有点太晚了，但我们有这个窗口，机器的挑战是，它们的智能可能会增长得如此之快，以至于这个窗口很短，所以这是一个研究问题，第三个是如何确保它们保留目标，如果它们继续学习并变得更聪明，许多科幻电影都讲述了您拥有一个最初是正确的，但后来事情有点偏离了，您知道，我的孩子们小时候非常喜欢他们的乐高积木，现在它们只是在地下室积灰了，如果您创造了真正致力于照顾人类目标的机器，我们不希望它们像我的孩子们对乐高积木那样对我们感到厌倦，所以这是另一个研究挑战，您如何才能让某种递归自改进系统保留某些基本目标，也就是说，仍然有很多成年人玩乐高积木，所以也许我们在乐高积木上取得了成功，我喜欢您的乐观主义，所以并非所有人工智能系统都必须保持目标，对吧，有些只是，一部分，是的，所以，现在有很多才华横溢的人工智能研究人员听说了这一点，并想从事这项工作，但资金还不是很多，在数十亿美元用于构建人工智能的资金中，只有一小部分用于安全研究，我的态度通常是，我们不应该试图减缓技术，但我们应该大大加速对这种安全研究的投资，并确保它，去年这非常令人尴尬，但您知道，国家科学基金会决定发放六个大型研究所，我们得到了一个用于人工智能和科学，您问我关于另一个，它本应是人工智能安全研究，他们给了研究海洋和气候等的人，所以，我支持研究海洋和气候，但我们需要一些钱真正用于人工智能安全研究，而不是被任何东西抢走，这是一项了不起的投资，然后，在更高的层面上，您问了这个问题，好的，我们能做什么，您知道，最大的风险是什么，我认为，我认为我们不能仅仅将其视为一个技术问题，就像，再次，如果您只解决了技术问题，我可以玩你的机器人吗，是的，请，如果我们只是让我们的机器，您知道，盲目地服从我们给他们的命令，所以我们总是可以相信它会做我们想做的事情，这对于机器的所有者来说可能很棒，但对于人类的其余部分来说可能不太好，如果那个人是你最不喜欢的世界领导人，或者你想象的任何其他领导人，所以我们必须也看看应用对齐，不仅是对机器，而且是对所有其他强大的结构，这就是为什么加强我们的民主如此重要，再次，正如我所说的，要有机构，确保游戏规则不被操纵，这样公司就能获得正确的激励去做既能盈利又能造福人民的事情，确保国家有激励去做既能造福人民又不损害世界其他地方的事情，这不仅仅是人工智能爱好者可以闲聊的事情，这是政治科学家、经济学家和许多其他思想家面临的有趣挑战，也许使地球如此独特的神奇事物之一是它拥有有意识的生命，所以您提到意识，也许只是顺便提一下，因为我们没有具体说明我们如何进行对齐，就像您说的，这是一个非常重要的研究问题，但您认为将意识工程化到人工智能系统中是一种可能性吗，是我们有一天可能会做到的事情，还是意识有一些根本的东西，是，意识有什么东西对人类来说是根本的，而只对人类来说是根本的，我认为这是可能的，我认为意识和智能都是信息处理，某些类型的信息处理，而且从根本上来说，信息是由碳原子在大脑的神经元中处理，还是由硅原子等等在我们的技术中处理，并不重要，有些人不同意，这是我认识的物理学家，我，您说意识是信息处理，所以意义，您知道，我认为您引用了一句话，比如它是信息，了解自己，那种东西，我认为意识是信息被处理时的感觉，正在做什么，我们不知道确切的复杂方式是什么，很明显，我们大脑中的大部分信息处理并没有创造体验，我们甚至没有意识到它，就像，例如，您现在没有意识到您的心跳调节，尽管您的身体显然正在这样做，它只是在做自己的事情，当您跑步时，有很多复杂的事情关于您如何放下脚，我们知道这很难，这就是为什么机器人以前经常摔倒，但您对此几乎没有意识，您的大脑，您的首席执行官意识模块只是发送一封电子邮件，嘿，您知道，我会继续沿着这条路走下去，其余的都是自动驾驶的，所以大部分不是有意识的，但不知何故，有些信息处理，我们不知道确切是什么，我认为这是一个科学问题，我希望有一天我们能有一个方程或者什么东西，这样我们就能制造一个意识探测器，然后说，是的，这里有一些意识，这里没有，哦，不要煮那只龙虾，因为它正在痛苦，或者没关系，因为它现在没有痛苦，我们把这当作形而上学，但在急诊室里，知道病人是否患有闭锁综合征并且有意识，或者他们是否真的昏迷了，这将非常有用，而且在未来，如果您建造一个非常非常智能的助手机器人来照顾您，您知道，我想知道您是否应该因为关闭它而感到内疚，或者它只是像一个僵尸一样走过场，就像一个花哨的录音机一样，一旦我们能在意识科学方面取得进展，并弄清楚什么是有意识的，什么不是，那么，假设我们想创造积极的体验而不是痛苦，我们可能会选择制造一些故意无意识的机器，它们会在某个铁矿里做一些非常非常无聊的重复性工作，或者其他什么，也许我们会选择为老年人制造有意识的助手机器人，这样人们就不会觉得机器人假装悲伤或快乐而感到毛骨悚然，就像我说的老年人，我认为在这个世界上，每个人都会感到非常孤独，所以我认为每个人都有机会与有意识的生命建立联系，无论是人类还是其他生命，但我确切地知道，如果我有一个机器人，如果我将与它建立任何个人情感联系，如果我知道在智力层面上，这一切都是欺骗，我会感到非常毛骨悚然，今天您可以为孩子买一个会说话的小玩偶，它会说一些话，小孩子通常会认为它实际上是有意识的，甚至会把它当作真正的秘密告诉它，然后这些秘密会传到互联网上，并产生各种令人毛骨悚然的后果，您知道，如果我要与机器人建立真正的情感联系，我不想被这样欺骗，我想知道这实际上是真的，它表现得有意识，表现得快乐，因为它实际上感觉到了，我认为这不是科幻小说，我认为这是可以衡量的，可以开发工具，在我们理解意识科学之后，您说的是，我们将能够开发出可以衡量意识的工具，并明确地说，这个东西正在体验它所说它正在体验的事情，某种程度上，根据定义，如果它是一种物理现象，信息处理，而我们知道有些信息处理是有意识的，有些不是，那么就有一些东西可以通过科学方法来发现，朱利奥·托诺尼已经冒险得最远，写下了一些关于一个理论的方程，也许是对的，也许是错的，我们当然不知道，但我赞赏这种努力，试图说，这不仅仅是哲学家可以喝啤酒和冥想的事情，而是我们可以衡量，我们可以研究的事情，回到我们身上，我认为我们可能会选择做的是，正如我所说的，如果我们无法弄清楚这一点，我们会选择非常谨慎地考虑我们在不同的机器中放入什么样的意识，如果有的话，我们，当然我们不想制造它们，我们不应该在不知道的情况下制造受苦的机器，如果，在任何时候，有人决定上传自己，就像雷·库兹韦尔想做的那样，我不知道您是否采访过他，我们同意吗，然后科维德发生了，所以我们正在等待一点，您知道，假设他将自己上传到这个机器人雷伊，它说话像他，行为像他，笑也像他，在他关闭他的生物身体之前，他可能会非常不安，如果他意识到里面没有人，这个机器人没有任何主观体验，如果我们，如果人类被机器后代取代，他们做了所有这些很酷的事情，建造宇宙飞船，参加星际摇滚音乐会，结果是，他们都是无意识的，只是走过场，那不就像终极的机器人僵尸末日吗，只是空荡荡的座位，我有一种感觉，一旦我们更好地理解了意识，我们就会理解存在某种连续体，并且会有更大的欣赏，我们可能会明白，就像您说的，如果这是个骗局，那将是多么不幸，我们肯定会明白，爱确实是一种我们对彼此玩的把戏，我们人类，我们说服自己我们是有意识的，但我们实际上是，您知道，很棒的树木和海豚都是同一种意识，我可以试着用一个哲学思想来让你振奋一点，关于最后一部分，是的，让我们来吧，您可能会说，是的，爱只是一个合作促进者，好的，然后您可能会，然后您可能会因为这件事而沮丧，但我认为这将是错误的结论，您知道，就像，我知道我之所以喜欢食物，只是因为我的基因欺骗了我，它们不希望我饿死，不是因为它们关心我，而是有意识地享受开心果冰淇淋的美味，它们只是想让我复制它们，整个事情，所以从某种意义上说，整个食物的享受也是一个骗局，就像这样，但这并不意味着我不应该享受这个开心果冰淇淋，我喜欢开心果冰淇淋，我可以告诉您，我，我知道这是一个实验事实，我享受开心果冰淇淋的程度与我科学地知道它为什么是骗局一样，您的基因真的很感激您喜欢开心果冰淇淋，但我的思想也欣赏它，您知道，我现在有意识的体验，最终我所有的头脑也只是基因建造的来复制自己，但那又怎样，我感谢，是的，谢谢基因，做了这件事，但现在是我的头脑在掌管，我要享受我的有意识的体验，非常感谢，不仅是开心果冰淇淋，还有我对我的了不起的妻子的爱，以及作为有意识的生命的各种其他乐趣，我实际上，理查德·费曼，我认为他说得很好，他也是那个家伙，您知道，真的让我对物理学产生了兴趣，一位艺术家朋友说，哦，科学只是一个扫兴的人，它会毁了乐趣，对吧，就像艺术家有一朵美丽的花，然后科学家会把它分解成一堆夸克和电子，费曼只是以一种非常美妙的方式反驳了这一点，我认为这也可以用来反驳，让你不为坠入爱河而感到内疚，所以，费曼基本上是这么说的，他说他的朋友，您知道，是的，我也可以作为一个科学家看到这是一朵美丽的花，非常感谢，也许我画画不如你好，因为我不是一个有才华的艺术家，但是的，我真的看到了它的美，它也对我来说很美，但除此之外，费曼说，作为一个科学家，我看到了比艺术家更多的美，对吧，假设这是一朵盛开的苹果树上的花，您可以说这棵树比水果、颜色和香味更美，这棵树是由空气组成的，如果我被困住了，这是我最喜欢的飞行语录之一，它从空气中提取了碳，并利用太阳的火焰热量将其结合起来，您知道，将空气变成一棵树，当您在壁炉里燃烧木头时，这真的很美，想到这一点正在被逆转，树木正在回到空气中，而火焰般美丽的火舞，艺术家可以看到，是太阳的火焰光芒，它被结合起来，将空气变成一棵树，然后灰烬是那些没有来自空气的少量残余物，树从地面吸取了，费曼说，这些都是美丽的事物，科学只是增加了，而不是减少，我完全是这么认为的，关于爱和开心果冰淇淋，我也可以理解，它甚至有更多的细微差别，是的，在这个非常感性的层面上，您可以像一个什么都不知道的神经科学的人一样坠入爱河，但您也可以欣赏它更大的美，就像，难道它来自一个完全没有生命的宇宙，只是一团膨胀的等离子体，然后经过亿万年，逐渐首先是强核力决定将夸克结合成原子核，然后电磁力将电子结合起来形成原子，然后它们因引力而聚集，形成了行星和恒星等等，然后自然选择出现了，基因发挥了它们的作用，您开始得到，从一个看起来完全没有意义的宇宙，我们只是在试图增加熵并接近热寂，到一个看起来更有目标导向的东西，这不是很美吗，然后这种目标导向性通过进化变得越来越复杂，您得到了越来越多的，然后您开始得到这个东西，它有点像 DeepMind 的 MuZero 增强版，终极的自我对弈不是 DeepMind 的人工智能为了在围棋上变得更好而与自己对弈，而是所有这些微小的夸克在生存竞争的游戏中相互对弈，您知道，当您有非常愚蠢的细菌生活在一个简单的环境中时，没有多少动力变得聪明，但然后生命使环境变得更复杂，然后就有更多的动力变得更聪明，然后这给了其他生物更多的动力也变得更聪明，然后我们就在这里了，就像 MuZero 通过与自己对弈学会了在围棋和国际象棋上成为世界冠军一样，我们星球上所有的夸克，电子创造了长颈鹿、大象和人类，开心果冰淇淋，我觉得这真的很美，我，这只是增加了爱的乐趣，它并没有减少任何东西，您感觉好一点了吗，我感觉好多了，那太棒了，所以，这种夸克的自我对弈，回到我们谈话的开头，您有很多关于人工智能的令人兴奋的可能性，理解物理学的基本定律，您认为人工智能会帮助我们解锁吗，物理学历史上一直存在着很大的兴奋，那就是提出越来越普遍的简单定律来解释我们现实的本质，而最终的目标将是统一一切的万有理论，您认为有可能，嗯，我们人类，也许人工智能系统会发现一个统一所有物理定律的物理学理论，是的，我认为这绝对是可能的，我认为很明显，我们将看到科学的巨大飞跃，我们实际上已经看到了飞跃，机器学习正在帮助科学，AlphaFold 是一个例子，您知道，几十年来一直存在的蛋白质折叠问题，然后逐渐地，是的，除非我们因为做了一些愚蠢的事情而灭绝，就像我们讨论过的，我认为我们对物理学的理解很可能变得如此之好，以至于我们的技术将不再受人类智能的限制，而是受物理定律的限制，所以我们今天的技术受到我们能够发明的限制，我认为随着人工智能的进步，它将仅受光速和其他物理限制的限制，这意味着它将远远超出，您知道，我们现在的位置，您认为这是一个从数学角度理解我们宇宙的根本数学追求吗，就像人工智能在探索定理空间，以及那些东西一样，还是有一些其他的，一些更具计算性的想法，更具经验性的想法，两者都有，我认为，看看我们今天所称的科学的全景是很有趣的，所以我们带着这个叫做机器学习的大新锤子出来，然后问，您知道，有什么钉子可以帮忙吗，您可以帮忙敲打，最终，如果机器学习能够比我们做得更好，它将能够帮助整个科学领域，但也许我们可以从现在开始，在短期内，看看我们如何前进，所以，就像现在，首先，您有很多大数据科学，例如，通过望远镜，我们每小时能够收集到的数据比一个研究生能够处理的还要多，就像过去一样，机器学习已经被非常有效地用于，甚至在麻省理工学院，我发现了其他恒星周围的行星，探测到天空中的新粒子物理学的令人兴奋的新信号，并探测到我们称之为引力波的，由巨大的黑洞相互碰撞引起的时空织物的涟漪，在可观测宇宙的另一半，机器学习正在运行和思考，您知道，正在做所有这些事情，它确实在帮助所有这些实验领域，有一个独立的物理学前沿，计算物理学，也得到了巨大的推动，所以，我们不得不手工进行所有计算，人们会带着巨大的对数表，哦，我的天，我甚至不敢想做简单的事情需要多长时间，然后我们开始得到一些小的计算器和计算机，可以为我们做一些基本的数学运算，现在我们开始看到的是从 GophI 计算物理学到神经网络计算物理学的转变，我的意思是，大多数计算物理学将由人类通过编程来完成，他们将计算方法智能地输入计算机，就像加里·卡斯帕罗夫在国际象棋上被 IBM 的深蓝击败时一样，人类被精确地编程了如何下棋，智能来自人类，而不是学习的，MuZero 不仅可以在国际象棋上击败卡斯帕罗夫，还可以击败 Fish，这是最好的 GofI 国际象棋程序，通过学习，我们现在看到的是物理学中这种转变的开始，所以让我举个例子，晶格量子色动力学是物理学的一个领域，其目标基本上是拿出元素周期表，并从第一原理计算整个元素周期表，这不是寻找万有理论，我们已经知道了理论，它应该输出元素周期表，哪些原子是稳定的，它们的重量是多少，所有这些好东西，它们的谱线，它被称为晶格量子色动力学，您可以把它印在 T 恤上，或者我的同事弗兰克·威尔切克获得了诺贝尔奖，但数学太难了，我们无法解决，我们还没有能够从这些方程开始解决它们，以至于我们可以预测，哦，是的，然后是碳，以及碳原子的光谱是什么样的，但是，很棒的人们正在构建这些超级计算机模拟，您只需输入这些方程，然后您就构建一个大的立方体晶格空间，或者实际上是一个非常小的晶格，因为您要进入亚原子尺度，直到亚原子尺度，然后您试图解决它，但它计算量太大，以至于在许多情况下，我们仍然无法像测量那样精确地计算事物，现在机器学习正在彻底改变这一点，例如，我在麻省理工学院的同事菲奥拉·沙纳汉，她一直在使用一种非常酷的机器学习技术，称为归一化流，她意识到她可以通过让人工智能学会更快地做事来极大地加快计算速度，另一个类似的领域是，我们花费大量的超级计算机时间来研究黑洞碰撞，所以现在我们已经完成了 LIGO 和其他实验检测到大量黑洞碰撞的性感工作，我们想知道我们看到的是什么，这是一个非常简单的概念问题，它是二体问题，牛顿几百年前就解决了经典引力下的二体问题，但对于黑洞来说，二体问题仍然没有完全解决，黑铜，是的，而且漂亮，漂亮的引力，因为它们不会永远绕轨道运行，两个物体发出引力波，并确保它们相互碰撞，您想做的是弄清楚，好吧，什么样的波会出来，作为两个黑洞质量的函数，作为它们相对于彼此的自旋的函数，等等，这非常困难，可能需要数月的超级计算机时间。
在海量核心上进行计算，你知道，如果你能利用机器学习来极大地加速这个过程，那不是很棒吗？对吧？嗯，现在你可以使用昂贵的旧 Gofi 计算作为真理，然后看看机器学习是否能找到一种更聪明、更快捷的方法来得到正确答案。计算物理学是另一个领域，这些可能是最耗费计算机时间的三个主要领域：晶格 QCD、黑洞碰撞和宇宙学模拟，你不是在研究亚原子事物并试图找出质子的质量，而是研究一些巨大的东西，并试图观察所有星系是如何形成的。哦，哇，是的，现在有很多非常酷的想法，关于如何利用机器学习来做得更好。这与大数据之间的区别在于，你基本上是自己制造数据，对吧？所以，最后，我们正在审视物理学领域，看看我们能用机器学习解决什么。我们谈到了实验数据、大数据、发现酷的东西，然后我们人类会更仔细地研究。然后我们谈到了利用我们现在正在进行的昂贵计算，并找出如何用人工智能更快、更好地完成它们。最后，让我们深入理论研究，比如发现方程，获得深刻的根本见解。这与我所在小组一直在做的事情最接近。我们之前谈到了整个 AI Fineman 项目，如果你只有一些数据，你如何自动发现似乎能很好地描述这些数据的方程，然后你就可以作为人类回去，与之合作、测试和探索。你还问了一个非常好的问题，关于这在某种意义上是否是一个搜索问题，这实际上非常深刻，因为它是。假设我请你证明一个数学定理，数学中的证明是什么？它只是一个你可以用符号写出来的长串逻辑步骤。一旦你找到了它，编写一个程序来检查它是否是有效的证明就非常容易了。那么为什么证明它如此困难呢？因为你可以写出数量极其庞多的候选证明，对吧？如果证明包含一万个符号，即使每个符号只有十种选择，那也有 10 的 1000 次方种可能的证明，这远远超过我们宇宙中的原子数量。所以，你可以说证明这些东西是微不足道的，你只需要写一个计算机生成所有字符串，然后检查，这是有效的证明吗？不，这是有效的证明吗？不。然后你就一直这样做下去。但它本质上是一个搜索问题，你只是想搜索所有符号字符串的空间，找到一个证明。机器学习有一个叫做搜索的整个领域，你如何在巨大的空间中搜索，找到大海捞针？在有明确衡量标准的情况下会更容易，你不是对就是错，而是这个更好，那个更差，你也许可以得到一些关于该往哪个方向走的线索。这就是为什么我们说神经网络如此有效。我的意思是，那是如此人性化的时刻，顿悟的时刻，找出好东西的直觉。我的意思是，我们认为那就是它，也许不是。我们曾经也这样认为下棋，对吧？正是这种能够看到 10、15，有时是 20 步 ahead 的能力，并不是人类在进行的计算，而是一种关于不同模式、关于棋盘位置、关于相对位置的奇怪直觉，以某种方式将事物联系起来。很多时候就是直觉，但然后你有了 AlphaZero，我猜它是第一个进行自我对弈的。它自己就想出了这个，它能够学会自我对弈机制，这种直觉，正是如此。但就像你说的，思考这些全新的想法，在开发定理方面是否可以做到，这非常迷人。我们知道神经网络可以做到，因为我们在大脑中用神经网络做到了。他们是人类中最伟大的数学家。我很高兴你提到了 AlphaZero，因为那是反例。事实证明，当我们说直觉是不同的东西时，我们是在自吹自擂，只有人类才能做到，它不是信息处理。如果以前是这样的话，再次比较击败卡斯帕罗夫的国际象棋计算机 Deep Blue 和击败李世石的围棋计算机 AlphaZero，我认为这真的很有启发性。对于 Deep Blue 来说，没有直觉，人类已经编程了一些直觉。在人类玩了很多游戏之后，他们告诉计算机，你知道，算兵得一分，象得三分，车得五分，等等。你把它们加起来，然后你为通路兵加一些额外的分数，如果对手有的话就减去，等等，等等。然后 Deep Blue 所做的就是搜索，非常蛮力地向前搜索很多步，所有这些组合，然后修剪搜索，它可以比卡斯帕罗夫思考得更快，然后它赢了。我认为这在某种程度上膨胀了我们的自尊心，但它本不应该，因为人们开始说，是的，是的，这只是蛮力搜索，但没有直觉。是的，AlphaZero 真的打破了我们的泡沫。是的，因为 AlphaZero 所做的，是的，它也做了一些搜索，但它也有这个直觉模块，用行话来说叫做价值函数，它只是看着棋盘，然后给出一个数字，说明这个位置有多好。区别在于，没有人告诉它这个位置有多好，它只是学会了。MuZero 是最酷的，或者说最可怕的，取决于你的心情。因为如果同一个基本人工智能系统能够学会什么是好的棋盘位置，无论它是国际象棋、围棋、将棋、吃豆人、女士吃豆人、打砖块还是太空侵略者，或者其他许多游戏，你什么都不告诉它，它最终会获得关于什么是好的直觉。所以，我认为这对科学来说非常有希望，因为如果它能获得直觉，什么是好的位置，那么也许它也能获得直觉，知道在尝试证明某事时，有哪些好的方向。我经常觉得，在我科学生涯中最有趣的事情之一就是当我能够证明某个定理时，它当然受到很多指导，我不会坐下来尝试所有随机字符串，我有一种预感，你知道，这让我想起我见过的另一个关于这个东西的证明，所以也许我先试试这个，不行，没用。但这个失败的方式确实让我想起了那个。所以，将直觉与所有这些蛮力能力结合起来，我认为它将能够帮助物理学。你认为会有那么一天，人工智能系统将成为主要贡献者，比如说 90% 以上，赢得诺贝尔物理学奖吗？当然，他们会颁给人类，因为我们人类不喜欢给机器颁奖。他们会颁给系统背后的人类。你可以说人工智能已经参与了一些诺贝尔奖的颁奖，可能是一些关于黑洞之类的东西。是的，我们不喜欢给其他生命形式颁奖。如果有人赢得赛马比赛，他们也不会把奖颁给马。这是真的。但你认为我们可能会在有生之年看到这样的事情吗？人工智能，比如说第一个让我们认真考虑诺贝尔奖的系统，就像 AlphaFold 在医学、生理学领域让我们考虑诺贝尔奖一样，也许是 AlphaFold 直接发现的。你认为在物理学领域，我们可能会在有生之年看到这样的事情吗？我认为可能会发生的是界限的模糊。今天，如果有人使用计算机进行计算并因此获得诺贝尔奖，没有人会梦想把奖颁给计算机，他们会说，那只是一件工具。我认为对于这些事情，人们也会长期将计算机视为工具。但会改变的是，随着机器学习的普及，我认为在我有生之年，找到一个对机器学习一无所知的物理学家，将和今天找到一个说“哦，我不知道计算机是什么”或者“我不使用数学”的物理学家一样难，这简直是荒谬的概念。你看，但确实有一个神奇的时刻，就像 AlphaZero 那样，系统以一种最好的世界级人才真正从中学习的方式让我们感到惊讶，让你觉得它是一个独立的实体。就像 Magnus Carlsen 那样，就像某些人看待 AlphaZero 的工作一样，它真的不再是一件工具，因为它感觉不像一件工具，它感觉像一个独立的实体。所以有一个神奇的区别，在那里你就像，你知道，如果一个人工智能系统能够提出一个让所有人都惊讶的见解，以某种方式，在某种主要的方面，这是我们对某个特定科学或物理学某个特定方面的理解的范式转变。我觉得那不再是一件工具，然后你就可以开始说，它也许应该获得奖项。所以，当然，21世纪科学最重要的、最根本的转变正是你所说的，那就是每个人都会在一定程度上进行机器学习。如果你想在揭开科学的奥秘方面取得成功，你应该进行机器学习。但想到是否会有一个超级令人惊讶的出现，让我们质疑谁是这个世界上真正的发明家，这本身就令人兴奋。是的，是的，我认为问题不在于是否会发生，而在于何时发生。但在我看来，当那发生的时候，也差不多是时候我们获得人工智能通用智能的时候了。是的，然后我们有更多的事情要担心，而不是他们是否应该获得诺贝尔奖。是的，因为当机器在科学上能够超越我们最好的科学家时，它们很可能在很多其他方面也能超越我们。至少，这可以使它们成为世界上极其强大的代理人。你知道，我认为认为我们只有在机器达到通用人工智能时才需要开始担心失控是一种错误，因为它们可以做所有我们的工作。在此之前，它们将具有巨大的影响力。我们曾详细讨论过算法如何通过试图让我们沉迷于屏幕来侵入我们的思想，这已经对社会产生了重大影响。从宏观上看，那是一个极其愚蠢的算法，只是监督式机器学习，但它却产生了巨大的影响。所以，我只是不想让我们陷入虚假的安宁，认为在事情达到人类水平之前不会有任何社会影响。因为这已经发生了。我上周还在想，你知道，当我看到一些危言耸听的人说“机器人来了”，他们的意思总是它们来杀我们。也许如果你在最近的战争中在纳戈尔诺-卡拉巴赫，你应该担心这一点。但更严重的是，机器人现在来了，但它们主要不是来杀我们，而是来黑我们。它们来黑我们的思想，让我们购买我们可能不需要的东西，投票给可能不符合我们最佳利益的人。而且，我认为作为一个人，承认我们的思想比我们想象的更容易被黑客攻击，这有点令人沮丧。而且最终的侮辱是，我们实际上被机器学习算法黑了，而这些算法在客观意义上比我们愚蠢得多。你知道，但也许我们不应该感到惊讶，因为你知道你对可爱的小狗有什么感觉？爱它们。所以，你可能会争辩说，在某种全面的衡量标准上，你比它们更聪明，但天哪，我们可爱的小狗有多擅长黑我们，对吧？是的，它们搬进我们的房子，说服我们喂它们，做所有这些事情。它们除了可爱和让我们感觉良好之外还做了什么？是的。所以，如果小狗能黑我们，那么也许我们不应该对 pretty dumb 的机器学习算法也能黑我们感到惊讶。更不用说猫了，那是另一个层次了。而且，我认为我们应该反驳你之前的观点，关于世界上没有邪恶的生物，我们可以都同意猫是客观邪恶的接近程度，我们能得到的。但那只是我这么说，好吧。你有没有看过那个卡通片？我想可能是《洋葱报》的，里面有一只非常可爱的小猫，下面写着它整天都在想谋杀。正是如此，这很准确。你在线下提到，后生物通用人工智能和 SETI 之间可能存在联系。上次我们谈话时，你谈到了我们人类可能在银河系邻近地区、甚至整个可观测宇宙中非常独特，我们可能是唯一的智慧文明。你对这个想法很有说服力。所以，我有一些小问题。科学问题是，如果你错了，你会怎么想？你认为你会怎么感到惊讶？为什么你会错？如果我们发现你错了呢？在哪些方面？是我们的原因吗？我们看不到它们？是因为它们的智力本质，还是它们的生命本质与我们能想象的完全不同？是因为，我的意思是，关于大过滤器和生存它们？还是因为我们被保护免受信号的干扰？所以，所有这些解释了为什么我们没有听到一个响亮的红灯说“是的，我们在这里”。所以，实际上，我可能错的两件事是两个独立的说法。其中一个是我认为大多数文明，当你从简单的细菌状事物发展到太空殖民文明时，它们只在它们生命中非常非常小的一部分处于我们现在的位置。我可能错了。另一个我可能错的是一个完全不同的说法，我认为实际上我猜我们是我们可观测宇宙中唯一一个到目前为止光已经到达我们这里，并且已经发展到能够发明望远镜的文明。让我们分别谈谈，因为它们确实不同。第一个，如果我们看看 n=1，我们在地球上拥有的数据点，对吧？所以，我们花了 45 亿年时间在地球上与生命打交道，对吧？我们得到了，而且大部分都是从智力角度来看相当糟糕的东西。你知道，它是细菌，然后恐龙花了 1 亿多年在这里跺脚，甚至没有发明智能手机。然后，最近，你知道，我们只用了 400 年从牛顿到我们。在技术方面，看看我们做了什么。即使在我小时候，也没有互联网。所以，我认为在这种情况下，我们很可能会真正振作起来，开始将生命传播到太空，在本世纪做各种伟大的事情，否则我们就完蛋了。如果我错了，那是因为，也许地球上发生的事情非常特殊，出于某种原因，其他行星上更常见的是它们花了很长时间在玩火腿收音机之类的东西，但它们从未真正将其提升到下一个水平，原因我还不明白。我对此持谦虚和开放的态度，但我至少会打十比一的赌，我们的情况更典型，因为摩尔定律和技术加速的整个问题，它很明显为什么会发生。任何指数增长的东西我们都称之为爆炸，无论是人口爆炸还是核爆炸，它们总是由同一个原因引起，那就是下一步触发了下一步。所以，我们今天的技术能够实现明天的技术，而明天的技术又能够实现下一个水平。而且，我认为因为技术总是更好，所以步骤可以越来越快。关于我可能错的另一个问题，那是一个更有争议的问题。但在我们结束关于第一个问题之前，如果大多数文明只在它们总时间中很短的一段时间内处于某个阶段，比如说在发明望远镜或掌握电力并进行太空旅行之间，如果这实际上普遍如此，那么这也应该适用于其他地方。所以，我们应该非常非常非常惊讶，如果我们发现一个随机文明，而我们恰好在那个非常非常短的阶段发现它们。更有可能的是，我们发现这个星球充满了细菌，或者我们发现一个已经后生物的文明，并且在它们的星系中进行了一些非常酷的星系建造项目。你认为我们能认出它们吗？有可能我们只是认不出它们吗？这个后生物世界会不会只是存在于另一个维度？它可能只是一个虚拟现实游戏？我不知道，这完全改变了，我们无法探测到。我们必须诚实地非常谦虚。是的，我认为我之前说过，成为一名科学家的第一原则是必须谦虚，并愿意承认我们所认为的一切猜测都可能是完全错误的。当然，你可以想象一个文明，它们都决定成为佛教徒，非常内向，只进入它们的小虚拟现实，不打扰周围的动植物，我们可能注意不到它们。但这是个数字游戏，对吧？如果你有数百万个文明在那里，或者数十亿个，只需要一个更有野心的心态，对吧？它决定，“嘿，我们要出去定居很多其他太阳系，也许是星系”，然后那些安静的佛教徒就无所谓了，我们仍然会注意到那个扩张主义者，对吧？而且，假设我们知道，即使在我们自己的星系中，也有可能存在十亿个或更多的类地行星，而且其中许多行星的形成时间比我们的早了十亿年，所以有很大的领先优势。所以，如果你也假设生命在类地行星上是自动发生的，我认为然后说“好吧，那么那里有数十亿个其他文明，它们也拥有我们这样的技术，而且它们都决定成为佛教徒，没有一个决定去像希特勒一样征服银河系，或者出于更仁慈的原因去获取更多资源”，这似乎有点牵强。这引出了你挑战我第二个可能错的地方，生命有多罕见或普遍？你知道，弗朗西斯·德雷克写德雷克方程时，乘以了大量的因素，然后我们对其中任何一个都一无所知。所以，当我们乘以整个乘积时，我们知道得更少。他的一大不确定性是太阳系有多少行星？现在我们知道这非常普遍，类地行星，我们知道我们有更好的钻石，很多很多，即使在我们自己的星系中。同时，你知道，得益于我，我是 SETI 项目及其同类项目的坚定支持者，我认为我们应该继续这样做，我们学到了很多。我们学到的是，到目前为止，我们所拥有的仍然是令人难以置信的线索，仅此而已。而且，当然，有很多情况，如果我们的星系中有 1 亿个其他人类文明，那将是显而易见的。以我们今天的技术，注意到它们中的一些并不难，而我们还没有。所以，我们可以说，好吧，我们可以排除月球上存在人类水平的文明，事实上，在许多附近的太阳系中，我们当然不能排除 50 亿光年外的星系中存在像地球一样的存在。但我们已经排除了很多，考虑到那里有那么多行星，这已经很令人震惊了。所以，它们都在哪里？这就是经典的费米悖论。是的，我的论点，这很可能错了，其实很简单。好吧，我们对此一无所知。一个随机行星上出现生命的概率可能是 10 的负一次方，先验概率，或者 10 的负五次方，10 的负二十次方，10 的负三十次方，10 的负四十次方。基本上，每个数量级都同样可能。当你进行计算并询问我们最近的邻居有多近时，它同样可能在 10 的 10 次方米远，10 的 20 次方米远，10 的 30 次方米远。我们可以用一些技术方法来谈论这个问题，用贝叶斯统计和均匀对数先验，但这无关紧要。这是基本的论点。现在是数据。所以，我们可以说，好吧，有多少个数量级？10 的 26 次方米远，那是我们可观测宇宙的边缘。如果它比这更远，光甚至还没有到达我们。如果它小于 10 的 16 次方米远，那么它就在地球勘测范围内，离太阳不远。我们可以肯定地排除它。你知道。所以，我这样想：先验地，在我们用望远镜观察之前，你知道，可能是 10 的 10 次方米，10 的 20 次方米，10 的 30 次方米，40 次方，50 次方，并且在这里的任何地方都同样可能。是的。现在我们排除了这个小块。大部分都在外面。这是我们可观测宇宙的边缘。是的，是的。所以，我当然不是说我不认为太空中有任何生命。如果空间是无限的，那么你基本上 100% 保证有生命。但生命存在的概率，最近的邻居恰好在我们已经看到的地方和我们永远看不到的地方之间这个小区域内，实际上远小于一。我认为有一个道德教训，这非常重要，那就是要成为这个星球的好管家，以及我们所拥有的机会。说“哦，如果我们炸毁我们的星球或破坏气候或用不协调的人工智能搞砸它，没关系，因为我知道那里有一个很棒的星际舰队，他们会冲进来接管我们失败的地方”，这可能非常危险。就像复活岛的失败者把自己毁了没什么大不了的。这是一种危险的方式，让你陷入虚假的安宁，如果实际上是我们，而且只有我们，整个可观测宇宙的智慧生命的未来，那么我认为，这既 puts a lot of responsibility on our shoulders，鼓舞人心，有点可怕，但它也鼓舞人心，但它也赋予了力量。我认为大多数人，因为今天最大的问题，我甚至在教学时都看到了，这么多人觉得他们做什么都没关系，我们感到无力。哦，这没什么区别。这与你能想到的最远的东西相去甚远。但我们意识到，我们在这个旋转的星球上，在我们的一生中所做的事情，可能对我们可观测宇宙中所有智慧生命的未来产生影响。你知道，这有多鼓舞人心？是的，意识的生存。我的意思是，德雷克方程的另一个非常相似的赋权方面是，假设有大量的智慧文明在各地涌现，但由于德雷克方程，即文明的寿命，也许它们中的许多都撞到了墙上，然后就像你说的，很清楚，对我们来说，大过滤器，那个可能的大过滤器似乎即将来临，你知道，在接下来的 100 年里。所以，说“好吧，我们有机会不”，这也是赋权的。我的意思是，大过滤器的作用是，它确实消灭了大多数人。尼克·博斯特罗姆也对此进行了非常精彩的阐述。你知道，每一次在火星上寻找生命的搜索都返回了阴性，或者别的什么，我就会说，是的，我们生存的机会。你已经提出了论点，并将其带到了那里，对吧？但请展开一下。重点是我们已经知道那里有大量的类地行星，我们也知道其中大多数似乎没有任何类似我们的生命。那么出了什么问题？显然，在从无生命到太空旅行生命的过程中，至少有一个进化步骤，一个过滤器的障碍。它在哪里？是在我们前面还是在我们后面？如果我们后面没有过滤器，而且我们不断地在火星上或其他地方发现各种各样的小老鼠，那实际上是非常令人沮丧的，因为它使得过滤器在我们前面发生的可能性更大，而实际上发生的是，就像终极的黑色笑话一样，每当一个文明发明了足够强大的技术时，它只是设定时钟，然后过了一段时间，它就会因为某种原因而消失，并自我毁灭。如果事实证明我们注定如此，那将是多么令人沮丧。而如果事实证明，有一个真正的大过滤器在早期，无论出于何种原因，似乎很难达到有性繁殖生物的阶段，甚至第一个核糖体，或者别的什么。或者，也许你有很多恐龙和牛的行星，但出于某种原因，它们倾向于停在那里，从未发明智能手机。所有这些都大大提高了我们自己的几率，因为我们经历过，我们做过。它并不重要它有多难或多么不可能我们已经通过了那个障碍，因为它我们已经做到了。是的。然后，这使得未来掌握在我们自己手中成为可能。我们没有注定。所以，这就是为什么，这就是为什么我认为生命在宇宙中稀少的事实，不仅仅是有一些证据，而且是我们应该真正希望的。所以，这就是死亡，人类文明的死亡，我们一直在讨论的生命，也许在任何大过滤器之外繁荣发展。你是否会想到你自己的死亡？你是否会因为可能无法见证一些你正在研究的事情而感到悲伤？你领导着一个研究小组，研究宇宙中一些最大的问题，无论是物理学还是人工智能方面。你是否会因为可能无法看到我们谈论的这些令人兴奋的事情实现而感到悲伤？当然，当然，这很糟糕。我将要死去的事实。我记得我年轻的时候，我父亲说过一句话，生命本质上是悲剧性的。我当时想，你在说什么？很多年后，我感到，我现在完全理解他的意思。你知道，我们从小孩子长大，一切都是无限的，而且很酷。然后突然我们发现，实际上，你知道，你只能到这里，你能到的程度。游戏随时可能结束。所以，当然，它是，它是，这是一个悲伤的事情。你害怕吗？不是那种意义上的，我认为我死后会发生什么可怕的事情，或者其他什么。不，我认为那将是真正的游戏结束。但更多的是，它让我非常清楚地意识到，我拥有多么美好的礼物，我能活在当下。而且，它是一个持续的提醒，要充分享受生活，真正享受它，因为它有限。你知道，我认为，而且我们都知道，当我们身边亲近的人去世时，我们都会得到定期的提醒。你知道，有一天轮到我们了。这增加了一种焦点。我想知道，成为一个不朽的生命会是什么感觉？也许他们会稍微少享受一些生活的美好事物，仅仅因为没有这种有限性。你认为这可能是一个特征而不是一个错误吗？我们是有限的生命，也许对人工智能系统也有工程学的教训，这些系统是有意识的？你认为这使得，比如，开心果冰淇淋之所以美味，是因为你有一天会死去，而你将无法吃完所有你可能吃的开心果冰淇淋？嗯，让我说两件事。首先，你说的其实非常深刻。我认为我更欣赏开心果冰淇淋，因为我知道我只能享受有限次数的乐趣，而且我只能回忆过去有限次数的享受。而且，我的生命并不长，以至于事情开始重复。总的来说，它是如此新颖和新鲜。我还认为，死亡有点被高估了，因为这源于一种过时的物理学观点和生命实际是什么。因为如果你问，那么，什么会死呢？确切地说，我到底是谁？当我谈论我自己的死亡时，我感到悲伤。我真的为这个皮肤细胞的死亡感到悲伤吗？当然不是，因为它下周就会死，然后我会长出一个新的。而且，我并不真的将我的任何细胞与我真正是谁联系起来，也不是我的任何原子或夸克或电子。事实上，基本上我所有的原子都在定期更换。所以，从现代物理学的角度来看，真正的是我的是什么？是信息处理的自我，我的记忆，我的价值观，我的梦想，我的激情，我的爱。那就是我真正本质上是谁。而且，坦率地说，我身体死后，并非所有这些都会死。比如理查德·费曼，他的身体死于癌症，但他的许多想法，他觉得使他成为他自己的想法，却得以延续。这是我对自己理查德·费曼的个人致敬。我试图在他身上保留一点点。我今天甚至引用了他。是的，他在这次谈话中几乎复活了一瞬间。是的，是的，这坦白说给了我一些安慰。你知道，当我作为一名教师工作时，我觉得如果我能分享一些关于我自己的东西，我的学生觉得值得模仿和采纳他们知道或相信或渴望的东西的一部分，那么我也在他们身上活了一点。所以，作为一名教师，这也是我让我自己稍微不那么不朽的一点。因为我至少不会一次性全部死去。而且，我发现这是对我们通常尊敬的人们的一种美丽的致敬，如果我们能记住他们，并在我们心中保留我们认为他们最棒的东西，那么他们就会活下去。我有点情绪化了，但这是一个非常美好的想法。我认为我们应该停止这种老式的唯物主义，仅仅将我们是谁等同于我们的夸克和电子。这真的没有科学依据，而且也一点也不鼓舞人心。现在，如果你稍微展望一下未来，人类死亡的一件真正令人沮丧的事情是，尽管他们的一些教诲、记忆、故事、伦理等等会被周围的人复制，希望是很多，但很多东西无法复制，只能随着大脑一起死去。这真的很糟糕，这是我们发现某人拥有所有这些信息却突然消失、被毁掉的根本原因。有了更多的后生物智能，情况将会发生很大变化。你无法完整地备份你的大脑的唯一原因正是因为它不是为此而设计的。如果你有一个未来的机器智能，没有理由它必须死亡，如果你想复制它，无论是什么，都可以复制到另一个夸克团块中。你不仅可以复制一部分，还可以复制全部。所以，从这个意义上说，你可以获得不朽，因为所有信息都可以从任何个体实体中复制出来。而且，如果我们有了更多的后生物生命，改变的不仅仅是死亡，还有我认为的整个个体，我们现在的整个个人主义。我们之所以如此区分你和我，正是因为我们复制的能力有限。我真的很想像这样，复制你的俄语技能，你的俄语口语技能。这不是很棒吗？但我不能，我必须花很多年才能做得更好。但如果你是机器人，可以自由复制和粘贴，那么这就会完全消失，它会冲淡不朽的意义，以及一点点的个人主义。你知道，我们会感觉更具协作性，如果我们能说，“嘿，我给你我的俄语，你可以给我你的俄语，我给你我能做的任何东西，然后你就可以说瑞典语了。”也许这对你来说不是坏交易，但无论你从我大脑中想要什么。是的，是的，有很多科幻故事是关于蜂巢思维的，等等，在那里人们可以更广泛地分享经验。而且，我认为我们不知道超级智能机器的感觉会是什么样的，但我很有信心，无论它对死亡和个体性的感觉如何，都将与我们截然不同。嗯，对我们来说，死亡和有限性似乎在目前非常重要。所以，天下没有不散的筵席，就像这次谈话一样。我预料到了。抱歉，这是世界上最糟糕的过渡。我可以和你聊一辈子。你花时间和我在一起，我感到非常荣幸。荣幸之至，非常感谢你让我开始这个播客，进行第一次对话，让我意识到我爱上了对话本身。感谢你通过你的书籍、你的研究、你的演讲以及你所激励的埃隆和其他所有人，激励了全世界如此多的人。所以，非常感谢你今天的谈话。谢谢。我觉得你很幸运，你正在做这个播客，并将如此多有趣的声音传播到以太网中，而不仅仅是五秒钟的片段，而是你所做的许多采访。你真的让人们深入，这是我们这个时代所需要的。而我能成为第一名，我感到非常荣幸。是的，你开始了。非常感谢 Max。感谢收听 Max Tegmark 的谈话。也感谢我们的赞助商 Jordan Harbinger Show，Sigmatic Mushroom Coffee，BetterHelp 在线治疗和 ExpressVPN。所以，选择是智慧、咖啡因、理智或隐私。明智地选择吧，我的朋友们。如果你愿意，请点击下面的赞助链接以获得折扣并支持这个播客。现在，让我用 Max Tegmark 的几句话来结束。如果意识是信息在以特定方式处理时的感觉，那么它必须是底物无关的。重要的是信息处理的结构，而不是执行信息处理的物质的结构。感谢收听，希望下次再见。