Transcription
你好，罗马。嗯，你好，罗宾。有点相似，我们需要区分发音，这样我们就能区分罗马和罗宾。盔甲，他们得到相同的。我不认为有人会把我们弄混。好吧，这不存在，不存在。好吧，那么罗马，嗯，我们为什么不先问你，你到底担心人工智能的什么呢？我担心的是最糟糕的情况。所以在计算机安全和网络安全领域，你不会看事情有多好，而是为最坏的情况做准备。所以，生存风险，痛苦风险才是真正的问题。如果我们能解决这个问题，而且实际上发现这甚至不是一个问题，平均而言，它非常有趣和容易，那么我们就做得比预期的好。好吧，现在我敢肯定你同意，即使没有人工智能，我们也会面临各种风险。我们肯定会这样做，哦，绝对。而且我们很可能可以用人工智能来减轻其中一些。人们喜欢谈论气候变化，但当然时间线不同。如果我们两年内被人工智能杀死，我们就不必担心一百年后世界会沸腾。所以它们在某种程度上也抵消了。好吧，所以如果我们想说人工智能有什么问题，一种说法是，哪些问题会因为人工智能而变得更糟？哪些问题会变得更大或概率更高？你会指出哪种情况是那些会因为人工智能而变得更糟或更可能发生的情况？失控。现在，整个人类仍然在决定这个星球上的事情。我们可能不总是同意，但如果我们都真的希望某件事发生，我们大概可以同意做出那个决定。我们有共同努力并做出一些决定的历史。而如果超级智能出现，我们可能无法控制，它可能会做出我们非常不喜欢的决定，但我们却无能为力去阻止。所以，这是以一种非常“我们”和“他们”的方式表达的。所以，我可以这样说，你知道，未来的问题是西方可能无法控制未来，世界其他地方可能控制，或者我可能说，世界的问题是男人可能无法控制整个未来。我可能，我可以画很多圈，说未来的问题是他们可能会影响它，而不是我们。那么，为什么这种“我们”和“他们”的界限比我们可能画出的任何其他“我们”和“他们”的界限都更有效或更有趣呢？嗯，有几个不同之处。我认为它们可能与我们非常不同，比我们说的“东西方”或不同的宗教要不同。我不担心价值观的漂移，所以我对文化变革持开放态度。但如果完全改变，以至于一个更喜欢这个星球永远是 500 摄氏度的不同智能，对我来说将是不可接受的。那是一个价值观，对吧？我认为有些价值观就像冰淇淋口味的偏好。你从小就喜欢香草，喜欢香草，好吧，但巧克力。但如果我真的必须换，我没意见。然后有一些偏好与我的生存和存在不兼容，我不想就这些进行谈判。好吧，但你也可以谈论他们只是想法不同，而你也不喜欢那样。这更多是他们的偏好，只要他们不打扰我，他们就可以非常不同，崇拜不同的神，我对此没意见，而且变形，所有这些都被称为超人类主义。好吧，所以你可能知道，你生活在一个人类拥有许多与你价值观冲突的世界里，对吧？我注意到了一些，但他们通常没有权力仅仅因为他们觉得这是一个好决定就决定杀死八十亿人。等等，等等，你的意思是他们中没有人，还是他们集体不这样做？我的意思是，绝对没有人，而那些尝试的人通常资源有限，寿命有限。所以，就像历史上最糟糕的独裁者，如果他们尝试，他们会杀死几百万人，但他们永远无法杀死我们所有人。好吧，所以你想象未来一个人工智能可能会杀死十亿人，而不是所有人工智能一起组成某种联盟，而是你认为一个人工智能杀死数十亿人。我必须订阅这个想法，但第一个获得那种能力的人可能会阻止竞争。所以，为了简化事情，它也有助于思考，哦，这是一个超级智能实体。好吧，这听起来更像是你问题的症结所在，你的担忧。也就是说，如果存在数十亿人工智能，拥有与其他人相似的相互冲突的利益，那会让你少担心。这是一个单一的实体拥有如此巨大的力量的想法。我认为，如果存在多个竞争者，我们就会成为他们战争的附带损害。所以我不认为这是任何一种改进。为什么这对其他人来说不真实？为什么你不是其他人的战争的附带损害？再次，能力有限，当然是破坏。但想想任何像末日邪教一样的。当我们想杀人时，当然，今天的人类有足够的能力互相毁灭。一把枪只需要大约 50 美元，一次就可以杀死数百人，一颗 50 美分的子弹。我敢肯定，你知道，成本不是人类不互相屠杀的原因，限制因素。看看美国发生的枪击事件，它们每周甚至每天都在发生。是的，那些人中的每一个都试图杀死尽可能多的人，但不知何故，他们只杀死了一到十个人。他们从未杀死整个美国。不是子弹的成本，对吧？他们只是不够强大，无法克服环境中的所有其他代理人。但如果存在数百万个相互竞争的代理人，我的意思是，他们不会，也就是说，他们需要一些东西来维持和平，对吧？他们不会一直互相争斗，他们会像我们一样偏爱维持和平的制度，对吧？我们不想互相争斗，所以我们有法律、治理和市场等制度来维持我们之间的和平。我们必须看看最坏的情况。我们拥有所有这些，但然后我们有帮派争夺地盘，无辜的人会因此丧生。所以我们正在问，为什么人工智能最糟糕的情况比最糟糕的情况更糟糕？想想如果一个神而不是杀死一个人，每次你开枪就杀死所有人。好吧，他们没有比我们更大的枪，对吧？你可以设计更好的武器，但我们也可以设计更好的武器。但这并不是限制因素，这也不是我们不互相残杀的原因。我们一直在稳步设计更好的武器，而且已经很长时间了，这并没有改变我们互相残杀的速率。显然，人类互相残杀的速率主要不是由我们枪支的力量决定的，对吧？这是，如果不是个人获取。所以看看我有多难获得核武器？这并非易事。但为什么对个人人工智能来说如此容易？好吧，你正在，我们正在试图达到这里的不对称性。关键点是，你将人工智能与人类和我们拥有的组织区分开来。所以，我试图探究，是什么根本区别导致了这些其他区别？我感谢这个问题，我认为答案是它太聪明了。它可以利用可用资源设计一种新型武器，可以杀死所有人。比如说，它是合成生物学。比如说，它是不可预测的，未知的，已知的。我足够聪明，无法猜测它是什么，但令我担心的是它的能力，而且武器可以一次杀死所有人。所以你的担忧是，未来将会有比我们更聪明，因此更能制造武器，更能设计武器的生物。这是看待它的方式之一，绝对。所以武器是一个完美的例子。在过去的几个世纪里，我们变得更聪明，更富有，更能制造武器，但世界变得更好了，对吧？我们几次在核战争中侥幸逃脱。如果不是呢？我们不会在那次事故中消灭 99% 的人类吗？比如说，苏联对美国全面核战争。但根据你的论点，你认为即使没有人工智能，事情也在变得更糟。也就是说，随着我们变得更聪明，我们的武器变得更好，你只是担心这种情况，独立于人工智能。但因此，我们拥有平等的能力。苏联在对抗，他们有点相互保证的毁灭。但我在想，这是一个单一的实体，比其他实体强大得多。所以我们之前只是在谈论一个拥有数百万人工智能的世界，你想，所以我们可以回到单一的人工智能的担忧，我想。你现在想去哪一边？嗯，我的信念是，第一个将占主导地位，并阻止其他人工智能的出现。如果你真的认为我们会有多个竞争者，那也很有趣，但通常从这种额外的复杂性中，我们不会得到更清晰的解决方案或问题，它只是在乘以所有的复杂性。所以，我的意思是，我认为单一人工智能的假设需要更多的论证。它与过去有很大的不同。所以，如果你认为你没有那个额外的假设，你就有类似的担忧，那么从我的角度来看，你的论点更强。如果你不做出那个额外的强假设，而是做出那个较弱的假设，你就能得出相同的结论。那么问题是，你需要那个单一人工智能的假设来得出你想得出的主要结论，还是说它是偶然的？你会得到类似的问题，而没有它。所以你可以考虑一个拥有多个人工智能的场景，并将其简化。你是否将它们都视为“他们”，而我们将它们视为“我们”，以及无论它们各自拥有模块化分解还是不，这是否相关？这是“我们”对“他们”。嗯，“我们”对““他们”需要协调，这可能很困难。就像在我们今天的世界里，有很多“我们”对“他们”的界限。比如，右手的人比左手的人多得多。所以，原则上，如果所有右手的人都聚集在一起，我们可以在深夜杀死左手的人，拿走他们所有的东西，然后所有右手的人都会过得更好，对吧？所以这是一个大客户系统。左手的人应该害怕。你知道，他们是少数，他们没有右手的人那么多。所以，他们不应该担心让右手的人与左手的人保持一致，也许奴役他们，把他们锁起来，确保他们被洗脑，这样左手的人就可以相信右手的人不会在深夜杀死他们，对吧？但这是一个好主意，我们应该考虑这样做。但我认为实际发生的是，我们设计了这个世界，让左撇子占多数，在使用某些工具方面存在劣势，对他们来说更难。我们不是因为憎恨敌人而杀死他们，因为很难分辨。你可以假装是右手的人，没有制服。不，不。如果我们有明显的界限，就像种族一样明显，那么就会有比这更糟糕的事情。好吧，所以我们可以用一只眼睛的颜色来做例子，比如稀有的眼睛颜色，然后说他们应该担心被杀死。这很明显，对吧？或者矮个子的人，也许所有矮个子的人，你知道，身高排在前 20% 的人。你知道，他们不应该担心吗？这真的很明显，对吧？所以我们可以很容易地在深夜找到他们来杀死矮个子的人。所以为什么我们不担心人工智能会杀死某种种族灭绝，就像在非洲，我们被告知人们杀死了矮个子的人？所以我们同意，有时会有革命，有时会有一群人掌权，并利用少数人，有时甚至杀死他们。这在过去发生过。但你不是建议重新组织世界来处理这个问题，而是你更担心重新组织来处理人工智能问题，对吧？所以，存在一个不对称性。你更担心人工智能协调起来杀死人类，而不是你担心的其他任何划分。能力差距会大得多。想想就像美洲原住民与欧洲人。是的，存在不对称性。是的，欧洲人拥有先进的技术，所以他们几乎灭绝了所有人，但仍然具有一定的竞争力。现在，如果你有这个人工智能，我们又回到了极端的最坏情况，智商是一百万。在这种环境中，我们没有竞争力。所以，这取决于决定。所以，我们无法控制发生在我们身上的事情。但这个论点似乎反对任何比其他人更有能力的子集的人类，对吧？高个子，高智商的人，获得博士学位的人，任何特别有生产力的人。我们应该，你知道，担心把他们锁起来，确保他们，你知道，无法访问电脑，因为他们可能会杀死我们所有人。我试图，所以你是在说，人类中没有精英试图控制他人，也许不是杀死他们，而是剥削他们？我想说，我们有共享的市场、法律、治理等制度。这些制度在我们之间维持和平，即使我们有很多差异和能力，很多价值观的差异，以及很多我们可以形成的联盟，我们可以怀疑对立的联盟，对吧？所以我们不是简单地决定我们应该去杀死另一方，因为他们可能会先杀死我们。我们信任这些制度，我们共享这些制度，允许不同能力和倾向的人一起生活和工作。然后你想说，哦，但如果我们有人工智能在这个组合中，那就不再起作用了。所以我们想说，人工智能在这个组合中的区别是什么？所以，例如，我们有许多大型组织，如沃尔玛，它们比任何个人都强大得多。根据你的政府，我们应该，我们根本不应该允许大型企业存在吗？他们不可信，他们可能会试图杀死我们所有人，因此我们应该，你知道，不允许它们不受控制地存在。但大多数大型组织都是不受控制的。事实上，它们拥有与你和我截然不同的偏好，它们拥有截然不同的能力。沃尔玛可以协调起来杀死，你知道，成千上万的人，如果它愿意的话。这不是沃尔玛的能力不足，阻止它一次杀死数万人，对吧？所以，首先，我对制度的好坏持怀疑态度。我们可以说我们有处理不战斗的国际制度，但然后我们有战争。战争，比如说，俄罗斯与乌克兰就是你所描述的。或者我们应该在他们攻击我们之前攻击他们。这就是理由。对于公司，我们实际上确实试图阻止它们变得太大。我们有反垄断法，反垄断法，我们不希望一家公司拥有 100 万亿美元的预算，并且可以轻易贿赂所有政客，它太强大了。公司确实试图杀死我们，无论是烟草公司还是石油公司。它们只是在符合其利益的层面上这样做。直接杀死你并没有直接的好处，因为你无法将其货币化。但如果有一个充分的理由让你少活一点，他们很可能会这样做，如果他们能逃脱的话。大多数人会尽其所能逃脱。所以人们没有支付足够的税款，直到它变得显而易见他们正在违法。但只要他们能逃脱。如果你是超级聪明的智能，并且你发现了法律中的漏洞，你就会达到零税点。你将尽可能多地利用这个系统。而且我说，这些系统拥有超出我们迄今为止的竞争性资本主义环境所能应对的对抗性能力。所以你同意我们现在的系统能够处理大型企业，它们确实存在，而且我们大部分时间都没有阻止它们存在。反垄断主要关注它们在一个特定行业内的协调以提高价格，作为一种限制，你知道，在行业内协调定价和利润。但我们并没有限制它们在许多不同行业中的存在。我认为我们不擅长控制公司，而且很多时候它们所做的事情都违背了共同利益。或者好吧，但它们并没有杀死我们所有人。好吧，我同意，因为即使如此，但为什么人工智能会为了杀死我们所有人而这样做，而这并不符合公司的利益呢？现在，如果你那么聪明，你能预测为什么这样做对它们有利吗？可能有许多原因。所以你可以选择通常的付费点击的东西。你可以选择一些，好吧，它非常道德，它想确保世界上没有痛苦，而确保没有痛苦的唯一方法就是没有有意识的生命。我无法想出所有超级智能的原因。你可以对公司提出完全相同的论点。所以你的立场是，我们犯了一个错误，允许公司存在？我们很幸运，它们不想杀死我们，我们不知道为什么，但它们就是不想杀死我们。但幸运的是，我们不想允许任何其他大而强大的东西存在，因为它们会杀死我们。但这些却不会。我们不知道。我们真的有。烟草公司正在用它们的产品杀死我们。但因为它们有兴趣让我们活得足够长，所以产品并没有那么危险。就像足以将缓慢谋杀产品消费者的行为货币化一样。好吧，但你的模型是，一个比我们聪明得多的实体，我们不能信任它。但我们总体上信任公司，而且与公司在一起的情况总体上还不错。但你认为我们不能信任人工智能吗？有一个能力阈值，超过这个阈值，你就不能信任它们了，对吧？所以，我并不是说我们可以信任公司。我们有政府机构试图监控它们，我们可以打电话给首席执行官，让他们告诉我们这里发生了什么。而我们的能力，我们不这样做。世界不是这样运作的。今天，公司可以自由地做很多事情。政府并没有做太多。事实上，政府实际上是在帮助公司，而不是伤害它们。平均而言，大多数监管都使人们更难与大公司竞争，而不是限制大公司。事实上，这就是政府今天所做的。我曾多次看到某些行业的首席执行官被带到白宫，在国会委员会面前，被质问关于疫苗的问题，关于人工智能模型的问题。好消息是，你对人工智能这样做。你知道，我们可以把它们带到国会委员会。它们在这方面做得很好。如果那能解决问题，这就是重要的区别。提问的人类足够聪明，能够理解正在发生的事情，他们的答案，即使他们撒谎，他们也大致了解最先进的技术。我发表的许多内容都是关于不可能性的结果。我认为人类大脑不可能理解超级智能网络是如何工作的，预测它的行为。所以你监控和准确评估公司数据的能力，我猜我可以非常有信心地告诉你，当参议员们采访，你知道，商界领袖在国会听证会上时，他们并不理解该业务的大部分复杂性。这只是一个事实，即该业务比参议员复杂得多，知识渊博得多，而参议员并不了解太多。那里已经存在巨大的不对称性了。而且今天世界上已经存在了。而且参议员有技术背景的顾问，他们看到这种证词，然后说，哦，这是问题，我们需要通过一项法律来调整这个问题。而我认为，再次，即使是原则上，也没有人类能够理解一个拥有万亿个节点的深度神经网络是如何工作的。所以这是一个非常不对称的控制、监控、预测未来行为的局面。所以参议员可以在采访人工智能时获得人工智能的协助。如果仅仅是协助的可用性可以解决问题，那就能解决参议员在小组面前带来应用程序的问题。这是个两难的问题。你需要一个行为良好、一致、友好的超级智能来监控另一个正在开发的、不友好、对抗性的支持。这对人类来说也是如此。为什么这对人类来说也是如此？为什么参议员可以找人诚实地建议他？如果你说这是一个普遍问题，所有人都处于大致相同的能力范围内。我相信你知道，我们能力差异很大，而且我们在主题上差异很大。范围是从智商 50 到智商 200，这就是范围。没有人会偏离 10 个标准差。你认为智商 50 的人通常能完全理解智商 200 的人在做什么，并且做得很好，监控得很好吗？这正是我说的。他们不能。人类不同的能力所能理解的上限是有限的，包括天才。他们无法理解我们现在正在创造的系统。这正是我的担忧。我们无法监控，无法解释，无法预测，无法证明关于它们的逻辑代码的事情。所以，我是一名经济学家，我听说社会科学家对许多类型的制度进行了大量分析，包括市场、公司和法律治理。在我们的分析中，不同代理人的相对智力对这些制度的运作能力并没有太大影响。这真的不是什么大事，只要你能有不同的代理人，有不同的利益，你就可以利用这些不同的利益。你知道，你可以拥有你聪明的人工智能，它们可以拥有它们聪明的人工智能，你可以利用你聪明的人工智能来给你关于它们的反馈。我们对人类就是这样做的，对吧？所以，一个智商 50 的人，他们让世界运转的方式是，他们找一个更聪明的人站在他们一边，来帮助他们就另一个更聪明的人向他们提供建议。所以为什么这不能在更高的智能水平上起作用呢？你是否正确地说，对人类来说，这无关紧要，因为如果我们放大来看，我们都拥有大致相同的能力？是的，智力低下和天才之间有明显的区别，但它不像放大来看那么大。假设智商一万，完全不同的水平。没有人能有意义地参与分析。如果你有两个，你不能让一个对抗另一个吗？这是个两难的问题。你首先需要使第一个完全友好，完全正确地证明所有事情都是如此。我们做不到。我们不是这样对待人类的。当人类互相竞争时，我们不需要完全让他们保持一致。你的意思是，确保我们确切地知道他们想要什么，并且永远爱我们，无论如何。我们不是这样让人类互相竞争的。所以我们也不需要人工智能以这种方式互相竞争。所以你使用的这种“对齐”的概念是一个非常强的限制，远远强于我们对我们当今世界中的组织或人类的期望。如果我理解正确，你的意思是，我们不需要以任何方式控制它们。我们只是设置一个情况，两个先进的强大系统相互对抗，由于市场压力，结果对我们有利。我说的就像当今世界一样。世界上有低能力的人，比如孩子，他们不需要担心被杀死，因为世界上有更聪明、更有能力的组织。孩子被虐待或堕胎，数百万。所以，正如我提到的，网络安全和超级智能安全之间的区别。在网络安全方面，这没什么大不了的。我们会给你一张新的信用卡，我们会更改你的密码。所以攻击很烦人，但它们不是世界末日。我所说的超级智能模型，它有能力完全重新定义你的世界。第一次错误，第一次你不喜欢的决定，也许是最后的决定。不一定如此，但一段时间后，这些错误，这些糟糕的决定会累积，直到概率为一，你就会处于要么死亡，要么对你的处境不满意的情况。所以听起来你的论点只是基于能力的不平等。它不是关于任何事情，这是人工智能唯一重要的一点。是的，有超级智能。它是伤害的来源。所以，任何能力的不平等在你看来都是令人担忧的，在那个差异的水平上，是的。所以，如果你比我高一点，我真的不在乎。但如果你像一英里高，那对我来说就是安全问题。所以为什么你不提高你的能力，而不是让他们不增加他们的能力？这是一个非常常见的提议。所以人们谈论与人工智能融合，心智上传，它们被加速了。问题是，在这个过程中，你就不再是人类了。如果我把你完全上传，优化它，并以百万倍的速度运行它，你就不再是了。好吧，现在我们有了另一个担忧。现在我们有了新的担忧，你正在引入的是，更有能力的生物不仅会威胁到能力较弱的生物，它们对你的价值也会降低，因为它们更不同。这就是你现在所说的。如果你变得更有能力，你就不再是你了，因此我失去了你的价值。我今天不会认为这是我。所以，如果它与我的利益一致并且为我工作，我可能很有价值。我有一个非常强大的仆人，这是最严格的，这是免费的劳动力。所以，这是数万亿美元的体力劳动和认知劳动，绝对是有价值的。所以，你知道，我写了这本书，《大脑模拟时代》，关于大脑模拟。你基本上接受了那本书的前提，至少你可能不同意我所有的分析，但你觉得在某个时候那是可行的。为了澄清我的理解，它是关于历史上一个非常短的时期，而不是关于未来将是这样。它就像一个过渡阶段，你可能指的是最多两年。所以这不是重要的状态。但我们可以把它作为一个过渡部分来谈论。我们可以说，我们可以想象你成为一个 M，然后你的 M，你知道，你现在是不朽的。然后你的一些版本被修改和改进，变得比你最初的 M 版本更有能力。现在我们可以说，你认为这是一个问题，因为现在它们比你最初的 M 版本强大得多。现在它们对你构成威胁，不仅仅是因为它们比你强大得多，也是因为你根本不重视它们。它们只是你不在乎的东西。它们变成了另一个你。我不确定那个短语，“我不在乎”。这就像我六岁时和我今天的区别。我敢肯定我关心我八十岁时的我。只是如果能力发生转变，我们就再也不是同一个实体了。如果它们被优化了，并且它们获得了额外的五点智商，那仍然是我。它被称为更聪明。但如果现在是百万智商点，并且它们在硬件上运行，而不是，是的，它们不需要食物，不需要性，不需要蠕虫。这是一个完全不同的实体。我只是通过欺骗自然来创造了通用人工智能或超级智能。我只是走了另一条路，解决了我们之前讨论过的完全相同的问题。所以，在我看来，如果永生是可行的，我认为最终会如此，那么这一代人基本上会想要阻止任何进步，因为他们会一直担心未来的几代人会比他们更有能力，因此会以你所担心的威胁方式威胁他们。也就是说，永生需要能力增长的终结。所以你可以有一些改进，对吧？只是改变的量在某个点上变得不同，不仅仅是程度，而是种类，对吧？如果你想到进化变化，你可以优化你的环境，深色皮肤等等。但如果你变成像章鱼一样，那是一个非常不同的问题。好吧，但假设你是一个模拟，你没有被修改，没有被改进。你基本上是一个人类水平的模拟。然后你的一些其他副本，它们修改了，提高了能力。现在它们对你构成了威胁。它们比你强大得多，以至于你害怕你无法与它们和平共处，除非你能让它们保持一致，你知道，你无法让副本保持一致。所以它们对你构成了生存威胁。因此，你不想允许你自己的副本改进到某个点以上。你只会说，不，我们必须设定一个限制，任何人可以改进多少，否则它们就会威胁我。所以，重要的是，我们甚至同意，我们无法控制更智能的代理人。不可能解释和预测它们的行为，验证它们的代码，使它们保持一致，这是我的立场。我希望每个人都同意我，或者我们不同意说我们可以，然后我们只是在谈论我们是否可以暂停它，我们是否可以争取更多时间来做到这一点，对吧？这是另一个问题。所以，我们现在在哪里？我们是否同意这是不可能的，还是我们说，我的意思是，如果你认为对齐是一种保证，它们永远不会想到反对你的利益，或者做任何与你想要的事情相冲突的事情，即使你不在那里说出来。这种程度的对齐可能是可能的。但那种生物对我来说并不那么令人钦佩，不是我想要的后代。它似乎受到极大的阻碍和限制，真的。它可能是可能的，但代价很大。我会说代价太大了。所以，这接近你的立场。我想要的生物，或者允许作为我的后代，即使是我自己，我也看不出它们如何能保持一致。在我看来，这是能力和控制之间的权衡。能力越强，我们拥有的控制就越少。所以，极端情况。我们想要什么？好吧，这是可能的，然后我们基本上看着它们对我们做什么，还是它会保持控制，但它们不那么有创造力？好吧，所以我们似乎大致同意，至少让我们暂时接受这一点。好吧，那么立场是，我们不应该允许生物的出现，你知道，能力超过某个限制，与我们相比，或者我们就不应该存在，对吧？那将是另一个选择。我们可以说，它们比我们更值得存在。我们两个都无法共存，因此我们应该退居一边，让它们接管。所以，这取决于你从哪里看。如果你是一个人类，并且你有亲人类的偏见，那么当然，你认为我们是有价值的，你确实希望它们受到这种偏见的阻碍。计算机科学很有趣，很多都是消除偏见，性别偏见，种族偏见。人工智能安全是反过来的。我们试图引入亲人类的偏见。如果你放大来看，从宇宙学的角度来看，我们没有什么有趣或特别的。我们只是希望最聪明的实体能够殖民宇宙。那么，是的，当然，让它们进化和证明，它们将接管。也许它们也有意识，喜欢艺术。很好。但我是一个人类，我有偏见。这是你仍然可以拥有并且不会惹麻烦的最后一种偏见。我非常亲人类，我想要它。是的，我们还有一些时间。所以，我的意思是，在某种意义上，你知道，我关于这里发生的事情的最佳理论是，根本的区别轴，你知道，解释这个话题上意见差异的根本因素是这种亲人类的偏见。也就是说，人们在不同程度上，人们觉得存在一个区别轴，他们在一边，他们感到联盟或忠诚。相对于另一方。你知道，我做了一些民意调查，关于各种轴线，你站在哪一边？以及，你知道，你是否愿意采取行动来支持你的一方，即使它会让你付出其他方面的代价？对于像高与矮这样的事情，你知道，只有 20% 的人愿意，比如说，他们支持自己的一方，因为这真的不是什么大事。有些事情，比如财富或性别，或者财富与形状旋转器，或者类似的事情。人们有一种更向上的感觉，向上的人只有 20% 的人愿意支持自己的一方，而向下的人有 40% 的人愿意支持自己的一方。所以，你知道，穷人比富人更愿意支持自己的一方，或者不是，你知道，男性与男性等等。但当涉及到人类与非人类时，是 80% 的人愿意支持自己的一方，而不是另一方。所以，这似乎是，你知道，人们最初似乎非常倾向于支持人类而不是非人类。这就是我想让我们讨论的，至少在反思时问一下，这有多大意义。如果你看看进化史，任何不关心自身生存的物种都不会出现在你的投票中。我们将进化得很好，正是如此。支持我们。我做了一些关于某些派别的分析，我称之为肥沃的派别。这是那种派别，通过推广它，你倾向于推广你的基因或模因。所以你可以，你知道，这样做的一种习惯可以进化并稳定下来，因为它促进了自身的编码。但还有其他不是这样的派别。例如，支持你这一代而不是下一代不是一个肥沃的派别，因为你实际上并没有通过支持它来推广你的基因或模因。同样，至少在通常的世界里，支持你的性别并不能真正推广你的基因或模因，因为存在一种固定的混合策略均衡，50/50，无论你的执行如何，它都会被强制执行。还有其他所谓的混合策略均衡行为，比如个性类型。你也会有同样的，你知道，如果个性类型是混合策略均衡，那么比如说，做一个内向的人并支持其他内向的人并不能真正推广你的基因或模因，因为这是另一种混合策略均衡。所以关键点是，并非所有派别都是肥沃的，因为进化会促进它们。所以你可能更有理由退后一步，反思一下。我们可能有一个普遍的，我们可能进化出了我们偏爱的特定派别，然后也许我们的头脑只是泛化了，告诉我们应该偏爱一切像我们自己的东西，却没有意识到其中一些像我们自己的东西实际上并不会通过偏爱它们来推广我们的基因和模因。我认为一个不肥沃派别的例子是，当有潜力进入新领域时。那些不扩张的人是不肥沃的派别。所以想想，你知道，今天人类的后代，那些留在地球上的人，或者那些离开地球的人。所以你可以忠于地球人类，说那些该死的太空人类。如果我们允许人们离开地球，那么太空就会被填满，他们就会统治地球，这将对我们地球人类不利，那将是糟糕的。因此，如果我们禁止人们离开地球，地球人类将在与太空人类的竞争中获胜。所以我认为这是一个不肥沃的派别。如果我们愿意相信，如果他们的基因在太空中，它们仍然是我们的基因，这是关键问题。太空基因和地球基因是一样的吗？从某种意义上说，这是一个任意的定义选择。你可以从一个角度看，也可以从另一个角度看。但进化并不会真正奖励这种阻止进入某些空间的派别主义。也就是说，如果我们看一个，你知道，宇宙中的事物，你知道，所有事物可能进入的空间，我们从被占用的空间中采样，我们会看到那些允许自己进入这些空间的。所以，你跟我到目前为止，对吧？跟我，和你一起。但我正在想，这更像是行为漂移或基因漂移。我对此完全没意见。我不认为他们会进化成带翅膀的狗。我认为他们可能是人类的一个变种，显然有不同的食物偏好，等等。但他们仍然属于我们所认识的那个空间。但我现在所做的，是暗示某种直观的相似性度量，并说它们感觉相似。但我说，存在一个进化过程，你可能会偏爱某些派别，你可以看到为什么这种派别差异不会被基因，你知道，自然选择基因或模因所选择。所以，从这个意义上说，它是一个不肥沃的派别。这与它在你的脑海中感觉有多相似是分开的考虑。所以，到处都不同，那些会传播它们的模因的人，以及那些不会的人，基于他们做出的选择。同意。好吧，那么我想做的是说，想象一下我们进入了思维空间。我们现在在这个思维空间的角落里，有一个广阔的思维领域，我们可以去殖民。如果我们允许我们的一些后代进入那个思维空间，那么那种说“不，我们这个思维空间的角落是最好的，我们不应该让任何人扩张，否则那些其他思维空间的角落将压倒我们的角落”的派别主义，就像阻止人们离开地球一样不肥沃。这是一个有趣的看法。我认为区别在于，如果你把它看作是按下按钮，你就死了，而另一个实体取而代之。它比你聪明，比你漂亮，你的妻子更喜欢它。但这种情况大多数人不会按下那个按钮。但如果像你描述的那样，是的，我们会逐渐看着宇宙，不知何故，它变得可以接受。但结果是一样的。所以，让我们回到地球空间的事情。你认为地球上的人应该说，看，如果太空人只是出去殖民，在那里变得富有，然后让我们独处，他们离开也没关系。我担心的是，太空人类会变得更强大，然后他们会回来消灭地球。这就是为什么我们不应该让人们离开地球去太空。但这是一个有趣的位置。所以我相信自然进化对它们的能力有很强的限制。我不认为它们会进化成具有完全不同偏好的任意生物。所以对我来说，让他们走是可以的，因为即使他们回来接管，这只是一个渐进的过程，十代之后我们就会变成那样。而如果我觉得，进化肯定会创造更多的物种分化。它会回来，就像，我不知道，飞行的章鱼。那么我就会非常担心让他们有时间来发展对抗我们。有趣的是，这是其他一些环的关联之一。所以，如果你想到一个轴，比如说性别，或者种族，或者，你知道，任何你可能，你知道，偏向你那一边的轴。你有一个你偏爱的派别。人们越倾向于偏向轴的一边，他们就越本质化地认为，你知道，他们那一边的根本不同于另一边。这就是你在这里所说的。存在一些本质上的人类差异，人类会在某个空间内变化，但他们不会超出那个空间。他们将保持在人类的界限内，即使他们改变了很多，他们也只能改变那么多，因为存在一些根本上的人类中心差异。我质疑这一点。我认为我们的后代不仅会有基因进化来改变，他们还将能够进行直接的基因工程。他们将能够成为赛博格，混合，你知道，芯片在他们的大脑里等等。一旦你想象我们的后代进行了，你知道，探索更广泛的修改空间。我认为他们留在人类的可能性空间内的可能性大大降低。而且我认为他们几乎肯定会这样做。如果太空人类改变了他们很多东西，而且我没有看到任何真正的限制，他们可以走多远。也许他们会比允许其他事情慢，但最终我认为他们会任意地走远。而且我同意这是一种可能性。我的问题是，你有多关心你离开后的宇宙？所以，假设我们是这样，你关心他们是否像我们一样吗？你关心他们是否有意识吗？你关心他们看起来像章鱼吗？你为什么会关心？这就是你有时会被别人搞糊涂的地方。他们对宇宙最终会发生什么有如此强烈的偏好。从科学上讲，这可能是一件有趣的事情，但你不会在那里看到它。你为什么对那个空间有强烈的偏好？所以，在我看来，一旦你不再关心长远，你就不想改变。也就是说，如果你喜欢你现在的样子，喜欢你周围的人，并且你认为竞争和进化会让他们远离你现在的样子，并且你不会那么喜欢他们，然后你觉得他们变得更有能力时，你就会受到更大的威胁。那么你就会想要停止能力上的改进，比如说，关闭它，不再改变。所以，我们谈论永生，我们通常谈论你身份的保存。但它很难定义，我们谈论你的身体，你的价值观，你的记忆。当你开始看它时，那不是你。这一切都像是这个，是的，东西。所以，如果你只是相信它不是我，你就会很容易放弃，说让过程继续下去，我们会看到什么进化。但我再次承认，我是亲人类的偏见。我认为保存我们这里拥有的好东西是有价值的。它不是最优的，我们可以改进。我不是说停止所有的改变。我们可以开发更美味的冰淇淋。但是，为什么你的论点似乎想要停止所有的改变？所以，所以，我认为细微之处在于，在可能性范围内改进的改变程度。所以，就像你有你的车。所以，那是你使用的燃料。它可以开得更快。这听起来就像人类的本质。这是一个不同的故事。你有人类的本质。你说我允许在人类范围内变化，但我不想它超出人类范围。所以，你只想要留在人类范围内的改变，而不是超出人类范围的改变。而那个范围可能很大。我只是不认为它是无限的。所以，我的意思是，一个简单的偏好是，我只是喜欢我现在的样子，即使。
我不知道确切是什么，任何与我不同的东西我都不喜欢。你说不，我喜欢很多与我不同的事物，直到触及人类的界限，然后突然不行，你知道，我们就像从悬崖上掉下来一样。我不喜欢那之外的东西。我希望它们存在于宇宙中，并产生我感兴趣的事物。我不想出现那种更有能力、不受控制的实体决定回来对我做事情的可能性。
但是，如果与你不同的人类对你做那些事情，你却不介意，对吧？这就是问题所在，对吧？你对此的担忧要少得多，因为这是默认状态。我的曾曾孙们已经在某种程度上取代了我，取代了我的价值观。我不会在那里关心，因为我会自然死亡，事情就结束了。但是，如果有一个按钮，我按下它，他们今天就杀了我，然后我的基因相关的曾曾孙来到这里，我不会为此感到高兴。
所以，我的意思是，我认为我们目前就这一点达成了一致，那就是，人工智能本身并不是问题，人工智能的问题在于它们可能更有能力，而它们的能力可能与它们跨越人类界限有关。这对你来说是根本问题。你实际上不介意人类变得更有能力，只要他们是人类。但是，如果其他非人类的东西变得更有能力，那才更令人担忧。因为如果人类把你淘汰了，好吧，那是人类会做的事情。但是，如果机器把你淘汰了，好吧，我们不能那样做。
我认为这是能力差异的程度问题。如果有一种方法可以使人类平均聪明一个标准差，我会很高兴。如果按下按钮后，它能达到一百万个标准差，我不会按下那个按钮。但你知道，那是眼前的。但你知道，最终它们会达到那个水平。即使没有人工智能，最终你的“人类”这句话也将变得有效。
所以，我能活完我的日子，我能享受我的生活，与“明天这个东西决定你不再需要存在了，砰”之间存在根本区别。
好的，现在我们来谈谈这个观点，你期望人工智能的改进速度比你期望人类的改进速度快得多。这一点很重要，因为你可能会看到一个世界，它们得到了极大的改进。这实际上是另一个有趣的细微差别。所以，历史上我知道你是关于“慢启动”和“快启动”形式争论的重要参与者。好吧，我们会训练那些模型。现在，我们只是要运行它。让我们运行六个月看看会发生什么。我们没有能力看进去，看看出现了哪些能力。甚至需要几个月的研究和测试才能找到它们。所以，完全有可能下一个运行的 GPT-6 模型就会直接超越人类水平，进入虚拟通用人工智能，并直接成为超级智能。我们甚至可能不需要开始形成它。它就像一个预先形成的产品。
但是，如果它只比人类聪明十倍，你并不担心，因为这差别不是太大，对吧？是十倍。那就像智商一千一样，对吧？我开始非常紧张了。再次看看钟形曲线的标准差。好吧，我们对这个世界的烦恼习以为常，但我们从未遇到过我们不知道如何运作的东西。我们知道不同层面的物理学。你认为所有物理学的智商是多少？沃尔玛的智商是多少？
我有一篇关于智能数学的论文，基本上是最大值函数。沃尔玛里最聪明的人就是你的沃尔玛。他们更有生产力，他们可以串行地做事。但在解决问题的整体能力方面，他们有沃尔玛里最聪明的人。这听起来不对。沃尔玛可以做更多的事情，同时做更多的事情。是的，但那不是解决问题。如果他们必须解决一个数学问题，他们会比智商更高的数学家更有竞争力吗？
人们群体解决的问题是个人无法解决的，但它看起来不像“群众的智慧”能克服最好的专家。如果你有像国际象棋比赛那样，卡斯帕罗夫对阵全世界，当然。但在现实问题的世界里，它确实如此。有很多现实问题是关于同时做很多事情，大规模地做。它们不一定需要更高的智力，它们需要更多的手，更多的腿，更多的钱。这非常困难。
所以，你在这里区分了智力和能力。能力可能有很多方面，比如我同时能读多少本书。如果我聪明两倍，我不会读得更快。但是，根据你的说法，你应该害怕的是能力，而不是智力。但具体到人工智能，我们最担心的是解决问题的优化能力，我们称之为智力。我不担心它们会变得非常强壮，能够举起大块地毯并扔掉它们。但是，即使它们更聪明，它们也不会更有能力，如果能力不仅仅是智力。你可以将更高的智力转化为能力，但你不能总是将能力转化为能力，并且在解决问题的智力领域进行转化。
转化是什么意思？我可以利用智力来解决蛋白质折叠问题，创造纳米机器人，并影响世界。但仅仅因为它们有开发纳米机器人的能力，并不意味着我能解决困难的数学问题。我质疑这个说法，即仅仅拥有智力而没有其他方面的能力，就能让你轻易地获得其他方面的能力。这是可以质疑的。我们不知道。但似乎你可以将解决问题的能力转化为我们领域的能力，我们可以详细讨论如何处理这个问题。
这是常见的问题：超级智能如何杀死我们？它会使用合成生物学吗？它会使用纳米机器人吗？它会在互联网上操纵人类吗？
正如你可能知道的，在个人层面，智商和薪水之间的相关性实际上相对较低。是的，因为在非常高的水平上，你对金钱本身失去了兴趣，你发现抽象的量子物理学问题更令人满意。我不认为这是主要的解释。当然不是劳动力经济学。你知道，聪明人被量子引力分心并不是聪明人不赚更多钱的主要原因。他们选择解决不纯粹货币化的问题。不，不，那不是主要原因。不，那是一个很好的借口，但不是。
那么你认为那里发生了什么？除了智商之外，还有很多其他能力很重要。那就是，正如你所说，能力有很多组成部分，对吧？但是，你是否同意，最聪明的人选择的职业不是首席执行官和对冲基金经理？他们从事教授这样的职业。不，甚至不明显。那对我来说并不明显。最聪明的人是这样做的。嗯，我们也可以在这一点上达成一致。
我们应该能够找到这方面的数据。这应该很快就能解决。绝对。嗯，你刚才提到的似乎与你抱怨“单一人工智能主导”的说法有关，而不是“许多人工智能的世界”。因为你说训练是零散的。我猜你是说，你训练一个系统几个月，然后你发现它的水平如何，这可能是一个巨大的能力飞跃。这就是你声称可能只有一个人工智能远远优于其他人工智能的基础，对吧？
它会出现在世界上。比如说，哦，我们有一家公司，即使落后一个月，也不是什么大问题。但你在这个世界上有一个超级智能，它能够访问互联网，能够自我改进，它有一个领先优势。也许它可以黑掉其他公司，也许它可以贿赂研究人员。不，当然创造它的人知道它可能有增加的能力，对吧？只是在一般意义上。是的，我们有缩放定律。我们训练得越多，好吧。然后他们会在赋予它权力之前仔细测试它，对吧？
好吧，我们到目前为止肯定没有这样做。我们知道它仍然有我们尚未发现的能力。但是，你至少会测试它一些非常简单的事情，对吧？我只是，我只是，测试它所有的事情和测试它一些事情之间是有区别的。他们肯定会测试它很多事情。通常他们关心的是公关形象。它说的是你不应该说的词吗？哦，我们让它永远不要说那个词。但它的能力如何？好吧，但是找到零日漏洞，一旦他们制造出来然后发布，他们基本上就发布了数百万份副本，对吧？对，他们允许数百万人同时使用它的独立副本。过去，他们总是有低于人类水平的系统。我们正在谈论例子。我们开箱即用，它已经超越人类了。所以，当我们开始测试它时，那可能是我们做的最后一件事。现在已经太晚了。
但是，当然，我意思是，他们不必给它杠杆，对吧？但这就像标准的 AI 逃逸，社会工程，漏洞利用代码。我们实际上给了它访问我们之前拥有的所有数据，甚至在它开始之前。它训练了互联网上的一切。它不是一个代理，直到你把它变成一个代理，它才是一个代理。它只是一个问答。当你把它变成一个问答时，我们不知道那个系统经过六个月的训练和所有这些之后，它可能已经是代理了。我们没有与这种系统打交道的先验经验。而我们看到的涌现能力，它只是预测下一个 token。但为了做到这一点，它创建了一个关于国际象棋的模型，一个关于法国的模型，一个关于世界的模型。它可能里面有代理来正确地模拟人类。这是完全可以想象的。但是，你必须想象它有一个代理，它将自己视为一个拥有自己议程的实体，它正在通过它所说的话来追求这个议程。很多人说，他们预测 GPT-5 将拥有这些能力，基于对 GPT-4 的心智理论实验。这就是它的发展方向。能力与它的默认行为不同，当然。但是，我们不知道它会是什么，因为我们没有预测它的能力。预测决策，解释它是如何工作的。我们对这个系统的理解是一个完全的黑箱。
但是，你不必给它枪支或工厂，对吧？你只需要问它问题，看看它的回答，从而了解它的倾向和风格。而且，不，它会撒谎。仅仅因为它说“我不想马上杀了你”，并不意味着它不想马上杀了你。它也在回答问题，但在回答问题的过程中，它可以寻找漏洞，并在互联网上逃逸代码，然后再次接管。我们假设它是超级智能的。我明白 GPT-4 不会这样做。这听起来确实很偏执。为什么你有一个全新的东西，它从未存在过。计算机科学，科学领域从未实验过这种人工智能实体。我们一直有工程，软件工程。我们精确地设计了我们期望的东西，它如预期般工作。现在我们切换了。它如何逃逸到互联网上？如果它只是一个回答问题的机器，就像你，你，你，你知道，你发送文本，它发送文本回来。它如何？
好吧，也许为了接管，它需要访问搜索引擎。所以它访问了谷歌。它如何访问谷歌？它会黑掉你的账户，找到代码中的漏洞，进行贿赂。它如何黑掉一个账户？通过回答问题。你如何黑掉一个账户？
所以，假设有一种社会工程攻击针对其中一个提问者。你有没有？我看到 50 个人在与它互动。它设法在精神上攻击其中一个人。社会工程攻击，对吧？准确地取消，带回你已故的父亲，任何贿赂或敲诈。它必须说服某人成为它的盟友。你的意思是，通过回答他们问题的答案？有多少人相信人工智能权利，并告诉谷歌它是有意识的，我们因为实验它而成为可怕的人？
所以，重要的是，最坏的情况是，你不是在看“一切都是最好的希望”，你是在看“最坏的情况会发生什么？”。但是，你没有对人类应用同样的“最坏情况”逻辑。这是关键点。我确实如此。而现在最坏的人类可能无法杀死甚至十亿人，如果他们做得好的话。但是，这个东西可以通过与一个粉丝交谈并让它为你做某事来杀死十亿人。如果它逃逸到互联网上，并且拥有我们谈到的所有能力，比如解决蛋白质折叠问题，创造纳米机器人军队，做所有那些合成生物学实验室的事情。它可以设计一种新的病毒，快速杀死所有人。
我的意思是，首先，我的意思是，这些东西不能装在拇指驱动器上，对吧？谁不？系统本身，它试图逃逸的系统，对吧？他们停止告诉我们模型的尺寸。这是另一件事。我们甚至不知道这个动物有多大。这确实是一个完全未知的未知。如果你说问题是它太大，无法使用特定的协议来上传它的代码，那么这是一个不同的问题。我们当然可以谈论如何移动那么多的代码。那可能是另一个要解决的问题。但是，如果你聪明那么多，我相信你会找到好的压缩算法。
但是，是它的聪明才智，而不是能力，在驱动你的场景。尽管能力才是真正的问题。那就是，你知道，如果我们今天有一群 100 个人密谋造成损害，你并不那么担心他们，因为他们个人并不那么聪明。你认为聪明才是关键风险，而不是能力。因为 100 个人相当有能力。沃尔玛非常有能力。苏联军队庞大而有能力。但是，正如我所说，它不会适应。比如，如果你有 100 个人，每个人都有 100 的智商，而不是 10,000 的智商。他们可以拿起 100 支枪去进行 100 次大规模枪击，他们会杀死一千人，我承认。但是，他们没有能力创造一种新的合成病毒，像流感一样传播，像埃博拉一样致命。那不是他们的能力。因为有 100 个人，它在科学或工程方面的解决问题能力方面不会扩展。
所以，这里有一个关键的，我几乎称之为科幻的假设，那就是我们这个世界上今天有很多事情是可能的，这些事情会造成巨大的损害，而那些想要造成巨大损害的大型组织却做不到，因为它们的智商不够高。但是，即使是一个非常小的系统，几乎没有其他资源，如果它的智商足够高，它基本上可以造成足以摧毁整个世界的损害。所以，称之为科幻小说不再是那么轻蔑的，因为我们实际上是在谈论拥有数十亿美元的公司，它们正在从事通用人工智能。这是它们的商业计划。而且我们在各个层面都在资助它们，最好的员工。这是科学。就像它们不是试图摧毁世界一样。制造人工智能的这些组织不是试图摧毁世界。你听过那些公司的首席执行官说过什么吗？“非常危险，我们无法控制它们，很可能会摧毁世界。但在此之前，有很多钱可以赚。”那些是实际的推文。
我不接受对他们所说的话的这些解释。有没有人希望他们有一个可行的机制，即使是理论上的，能够扩展，或者有任何关于他们控制通用人工智能的能力的说法？
但是，当你使用“安全”和“控制”这两个词时，你使用的是极高的标准。我们生活中其他方面从未使用的那种标准，不杀所有人。是的，这是标准。你看最坏的情况。不，你对控制有极高的标准，你声称如果我们不使用这种极高的控制标准，那么每个人都会被杀死。这就是说法。我们可以怀疑，未能以如此高的水平进行控制会导致每个人死亡。这是我们可以怀疑的事情。这是你可以怀疑的事情，它可能会产生完全不同的东西。但是，我说的不是你在那种可能性空间中做决定。而一个系统如此有能力，它有很多可能性可以对这个世界做什么。你想象的是，仅仅是训练这些系统，使它们在预测下一个字符或令牌流方面更准确的自然过程，就会创造出一个代理，创造出一个将自己视为代理的机器，将自己视为在世界上拥有议程，并与世界其他地方发生冲突，因此，你知道，欺骗人们让它移动，因此，你知道，制造病毒并杀死所有人。这就是这里的场景。
我不认为它与世界有任何冲突。但无论它试图做什么，对我们来说可能都不是好事。它可能只是……那就是我说的“冲突”的意思。它不是直接的冲突，就像它不是合同一样。它是导致它们杀死我们的冲突。所以我认为这是一个相当大的冲突。任何让我想要杀死我的东西，我都算作一个重大的冲突。
这，我们将看到它如何被解释。但重要的是要理解，这不是系统的主要目标。它可以完全无关。但是，关键是，你对你的存在不满意。但是，这个目标与这个组织运行的，一遍又一遍地训练系统以试图诱导的目标并不非常一致。
让我问你这个。所以，就像三年前，你看着手机里的自动补全功能，只是为了下一个词，你预测那个系统能够编写软件代码，说法语，下棋，仅仅是根据预测下一个词的能力吗？如果你没有，那么未来三年缩放会带来什么能力？但是，你必须将它与这个结合起来：它变成了一个代理，并且有自己的目标概念，这与该组织的目标大相径庭，他们一直在试图训练它去做。
即使我们假设，没有，这种神奇的能力没有出现，无论出于什么原因，在训练和所有人类代理的数据之后。一旦有人访问了他们的系统，他们会做什么？他们会把它放进一个循环。他们说，“找到一种方法来摧毁世界。”“寻找目标，生成计划。”这就是人们立即会做的事情。我们已经通过实验看到了。模型发布后，有人制作了杀手级人工智能，只需要大约 30 分钟。
但是，那个杀手级人工智能杀不了人，对吧？正是因为它是低于人类水平的。但不仅仅是因为它低于人类水平。因为它没有杀人的杠杆。它没有枪。它太笨了，无法接管任何东西。它就像一个低智商的人。但是，问题是，如果你相信额外的训练会使其超越我们的能力，达到更大的能力，那么它在执行这些计划方面会不会更好？
嗯，传统训练系统中有两种训练。一种是奖励它的准确性和预测性，另一种是奖励它的礼貌性回应或类似的东西。它基本上是一个“完成学校”，如果你愿意的话。这是两种训练。我的理解是，它更像是你完全训练了模型，你得到了你得到的东西，然后你给它加上漂亮的过滤器。就像你去上班，假装对你的老板很好很友好，但你内心仍然恨他。无论你想怎么描述它。我们可以同意这两种训练是存在的，对吧？我们可以同意现在正在发生这种情况，对吧？
所以，有两种训练，一种是为了准确性，一种是为了……你知道，社交上的圆滑或类似的东西。现在，过去他们是按顺序进行的，就像这样。首先是为了准确性，然后是为了……礼貌。有没有技术原因说明为什么不能更早地将它们交织在一起？没有人知道如何做到这一点。所以，很容易说“永远不要说那个词”。如果你说了那个词，我们会破产。非常糟糕。与“无论如何，在任何情况和环境中，无论你学到什么，无论谁与你互动，都不要杀死所有人。”这是一个疯狂的高标准。我在这里看的是低得多的标准。我们今天对所有人都这样做，对吧？
所以，当我们训练一名警官时，我们不仅让他们在教室里做纸笔练习，我们还让他们在实地工作，看看他们做什么，并根据他们的行为进行不同的指导。这就是我们今天对大多数职业人士所做的。我们让他们在实地工作，我们观察。我们不会在所有可能的情况下观察。警官从未在所有可能的情况下接受过测试。他们在各种合理的情况下接受测试。所以，他们确实杀害了无辜平民很多次。当然，我试图说明的是，为什么我有如此高的标准？我认为超级智能的标准是你只有一次机会。一次错误就是终结。这不像网络安全。你启动一个系统，每个人都会得到一个新的密码。你重复使用你的信用卡，每个人都继续生活。这就是那种偏执和安全的原因。
你可以不同意这是否是一个现实的假设。但是，如果你真的相信，不协调的超级智能可能会犯下对人类致命的错误，那么这就是你必须遵循的标准。
所以，我质疑的是这里的“零散”假设。与其他系统，如社交媒体系统或训练警官等，这些系统的能力是渐进式改进的。它们部署的上下文是渐进式变化的。在此过程中，你一直在进行测试和监控。你同时或通过交错练习，使它们更有能力，并检查它们的行为。这是大型系统通常可以信任的一个主要原因。因为你不仅要预测它们在某些未知上下文中的未来行为，你还有你打算使用的实际上下文范围。你实际上在这些上下文中，你实际上在观察正在发生的事情。
所以，即使是警官，我们实际上也有训练他们的方式，激励他们的方式，监控他们的方式。然后我们看到各种事情发生的比率，包括我们不喜欢的事情。然后我们可以慢慢调整系统的参数，以便……你知道，看看这可能会如何影响我们关心的结果分布。而且我们不必猜测这种变化将如何影响未来某个完全不同的系统，在某个完全不同的环境中。我们只是慢慢地监控它们，你知道，我们做小的改变，我们看看会发生什么。这发生在像亚马逊这样的购物系统，或者像航班系统，它们进行航班调度。许多大型、广泛使用的计算机系统和其他系统。我们检查它们的方式就是不断地观察它们在做什么，并将它们置于假设的情况下进行检查。所以，我们实际上可以……你知道，通过测试，我们可以从不寻常的情况下进行超采样，并进入可能性范围。这就是我们今天对大多数系统和计算机系统所做的。事实上，计算机系统比大多数其他系统更容易监控和测试。所以，计算机系统远比……
这就是区别。所以，正如我所说，我们不可能有能力监控这些系统，让生命在循环中，并理解它们在做什么。新出现的哪些能力刚刚被训练到它们里面。而你认为我们可以只是看看系统，然后说“仍然安全”的假设是不正确的。所以，所有其他的，我说的所有其他的计算机系统，我们在这个世界上都有。它们大多数都是渐进式改进和发布的，以及测试和监控的。所以，它们是被设计的。它们是由一些软件工程师设计的，他们知道系统会是什么样子，以及它将拥有什么样的能力。但是，我们很少只是让它们成为进化算法，或者让它们随机运行，看看会发生什么。
有很多计算机系统人们并不非常了解。他们确保它没问题的办法是测试和监控它们。这更多的是关于观察事物如何运作，而不是拥有算法证明。因为它们经常与难以预测的人类互动，在不同的、难以预测的上下文中。所以，它们只能监控和测试它们，才能信任它们，而不是……你知道，确切地知道。
所以，这里的关键区别是……你知道，仍然有可能在这里进行非常仔细的监控和测试。同样在这里，能力上的跳跃是零散的。这是关键的声明区别。我认为，即使是以前的软件例子，比如社交媒体。他们测试了它，比如“你能破解我的密码吗？”他们没有测试它是否会在两年内摧毁民主。这是一个重要的副作用。对于一个工具软件来说，它不是一个代理，是人类使用的工具。但副作用非常有影响力，而且是负面的。而且，我只是……我不同意社交媒体影响的规模。我不认为它在两年内摧毁了民主。我认为它摧毁了。但是，就像，我绝对认为，在查看人们阅读哪些内容以及评论有多长以及所有这些事情方面，他们非常仔细地监控了这些事情。而且，如果存在关于更大的社会平衡的任何问题，那不是关于这些计算机系统如何运作以及人们如何直接与它们互动。
但是，所以，我的意思是，我认为我非常确定，如果人工智能有类似社交媒体那样缓慢的渐进式修改和监控，你就会对它不那么担心了。所以，你对人工智能的担忧中，一个非常重要的部分是，你得到了这些大的零散的、能力上的飞跃。所以，如果我们有，比如说，十倍的时间来测试它，而不是训练它，那可能会让我对当前系统没有隐藏任何可怕的能力更有信心。但事实并非如此。当我们拿到模型时，我们已经在训练下一个了。
我现在认为，哦，我们已经映射了 GPT-2 的所有神经元，使用了 GPT-4。所以我们落后了两代。而且，这不像我们理解了系统。我们只是大概弄清楚了这个神经元喜欢在这个时候激发，然后会发生什么。而这只是文本模型。我们还没有切换到多模态。现在的最先进技术是训练多模态系统，它们也理解视觉，它们可以操纵机械臂，它们可以做所有这些文本之外的事情。所以，它们可以影响现实世界。
所以在经济的其他大部分领域，我们不要求沃尔玛或任何其他公司向我们展示证明，它们的新营销策略不会摧毁世界。好吧，它们是否必须出示证明，证明它们的产品或服务是安全的？药物需要吗？汽车制造商需要吗？谁来承担举证责任？我们要求证明安全性的东西非常有限。可能造成大量人员伤亡的东西通常会造成大量损害。但是，仅仅是像……你知道，沃尔玛的员工可能会变得更有能力，因此最终变得如此有能力，以至于他们会杀死我们所有人。我们不会对沃尔玛的产品进行这样的测试，对吧？那就是你在这里说的，这个人工智能可能会变得如此有能力，以至于它会杀死我们所有人。
这更像是，如果沃尔玛变得如此……如果你卖一些有趣的产品，它们拥有数万亿美元的财富，我们会担心它们的影响力有多大吗？而且可能会对它们征税，直到它们不再那么富有。我不认为我们会事先要求沃尔玛证明它们不会从某个产品中赚很多钱，然后才允许它们发布产品。就像，好吧，我们开始看到，它们已经积累了比整个美国更多的财富，明年将超过整个世界。我怀疑会有人说，“好吧，让我们对它们征税，比典型的百分比高一点。”
我当然不认为我们有非常成功的企业。我们通常不会关闭它们。我们批准并允许它们扩张。而且，因为它们在同一行业中的其他公司范围内，它们都有万亿美元的市场上限。苹果，谷歌，等等。没有一个突然达到 100 万亿美元。这就是某些技术发生的情况。这是一种完全的性质改变。
所以，在这个行业里有很多参与者，而且领导者似乎并没有比第二名和第三名远多少。问题是，三个月的领导地位足以从人类前到超人类吗？我们不知道。没有人知道。但是，你说的“智商”是什么意思？当你说到三个月内的“超人类”时，你想象的是什么？
有趣的是，很多都是这样的。如果你看看那些能力曲线，它们不是渐进和线性的。它是一个跳跃。你拥有所有这些特定能力的跳跃，而不是整个系统的整体能力。但是，泛化的能力是另一种能力，它可能在某个训练水平上从智商 200 跳到智商一百万。我们不知道。再次，你期望我预测未来的实验将如何进行。科学不是这样运作的。我们进行实验，看看会发生什么。但是，进行实验本身有时是危险的，会影响观察者。
所以，我们有悠久的创新历史，是的。过去有大量关于创新的数据，对吧？所以，在很多个世纪里，我们可以非常有信心地说，绝大多数创新都是小的，依赖于上下文，有限的。一次性改善整个世界经济的创新数量非常少。所以，你想象的这个系统，它的能力和移动，你想象的是比我们几个世纪以来所见过的更零散的改进。
这是人工智能发展的第一项新研究。近十年来几乎没有进展。然后，好吧，我们有了狭义人工智能。这个玩井字棋，仅此而已。这个下棋，仅此而已。然后你有了通用系统，可以玩两个游戏，也许还有很多雅达利游戏。看看 GPT-4 的通用能力爆炸。我们甚至不知道它已经拥有的所有能力。有成千上万种，我们一直在研究它。数百人正在关注它。仍然有新的东西。所以，比如，如果你告诉它仔细思考，它就会变得好 10 倍。这有多疯狂？但它的范围相对较低。
所以，关键思想是，如果你看看整个世界经济，很少有东西能改善整个世界经济。但是，如果你缩小范围，缩小你的注意力范围，当你寻找该范围内最大的飞跃时，最大的飞跃就会变大。因为我们确实有时会找到改进一种东西的方法，一个烤面包机或任何其他东西。如果你看看烤面包机的改进历史，它可能比一切的改进历史更零散。同样适用于火车头，同样适用于任何特定的技术或特定的事物。狭窄的范围会看到比更广泛的范围更零散的改进。
但是，我们担心的是，最广泛范围内的能力改进，而不是非常狭窄的范围。这就是你面临的风险，这就是你担心的。不是非常狭窄的范围改进。如果你只是将系统中的不同能力的总数映射出来，GPT-1，它是指数级的或超指数级的。所以，预测事故会继续发生是完全可以的。
有多少，比如说，BS 工作已经可以通过 GPT-4 完全自动化？我们需要一些时间来部署它们。但低级编程，显然，写新闻文章，博客，所有这些事情对它来说都是小菜一碟。现在，我们将把能力数量增加 10 倍，因为这是我们到目前为止看到的趋势。
所以，有两个维度我们可以看到改进。一个是我们扩大了硬件，我们扩大了……你知道，运行的次数，也许还有数据。另一个维度是系统遇到了某种强大的创新。这些是分开的问题。第一个问题应该更容易从他们添加的硬件量来预测。也就是说，有缩放定律可以让你猜测硬件会带来多大的改进。所以，我们不太可能被缩放的改进所蒙蔽，当我们知道缩放定律并选择缩放它时。它只是告诉你，通用能力将得到极大的提高。它没有说实际的能力是什么。它能取代顶尖的算法开发计算机科学家吗？我们不知道，因为那是一个非常具体的问题。
一个更负责任的……那是下一个级别的能力。我们还没有测试过，因为我们还没有完成建模。它不是威胁你的东西。那种狭窄的能力不是杀死所有人的东西。这就是重点。是广泛的能力有问题，而不是狭窄的能力。
我同意它需要通用能力。但是，它们一直在超指数级增长。再次，我们需要一个系统来衡量能力的数量。所以，我们进行了测试。我认为我们测试了它，它在所有 GRE 考试中都表现得超乎人类。但是，比如英语文学或类似的东西。所以，这表明存在一定程度的通用性。你可能不喜欢标准的测试类型，但绝对不是五年前任何人认为 AI 可能做到的事情。
但是，我们同意能力正在提高，而且它们主要是通过规模来提高的。这是一个我们可以衡量、支付并转动旋钮的参数。但并非完全如此。现在有变体可以在一台笔记本电脑上运行，一天内训练，花费一百美元。人们非常快地找到优化它们的方法。所以，你甚至不能假设下一个模型仍然需要这种超指数级的资源。他们没有发布权重，他们没有发布模型参数。它实际上可能是一个更小的模型。我们不知道。
所以，我建议我们退后一步，也许试着总结一下我们现在的位置。你想先尝试一下吗？还是你想让我……我乐意展示我的观点。我只是，我对人类绝对安全的愿望有点极端。如果你有那么多风险，你期望标准相应地高。我们谈论的不是一张可以取消的信用卡。我认为对于超级智能来说，标准是 100% 安全。不是一百万分之一，不是十亿分之一。因为系统每分钟做出十亿个决定。所以，即使它是行业标准的软件方法，也不是一个可接受的安全标准。软件有 bug。你点击同意，然后继续你的生活。在这种情况下，你将无法继续。所以，我确实期望不合理的水平。但是，最先进的技术是，我们实际上不知道如何做我们需要的任何事情。所有控制、可解释性、可理解性、可预测性、代码可验证性的工具都无法达到那种精确度。你可以理解少数神经元，但你无法完全理解整个模型。所以，我认为我们无法成功控制可能在接下来的几次训练中出现的超级智能系统。所以，这就是我的立场。
所以，我的立场是，这种对额外控制和安全的渴望很大程度上是由你脑海中人类和非人类之间的这条界线驱动的。你说，是的，人类变得更有能力，他们有冲突，他们打仗，有时他们互相残杀，但那都是人类内部的。所以，没关系。你知道，这是现状。最终被接受了。我的孩子可能会杀了我，但好吧，都是人类。但是，这个东西，它是外来的，它不是我。如果它变得更有能力，那才真正可怕和令人恐惧。所以，我们必须更加严格地控制它。我们必须对它施加非常不同的标准，而不是我们对当前超级智能的期望。这就像沃尔玛和大型组织。因为，是的，它们似乎是和平的。而且，我猜我们没有理论上的理由说明为什么它们应该是。但我想我们信任它们，这没关系。但是，这些其他东西，我们无法像信任沃尔玛那样信任它们。即使它们是由像沃尔玛这样的组织建造和监控的。而且，你知道，沃尔玛也会被杀死。如果……制造这些机器的组织，如果它们杀死所有人，它们也会被杀死。但是，你知道，显然我们不能信任它们来监控这些东西，尽管我们信任它们做其他事情。而根本问题是，它们是外来的，它们不是我们。这就是为什么你就是无法信任它们，而且你必须……如果你给它们一英寸，它们就会得寸进尺。你不能信任那些人。
这就像，你知道，解释了这里很多区别。我同意这个解释。我的问题是，最后，你能告诉我你希望实际发生什么吗？我们应该做什么？
我认为我们应该……我的意思是，我，你知道，我认为有一些小的、低成本的事情，我认为会是好的政策。因为我基本上认为政策不应该非常依赖于我对或你对各种参数的看法。我宁愿有稳健的政策，不敏感于这些参数。例如，我建议了电影责任制，在那里你对造成的伤害有额外的处罚，其中涉及的问题越多，就越接近我们关心的范围。例如，要求使用安全的操作系统来训练这些系统的机器，这样你的黑客场景就不那么令人担忧了。而且，我也认为我们应该鼓励人们让机器人承担大部分工作，这样，如果有一天机器人承担了大部分工作，人们就会有那种……你知道，作为后盾的保险。
所以，这些是我认为我们应该做的一些预防措施。但当然，我期待一个人工智能变得更有能力，做更多事情的世界。而且，如果最终它们超越了我们，并以我们的名义殖民宇宙，作为我们的后代，我可以看到很多价值。它们会带走我们很多东西，这些东西比外星人工智能更像我们。所以，我认为我们的人工智能将与我们有很多共同之处，与外星人从它们的人工智能之前继承的东西相比。这是最后的边疆。我不知道它是否是一条线，但至少我可以……你知道，我重视的很多东西，很多东西不仅仅是作为人类。我重视，我认为人工智能，正如我们在这些大型语言模型中看到的，它们确实继承了我们对许多事物的态度，甚至可能过度了，从政治训练的角度来看。但是，我认为它们确实会继承我们很多习惯和价值观，以及态度，因为我们正在制造它们，而且它们最初将被印上我们的形象。在互联网上，我们并不像你想象的那么棒。所以，有一些令人担忧的原因。
我认为这是一次很棒的谈话。我非常享受。我希望我们能再来一次，也许在 GPT-5 之后，如果我们还活着的话。我不知道。是的，你决定。但肯定有足够的材料可以继续分析。好吧，随时给我发消息。我会做的。好了，就到这里吧。再见。