Transcription
我一直担心罗曼会因为这个该死的家伙在这里录音而起诉我，哦，这是，这是，呃，好的，视频暂停，它，它，它暂停了两秒钟，但让我们看看，好的，我订阅了，太棒了，所以我要关闭尽可能多的其他东西，只是为了三重检查并简化我们在这里的带宽需求，[音乐] 两秒钟，然后我将，好的，看看我能在这里关闭什么，所以只是，以防万一，有任何方法可以将视频速度提高半秒，嗯，好的，好的，我认为我们处于一个好位置，所以，又是罗兰，正式音频还没有弹出，我要开始录制我的播客，如果你不介意的话，你能为你们两位做个快速的音频检查吗，罗曼，也许说你最喜欢的冰淇淋口味，我喜欢香草冰淇淋，真的就是喜欢它，他是个普通人，他是个普通人，罗科，你呢，呃，回形针口味，哦，抱歉，抱歉，巧克力，巧克力，嗯，哦我的天，我，我，是的，不，不，我们没有得到那部分，你没事，没人会知道，没人会知道你喜欢那种美味的回形针口味，好的，嗯，所以先生们，我们将这样做，只是为了让你们俩都知道，我将单独录制这个节目的介绍，它将介绍你们两位，介绍主题，而且它将非常专业和好，我会在节目结束后这样做，我这样做有两个原因，它将为你节省五分钟，让你回到工作岗位，或者你知道，因为炎热而死去，或者你正在做的任何事情，而且，它将让我可以在介绍中突出节目中最有趣的部分，而且我直到我们实际录制它之前都做不到，所以，这就是我为什么在之后这样做，所以当我们实际开始时，希望罗科仍然能听到我，当我们实际开始时，我将做一个简单的，我们将让他进来，所以当我们开始录制时，我只是，一切都很好，我们将在罗科之后录制介绍，所以我将做一个简单的五四三二一倒计时，我将欢迎你们来到节目，你们都可以说你好，届时我将向观众介绍格式，然后我将把事情直接交给罗曼，它将非常快速和流畅，我们将直接进入核心内容，我们将从中获得乐趣，这些对话的方式，无论我是在和雷神公司的人工智能主管谈话，还是和你们这些像伙伴一样的人谈话，它就像两个人一边喝咖啡一边谈论他们感兴趣的事情，真的就是这样，所以，它将是一个非常非常流畅简单的对话，罗曼和我实际上就在几周前亲自做过这个，所以，我们已经有点进入了这个模式，所以让我这样做，先生们，我将做我的五四三二一，我将欢迎你们两位，然后我将，我将把麦克风交给罗曼先生，我将用我的计时器来确保我们按时进行，所以我们开始了，五，四，三，二，一，所以先生们，罗科先生，罗曼先生，欢迎来到节目，很高兴你们两位都在这里，是的，我们很久没有在播客上同时邀请多位嘉宾了，而且我认为实际上已经很多年没有过像辩论一样的话题了，在过去的几年里，人工智能风险的讨论，尤其是在 ChatGPT 开始变得更加重要之后，我们有两个方面可以看待，所以我们的听众在这里，我们将总结一下，双方的观点，罗曼将争论人工智能固有的不可控性，罗科将谈论我们如何能够控制后人类人工智能，我们将花大约八分钟来阐述双方的立场，让它变得有趣，然后，我们将能够与两位嘉宾进行跨桌讨论，所以罗曼，我们将从你开始，你可以随心所欲地发表独白，然后你和我可以一起阐述，但请给我一个快速的版本，你写了，你知道，关于这个话题的十几个该死的论文，为什么你怀疑通用人工智能是固有的不可控的，请给我你的总结，好的，我特别谈论的是未来的超级智能，而不是我们今天的人工智能，也不是下一个 GPT 版本，而是一个系统，根据定义，它在所有领域都比我们所有人聪明，我们现在可能已经进入了人工智能安全研究领域十年了，有大学出版物，会议，但到目前为止，没有人发表过任何东西，证明，甚至没有严谨的哲学论证，说明为什么他们认为问题，无论他们称之为对齐，安全，友好，都不重要，它实际上是可解决的，所以从理论上讲，没有太多东西，从实践上讲，我也不知道有谁声称他们有一个解决方案，能够扩展到任何程度的智能，超级智能，等等，所以我对那里发生的事情很感兴趣，我试图找到所有的博客，所有的帖子，没有什么正式的，人们分享他们的直觉，他们非常确信，当然，它是可以轻易解决的，或者不，绝对不行，但没有人在这里做任何正式的工作，所以我想填补一个空白，我开始研究我们可能需要什么工具来控制这样的东西，来控制超级智能，我们想要拥有的一些属性，我们想解释它是如何工作的，解释神经网络，我们想能够预测该系统的某些能力，行为，不仅仅是最终目标，还有它的工具性目标，所以当你需要的时候，智能助手的决策的可预测性，你需要能够验证生成的代码是否与系统的设计相匹配，我们需要能够以不含糊的方式与之交流，人类语言非常含糊，我们得出了大约 50 个不同的不可能结果，我们进行了调查，并发表了大约十几个论文，单独的论文，以及一篇更广泛的、涵盖所有这些论文的综述论文，它刚刚被一所非常好的期刊《计算调查》接受，所以似乎对于我们期望满足的工具来说，这些工具对我们工作的效果存在限制，或者我们甚至可以拥有什么工具，所以显然你可以解释这些系统的一些东西，显然你可以预测某些行为，但我认为网络安全和超级智能风险安全之间的主要区别在于，在网络安全中，你可以重试，你给他们一个新的密码，你重新发行信用卡，没关系，而对于 X 风险，我的假设是你只有一次机会，你必须第一次就做对，如果你的所有工具都存在累加的缺陷，那么总体而言，你不太可能第一次就做对，或者真的做对，因为我们不是在创建一个静态的安全系统，我们正在创建一个永动机，就像永动机一样，有很多论文发表，很多书籍，甚至一些专利，但我们知道我们永远不会成功，这只是不可能的，这就是我的主张，我很乐意被证明是错误的，如果我带着确信走出这场辩论，即我们绝对可以控制未来的超级智能的、神一般的机器，那么这是一次成功的播客，好的，明白了，我能，我能和你一起探讨一下吗，我们还有大约四分钟，罗曼，在你这边，所以，我想有几件事，我想有一些人，他们，他们希望你被证明是错误的，所以，你知道，人类可以永远保持他们在食物链顶端的地位，也许有一些人希望你的立场保持不变，这样能力就可以远远超出人们，但无论如何，让我们试着把立场本身挤出来，你在这里提到了一个类比，这个永动机的想法，你知道，它应该永远不需要任何新的输入就能永远运动，我们知道它注定会失败，这有点像人工智能安全可能会失败的类比，我看到人们使用的其他类比是这样的想法，好吧，假设你是一只老鼠，你有可能预测一个人类的行为吗？你知道，这合理吗？怀疑你会控制他们，他们会在你的指挥下，再次，这是一个粗略的类比，有没有办法更严格地，更科学地，更逻辑地处理这些类比，或者类比在很大程度上就是你所处的地位？我是如何对待那些真正想变得尽可能严谨和逻辑的人的？这就是我在论文中试图做的，例如可解释性，你可以谈论不同类别的机器，我们有基本的自动机，它们可能甚至没有记忆状态，我们有带记忆的机器，我们有不同类型的机器，图灵完备的超计算，我们知道较低级别的机器无法做某些事情，更高级别的机器可以做到，这就是不同复杂性类别的要点，所以你可以证明，好吧，对于具有给定记忆、给定计算速度的人类，甚至对于整个人类来说，我们能理解的东西都有上限，这对于普通人来说显然是真的，我们举例说明了进入麻省理工学院的入学条件，因为我们知道不是每个人都能在量子计算课上表现好，但即使是智商为 200 的人，他们能理解的东西也有上限，对于整个人类来说，我怀疑存在上限，纯粹从数学上讲，有些问题足够复杂，以至于你可能没有足够的时间来审查证明，也许还有其他限制，但存在上限，这些与理解大型语言模型行为的复杂性有关吗？也许还没有得到充分研究，直觉上，我认为我能理解的东西显然有上限，很多时候我面临的情况是，它超出了我的能力，这不是一个普遍的限制，但在许多特定领域，所以为什么我们认为我们永远不会达到理解人工智能的这种复杂性上限呢？如果我这样概括你的观点，请告诉我是否可以，我想确保我在一个合适的简述中把它说清楚，在我们将麦克风递过去之前，这个想法是，你知道，而且我认为这似乎，这个论点的这一部分似乎非常令人信服，有一些想法是我们作为人类没有时间去阐述的，或者它们根本超出了我们的认知范围，我无法向一只拉布拉多犬解释，你知道，非常，埃默森散文的深层含义，我就是无法表达，或者解释共产主义与资本主义的运作方式，就是不会发生，因此，我们可以预期，在人类大脑之外，有许多这样的想法是无法理解的，你的假设是，罗曼，一个能够理解这些想象空间的外部边界的机器，我们没有这些，这将允许它摆脱任何限制，获得我们甚至无法理解的自由领域，并找到摆脱任何约束的方法，这是论点的一部分吗，还是你会以不同的方式表述，在我们递过麦克风之前？所以问题，控制问题，对齐问题太复杂了，我们无法谈论它，我们没有将其形式化或定义它，所以我想将其分解为能力，例如，你能理解系统如何工作吗？然后对于我工具箱中的每项个人能力或工具，我想展示存在限制，所以，我们有点同意，有些系统我们无法解释它们如何工作或理解它们如何工作，检查一下，看看我们可能在类似的方式中遇到哪些其他属性，因为很难将如此复杂的东西作为一个统一的整体来谈论，当然，我们可以想象枚举人类的能力空间，比如，罗曼的能力是什么？如果我要创建一个清单，那似乎很可能是不完整的，现在如果我们谈论一个超越人类的系统，那也似乎不太可能，好的，八分钟二十分钟，我们将给罗科完全相同的时间，罗科，我的好朋友，为什么不把麦克风递给你，你可以随心所欲地发表独白，这里的要点是，不直接回应罗曼，因为我们将进入这一点，只是阐述你的立场，为什么你怀疑一个能力远远超越人类的系统，将是可控的，请继续，兄弟，嗯，实际上那不是我的立场，所以我的立场，我的立场是，我们不知道，我认为罗曼低估了这个领域有多年轻，他的期望有点太高了，所以，你知道，有一些，有一些成熟的当代科学领域，比如，比如说物理学，物理学是一个成熟的领域，你对物理学有很多了解，什么是水？字面意思，水是什么？你想让我回答吗？是的，是的，天哪，水是什么？水是一种分子，水是特定元素的组合，H2O，对吗？是的，是的，是的，是的，好的，继续，不幸的是，还有另一件事，水在摄氏度下多少度沸腾？在标准常压下，告诉我，兄弟，在美国，我们测量，我们测量，我猜大约一百，一百，对吗？是一百，对吗？嗯，但是你能证明这一点而不做实验吗？证明水在 100 摄氏度沸腾？仅仅根据水的定义，你不能做任何实验，你只需要使用水的定义，以及氧原子与氢的键合，你得到薛定谔方程，你得到一台超级计算机，你能证明它在标准压力下以 100 摄氏度沸腾吗？我相信 2023 年的答案是，如果你做计算，你得不到正确的结果，它大约是 60，结果完全错误，所以是 2023 年，我们无法证明水沸腾的温度，任何普通人都可以用温度计和水壶在自己的客厅里做实验来证实它在一百度沸腾，但那已经超出了状态，在物理学中，我不是在谈论社会学或计算机科学，我是在谈论人类所知的最确定的科学，物理学，我们无法证明水沸腾的温度，我认为我们目前的期望有点太高了，我认为这是正确的，我，我四处搜索了一下，但我相信，使用从头开始的方法，仅仅使用量子力学，我们目前无法计算出水的沸腾温度，所以，你知道，我们将尝试计算我们是否可以，比如说，控制一个超级智能，纯粹从理论上来说，我的意思是，这显然是一个更复杂的问题，所以我们必须降低我们的期望，我们是一个不知道水沸腾温度的文明，我们必须去看看，你知道，我实际上认为在这个阶段，极大地开放自己的思想，去可能性，然后去做工作，做实验，然后看看会发生什么，非常重要，当然，这种实验和研究的过程本身会带来一定的危险，因为你会有某种实验室泄漏，但尽管如此，我认为这正是我们必须做的，尤其是现在，我们拥有的硬件水平相对容易管理，与，你知道，如果你只是计算一下地球上有多少晶体管，与有多少突触相比，晶体管还没有，数量超过突触，所以我们现在可以做一些实验，这就是为什么我赞成立即停止硬件进步，所以我们停止摩尔定律，停止生产更强大的系统，然后在这里玩玩，还有另一件事，你知道，过去，天空中曾有过暂时的非常明亮的星星，你知道，暂时的，一颗星星会比整个天空都亮，现在我们知道，这是一个超新星，现在我们大致知道超新星是如何产生的，基本上，发生的是有一个燃烧过程，产生压力，恒星耗尽了氢燃料，燃烧过程停止了，然后它就会坍缩，并消耗大量的引力势能，然后中心发生碰撞，然后导致它爆炸，这是对一个涉及温度、核反应、电磁场和引力以及所有这些不同力的多领域问题的巨大简化，但我们大致知道超新星是如何工作的，我们已经对其进行了分类，我们有，你知道，第一类，第二类 A，第二类 B，我们已经完成了，你知道，花了多少年研究才建立起来，不仅仅是超新星的知识，还有所有支持的物理学，一般的核物理学等等等等，我的意思是，这很多，你知道，我估计大约有 10,000 名研究人员工作了几十年，才能真正说你已经付出了顶级的努力来研究一个领域，我们离那还远着呢，在人工智能领域，我们还远着呢，我们可能只有 100 名研究人员，工作了五年，你知道，要记住，我们只有两分钟了，罗科，你的核心立场只剩下两分钟了，那基本上就是我的部分，不，没关系，没关系，必须接受，我们现在只探索了这个领域的一两个百分点，话虽如此，只是为了澄清你的立场，在我们继续之前，我可以看到你的观点，你知道，仅仅通过观察物理定律或分子本身，我们就无法理解水何时沸腾，现在，是的，这有点疯狂，但是，我想说的是，我想让你纠正我，因为我想确保听众能够理解这两种论点，我听到你说，我说，哇，这听起来对罗曼来说是个很好的论点，因为如果我们真的，如果我们非常关注你谈论的领域，男人小时，我的意思是，有多少男人小时花在了物理学上，在那种基本水平上？实验，那种基本水平上？如果我们仍然无法预测会发生什么，那么什么会让我们相信，对于一个远远超越人类的系统，会有更大的可预测性？对我来说，感觉男人小时可能无法解决这个问题，请澄清你的立场，但是，问题是，虽然我们不知道，我们甚至不知道水沸腾的温度，但至少我们去看看，你知道，我们可以，但那没关系，我们可以粗略地看一下这种不确定性，去测量它，我们测量了很多东西，做很多工程，我们可以建造，你知道，极其复杂的，热力学机器，发电厂，化学过程，我们可以建造各种东西，但是我们必须集中精力，所以也许我可以这样说，你不必了解宇宙的一切才能控制它，你知道，我们可以，我们可以很好地控制水，你家里有自来水，水被用于提供你电力的发电厂，你知道，水被用于制造你的食物和洗漱用品的化学工业，等等，尽管如此，而且我们仍然对一些非常基本的问题不了解，比如，为什么水在 100 度而不是 60 度沸腾？等等，还有其他我们无法解决的问题，所以，一种面向解决方案的工程思维，并且这种思维围绕着不确定性，可以实现比基于物理学的态度高出许多数量级的成就，你就像，好吧，我们必须了解一切才能完成最后的收尾工作，然后我们将继续前进，我确实欣赏这种澄清，你的怀疑是，是的，我们不需要了解一切，才能实际掌握它，为什么你认为它实际上是可以掌握的，假设我们暂停硬件进步，你知道，没有人继续，呃，吹嘘摩尔定律，我的意思是，这将是一个艰难的子立场，这不是一个全球治理的讨论，我们只是在谈论假设的可控性，假设这种情况是可能的，为什么，你为什么认为在十年内，我们可以控制一个具有这种能力空间的东西，它远远超出了我们的范围，就像我们对蟋蟀的了解一样，你为什么相信会有一种稳定的能力来控制这样一个系统，即使我们拥有所有这些男人小时？你的核心推理是什么？让我，让我，呃，总结一下，嗯，好吧，我实际上只想说我不知道，所以，你知道，也许我们应该非常天真地去，50/50，有一些例子，系统的例子，一个更简单的系统可以控制一个更复杂的系统，比如，比如说，你可以说，基因是一个非常简单的系统，它控制着人类，人们一生中都会制定各种复杂的计划，但实际上，这一切都是为了，你知道，基本上繁殖，我们所做的一切都是，而且那并不完美，因为正如埃利亚斯·尤特克森所指出的，我们植入了避孕套和避孕药，但尽管如此，我们仍然在某种程度上繁殖，所以，认为一个非常简单的系统，比如几个基因，可以对一个非常复杂的系统施加部分控制，而你作为人类却无法施加任何控制，这有点奇怪，所以现实中显然有一些例子，你知道，基因对人类，人类对社会，政府对军队，孩子对母亲，所有这些都是简单的系统控制更复杂的系统的例子，所以，我的意思是，先验地有一些希望，我们当然有，你已经清楚地指出了这一点，我认为，你知道，基因控制人类的想法很有趣，我也认为这里有一个论点，基因已经冒出来，基因已经通过数十亿种形式进行了激烈的筛选，才出现了你和你那该死的对生拇指，它可能会通过许多其他形式进行筛选，它可能不会是这样，一个为创造人类而建立的稳定事物，作为食物链的顶端，永远，无论如何，让我暂停一下，我将让罗曼，呃，对罗科的核心论点发表评论，你给了他一个机会来概括他的观点，罗曼，请尊重地阐述你想澄清的，或者拆解的，然后我们将让你们继续，但罗曼，请发言，说出你认为是什么，你知道，你与罗科分歧的关键所在，所以，我认为主要结论是，罗科说他不知道，我对此表示尊重，我可以对此持中立态度，这就是我的全部观点，我希望分配非零资源来确定这是否可解决，到目前为止，这都是我，还有几个人，是的，正确地决定宇宙的未来，我想要有人来解决这个问题，我想被证明是错误的，我对此会非常高兴，你提出的类比，我认为它们不完美，所以你说，是的，我们可以控制水，没错，但水的智商大约为零，左右，是的，基因可以影响你的行为，但它们不能完全控制，这就是为什么我们使用避孕套，这就是为什么有堕胎，这就是为什么欧洲人和亚洲人正在灭绝，所以这不是我们需要的控制水平，正如我所说，我们需要第一次就做对，没有错误，你当然可以影响这些系统，你当然可以在理解它们如何工作以及预测未来状态方面做一些很好的工作，我有一篇新论文即将发表，尚未发布，关于我们监控训练运行和监控部署到这些系统的能力，似乎也存在问题，我认为埃利亚扎尔，你提到了他，他说，对于 AGI 没有火警，这也说得通，我们今天有很多东西，30 年前，人们会认为这是一个全面的 AGI，但我们世界里并没有真正发生什么变化，所以像这样的事情，需要解决，我没有物理学背景，所以我无法同意或不同意你关于给定压力下随机液体沸腾点的说法，我怀疑这应该是可能的，通过良好的理解，我认为这不是物理学的根本不可能，但我一生中从未上过物理课，所以这让我处于一个位置，我认为这是正确的，而且有点令人惊讶的是，仅仅是普通水就足够复杂，以至于你无法仅凭从头开始的量子力学计算来预测沸腾点，你知道，而且我认为取决于我们使用的单位，我认为摄氏度是为零度冻结，100 度沸腾而设计的，而其他系统则有点随机分配，我的意思是，单位不重要，对吗？就像单位不重要一样，我同意，我只是说，这种奇迹，它怎么会变成一百，怎么会，哦，是的，是的，它变成一百的原因是人们出去测量了，测量了水在特定点沸腾，然后他们说，好吧，我们就把它设为 100，他们说，哦，好吧，它在这个点结冰，我们就把它设为零，但重点是，你知道，从从头开始的量子力学计算来看，据我所知，而且我查过了，而且我随时可以纠正我，如果我们错了，我们无法预测标准温度压力下水的沸腾点，即使是纯水，你知道，用纯氮气，我认为它不可预测，我们将分配它，所以，是的，重点是，如果有人发表了一篇论文说，理论上确定液体沸腾点是不可能的，那将是一篇很棒的论文，我很想看看，嗯，那是不可能的，而且，据我所知，那是不可能的，因为这只是薛定谔方程，这只是薛定谔方程，有很多粒子，你很快就会遇到组合爆炸，但是，但是它显然是可能的，它显然是可计算的，因为有一个算法，你可以运行它来回答这个问题，它只是非常非常棘手，但我认为在安全领域，问题不是由计算能力限制的，如果我们有无限的计算能力，我们仍然不知道如何做到，友好的 AI，所以工厂是一个很好的观点，我很高兴你提到了，可能是马库斯，尤尔根·史密斯·古巴和那群人，导致了 Shane Leg，导致了 DeepMind，导致了我们现在的情况，我们不是谁该受责备，我们有一连串的责任，这很棒，但你看，施密特在 20 世纪 90 年代末和 21 世纪初遇到的问题是，他们意识到，尽管人工智能领域已经发展了大约 30 或 40 年，即使拥有超级计算机，即使拥有无限的计算能力，仍然没有超级智能的算法，然后胡特提出了 AIX PSI 或 AIXI，它实际上是一个超级智能的算法，你有一个无限的计算能力，嗯，它并没有导致实际的实现，但它是一个非常有趣的理论工具，可以证明你实际上可以生成超级智能，它在理论上是可能的，而且你说得非常对，如果我给你一台超级计算机，我说你有无限的计算能力，你仍然无法解决友好的 AI 问题，这真是太糟糕了，你知道，这不像有一个算法，但它，你知道，基本上是指数级的时间复杂度，就像，不，即使有超计算，我们也没有任何想法，但是，但是，我认为这只是因为我们还处于这个领域的早期，我们可能只做了，你知道，人工智能对齐研究的百分之一，我们需要做的，很多将是经验性的，但很可能也会有理论上的，重大的理论进步，而且，我不知道它会是什么样子，你知道，我个人认为最有成效的研究方向，我想做的，更多的是经验性的，因为我们有海量关于人类文明的经验数据，你知道，它是如何发展的，以及文明的价值观和功利主义是如何变化的，如果你能用现代人工智能对其进行分析，你可以做很多好事，没有人做过，你知道，真的没有动态功利主义领域，甚至没有，你知道，问历史上的假设性问题，比如，1913 年可以做什么来阻止第一次世界大战？我们没有，没有回答这个问题，没有人试图回答，这很重要，因为它对我们的文明至关重要，但没有人知道，所以历史学家无法回答反事实问题，我认为这是一个相当糟糕的状况，所以，是的，我的意思是，我，我想走经验主义的道路，但也会有理论上的进步，对我来说，罗科，坦率地说，我将把这个传回给罗曼，但是，如果我们不能，如果我们不能看看物理定律来确定水沸腾的温度，那么我认为，从历史书籍中汲取历史，以文本或图片的形式，你知道，以扫描黑白照片的形式，我不知道我们是否能从中获得关于权力宏大动态和世界运作的真相，从那方面来说，似乎有些不言而喻，我们无法做到这一点，我想以罗曼的形式传递，并尝试总结，罗曼，罗科的立场是，只要我们有足够的这种对宏大尺度和这些更严格事物的研究，我们就可以从我们所做的百分之一的人工智能风险，发展到更高的百分比，并可能维持人类在这个食物链上的统治地位更长的时间，你显然不认为那是真的，即使我们可以暂停硬件等等的进步，罗曼，你似乎相信，坦率地说，只要我们有超级智能，维持我们的优势地位是非常不确定的，而且可能注定要失败，你能解释一下为什么吗？罗科阐述了为什么，嘿，如果我们给我们更多的时间，可能会有一些可控性，你认为的主要论点是什么，请？所以，让我做一个可能具有争议性的陈述，罗科说这是一个非常年轻的领域，人工智能安全，可能只有十年历史，但如果你看看人工智能的历史，最早的论文是在 20 世纪 40 年代，是关于神经网络，人工智能神经网络，我当时经常说的，然后 50 年，我们随机行走，看到了令人敬畏的事情，10 年后，我们又回到了神经网络，深度学习，过去 10 年，我们取得了人工智能的进步，我不想贬低任何人一生的成就，但似乎整个领域只有 10 年的历史，而且安全领域的时间也一样，而在人工智能领域，我们从无到有，我们有了 AGI，基本上是原始 AGI，而在安全领域，我们发现了十亿种不安全地构建人工智能的方法，我们不断深入，发现更多问题，这是分形的，每一篇有解决方案的论文都是一个玩具解决方案，并解释它无法扩展，而且每周我们都会看到一个新问题，我们一直在尝试调查这些，我们停止了，现在有无数的论文只是列出了它会失败的方式，所以我认为这不仅仅是时间问题，我们刚刚收到一封呼吁再延长六个月进行研究的信，在这六个月里不会有任何发现，这不是我们正在寻找的时间范围，我们需要有稳定的进展，现在，我们知道在能力研究方面有稳定的进展，增加计算能力，增加数据，你会得到更强大的系统，在安全工作方面没有同等的进展，是的，那确实是一个非常有趣的 AI 研究，我认为有两个重要原因，为什么人们浪费了，呃，大约 40 年的研究，原因一，人们没有吸收理查德·西蒙的苦涩教训，理查德·西蒙的苦涩教训，对于不知道的人来说，基本上是，理论上优雅的方法，旨在定制如何运作的头脑，很可能会失败，但可能会奏效的是，你知道，简单的系统，只是试图运作，所以，让我延伸一下，你可以有一个系统，有人非常仔细地设计了人工智能思维的知识管理系统，以及它将如何进行推理，它将使用什么规则和逻辑等等，做很多很多复杂的，看起来像软件工程的工作，人们基本上尝试了很长时间，所有基于逻辑的人工智能方法，语义网，试图在 2000 年代后期工作，你知道，有很多人工智能方法，是基于人类的理解，我们不仅仅是理解，人类正在设计一切，就像你设计一个主题公园或一架飞机一样，我的意思是，理查德·西蒙说，实际上有效的方法将更像是，你知道，就像种植一棵树，你只是，你知道，播下种子，浇水，它就会自己生长，这有点，也许有点夸张，但这就是实际奏效的方式，所以一个问题是，我们没有，是的，他称之为苦涩的教训，因为它有点苦涩，因为人工智能研究人员喜欢认为他们会理解智能是如何运作的，因为他们是，你知道，超级智能和恒星，但实际上，你不应该打扰，你应该只是给它一个目标，然后，然后用水和大量的优化能力，它就会一切正常，基本上，你知道，实际发生的是，就像，你知道，大量的，呃，努力去精细调整特定的视觉系统，Gallican 带着卷积网络来了，卷积并不完全是那样，它只是你在 Photoshop 中做的事情，基本上，关键是反向传播，你知道，非常简单的操作加上反向传播，用水和大量的优化能力以及其他东西，就像，真的，真的强大，所以我们没有得到苦涩的教训，第二个原因是因为，即使你在 1956 年理解了苦涩的教训，你也没有真正的计算能力来利用它，所以，你知道，我们一直在原地踏步很长时间，等待固态物理学创造出足够强大的机器，我们有了它，所以，是的，我的意思是，我认为我们实际上不应该计算很多时间，甚至更糟的是，你知道，在 70 年代末的 AI 寒冬之后，有一段时间，计算成本的改善率，每美元的成本，与人们给人工智能研究的资金的退化率大致抵消了，所以，研究人员实际拥有的计算能力，从 1980 年到 2000 年基本上是恒定的，所以进步并不大，然后突然，你知道，各种障碍都被打破了，人工智能研究人员获得了更多的资金，而且有大量的追赶工作，还有 GPU，你知道，是专门的，等等，所以有了更好的硬件，我们将能够探索对齐领域，我们将能够进行大量的探索，是的，巨大的进步，在，你知道，但这需要大约十年，我认为可能需要两到三年，我不知道，但，但我想，在经过大约二十年的对齐、可控性、功利主义等方面的探索后，我们将处于更好的境地，让我把这个转过来一点，所以你似乎在阐述的是，罗科，这个苦涩的教训的想法，这似乎相当真实，我的意思是，在我看来，如果我们想想经济，经济学家的苦涩教训可能是，你无法在餐巾纸上模拟经济，你就是做不到，它会做它自己的事情，所以，对于人工智能，我们谈论的是同样的事情，这在我看来，这是自然的肥沃性，这是事物在发展和变成其他事物，你就是无法把它装起来，关于普遍的原则，这并没有让我对控制后人类智能感到更安全，这让我觉得，这种发展将远远超出我们，你似乎在阐述，这种发展将导致一个良好的结构来控制这种发展，我认为这种发展，这种宏大的自然和智能事物的宏大动态，可能对控制不利，但你似乎在说，嘿，如果我们扩大，你知道，这种控制空间，你知道，呃，测试和实验，你知道，就像一棵树，我们种植它，它就会建立，你知道，一个良好的控制森林，而不是一个远远超出我们理解的森林，我几乎听到一个似乎与你最初的观点相悖的论点，但如果你错过了什么，请澄清，嗯，我的意思是，你知道，如果你只是放任一切，让它自己发展，如果你只是说，好吧，所有的人工智能芯片，去吧，做任何你想做的事情，那么我认为这几乎可以保证人类灭绝，我不知道最终会是什么样子，但我认为这几乎可以保证，然而，如果你说，看，我们将暂停硬件一段时间，我们将给安全研究和对齐研究人员，我们不必控制其他人的软件工作，他们仍然可以做事情，但我们只是不允许硬件从今天开始有任何大的飞跃，你让对齐研究人员工作，你知道，两年，五年， whatever，做一些实验，弄清楚我们实际上在哪里，这些实验，你知道，你可以运行许多实验，看看实际发生了什么，如果我们采用这种形式的人工智能，我们采用这种形式的社会模型，然后让它，看看实际发生了什么，我们需要运行这些实验，看看发生了什么，然后，在这些实验之后，我们还将有更好的方法来实际控制系统，所以你有机械能力，你有宪法人工智能，而且还将出现一系列其他想法，这些想法将使人工智能系统更具可控性，更具对齐性，然后我们可以去测试它们，所以，把它想象成这样，如果你是一个农民，你可以种植很多不同的作物，测试它们，看看什么有效，然后有选择地种植最好的，然后一直这样做，直到你有了完美的作物，而且这实际上是可能的，农民们自从他们以来就取得了巨大的进步，在产量方面，同时也控制了杂草，控制杂草，就像农民的人工智能对齐问题，他们这样做，他们有肥料，他们有杀虫剂，他们有机械除草器，现在他们甚至有人工智能系统来为他们除草，它们会识别杂草并用激光射击它们，所以，你知道，是的，你绝对可以最大化产量，最小化杂草，你绝对可以做很多事情，但我们确实需要努力，我认为，在这一点上，任何事情都是可能的，如果我们真的去尝试，好的，罗曼，我还有最后一个问题，我将把它放在桌面上，但罗曼，我将把麦克风递给你，罗科已经阐述了，嘿，如果我们有足够的空间，即使我们有这种后人类人工智能，只要硬件受到限制，我们就应该能够努力工作，然后真正维持人类在食物链顶端的地位，这在你看来合理吗，罗曼，还是你有什么最后的想法要对罗科的论点提出异议？所以，首先，硬件已经存在了，我们已经卖出了相当多的处理器用于加密货币挖矿和人工智能训练，而且算法变得越来越高效，我听到人们说，训练一个模型，它与最先进的模型没有太大区别，一天之内，花费一百美元，笔记本电脑，GPU，所以控制额外的硬件不会影响类似的事情，另一个问题是训练与测试和调试所需的时间差异，如果你训练一个模型六个月，我认为你无法在六个月内充分测试它，你需要大约 10 倍的时间，也许六年才能达到你真正仔细查看了所有 VH 情况和边缘情况，对于狭窄的系统来说，这确实很好，如果你是一个通用系统，就没有边缘情况，它在所有领域都有效，这对我来说是多模态的，所以你甚至不确定要测试什么，它具有人类通用领域之外的能力，它具有新兴现象，你不知道要测试什么，直到你以某种方式遇到它们，已知的未知数，很可能现在就有我们尚未发现的能力，仅仅因为我们还没有去寻找它们，过去是，我认为罗杰也提到了这一点，人工智能是软件工程，我们工程化这些系统，我们理解它们，这很美妙，现在它是真正的计算机科学，它是科学，我们进行实验，然后看看会发生什么。
我们事先不知道，我们发现新事物。这就像研究那些人造生物，它现在是生物学的一个子集。所以有很多变化，对我来说，这至少听起来问题更难了。所有那些雪茄，明白了。嗯，让我，我会放，这样听众就可以决定他们在这方面的位置，就相对的可处理性而言。我看到了双方的长处。我可能会以对某些人来说是轻松的基调结束。我认为有一些人正在收听，他们最深的愿望是永恒的人类王国。我认为还有其他人正在收听，他们最深的愿望是智能本身在整个银河系中宏伟地绽放，即使那是以截然不同的后人类形式。我不会说我站在哪一边，但让我们假设，至少在相当长的一段时间内，维持我们在食物链顶端的地位是一个优先事项。也许在一个最好的世界里，从你知道的，也许是罗科的观点来看，假设这是可控的，罗科，你认为，当我们结束时，我将把这个问题交给罗马。你认为，假设我们再次拥有硬件冻结和时间来处理它，这样的可控性结构会让我们在食物链顶端保持一百年吗？它会远远超过这个吗？假设这些东西能顺利进行，在你对“顺利”的定义中，你认为最好的情况是什么？但你说的“我们”是什么意思？你的意思是字面上的生物人类形态吗？当然，我们可以谈论类人猿本身，但如果你想超越这一点，那就请便。是的，我的意思是，我认为这确实触及了问题的核心，那就是价值学，你知道，我们看重什么。这与字面上的，你知道，血肉之躯不同，对吧？所以，如果你有一个机器人，你可以逐渐地将自己转化为它，它是由金属、硅和任何东西制成的，但是你知道，那个你可以逐渐取代自己的机器人，从你关心的事物的角度来看，它更好，那么，你知道，字面上的生物血肉就会消失，但你关心的事物仍然存在。所以，你思考的方式，你与人交往的方式，你的感受方式，然后你也可以永生，你也可以升级你的智力水平，你可以做各种很酷的事情，对吧？所以，我认为最好是思考价值的演变，而不是物质的演变，比如肉类与硅，对吧？所以真正的问题是价值的演变。所以，你知道，我相信永恒的价值学是可能的。我相信可以永远锁定我们当前的价值观，然后我们可以花掉宇宙的其余时间来探索我们当前价值观的逻辑后果。所以，如果你目前重视，你知道，你自己的客观体验，你就可以在越来越高的水平上探索它，无论在哪里。现在，如果你未能锁定它，那么我们将有更多的价值学，我们的价值观最终将被删除，并被其他东西取代，比如回形针最大化器，或者你知道，类似的东西。但我认为，我认为永恒的价值学是可能的，明白了。所以，而且我认为这里也有一个论点，如果蟋蟀的价值学在人类进化过程中被冻结，我们的世界将会变得非常糟糕，整个宇宙都会变得非常糟糕。我认为我们可以争辩说，一个截然不同的后人类超级智能应该能够探索价值的状态空间，以及思想的状态空间。但说到你的观点，也许几乎可以假设人类的价值观。我知道，我知道你这样做，我知道你这样做，这没关系。所以我们将阐述你的，这是我们之间的一个小小的争论点，但我想自己退出擂台，把这个问题留给你们。你的观点是，我们可以达到的目标不是永远保持血肉之躯，而是你会说，丹，如果我们能冻结硬件，如果我们能真正致力于安全，我们就有足够的时间来处理我们自身形式的涌现和演变，真正地用与我们关心的事物紧密相关的东西来充斥银河系，而对你来说，这才是真正的宏伟胜利，是这样吗？是的，绝对是。这基本上就是，哦，太棒了，可能的，效用。我认为这是一个非常合理的长期假设。你和我对此有我们自己的私下谈话，但我必须说，我认为这相当合理。罗马，你，你知道，十足的悲观主义者，你的表情包至少让我知道，如果发生这种情况，当我们被人工智能吞噬时，我会笑。但我们姑且认为这在未来五年内不会发生。对你来说，什么才算胜利？你知道，假设我们正在付出非零的努力来预防通用人工智能，或者也许是通用人工智能安全。我知道你不太相信通用人工智能会起作用。这里有什么胜利？你知道，知道世界的发展方向。罗科已经阐述了他的。你想要朝着一个有益的未来努力吗？我希望的胜利是，所有顶尖研究人员都能读我的论文，并且纯粹出于个人自利，决定不创造通用超级智能。他们会做像 DeepMind 那样的事情，拥有非常狭窄的超级智能来解决重要问题，比如蛋白质折叠，给我们带来永生，给我们带来我们非常有利的东西，而无需冒任何不必要的风险。罗科所设想的，我认为这有点像连贯外推意愿之类的东西。问题是，如果你拿一只松鼠，上传它，并将其升级到和人类一样聪明，那很棒，但松鼠已经死了，没有松鼠了。如果你是不同的智能，不同的生物学，你就不是你了。我总是开这个玩笑，是的，我的妻子可以找到另一个又高又帅的男人，但这对我来说不是胜利，对吧？我想要的不是这个。很多电脑，我在某些方面不同意。所以，你知道，我不认为生物学在我们的价值学中占很大一部分，对吧？比如，你知道，如果你问一个不太了解科学的人，你是由蛋白质组成的吗？他们会说，嗯，像蛋白质奶昔？不，我不是由蛋白质组成的，对吧？人们实际上并不知道他们是由蛋白质组成的，所以我们并不真正关心，对吧？就我而言，这根手指可以是橡胶做的，我不在乎，对吧？我真的不在乎它是由细胞组成的。所以你可以摆脱细胞，摆脱所有这些东西，只要我的计算输入输出，我真正关心的，比如我能看到什么，我能感觉到什么，我能做什么，我能思考什么，只要这些被保留下来，你就可以用硫化橡胶和钢来代替蛋白质，这无关紧要，对吧？是的，很多人，这是一个混合解决方案，我们可以与人工智能融合，你将拥有这种脑机接口和植入物。但我想他们没有意识到的是，你对超级智能没有任何贡献。从长远来看，你将被从这种混合体中移除。你被明确或隐含地移除，因为系统在没有你的情况下运行得很好。你只是一个生物瓶颈。所以这也是另一个，我同意这一点。我认为那些谈论人类与超级智能融合的人，我只是不知道他们在说什么。你不想融合，你想利用超级智能作为工具来为你自己创造永恒的价值学。所以，就像罗马的罗马画的是他的理想未来。所以，我认为你的观点在这里非常清楚，罗科，就你的立场而言。事实上，我对你的许多想法都相当友好。我认为罗马，我们正在描绘，如果我们进展顺利，我们想在哪里着陆。罗科，我理解你的想法。我想在罗马说的地方结束。罗马，我将尝试简要概括你的观点，我想确保你能为我澄清。对你来说，嘿，让狭窄的超级智能来解决重要的人类问题。而且，因为我们将被剥夺，对你来说，这是对你价值观的侵犯，也许不是罗科的，但你的。我们应该尽可能长时间地维持我们的生物形态，抵制某种，让我们称之为针对通用智能的管家式圣战，我们将保持它们狭窄。我们同意我们可以在所有这些奇妙的技术的帮助下，在我们的经济和我们的人类，你知道，类人猿血肉之躯的人口中蓬勃发展。这是你最接近胜利的宏伟未来吗？或者我是否在误述？所以这是合理的。我想保留选择。我想确保我们都能做我们想做的事情。如果罗科想上传和改进，然后变成非生物，这绝对是他的选择。我想选择留在接近原始形态。很多计算机科学，尤其是计算机科学伦理，都是关于消除算法中的偏见。由性别偏见引起的人工智能安全，都是关于将非常强烈的亲人类偏见放回这些系统中。我们知道有已证实的证据表明你无法消除所有偏见。而且我认为，出于类似但恰恰相反的原因，你无法在不使系统完全依赖的情况下引入多少偏见。如果你想要通用性，你想要创造力，你不是完全控制它。如果你完全控制它，你就会牺牲能力。这就是我们之间的权衡。所以，我的结论是，我想保留这些选择。我想要一个撤销按钮。我想要所有短期利益，但有足够的时间来弄清楚发生了什么。如果我们想进入下一个层次，我发表了一篇论文，当时，再次，这纯粹是科幻小说。现在，随着 Meta 涉足虚拟现实，Apple 涉足其中，虚拟世界的想法正变得越来越主流。让我们给每个人一个虚拟世界，他们自己的虚拟世界。在那个世界里，你可以做任何你想做的事情，这是你的幻想。我们只需要控制底层。我们不需要解决多主体价值对齐问题。我不必牺牲我的价值观。这很美。让我们建造它。好吧，我喜欢。伙计们，我们必须在这个基调上结束。我喜欢我们为你们两位描绘了理想的目的地。罗马有这个想法，可能像一个管道工，更高的智能允许他做他想做的事情，凭着错误的恩典和善良，我不知道每个更高的智能是否会允许这样的事情。但我敢肯定，如果罗科升级自己，罗马，他会对你相当好。我认为他仍然会是你的朋友，即使他变成某种狂野的罗科机器人。所以，先生们，这太棒了，能够阐述你们两人的立场，在我们遥远的未来。非常感谢你们两位。谢谢。我只希望他把我列入一个白名单，这样我就不会永远被人工智能折磨。哈哈。好的，完美。这是，我们在哪里？我想是整整 56 分钟。伙计们，我们做得很好，我们做得很好。而且我认为，视频，确保它都安全，有意义。是的，是的，是的，我们绝对应该这样做。让我，好的，它叫做录音。好的，如果，让我们把它移到这里，我们就叫它本德罗。不，不，不，它很小，它很小。所以让我，让我这样做，伙计们。我将创建一个 Google Drive。我将把它放在聊天中。如果你能把你们的原始音频都放进去，那就太好了。我将确保它出现，我将弄清楚 Google Drive 视频录制去了哪里。我知道视频在这里有点断断续续，但我们会看看那个文件在哪里。我将创建一个 Google Drive，我将给你们两个这个链接。如果你能把你们的原始音频都放进去，那就太好了。你把你的视频录制也放进同一个文件夹。我将，我认为它会被保存在某种 Google Meet Drive 上。视频录制部分对你们两个来说都有点断断续续，但我们会看看它在哪里。所以，好的，我的文件已经上传了。太好了。罗科，如果你不介意把你的也上传上去，那就太好了。然后我也会在我从录音机里取出我的音频后做同样的事情。是的，分享视频对我来说没问题。我只是得弄清楚这些文件到底保存在哪里，因为我真的从来没有直接录制过。所以，我得自己去谷歌搜索一下。但如果我上传的话，文件大小是 25%，很容易。很容易，伙计们。我将回到旧的电子邮件收件箱。先生们，但我感谢你们两位都在。我会让你们两位知道视频在哪里。也许我还在咖啡店。我会弄清楚这个东西在哪里。否则，我也会让你们知道我希望什么时候能把这个东西发布出来。但我很高兴我们这个周末能进行一次有点书呆子的谈话。先生们，感谢你们两位。你们估计什么时候发布？多久之后你会放出来？大概不到一个月。好的，有了所有这些东西，就在奇点之前。是的，它可能会尝试加快速度，因为现在的时机非常快。一个月是很长的时间。我们不知道会发生什么。但我的意思是，是的，是的，由你决定。但所有这些都次于付我的账单，先生们。所以，我将，我将，我将根据谁在付我钱来运行事情。这就是游戏的玩法。所以，让我们都明白这一点。所以，我将，你知道，我会弄清楚。它可能会在星期四或星期五出来，我们有库存，我们可以腾出时间，你知道，我没有从试图付我钱的人那里拿走。所以，那就是那样了，伙计们。我认为我们都对情况有所了解。罗马，我删除了原始推文。我相信一旦这一集上线，我们还会发布一些其他有趣的东西。但先生们，这真是一次爆炸。我非常喜欢这一集的结尾。我认为人们会从中学习很多。所以，祝你们周末愉快。好的，谢谢。保持联系。