Transcription
我一直担心罗曼会因为这个该死的家伙在这里录音而起诉我，哦，这是，这是，呃，好的，暂停视频，它，它，它暂停了两秒钟，但让我们看看，好的，我订阅了，太好了，所以我要关闭尽可能多的其他东西，只是为了三重检查并简化我们在这里的带宽需求，一起，[音乐]两秒钟，然后我将，呃，好吧，看看我能在这里关闭什么，所以只是以防万一，有任何方法可以将视频加速半秒，嗯，好的，好吧，我想我们处于一个好位置，所以，呃，又是罗兰，正式音频还没有出现，我要开始录制我的播客，如果你不介意的话，罗兰，你能否快速进行一次音频检查，也许说出你最喜欢的冰淇淋口味，我喜欢香草冰淇淋，真的就是喜欢它，他是个普通人，他是个普通人，罗科，你呢，呃，回形针口味，哦，抱歉，抱歉，巧克力，巧克力，嗯，哦，我的天，我，我，是的，不，不，我们没听到那部分，你没事，没人会知道，没人会知道你喜欢那种美味的回形针口味，好吧，嗯，所以先生们，我们将这样做，呃，只是为了让你们俩都知道，我将为本集单独录制一个介绍，它将介绍你们俩，介绍主题，它将非常专业和好，我会在节目结束后这样做，我这样做有两个原因，它将为您节省五分钟，让您回到工作岗位，或者，你知道，死于炎热，或者无论您在做什么，嗯，而且第二，它将让我能够突出节目中最有趣的部分，在介绍中，我无法做到这一点，直到我们实际录制它，所以，所以这就是我为什么在之后这样做，所以当我们实际开始时，希望罗科仍然能听到我，当我们实际开始时，我将做一个简单的，我们将让他进来，所以当我们开始录制时，我只是，一切都很好，我们将在罗科之后录制介绍，所以我将做一个简单的五四三二一倒计时，我将欢迎你们来到节目，你们都可以说你好，届时我将向观众介绍这个节目，然后我将把事情直接交给罗曼，它将非常快速和流畅，我们将直接进入要点，我们将从中获得乐趣，这些对话的方式，无论我是在和雷神公司的[粗俗词]人工智能主管说话，还是和你们这些像朋友一样的人说话，嗯，这就像两个人一边喝咖啡一边谈论他们感兴趣的[粗俗词]，就是这样，所以，嗯，这将是一个非常非常流畅简单的对话，罗曼和我实际上就在几周前亲自做过这个，所以，嗯，我们已经有点处于这种模式了，所以让我来做这个，伙计们，我将做我的五四三二一，我将欢迎你们俩，然后我将，我将把麦克风交给罗曼先生，我将用我的计时器来确保我们按时进行，所以我们开始吧，五，四，三，二，一，所以先生们，呃，罗科先生，罗曼先生，欢迎来到节目，很高兴你们俩都在这里，是的，我们已经很久没有在播客上同时邀请多位嘉宾了，而且我认为我们可能已经很多年没有过像辩论一样的话题了，在过去几年里，人工智能风险的讨论，特别是自ChatGPT开始变得更加重要以来，我们有两种截然不同的观点需要看待，所以我们的听众在这里，我们将总结一下，你们俩的观点，罗曼将支持人工智能固有的不可控性，罗科将谈论我们如何能够控制后人类人工智能，我们将花大约八分钟来阐述双方的立场，让它变得有趣，然后，嗯，我们将能够与双方进行跨桌讨论，所以罗曼，我们将从你开始，你可以随心所欲地发表长篇大论，然后你和我可以一起讨论，但请给我一个快速的版本，你写了，你知道，关于这个话题的十几篇该死的论文，为什么你认为通用人工智能本质上是不可控的，请给我你的总结，好的，我特别指的是未来的超级智能，而不是我们今天的人工智能，也不是下一个GPT的修改版，而是一个系统，根据定义，它在所有领域都比我们聪明，我们现在可能已经进入人工智能安全研究领域十年了，有大学出版物，会议，但到目前为止，还没有人发表任何东西或证明，甚至一个严谨的哲学论证，说明为什么他们认为这个问题，无论他们称之为对齐、安全、友好，都不重要，实际上是可以解决的，所以从理论上讲，这方面的内容不多，从实践上讲，我也不知道有谁声称他们有一个解决方案，能够扩展到任何程度的智能，超级智能等等，所以我对那里发生的事情很感兴趣，我试图找到所有的博客，所有的帖子，没有任何正式的东西，人们分享他们的直觉，他们非常确信，当然，这是微不足道的，或者不，绝对不是，但没有人在这方面做任何正式的工作，所以我想填补这个空白，我开始研究我们需要什么样的工具集来控制这样的东西，来控制超级智能，并且有一些我们想要拥有的属性，我们想要解释它是如何工作的，解释神经网络，我们想要能够预测该系统的某些能力和行为，不仅仅是最终目标，而是它将拥有的工具性目标，所以当您需要能够验证生成的代码是否与系统设计匹配时，决策的可预测性，我们需要能够以不含糊的方式与之沟通，人类语言非常含糊，我们得出了大约50个不同的不可能结果，我们进行了调查，并发表了大约十几篇论文，以及一些更广泛的、涵盖所有这些的调查论文，它刚刚被一个非常好的期刊《计算调查》接受，所以似乎对于我们期望满足他们的工具，存在着它们对我们工作的效果的限制，或者我们甚至可以拥有的工具，所以显然你可以解释这些系统的一些东西，显然你可以预测某些行为，但我认为网络安全和超级智能风险安全之间的主要区别是，在网络安全中，你可以重试，你给他们一个新的密码，你重新发行信用卡，没问题，而对于X风险，我的假设是你只有一次机会，你必须第一次就做对，如果你的所有工具都存在累加的缺陷，那么总体而言，你不太可能第一次就做对，或者说永远做对，因为我们不是在创造一个静态的安全系统，我们是在创造一个永恒的安全机器，就像永动机一样，有很多论文发表，很多书籍，甚至一些专利，但我们知道我们永远不会成功，这只是不可能的，这就是我的主张，我很乐意被证明是错的，如果我带着我们绝对可以控制未来的神一般的超级智能机器的信念走出这场辩论，那么这场播客就是成功的，好的，明白了，我能和你一起探讨一下吗，我们还有大约四分钟，罗曼，在你这边，嗯，有几件事，我认为有些人，呃，希望你会被证明是错的，所以，你知道，人类可以永远保持他们在食物链顶端的地位，也许有些人希望你的立场保持不变，这样能力就可以远远超出人类，但无论如何，让我们试着把立场本身挤压一下，你在这里提到了一个类比，永动机的想法，你知道，它应该永远不需要任何新的输入就能永远运转，我们知道它注定会失败，这有点像人工智能安全可能会失败的类比，我看到人们使用的其他类比是这样的想法，好吧，假设你是一只老鼠，你有可能预测一个人类的行为吗？你知道，这合理吗？你认为你会控制他们，他们会在你的指挥下吗？这又是一个粗略的类比，有没有办法更严格地接近科学严谨性、逻辑性，而不是这些类比，或者说类比在很大程度上是你对它的看法吗？我是说，你怎么对待那些真正想变得尽可能严谨和逻辑的人？这就是我在我发表的论文中所做的，例如可解释性，你可以谈论不同类别的机器，我们有基本的自动机，它们可能甚至没有记忆状态，我们有带记忆的机器，我们有不同类型的机器，图灵完备的超计算，我们知道一个较低级别的机器无法做某些事情，一个更高级的机器可以做到，这就是不同复杂性类别的要点，所以你可以证明，好吧，对于具有给定记忆、给定计算速度的人类，甚至对于整个人类来说，我们理解的都有上限，这对于普通人来说显然是真的，我们举了进入麻省理工学院的例子，因为我们知道不是每个人都能在量子计算课上表现好，但即使是智商200的人，他们理解的也有上限，对于整个人类来说，我怀疑纯粹在数学上存在上限，存在足够复杂的问题，以至于你可能没有足够的时间来审查证明，也许还有其他限制，但存在上限，这些在理解大型语言模型的行为的复杂性方面相关吗？也许还没有得到充分研究，直观地说，我认为我能理解的东西显然有上限，很多时候我面临的情况是，它超出了我的能力，这不是一个普遍的限制，但在许多特定领域，所以为什么我们认为我们永远不会达到理解人工智能的这种复杂性上限呢？如果我这样概括你的观点，请告诉我是否可以，我想确保我能准确地把它概括出来，然后再把麦克风递过去，这个想法是，你知道，而且我认为这似乎是这个论点中非常令人信服的部分，有些想法我们没有时间去深入研究，或者它们根本超出了我们的认知范围，我无法向一只拉布拉多犬解释，你知道，非常，埃默森散文的深层含义，我无法解释，或者解释共产主义与资本主义的运作方式，这根本不可能发生，所以，同样，我们可以预期，在人类头骨之外，还有许多这样的想法是无法理解的，你的假设是罗曼，一个能够理解这些我们无法理解的想象空间的外部边界的机器，这将允许它摆脱任何限制，获得我们甚至无法理解的自由领域，并找到它摆脱任何限制的方法，这是论点的一部分，还是你会从不同的角度来表述，然后再把麦克风递过去？所以问题，控制问题，对齐问题太复杂了，我们无法谈论它，我们没有对其进行形式化或定义，所以我想将其分解为能力，例如你能否理解系统如何工作，然后对于我工具箱中的每种能力或工具，我想展示存在限制，所以我们基本上同意存在我们无法解释其工作原理或理解其工作原理的系统，检查一下，看看我们还会遇到哪些类似的属性，因为很难将如此复杂的东西作为一个统一的整体来谈论，当然，我们可以想象枚举人类的能力空间，比如罗曼的能力是什么？如果我要创建一个清单，那很可能是不完整的，现在如果我们谈论一个超越人类的系统，那也很可能是不完整的，好的，八分钟二十分钟，我们将给罗科完全相同的时间，罗科，我的好朋友，为什么不把麦克风递给你，你可以随心所欲地发表长篇大论，这里的要点是，不直接回应罗曼，因为我们将进入这个，只是阐述你的立场，为什么你认为一个能力远远超越人类的系统，将是可控的，请继续，兄弟，嗯，实际上那不是我的立场，我的立场是，我们不知道，我认为罗曼低估了这个领域有多年轻，他的期望有点太高了，所以，你知道，就像，有一些成熟的当代科学领域，比如，比如说物理学，物理学是一个成熟的领域，你对物理学有很多了解，什么是水，字面意思是，什么是水，你想让我回答吗？是的，是的，天哪，什么是水，水是一种分子，水是一种特定元素的组合，H2O，对，是的，是的，是的，好的，继续，不幸的是，还有另一件事，在标准普通室压下，水的沸点是多少摄氏度，我们在美国测量，我猜大约一百，一百，对吗？是一百，对吗？嗯，但你能证明这一点，而不做实验，证明水在100摄氏度下沸腾，仅仅从水的定义出发，你不能做任何实验，你只能使用水的定义，氧原子与氢原子结合，你得到薛定谔方程，你得到一台超级计算机，你能证明它在标准压力下沸腾到100摄氏度吗？我相信截至2023年的答案是，如果你做计算，你得不到正确答案，它大约是60，结果完全错误，所以是2023年，我们无法证明水在任何随机人都能在自己的客厅里用温度计和水壶进行的实验中沸腾的温度，并确认它在100度沸腾，但那已经超出了，在物理学中，我不是在谈论社会学或计算机科学，我是在谈论人类所知的最确定的科学，物理学，我们无法证明水沸腾的温度，我认为我们目前的期望有点太高了，对于我们应该能够证明的东西，我相信这是正确的，我，我稍微搜索了一下，但我相信，使用从头开始的方法，仅仅使用量子力学，我们目前无法计算出水的沸点，所以，你知道，我们将尝试计算我们是否能够，呃，控制一个超级智能，纯粹是理论上的，我的意思是，这显然是一个更复杂的问题，所以我们必须降低我们的期望，我们是一个不知道水沸腾温度的文明，我们必须去看看，你知道，我实际上认为在这个阶段，极大地开放自己的思想，去探索可能性，然后去做工作，做实验，然后，呃，看看会发生什么，非常重要，显然，这种实验和研究过程本身就会带来一定的危险，因为你会遇到某种实验室泄漏，但尽管如此，我认为这正是我们必须做的，特别是现在，我们拥有的硬件水平相对容易管理，与，你知道，如果你只是计算一下地球上有多少晶体管，与有多少突触相比，晶体管还没有，呃，比突触更多，所以我们现在可能可以做一些实验，这就是为什么我赞成现在停止硬件进步，所以我们停止摩尔定律，停止生产更强大的系统，只是在这里玩玩，还有另一件事，你知道，过去，天空中曾有过暂时的非常明亮的星星，你知道，暂时的，一颗星星会比整个天空都亮，现在我们知道，这是一个超新星，现在我们大致知道是什么导致了超新星，基本上，发生的是一个燃烧过程产生了压力，恒星耗尽了氢燃料，燃烧过程停止了，然后它就会坍缩，并消耗大量的引力势能，然后中心发生碰撞，然后导致它爆炸，这是一个涉及温度、核反应、电磁场和引力以及所有这些不同力的多领域问题的巨大简化，但我们大致知道超新星是如何工作的，我们已经对其进行了分类，我们有，你知道，第一类，第二类A，第二类B，我们已经完成了，你知道，花了多少年研究才建立起来，不仅仅是超新星的知识，还有所有支持的物理学，一般活动，核物理学等等，我的意思是，这很多，你知道，我估计大约有10,000名研究人员工作了几十年，才能真正说你已经对一个领域进行了高质量的人类努力，而我们离那还差得很远，我们可能只有100名研究人员，工作了五年，你知道，要记住，我们只剩下两分钟了，罗科，你的核心立场只剩下两分钟了，那就是我的部分，不，没关系，没关系，必须接受，我们现在只完成了这个领域探索的百分之一或百分之二，尽管如此，让我来澄清一下你的立场，在我们继续之前，我明白你的意思，你知道，仅仅看物理定律或分子本身，我们就无法理解，你知道，水什么时候会沸腾，现在，你知道，这有点疯狂，但我想说的是，我想让你纠正我，因为我想确保观众能理解双方的论点，我听到你说，我说哇，这听起来对罗曼来说是个很好的论点，因为如果，如果我们真的，如果我们非常关注你所说的领域，男人小时，我的意思是，在那个基本层面上，有多少男人小时花在了物理学上？你知道，那种基本层面的实验，如果我们仍然无法预测会发生什么，那又是什么让我们相信，对于一个远远超越人类的系统，会有更大的可预测性呢？对我来说，感觉男人小时的数量可能无法解决这个问题，请澄清你的立场，但问题是，虽然我们不知道，我们甚至不知道水沸腾的温度，但至少我们去看看它，你知道，我们可以，但那没关系，我们可以测量很多东西，做很多工程，我们可以建造，你知道，极其复杂的，热力学机器，发电厂，化学生产过程，我们可以建造各种东西，但是我们必须集中精力，所以也许我可以这样说，你不需要了解宇宙的一切，才能控制它，你知道，我们可以很好地控制水，你家里有自来水，水被用于提供你电力的发电厂，你知道，水被用于制造你的食物和洗漱用品的化工厂，等等，尽管如此，而且我们仍然有一些非常基本的知识空白，比如，为什么水在100度而不是60度沸腾？你知道，以及其他我们无法解决的问题，所以，一种以解决方案为导向的工程思维，这种思维围绕着不确定性，可以实现比基于物理学的态度高出许多数量级的成就，你就像，好吧，我们必须了解一切才能完成最后的收尾工作，然后我们将继续前进，我确实欣赏这种澄清，你的怀疑是，是的，我们不需要了解一切，才能实际掌握它，为什么你认为它是实际可掌握的，假设我们暂停硬件进步，你知道，没有人继续，呃，打破摩尔定律，我的意思是，这将是一个艰难的立场，这不是一个全球治理的聊天，我们只是在谈论假设的可控性，假设这是可能的，为什么，你认为在十年内，我们可以控制一个具有如此大的能力空间，远远超出我们理解范围的系统，就像我们对蟋蟀的理解一样？你为什么认为会有一个稳定的能力来控制这样一个系统，即使我们拥有所有这些男人小时？你的核心推理是什么？让我来总结一下，好吧，我，我实际上只想说我不知道，所以，你知道，也许我们应该非常天真地去，50/50，有一些例子，系统中的例子，一个更简单的系统可以控制一个更复杂的系统，比如，你知道，你可以说，一个基因是一个非常简单的系统，它控制着一个人，人们一生中都会制定各种各样的计划，但实际上，这一切都是为了，你知道，基本上繁殖，我们所做的一切都是，而那并不完美，因为正如埃利亚斯·尤特克森所指出的，我们植入了避孕套和避孕药，但尽管如此，我们仍然在一定程度上繁殖，所以，认为一个像几个基因一样简单的系统可以对一个非常复杂的系统施加，呃，部分控制，而一个人却完全无法对一个更复杂的系统施加任何控制，这有点奇怪，所以现实中显然有一些例子，你知道，基因对人类，人类对社会，政府对军队，孩子对母亲，都有各种各样的例子，简单的系统控制着更复杂的系统，所以，我的意思是，先验地有一些希望，能力，我们当然是，你已经清楚地指出了这一点，我认为，你知道，基因控制人类的想法很有趣，我也认为这里有一个论点，基因已经冒出来，基因已经通过数十亿种形式进行了激烈的筛选，才形成了你和你那该死的对生拇指，而且它可能会通过许多其他形式进行筛选，而且它可能不像这样，一个为创造人类而建立的稳定事物，呃，呃，成为食物链的顶端，永远，无论如何，让我暂停一下，我将让罗曼，呃，对罗科的核心论点进行一些评价，你已经有机会让他简要阐述他的观点了，罗曼，请礼貌地阐述你想要澄清的地方，或者进行拆解，然后我们将让你们俩在此基础上进行扩展，但罗曼，请发言，说出你认为，呃，你与罗科分歧的关键所在，所以我认为主要结论是，罗科说他不知道，我尊重这一点，我可以对此保持中立，这就是我的全部观点，我希望分配非零资源来确定这是否可解决，到目前为止，这都是我，还有几个人，是的，正确地决定宇宙的未来，我希望有人能解决这个问题，我希望被证明是错的，我将非常高兴，你提出的类比，我认为它们并不完美，所以你说，是的，我们可以控制水，没错，但水的智商大约是零，左右，是的，基因可以影响你的行为，但它们不能完全控制，这就是为什么我们使用避孕套，这就是为什么有堕胎，这就是为什么欧洲人和亚洲人正在消失，所以这不是我们需要的控制水平，正如我所说，我们需要第一次就做对，没有错误，你当然可以影响这些系统，你当然可以在理解它们如何工作以及预测未来状态方面做一些很好的工作，我有一篇新论文即将发表，尚未发布，关于我们监控训练运行和监控部署到这些系统的能力，似乎也存在问题，我认为埃莱扎，你提到了他，他说，对于AGI来说，没有火警，这也有道理，我们今天有很多东西，30年前，人们会认为这是一个成熟的AGI，但我们世界里并没有真正发生什么改变，所以像这样的事情，需要解决，我没有物理学背景，所以我无法同意或不同意你关于我们能否确定随机液体在给定压力下的沸点的说法，我怀疑这应该是可能的，通过良好的理解，我不认为这是物理学上的根本不可能，但我一生中从未上过物理课，所以这让我处于一个位置，我认为这是正确的，而且有点令人惊讶的是，仅仅是普通的水就足够复杂，以至于你无法仅凭从头开始的量子力学计算来预测沸点，你知道，我也认为，取决于我们使用的单位，我认为摄氏度是为零度结冰，100度沸腾而设计的，而其他系统则有点随机分配，我的意思是，单位无关紧要，对吧？就像单位无关紧要一样，我同意，我只是说，这种奇迹，它怎么会变成一百，怎么会，哦，是的，是的，它之所以是100，是因为人们出去测量了，测量了水在这一点沸腾，然后他们说，好吧，我们就把它定为100，然后他们说，哦，好吧，它在这个点结冰，我们就把它定为零，但重点是，你知道，从从头开始的量子力学计算来看，据我所知，而且我查过了，如果我错了，请纠正我，我们无法预测在标准温度压力下水的沸点，即使是纯水，你知道，用纯氮气，我不认为它是可预测的，我们将分配它，这是一个听众，所以，是的，重点是，如果有人发表了一篇论文说，理论上确定液体沸点是不可能的，那将是一篇很棒的论文，我很想看看，嗯，那是不可能的，而且，据我所知，那是不可能的，因为这只是薛定谔方程，这只是薛定谔方程，有很多粒子，你很快就会遇到组合爆炸，但，但它显然是可能的，它显然是可计算的，因为总有一个算法可以运行并回答这个问题，它只是非常非常难以处理，但我认为在安全方面，问题不是由计算能力限制的，如果我们有无限的计算能力，我们仍然不知道如何做到，友好的AI，所以工厂是一个很好的观点，实际上，我很高兴你提到了，可能是马库斯，尤尔根·史密斯·古巴和那一群人，他们导致了 Shane Leg，导致了 DeepMind，导致了我们现在的处境，我们不是谁的错，我们有一连串的责任，这很棒，但你看，施密特的问题在20世纪90年代末和21世纪初是，他们意识到，即使人工智能领域已经发展了大约，你知道，30或40年，即使有超级计算机，即使有无限的计算能力，仍然没有一个算法可以实现超级智能，然后胡特提出了AIX PSI或AIXI，它实际上是一个超级智能的算法，你有一个无限的计算能力，嗯，它并没有导致实际的实现，但它是一个非常有趣的理论工具，可以证明你实际上可以生成超级智能，它在理论上是可能的，而且你非常正确，如果我给你一台超级计算机，我说你有无限的计算能力，你仍然无法解决友好的AI问题，这真是太糟糕了，你知道，就像，不是说有一个算法，但它，你知道，大约是指数级的时间复杂度，就像，不，即使有超计算，我们也没有任何想法，但我也只是认为，这是早期领域的产物，我们可能只做了，你知道，AI对齐研究的百分之一，我们需要做的，很多将是经验性的，但很可能也会有理论上的，呃，重大的理论进展，嗯，我不知道它会是什么样子，你知道，我个人认为最有成效的研究方向，我想做的是，更多地关注经验性方面，因为我们有大量关于人类文明的经验性数据，你知道，它是如何发展的，以及文明的价值观和伦理学是如何变化的，如果你能用现代AI对其进行分析，你可以做很多好事，没有人做过，你知道，实际上并没有动态伦理学领域，甚至没有，你知道，问历史上的假设性问题，比如，1913年可以做些什么来阻止第一次世界大战？我们没有，没有回答这个问题，没有人试图回答，而这是一个非常重要的问题，因为它对我们的文明至关重要，但没有人知道，所以历史学家无法回答反事实问题，我认为这是一个相当，相当糟糕的状况，所以，是的，我的意思是，我，我想走经验性路线，但也会有理论上的进展，对我来说，罗科，坦率地说，我将把这个传回给罗曼，但如果我们不能，如果我们不能看看物理定律并确定水在什么温度下沸腾，那么我认为从历史书籍中汲取知识，以文本或图片的形式，你知道，以扫描，你知道，黑白照片的形式，我不知道我们是否能从中获得关于权力宏大动态和世界运作的真相，从那里面，这似乎是自明的，我们无法做到这一点，我想让罗曼以这种形式发言，并尝试总结一下，罗科的立场是，如果我们有足够的时间来处理这些宏大的尺度和这些更紧密的事务，我们就可以从我们所做的百分之一的人工智能风险，发展到更高的百分比，并可能维持人类在食物链顶端的地位更长的时间，你显然不这么认为，即使我们能够暂停硬件等等的进步，罗曼，你似乎相信，坦率地说，只要我们有超级智能，维持我们的优势地位就非常非常危险，而且可能注定要失败，你能解释一下为什么吗？罗科阐述了为什么，嘿，如果我们给我们更多的时间，可能会有一些可控性，你认为主要的论点是什么？请，所以让我做一个可能具有争议性的陈述，罗科说，这是一个非常年轻的领域，人工智能安全，可能只有十年历史，但如果你看看人工智能的历史，最早的论文是在20世纪40年代关于神经网络，人工神经网络，我的宠物，然后50年，我们随机行走，看到了很棒的东西，10年后，我们又回到了神经网络，深度学习，过去10年，我们取得了人工智能的进步，我不想贬低任何人一生的成就，但似乎整个领域只有10年的历史，而安全领域的时间也差不多，而在人工智能方面，我们从无到有，我们有了基本上是原始的AGI，而在安全方面，我们发现了数十亿种不安全地构建人工智能的方法，我们不断放大并发现更多问题，这是一个分形性质，每一篇有解决方案的论文都是一个玩具解决方案，并解释它无法扩展，而且我们每周都会看到一个新问题，我们一直在尝试调查这些，我们停止了，现在有无数的论文只是列出了它会失败的方式，所以我认为这不仅仅是时间问题，我们刚刚收到一封信，呼吁再延长六个月进行研究，这六个月不会有任何发现，这不是我们正在寻找的时间范围，我们需要有稳定的进展，现在，我们知道在能力研究方面有稳定的进展，增加计算能力，增加数据，你就会得到一个更有能力但系统，在安全工作方面没有同等的进展，是的，那确实是一个非常有趣的AI研究，我认为有两个重要原因，为什么他们浪费了，呃，大约40年的研究，原因一，人们没有吸收理查德·西蒙的苦涩教训，理查德·西蒙的苦涩教训，对于不知道的人来说，基本上是，理论上优雅的方法，旨在定制化地设计思维如何工作，很可能会失败，但可能有效的是，你知道，简单的系统，只是试图运作，所以，让我延伸一下，你可以有一个系统，有人非常仔细地设计了人工智能思维的知识管理系统，以及它将如何进行推理，它将使用什么规则和逻辑等等，做很多很多精细的工作，看起来很像软件工程，人们基本上尝试了很长时间，所有基于逻辑的人工智能方法，语义网，试图在2000年代后期工作，你知道，有一大堆人工智能的方法，它们基于人类的理解，我们不仅理解，人类正在设计一切，就像你设计一个主题公园或飞机一样，我的意思是，理查德·西蒙说，实际有效的方法将更像是，你知道，就像种植一棵树，你只是，你知道，就像播下种子，浇水，它就会生长，这有点，有点夸张了，但这就是实际有效的方式，所以一个问题是，我们没有得到，是的，他称之为苦涩的教训，因为它有点苦涩，因为人工智能研究人员喜欢认为他们会理解智能是如何运作的，因为他们是，你知道，超级智能和恒星，但实际上，你不应该烦恼，你应该只是给它一个目标，然后，呃，用大量的优化能力来浇灌它，它就会一切顺利，基本上，实际上发生的是，就像，你知道，大量的，呃，努力来微调特定的视觉系统，Gallican带着卷积网络来了，卷积并不完全是那个整体，它只是你在Photoshop中所做的，关键是，他们有了反向传播的想法，你知道，非常简单的操作加上反向传播，用大量的优化能力和其他东西来浇灌它，就像，真的，真的强大，所以我们没有得到苦涩的教训，第二个原因是，即使你在1956年理解了苦涩的教训，你也没有真正的计算能力来利用它，所以，你知道，我们一直在原地踏步很长时间，等待固态物理学来创造一个足够强大的机器，我们有了它，所以，是的，我的意思是，我认为我们实际上不应该计算很多时间，甚至更糟的是，你知道，在70年代末的人工智能冬天之后，有一段时间，计算成本的提高速度，每美元的成本，与人们给人工智能研究的资金的退化速度正好抵消，所以，你知道，研究人员拥有的实际计算能力，从1980年到2000年基本上是恒定的，所以进展不大，然后突然，你知道，各种大坝都破裂了，人工智能研究人员获得了更多的资金，并且有大量的追赶工作，还有GPU，你知道，是专门的等等，所以有了更好的硬件，我们将能够探索对齐领域，我们将能够进行大量的探索，是的，大量的进展，在，你知道，但可能需要十年左右，我认为可能是两到三年，我不知道，但，但我想，在我们进行大约两年的对齐、可控性、伦理学等方面的研究之后，我们将处于一个更好的境地，让我把这个转过来一点，所以你似乎在阐述的是，罗科，这个苦涩的教训的想法，听起来确实很真实，我的意思是，在我看来，如果我们想到经济，经济学家的苦涩教训可能是，你无法在餐巾纸上模拟经济，你就是做不到，它会做它自己的事情，所以对于人工智能，我们谈论的是同样的事情，在我看来，这是，这是自然的肥沃性，这是事物在发展和变成其他事物，你就是无法把它装起来，关于普遍的原则，这并没有让我对控制后人类智能感到更安全，这让我觉得，这种发展将远远超出我们，你似乎在阐述，这种发展将导致一个良好的结构来控制这种发展，我认为这种宏大的发展，这种宏大的自然和智能事物的宏大发展，可能对控制不利，但你似乎在说，嘿，如果我们扩大，你知道，这种控制空间，你知道，呃，测试和实验，你知道，就像一棵树，我们种植它，它就会生长，它就会建立，你知道，一个良好的控制森林，而不是一个远远超出我们理解的森林，我几乎听到一个似乎与你最初的观点相悖的论点，但如果你错过了什么，请澄清，嗯，我的意思是，你知道，如果你只是放任一切，让它自己发展，如果你只是说，好吧，所有的人工智能芯片，去吧，去做任何你想做的事情，那么我认为这几乎肯定会导致人类灭绝，我不知道最终会是什么样子，但我认为这几乎肯定会导致，然而，如果你说，看，我们将暂停硬件一段时间，我们将给安全研究和对齐研究人员，我们不必控制其他人的软件工作，他们仍然可以做事情，但我们只是不允许硬件从今天开始取得任何重大飞跃，你让对齐研究人员工作，你知道，两年，五年， whatever，做一些实验，弄清楚我们到底在哪里，这些实验，你知道，你可以运行很多实验，看看实际发生了什么，如果我们采用这种形式的人工智能，我们采用这种形式的社会模型，然后让它，你知道，看看实际发生了什么，嗯，我们需要运行这些实验，看看会发生什么，然后，在这些实验之后，我们还将有更好的方法来实际控制系统，所以你有机械能力，你有宪法人工智能，而且将会有大量的其他想法出现，这些想法将使人工智能系统更具可控性和更符合要求，然后我们可以去测试它们，所以，把它想象成这样，如果你是一个农民，你可以种植很多不同的作物，测试它们，看看什么有效，然后有选择地选择最好的，然后一直这样做，直到你有了完美的作物，而且实际上是可能的，农民们已经这样做了，他们在产量方面取得了巨大的进步，并且也控制了杂草，控制杂草就像农民的对齐问题，他们就这样做，他们有肥料，他们有杀虫剂，他们有机械除草，现在他们甚至有人工智能系统来为他们除草，你知道，识别杂草并用激光射击它们，所以，是的，你绝对可以最大化产量，最小化杂草，你绝对可以做很多事情，但我们确实需要努力，我认为，在这个阶段，如果我们真的努力，一切皆有可能，好的，罗曼，我还有最后一个问题，我要提出来，但罗曼，我把麦克风递给你，罗科提出了，如果我们有足够的时间，即使我们有这种后人类人工智能，只要硬件受到限制，我们就应该能够在这方面工作，然后真正维持人类在食物链顶端的地位，这在你看来合理吗，罗曼，还是你有什么最后的想法可以放在桌面上，关于罗科的论点，所以，所以首先，硬件已经存在了，我们已经卖出了相当多的处理器用于加密货币挖矿和人工智能训练，而且算法越来越高效，我听到人们说，用一天的时间，花一百美元，用笔记本电脑的GPU，训练一个模型，这个模型与最先进的模型并没有太大区别，所以额外的硬件控制不会影响这一点，另一个问题是训练与测试和调试所需的时间差异，如果你训练一个模型六个月，我认为你无法在六个月内充分测试它，你需要大约10倍的时间，也许六年才能达到你真正看过所有极端情况，并且对于狭窄的系统来说，它工作得很好，如果你是一个通用系统，就没有极端情况，它在所有领域都有效，这对我来说很接近多模态，所以你甚至不确定要测试什么，它具有人类通用领域之外的能力，它具有新兴现象，你不知道要测试什么，直到你以某种方式遇到它们，已知未知，现在很可能，有我们尚未发现的能力，仅仅因为我们还没有去寻找它们，过去，我认为罗杰也提到了这一点，人工智能是软件工程，我们工程化这些系统，我们理解它们，它很美妙，现在它是真正的计算机科学，它是科学，我们进行实验，然后看看会发生什么。
我们事先不知道，我们发现新事物。这就像研究那些人造生物，它现在是生物学的一个子集，所以变化相当多，对我来说，这至少听起来问题更难了。所有那些雪茄都明白了，嗯，让我，我会放上去，这样听众就可以决定他们在哪里了。就相对的可行性而言，我看到了双方的优点。我可能会以对某些人来说会是“嗯，你知道，一个轻松的音符”来结束。我认为有一些人正在收听，他们最深的愿望是永恒的人类王国。我认为还有其他人正在收听，他们最深的愿望是智慧本身在整个银河系中盛开，即使那是以远远后人类的形式。我不会说我站在哪一边，但让我们假设，嗯，至少在相当长的一段时间内，维持我们在食物链顶端的地位是一个优先事项。也许在一个最好的世界里，从你知道的，也许是罗科的观点来看，假设这是可控的，罗科，你认为，当我们结束时，我会把这个传给罗曼。你认为，假设我们再次拥有硬件冻结和时间来处理它，这样的可控性结构会让我们在食物链顶端保持一百年吗？它会比那长得多吗？你认为最好的情况是什么，假设这些东西能顺利进行，在你对“顺利”的定义中？嗯，你说的“我们”是什么意思？你是指字面上的生物人类形式吗？当然，我们可以谈论猿人本身，但如果你想超越这一点，请便。是的，我的意思是，我认为这确实触及了问题的核心，那就是价值学，你知道，我们重视什么。嗯，这和字面上的，你知道，血肉之躯不一样，对吧？所以，如果你有一个机器人，你可以一点一点地把自己变成它，它是由金属和硅以及任何东西制成的，但是你知道，那个你可以一点一点地替换自己的机器人，从你关心的事物的角度来看，它更好，那么，你知道，字面上的生物血肉就会消失，但你关心的事情仍然在那里。所以，你思考的方式，你与人交往的方式，你的感受方式，然后你也可以永生，你也可以提升你的智力水平，你可以做各种很酷的事情，对吧？所以，嗯，我认为最好是思考价值的演变，而不是物质的演变，比如肉类对硅，对吧？所以真正的问题是价值的演变。所以，你知道，我相信永恒的价值学是可能的。我相信可以永远锁定我们现在的价值观，然后我们可以花掉宇宙的其余部分来探索我们当前价值观的逻辑后果。所以，如果你现在重视，你知道，你自己的客观体验，你就可以在越来越高的水平上探索它，无论在哪里。现在，如果你未能锁定它，那么我们将有更多的价值学，我们的价值观最终将被删除，并被其他东西取代，比如回形针最大化器，或者你知道，类似的东西。但我想，我认为永恒的价值学是可能的。明白了，嗯，我认为这里也有一个论点，如果蟋蟀的价值学在人类进化过程中被冻结了，我们的世界将会变得非常糟糕，整个宇宙都会变得非常糟糕。我认为我们可以争辩说，一个远远后人类的超级智能应该能够探索价值的状态空间，以及思想的状态空间。但说到你的观点，也许我们几乎可以假设人类的价值观，我知道，我知道你这样做，我知道你这样做，这没关系。所以我们将阐述你的，这是我们之间的一个小小的争论点，但我想自己退出擂台，把这个问题留给你们。你的观点是，我们能达到的程度不是永远保持血肉之躯，而是你会说，丹，如果我们能冻结硬件，如果我们能真正致力于安全，我们就有足够的时间来处理我们自身形式的涌现和演变，真正用与我们关心的事情相当紧密联系的东西来填充银河系，而对你来说，这才是真正的伟大胜利，是这样吗？是的，绝对是。这基本上是，好的，美妙的，可能的，效用。我认为这是一个非常合理的长期假设。你和我对此有我们自己的私下谈话，但我必须说，我认为这相当合理。罗曼，你，你知道，典型的悲观主义者，你的表情包至少让我知道，如果被人工智能吞噬，我们会笑，如果发生的话。但让我们假设这在未来五年内不会发生。对你来说，什么会是胜利？你知道，让我们说我们正在为防止通用人工智能或人工智能安全付出非零的努力。我知道你不太相信通用人工智能会起作用。这里的胜利是什么？你知道，知道世界的发展方向，罗科已经阐述了他的。你希望朝着一个有益的未来前进吗？我希望的胜利是，所有顶尖研究人员都能读我的论文，出于纯粹的个人自利，决定不创造通用超级智能。他们会做像 DeepMind 那样的事情，拥有非常狭窄的超级智能来解决重要问题，比如蛋白质折叠，给我们带来永生，给我们带来非常有利的东西，而无需冒不必要的风险。罗科所设想的，我认为有点像连贯外推意愿之类的东西。问题是，如果你把一只松鼠上传并升级到像人类一样聪明，那很棒，但松鼠已经死了，没有松鼠了。如果你是不同的智能，不同的生物，你也不会是你。我总是开这个玩笑，是的，我的妻子可以找到另一个又高又帅的男人，但这对我来说不是胜利，对吧？我想要的不是这个。很多电脑，我在某些方面不同意。所以，你知道，我认为生物学在我们的价值学中并没有真正占很大比重，对吧？比如，你知道，如果你问一个不太了解科学的人，你只是问他们，你知道，你是由蛋白质组成的吗？他们会说，嗯，就像蛋白质奶昔？不，我不是由蛋白质组成的，对吧？人们实际上并不知道他们是由蛋白质组成的，所以我们实际上并不在乎，对吧？就我而言，这根手指可以是橡胶做的，我不在乎，对吧？我真的不在乎它是由细胞组成的。所以你可以摆脱细胞，摆脱所有这些东西，只要我的计算输入输出，我真正关心的，比如我能看到什么，我能感觉到什么，我能做什么，我能思考什么，只要这些被保留下来，你就可以用硫化橡胶和钢来代替蛋白质，这无关紧要，对吧？是的，所以很多人，这是一个混合解决方案，我们可以某种程度上与人工智能融合，你将拥有这种脑机接口和植入物。但我想他们没有意识到的是，你对超级智能没有任何贡献。从长远来看，你将被从这种混合体中移除。你被明确或隐含地移除了，因为系统没有你也能正常运行。你只是一个生物瓶颈。所以这也是另一个，我同意这一点。我认为那些谈论人类与超级智能融合的人，我只是不知道他们在说什么。你不想融合，你想利用超级智能作为工具来为你自己创造一个永恒的价值学。所以，就像罗曼，罗曼的画是他理想的未来。所以，我认为你的观点在这里相当清楚，罗科，就你的立场而言。事实上，我对你的许多想法相当友好。我认为罗曼，我们正在描绘，如果我们进展顺利，我们想最终到达哪里。罗科，我明白你的意思。我想在罗曼说的地方结束。罗曼，我将尝试简要概括你的观点，我想确保你能为我澄清。对你来说，嘿，让狭义人工智能来处理重要的人类问题，因为我们将被消灭，对你来说，这是对你价值观的侵犯，也许不是罗科的，但你的。我们应该尽可能长时间地维持我们的生物形态，抵制某种，我们称之为，针对通用人工智能的管家式圣战，我们将保持它们狭窄，我们同意我们能够在我们经济和我们的人类，你知道，猿人血肉之躯的人口中繁荣发展，尽可能长地利用所有这些美妙的技术。这确实是你认为最接近胜利的宏大未来吗？或者我是在误述？所以这是合理的。我想保留选择。我想确保我们都能做我们想做的事情。如果罗科想上传和改进，然后变成非生物，那绝对是他的选择。我想选择留在接近原始形态。很多计算机科学，尤其是计算机伦理学，都是关于消除算法中的偏见。由性别偏见的人工智能引起的人工智能安全就是要把非常强烈的亲人类偏见重新植入这些系统。我们知道有已证实的证据表明你无法消除所有偏见。而且我认为，出于类似但有点相反的原因，你无法在不使系统完全依赖的情况下引入多少偏见。如果你想要通用性，你想要创造力，你不是完全控制它，如果你完全控制它，你就会牺牲能力。这就是我们之间的权衡。所以，我的结论是，我想保留这些选择。我想要一个撤销按钮，我想要所有短期利益，但要尽可能多的时间来弄清楚发生了什么。如果我们想进入下一个层次，我发表了一篇论文，当时，再次，这纯粹是科幻小说，现在随着 Meta 进军虚拟现实，Apple 进军虚拟现实，虚拟世界的想法正变得越来越主流。让我们给每个人一个自己的虚拟世界，在那个世界里，你可以做任何你想做的事情，这是你的幻想。我们只需要控制底层。我们不需要解决多主体价值对齐问题。我不必牺牲我的价值观。这很美。让我们建造它。好的，我喜欢。伙计们，我们必须在这个音符上结束。我喜欢我们为你们两位描绘了理想的终点。罗曼有这个想法，可能像一个管道工，更高的智能允许他做他想做的事情，凭着恩典和善良，我不知道每个更高的智能是否会允许这样的事情。但我确信，如果罗科升级自己，罗曼，他会对你相当好。我认为他仍然会是你的朋友，即使他变成某种狂野的罗科机器人。所以，先生们，这太棒了，能够阐述你们两人的立场，在我们遥远的未来。非常感谢你们两位来到这里。谢谢。我只希望他把我列入一个白名单，这样我就不会永远被人工智能折磨。笑。好的，完美。这是，我们在哪里？我想是整整 56 分钟，伙计们。我们做得很好，伙计们，我们做得很好。嗯，我认为视频，确保它都安全地保存在有意义的地方。是的，是的，是的，我们肯定会这样做。让我，好的，它叫做录音。好的，如果，让我们把它移到这里，我们称之为本德罗。不，不，不，它很小，它很小。所以让我，让我这样做，伙计们。我将创建一个 Google Drive，我将把它放在聊天中，如果你能把你的原始音频放进去，那就太好了。我将确保它出现，我将弄清楚 Google Drive 视频录制去了哪里。我知道视频在这里有点断断续续，但我们会看看那个文件在哪里。我将创建一个 Google Drive，我将给你们两个这个链接，如果你能，我们就把你们的原始音频放进去。嗯，你把你的视频录制也放进同一个文件夹。嗯，我想它会被保存在某种 Google Meet Drive 里。视频在这里断断续续，但我们会看看它在哪里。嗯，所以，好的，我的文件已经上传了。好的，太棒了。嗯，罗科，如果你不介意把你的也上传上去，那就太好了。嗯，然后我也会在我自己的录音机里导出我的音频。我得弄清楚这些文件保存在哪里，因为我真的很久没有直接从这里录制了。所以，我得自己去谷歌搜索一下。但如果我上传的话，文件大小是 25%，很容易。很容易，伙计们，我将回到旧的电子邮件收件箱，先生们，但我感谢你们两位都在。我会让你们两位知道视频在哪里。也许我还在咖啡店，我会弄清楚这个东西在哪里。否则，我也会让你们知道我希望什么时候能把这个东西发布出去。但我很高兴我们这个周末能进行一次有点书呆子的谈话，先生们，感谢你们两位来到这里。好的，你估计什么时候发布？多久之后你会把它放出来？大概不到一个月。好的，有了所有这些东西，就在奇点之前。是的，它可能会尝试加快速度，因为时间线现在相当快。一个月是很长的时间，我们不知道会发生什么。但我的意思是，是的，是的，由你决定，但我会，这一切都比不上付我的账单，先生们。所以，我将，我将，我将根据谁在付我钱来运行事情，这就是游戏的运作方式，所以让我们都明白这一点。所以，我将，你知道，我会弄清楚的。它可能会在周四或周五出来，我们有库存，我们可以腾出时间，你知道，我没有从试图付我钱的人那里拿走东西。所以，那将是，那将是，伙计们。我认为我们都清楚了。罗曼，我删除了原始推文，我相信当这一集上线时，我们会发布一些其他有趣的东西。但先生们，这真是一次爆炸。我超级，我真的很喜欢这一集的结尾。我认为人们会从中吸取很多教训。所以，祝你们周末愉快。好的，谢谢。保持联系。