Transcription
我的名字是尼古拉，又名苏格拉底，你正在收看“奇点一对一”。
“奇点一对一”是奇点博客的一个常规播客节目，你可以在那里收听或完整下载它。
如果你们喜欢这个节目，可以通过多种方式帮助我做得更好。
你可以点击这个视频的“赞”按钮，你可以留言，或者你可以直接去捐款。
一如既往，我将是提问者，今天回答问题的嘉宾将是罗曼·扬波尔斯基教授。
扬波尔斯基博士是路易斯维尔大学工程学院的助理教授，也是网络安全实验室的主任。
他还是奇点大学GSP第12届的校友，就在我之后，并且是奇点研究所的访问学者，该研究所最近更名为MIRI（机器智能研究所）。
那么，谢谢你和我们在一起，罗曼，谢谢你邀请我，太棒了。
那么，让我从我采访时常问的那个问题开始，那就是，如果你用几句话介绍你自己和你的工作，你会怎么做？
我确实运营着网络安全实验室，而这个术语并没有很好的定义。
安全和计算机的含义概念非常广泛。
我们从事生物识别技术，即人类识别，我们研究摄影，我们研究数字取证，我个人的兴趣在于人工智能和安全的交叉点，即计算机安全的概念如何应用于智能机器、虚拟世界等。
现在我知道，就像我一样，你是在铁幕后的东欧阵营长大的，是吧？
所以我很好奇你是如何对技术，特别是人工智能产生兴趣的，以及为什么。
我不认为它的政治方面与对技术的兴趣有关，我们当时生活在一个，至少从我的角度来看，一个技术非常落后的世界。
我记得当我还是个孩子的时候，要接触电脑是多么困难。
我不得不，我们有8位电脑，但用的是Basic语言，我记得我上七年级的时候，不得不排队或者想尽各种办法才能在电脑上玩10分钟或15分钟，或者跑到城市的另一端。
所以技术根本不是我童年生活的重要组成部分。
我没有任天堂或Gameboy，我个人玩的是棍子和石头，我骑自行车，小时候做各种淘气的事情，但它们不涉及技术，除非是生火之类的。
但你说得对，技术是非常令人向往的，你排队花五分钟玩电子游戏，我就是这样开始的。
我喜欢电子游戏，我玩过iPad、世嘉Genesis、任天堂，我的意思是，我大部分时间都在玩电子游戏，我以为我会在某个时候成为一名电脑游戏开发者。
后来我搬到美国，我意识到这是一种瘾，我卖掉了我所有的游戏机，从那以后就再也没碰过。
我曾短暂沉迷于在线扑克，我也克服了。
那么，我来确认一下，你甚至在苏联解体后，也就是89年到91年之后，也能接触到世嘉等西方电子游戏？
我94年才搬到这里，所以我在那里生活的时候，有一段短暂的时间可以很好地接触到大部分技术。
所以，是的，我从来没有个人电脑——我记得我大概是九年级或十年级的时候，我做了各种各样的尝试，我真的租到了一台16位电脑，那台电脑在一家图书馆里没有被使用，当然它们是保加利亚电脑，你知道在东欧阵营，保加利亚实际上是电脑和CD等产品的重要生产国。
我不知道，但我第一台电脑实际上是在当地医院的垃圾堆里找到的，那是一台苏联机器，我想那是一台8位机器，我花了一点时间编程，让屏幕上显示一个像素，我为自己感到非常自豪。
我通常会有一台电视，我会在右上角展示电视，就像一个键盘盒和一台电视，你可以玩一些游戏，我就是这样开始一个太空程序加载的，你会放磁带和录音机，嗯哼，是的，那太疯狂了，那些是疯狂的时代，这些磁带在读取时会遇到很多问题，而且它们总是坏掉，这太不可思议了。
我们别再用我们的个人故事来烦扰听众了，继续吧。
那么，你目前工作的动机和主要目标是什么？
我希望让技术造福人类。
所以我确实看到了指数级技术所拥有的惊人潜力，计算机是它们的视觉智能，但忽视潜在的副作用是不明智的。
我们接受了很多技术，却没有考虑它们能对我们做什么，有时会适得其反。
看看汽车这样微不足道的东西，如果今天有人提出汽车的想法，我们绝不会接受它，它每年杀死十万人，污染环境，但我们已经如此习惯这个概念，以至于我们离不开它。
我希望我们今天正在开发的技术不会有那些副作用，我们可以让它们安全，并且只具有有益的一面。
我有点半同意你所说的，你难道不仍然认为汽车在某种程度上是一种必要的恶吗？因为如果没有汽车这种交通系统，我们就无法发展我们的经济，世界的互联互通，货物的运输，人员的流动，环游世界，所有这些基本上都是由福特本人最初开创的廉价汽车所推动的。我只是再次思考，我们是否可以用更安全、更好的方式做同样的事情，哦，是的，我们的汽车控制系统，更好的路灯，更智能的东西，是的，我们使用了大量的现金，从这个意义上说，我完全同意你的观点，是的，是的，我同意。
那么，请多告诉我们一些关于你的研究实验室的情况，它关注什么，以及你可能在那里取得的一些主要发现是什么？
嗯，这个实验室是工程系的一部分，所以我们较少关注那种哲学性的未来工作，而更多地关注我们今天可以完成的事情。
我的大多数学生从事生物识别系统方面的工作，比如行为生物识别，通过用户与计算机的交互模式、打字模式、鼠标使用、与不同软件的交互以及面部识别、语音识别来识别用户。
我们确实也研究了一点虚拟世界中头像的识别，所以是非生物的，他正在尝试对共享部分进行语言分析等等，这可能就是主要的研究领域。
现在，作为我这次采访准备的一部分，我看了你的一些采访，也尽可能多地阅读了你的论文。
我还碰巧看了你在奇点大学GSP 12上的Ignite演讲，那个视频在你的YouTube频道上，我想引用你当时说的一句话，并请你详细阐述一下，你说：“我有点悲观，我的工作是审视人工智能等技术的指数级风险。”你当时谈论的是你和雷·库兹韦尔对技术指数级增长看法的差异，你介意再详细阐述一下吗？
这就像我给你举的一个例子，他谈论技术将如何发展，我们将从中得到什么，我们将拥有飞行汽车，我们将拥有智能导师，但我确实觉得他没有强调技术可能出现的问题，所以这就像有人说，核能太棒了，我们将获得所有这些免费能源，却忽视了可能的事故，忽视了核武器，这就是我的看法。我对技术没有一个完整的图景，我们看到了积极的一面，它值得做，让我们去做，但在为时已晚之前，让我们专注于安全机制。
啊哈，所以你认为在某种程度上，雷·库兹韦尔是不是过于乐观了，在预防或某种程度上防范指数级技术的负面影响方面做得不够？
我会这么说。我认为他做了一百多项预测，如果你看看它们，要么没有，要么只有一两个带有明显的负面含义。它总是关于未来会多么棒，从不提及“嗯，这可能会适得其反”。如果你认为任何技术都是五五开的，它既可以用于好事也可以用于坏事，那么你就必须以几乎相同的程度来解决它。推销天堂比推销地狱更容易，所以很多预测都应该倾向于在这项技术上投入越来越少的资金，因为那是人们会追求的。
好的，那么我想直接进入讨论，我们如何才能真正努力确保或最小化这些技术的负面潜力，但我想循序渐进地进行，所以我想从一个关于你对人工智能定义的普遍问题开始，因为人们对这个术语有不同的解释，我只想问你，对你来说，人工智能是什么？
所以我想这个术语有两种潜在的定义：我们现在正在做的是为姐妹们提供不同的工具，其中一些学校非常好，其中一些工具实际上达到了或超过了人类代理的水平；但人工智能的长期目标一直是开发出与人类一样有能力的系统，即人类水平的智能，以及一个能够在所有领域提供这种性能水平的系统，这样人类可以做到的，这个系统也应该能够具有竞争力，并且很快这样的系统将在大多数部门变得优越，因为它不断学习，不断增加。所以我们现有的系统是我们唯一可以实践的，在这里我们可以限制访问，我们可以增加某种安全机制。从长远来看，我们需要思考当我们周围有那些人类水平智能的机器时会发生什么，以及我们如何（如果可能的话）控制它们，限制它们对我们的影响，这就是一个大问题。
你认为我们是否真的在实现创造人工智能的目标方面取得了任何合理的进展？因为我最近采访了马文·明斯基博士，他以一种方式让我非常惊讶，他说在过去十年甚至几十年里，他没有看到人工智能取得多少进展。实际上，在我遇到他的那次会议上，他私下告诉我，很多糟糕的想法在70年代和80年代变得非常流行，我不认为他必然将自己排除在那份指责之外，尽管他可能这样做了，但我不认为他这样做了。他甚至认为，他甚至说，他没有看到许多有前途的理论或团队正在朝着人工智能的道路前进。你对此有何看法？我们取得了任何进展吗？我们正在取得进展吗？我们有可能取得更多进展吗？
我看了你对他的采访，非常好的采访，我想你指出，沃森怎么样？谷歌翻译怎么样？那些系统怎么样？我不同意，我认为我们正在取得惊人的进展，我们还没有达到目标，但你不能否认我们在过去十年里所做的事情，其中很多都基于我们所拥有的规模，我们有更强大的机器，我们可以进行大规模的统计处理，我们并没有更好地理解人脑是如何做这些事情的，但我们在开发能够完成这些事情的工具方面要成功得多，他可能纠正了这一点，即很多工作不是由世界各地的研究实验室完成的，而是像谷歌这样的公司现在处于开发这些技术的最前沿，所以我恭敬地、恭敬地不同意他的评估。
让我给你介绍另一位来自不同学科的麻省理工学院的杰出人物，他讽刺地，至少在这一点上，实际上会同意明斯基博士的观点，那就是诺姆·乔姆斯基教授，顺便说一句，我正试图邀请他上我的节目。他曾说过一句名言，在深蓝击败加里·卡斯帕罗夫之后，乔姆斯基曾说，电脑击败国际象棋界最优秀的人类，对他来说，就像推土机赢得奥运会举重比赛一样有趣，或者类似的话。
现在，既然他是世界上最著名的语言学家之一，我非常想亲自问他，他如何看待沃森击败《危险边缘》节目中两位有史以来最优秀的人类，以及这种事情是否以任何方式影响了他或改变了他的想法，但我怀疑他可能会指出，这些更多是暴力破解的方法，而不是真正的智能，从这个意义上说，他使用的推土机和举重的比喻仍然成立，因此对他来说可能没有那么有趣。你现在对这种压力有什么看法，或者说真的？
我不同意，我喜欢暴力破解，我认为那是最重要的算法，我有一篇论文为它辩护，称其为绘制智能的通用算法，如果你仔细想想，我们使用的正是人脑，它如此强大，比我们今天或未来十年内任何可用的超级计算机都要强大，所以这就是我们使用的。我的意思是，我们之所以能达到这个水平，仅仅是因为我们长出了这个大脑袋，并且能够破解所有数据，我们并不是有意识地去做，所有这些处理都在后台发生，然后我们面临多项选择，我们作为一个专家系统会从中选择，而沃森本质上就是这样做的，弹出几个选项，然后它会从前四五个选项中选择那个选项，所以从某种意义上说，它是不是暴力破解并不重要，只要它有效就行。
我的意思是，我知道明斯基在一次新的采访中对图灵测试持怀疑态度，但它是一种非常客观的方式来判断系统是否和人类一样好，很难争辩说一个通过图灵测试的系统不智能，这是不可能争辩的。
是的，明斯基在那次采访中抛出的另一个重磅炸弹是，他说图灵测试是个笑话，你有点抢先了我的下一个问题，那就是图灵测试怎么样？你对它有什么看法？你说它是一个很棒的测试，但它真的如此吗？
我想是的，对我来说，它精确地衡量了我们在智力测试中想要衡量的东西，我们不想要那种“它作为数学家有多好？它下棋有多好？”的东西，那些不是作为智能生物的基本属性，也不是像人类一样智能的属性，而通过图灵测试正是如此，如果你能通过图灵测试，我有一篇论文，我不知道你是否有机会读过，是关于人工智能完备性的，你可以在图灵测试中问任何问题，任何问题都可以归结为图灵测试中的一个问题，通过测试意味着你的能力等同于任何专业领域，你和工程师、教师、作家一样优秀，任何领域。
所以，你知道，我知道你通常会尽量避开哲学上的含义，但我无法抗拒，所以假设一台机器成功通过了图灵测试，那么这意味着什么？我们应该对那个实体持什么样的态度？
这是一个非常困难的问题，对我来说，这是一个非常危险的情况。如果我们已经到了那个地步，那就意味着我未能及时开发出那些安全机制。基本上，如果你现在拥有人类水平的智能，那意味着在20分钟内你将拥有超级智能。一周和一个月后会发生什么，你根本无法预测。在这一点上，你根本无法控制，系统处于控制之中。
哦，所以你认为一旦我们有一台电脑成功通过了你的测试，从某种意义上说就太晚了？太晚了，因为它会很快变得超级智能，到那时你就不再是房间里、世界上最聪明的病人了，所以你不是做决定的人。
所以从这个意义上说，你实际上认为技术奇点可能真的会以维诺·文奇所说的“硬起飞”而不是“软起飞”的方式发生？因为我本人不得不承认，我认为如果它发生，对我来说更可能的路径是“软起飞”。我认为我们会遇到几次小故障，可能会出现杰伦·拉尼尔所说的“蓝屏死机”或系统故障，换句话说，我认为我们不会第一次就做对。所以我认为它可能会更渐进一些，而不是“砰”的一声，我们拥有与人类智能相当的智能，然后20分钟后它变得聪明一百倍，两天后它变得聪明万亿倍，然后就不用管了。我认为我们会经历软着陆和问题，但这会先于机器通过图灵测试，那将是一台能够做到这一点的完美机器，但一旦你达到那个点，什么能阻止它非常迅速地跳到下一个水平呢？它已经和你一样好了。
也许现在是时候问你，你对技术奇点总体上有什么看法？我们应该为此担忧吗？我们应该为此感到高兴和乐观吗？普通人又该如何为此做准备呢？
嗯，我们应该对此保持现实态度，它很可能发生，而且像任何其他技术一样，它有积极和消极的方面。所以，根据你对我们与那些简单智能机器关系的看法，你可能会或多或少地乐观。那些以库兹韦尔的方式看待世界的人，他们的预测会认为我们将与机器融合，所以我们将成为那个超级智能革命的一部分，我们将停止做人类，我们将成为赛博格并以那种方式前进。其他人可能会认为，生物制品能为那个超级智能机器增加什么呢？什么都不能，所以我们将完全从系统中移除，那是一个不那么理想的场景。我肯定认为它是人类历史上一个非常重要的未来节点，可能也是最重要的一个。那么，对于普通人来说，如何应对它呢？他们能做的并不多，这就像问“好吧，宇宙将要自我坍塌，你作为一个普通消费者应该怎么做？”然后我们能做的就不多了。
嗯，那并不意味着唯一能对此有所作为的人就是像你这样的人，那些教授或该领域的专家，他们正在从事这项工作，基本上我们把人类的命运交给了技术官僚。
从这个意义上说，我们确实是这样，我甚至不确定，别说我了，即使是顶尖的技术人员也对此无能为力。这是那种无论我们如何努力阻止或减缓它，它都可能发生的事情，它可能是一个自然的节点，你知道，所有的曲线，一切都走向那个奇点本质论。我仍然不确定我们是否有办法阻止它，或者控制它，使其足够安全，但我肯定正在投入时间进行研究，是的。
所以你不确定你能有所作为，但你仍然在努力去做，因为我的意思是，如果你真的无法有所作为，那将意味着像你这样的人或像机器智能研究所这样的工作在某种意义上是毫无意义的。如果你确切地知道你无法学习，那确实是毫无意义的，但如果你这样想：假设我们能够看到种子并使其繁殖的概率微乎其微，但所涉的价值是全人类，对我来说就像无限大，这仍然是一个巨大的价值，你应该驱使这些废墟说“不值得，我去做别的事情”。是的，是的，我完全同意这一点。
实际上，这与我记得我采访迈克尔·安德森时，我问他我们生存的机会有多大，他当时给了我一个数字，比如15%左右，如果我没记错的话，那是几年前的事了。但如果你被逼问并要求给出一个概率百分比，你认为我们生存的机会有多大？
但你如何定义生存？与机器融合并成为赛博格，我们是否生存下来了？是零还是百分之百？这真的取决于你的定义。如果我们进入一个虚拟世界，软件的存在被认可，那算是生存吗？回到我们一百年前的那种阿米什生活方式，那是生存吗？这真的取决于你如何定义这里的成功。
是的，那么你认为最好的定义是什么呢？成功或生存的最佳定义，我通过我的研究试图做的是开发一些工具，使我们能够将奇点推迟一点，这样我们就有更多的空间做出决定，有更多的时间来弄清楚该怎么做。所以我很乐意看到我们保持目前的状况，也许在工具人工智能方面有一些改进，但不要一下子跳到超级智能机器的水平。
所以从某种意义上说，你是在说你试图延迟或减缓奇点到来的进程，绝对是这样，并将其推迟到未来，这样我们就有更多时间来准备，更好地理解技术，更好地在政治、法律、伦理、道德方面做好准备。我们现在没有任何能够处理智能机器的规定，我们的法律结构还没有准备好，经济结构也没有准备好，所有这些都会崩溃，即使是人类水平的人工智能出现，更不用说超级智能了。
现实地说，我的意思是，你认为你如何能做到这一点？我的意思是，你对一些外国军队，例如以色列、伊朗、法国、英国、俄罗斯等，在他们的研究实验室中试图开发人工智能，你能施加什么影响？我们并不真正担心伊朗开发，是的，我认为这将是美国军方，他们自60年代以来一直在资助它，这意味着他说，我的意思是，大部分资金来自其他三个研究资助，是的。
所以即使在美国军方，你对进展的影响或施加影响的能力有多大，以及在某种程度上减缓它的能力有多大？非常小。我能做的最好的事情就是接受像你这样的记者的采访，希望公众理解这个问题，然后通过选举影响这个过程，她现在会知道该说什么了。
好的，那么让我们回到机器能够通过图灵测试的伦理维度，再多谈一点。现在，在我读到的一篇论文中，你谈到了“奇点防漏”，你提供了一个包含八个安全级别的协议，如果可以的话，它将隔离或限制人工智能在一个安全的领域内，我们能够控制它并防止它扩散出去。那么，请再告诉我们一些关于你“防漏奇点”背后的想法。
所以，它是一个工具，旨在延迟技术奇点的到来。假设一家公司，比如谷歌或类似的公司，在开发人类模拟器方面非常成功，他们最近聘请了雷·库兹韦尔担任工程总监，他有一本书叫《如何创造思维》，我确信它正在进行与这本书相关的项目。随着我们通过软路径或硬路径，无论是什么，越来越接近目标，我们将达到一个点，他们拥有一个像蹒跚学步的孩子一样有能力，像六七岁孩子一样有能力的系统。与其把它扔到网上作为谷歌搜索的增强功能，我建议把它放在一台独立的机器里，与所有信息的访问隔离开来，对它进行实验，看看它是否安全，看看它是否是你能够施加额外限制的东西。把它想象成捕获外星智能，如果它在火星或月球上捕获了一个家伙，只是把它展示给公众，给他投票权，然后就忘了它，那会把他关在实验室里，非常仔细地研究他，概念是一样的。
但是我们有权利这样做吗？从伦理上讲呢？让我试着稍微转换一下比喻，把它想象成1960年代的黑人权利运动，在那之前是妇女权利运动，最初女性和黑人都没有投票权，最终通过两个社区的实质性斗争，这种限制被克服了。但现在我们有了所谓的普世人权，以前只有男性权利，甚至在那之前，只有男性财产所有者，通常是贵族，对吧？所以这就像说，我们不确定是否应该让女性投票，或者是否应该让黑人投票，或者将他们从奴役中解放出来，也许我们应该把他们关在实验室或集中营里，开始研究他们，并确保首先对我们来说是安全的，然后才给予他们任何权利，对吧？
情况非常不同，你提出的例子是，你已经在处理你创造了平等的代理人，现在你正在决定如何分配权利给他们的情况，但他们是平等创造的。我的意思是，教会和《圣经》，以及几乎许多有声望的名人几千年来都曾说过，女性是低等的，其他种族低于白人，而且几千年来没有人说过我们生而平等，实际上人们过去常说这个世界有自然的秩序，而白人男性通常应该站在金字塔的顶端，好吧。
所以，我不是《圣经》专家，我不会对此发表评论。我在关于机器人和人工智能的论文中有一个评论，当然，它们在设计上应该是低等的，在这种情况下我们是上帝，我们正在创造它们。由我们来设计它们是否具有感受疼痛的能力，例如，如果一个实体能够承受痛苦，它就值得更多的尊重和非洲待遇，由我们来决定是否包含这种能力。所以另一个区别是，你提到了投票权，所有你提到的那些实体都有相似的设计，相似的DNA，我们在非常肤浅的能力上有所不同。另一方面，软件可以很容易地复制，如果你今天有一个智能程序，你可以在十秒钟内拥有万亿个，允许这样的系统作为平等的个体投票，很快就会把所有人类从等式中移除，基本上在这一点上，即使在民主进程中，机器也会接管。
嗯哼，所以你不能真正将它们与历史例子进行比较，它们非常不同。所以你倾向于强烈反对像尼克·博斯特罗姆这样的人，他们写过关于物种之爱，或者他们称之为生物学上的“我思”，以及我们不应该谈论人权，而应该谈论智能权利，以及只要拥有智能，基质就具有实际相关性。我读过他的作品，我想更多地转向古巴·德·加里斯的《人工智能战争》一书，他基本上认为这些东西会优于我们，应该拥有更多的权利和更好的眼睛，我们甚至不应该参与竞争，我们在这个等式中就像细菌一样。对我来说，我是一个非常专业的专家，我相信人类是我在这里服务和保护的对象，我真的不希望情况改变。我的意思是，从另一个星系宇宙中的人的角度来看，这可能非常物种主义，但我愿意接受这个标签，非常好。
是的，我做过的最受欢迎的采访之一就是对德·加里斯教授的采访，关于他的书《人工智能战争》等等。那么，让我提一下他提出的一些观点，你认为他所称的“宇宙人”（例如雷·库兹韦尔肯定会是其中之一）和“地球人”（也就是他所称的那些反对这种进步的科技网民）之间，冲突是不可避免的吗？因此他认为会发生这种不可避免的冲突，他称之为“千兆死亡”的“咯咯笑战争”。我认为这很有可能，我们已经开始看到一些迹象。我们从保守派电台的讨论开始，它带有一点人文主义色彩，你已经可以看到一些这种观点正在从那群人中获得关注。所以，毫无疑问，关于人类应该如何改变，哪些改变是可能的，以及应该做哪些改变，存在着争论。所以，是的，我同意德·加里斯博士的观点，嗯哼。
嗯，从这个意义上说，让我问你这个问题，我看了你为亚历克斯·琼斯节目做的采访，我怀疑你提到那些人时可能指的是他的听众或那个节目，那么你是不是在某种程度上火上浇油呢？通过多次接受他的采访，谈论这些问题，并助长了偏执？嗯，如果你真的看了采访，我是在为雷·库兹韦尔和消费主义辩护，认为它是一种非常有益的技术，可以帮助残疾人，它将帮助我们的经济，包括健康教育。也许这些人提出的问题是他们对这个话题缺乏教育，不是因为他们邪恶，而是因为他们不理解技术或技术的目标，所以我认为通过参加节目并教育这部分人群，我极大地造福了所有人，而不是火上浇油。
好的，我希望如此，我绝对希望如此。我实际上自己也曾假设性地考虑过，如果我被邀请去亚历克斯·琼斯秀，我是否会去。一方面，我想说“不，我绝对不会去”，另一方面，我又想，嗯，但另一方面，那将是一个很好的机会，可以与一个传统上可能不参与这些话题的观众辩论这些问题。所以我自己在那段时间里一直这样反复思考，无法得出结论，我不得不承认我有点陷入僵局，有很强的理由支持，也有很强的理由反对，因为你知道，有些人会说，你永远无法改变人们的想法，这就像去教堂辩论，告诉人们没有上帝，对吧？
嗯，很多人都这样做，黑暗试图辩论，是的，我自己也曾多次尝试过，我不得不说，我偶尔取得了一些有限的成功，但绝大多数情况下都彻底失败了。你不能在辩论结束后立即衡量成功，你播下了一颗种子，可能需要10年、20年、30年才能生根发芽，然后有一天它会显现出来，而你现在就开始将自己排除在这场斗争之外。
是的，我同意，我同意你的看法，我并没有将自己排除在外，我只是说，也许到目前为止，我认为我还没有达到我所希望的，能够开启人们思想的影响力，而且我通常不试图将我的观点强加于人，我只是想开启可能性，开启讨论，开启对更广阔视野的思考，而不是非常有限的神学或，是的，甚至，你知道，技术性的视野，如果它是那样的话。这就是为什么，你知道，我经常邀请怀疑论者上我的节目，我曾邀请过宗教超人类主义者和各种观点的人，你肯定会从与你意见不合的人交谈中学到更多，而不是与百分之百同意你的人交谈，你从中学不到任何东西，绝对是这样。是的，我实际上从那些让我感到惊讶的人那里学到了很多，是的，绝对是另一个很棒的观点。
那么罗曼，请你多告诉我们一些关于你的书，你现在正在写的书叫什么名字？我想我看到你身后那个封面，嗯，是的，那么书名是什么？主题是什么？《蜘蛛侠超级智能：未来主义方法》这本书的目标是什么？它在谷歌一位研究主管撰写的一本非常流行的书《人工智能：一种现代方法》中扮演着重要角色，这本书更多是哲学性的而非工程性的。我们再次谈论的是我们尚未拥有的系统的安全机制，很难进行实验来做任何实际的事情，你没有办法测试这些机制。但他确实谈到了诸如我们如何定义超级智能，如何衡量它，如何尝试限制它等问题。所以你提到的一篇论文和一些小东西是其中的一部分，通信协议，烤面包机谈到了我们一直在做的关于人工工艺智慧、虚拟世界安全等方面的一些工作。所以基本上，可以说我过去四年发表的任何东西都在影响这本书，但当我做这本书的时候，我正在进行全国性的众筹活动，很多人可以选择以编辑的身份资助，他们可以为这本书做出贡献，校对这本书，帮助指导它，使其质量更好，我希望如此。
那么你现在的进展如何？我们已经完成了众筹活动，我目前正在撰写和定稿一些章节，大概还有四五个章节需要从头开始写。我目前也正在尝试让这本书进行行为评估，看看它是否可以通过更主流的出版流程出版。无论成功与否，它都会出版，无论是作为独立出版物还是作为标准的学术出版物。
那么，如果你不介意与我们分享这本书的主要论点是什么，或者你目前是否有明确的论点？有一个简短的摘要，如果你感兴趣，可以去查阅，只需谷歌书名，它是第一个结果。但基本上，它会在接下来的，也许200年内警告你，我们肯定会达到一个拥有人类水平智能机器的阶段，而且它们会非常迅速地进入下一个水平，我不是在争论这需要一天还是一周，但在历史的角度来看，这将是一个非常快速的过程。现在，我们如何确保它造福我们而不是伤害我们，这是这本书的主要论点。我正在研究其他人在处理这种情况时提出的建议，我也试图提出一些我自己的建议，同时识别我们可能面临的实际问题，包括效用函数的安全性问题，伦理方面，正如你提到的权利和伦理，我们如何对待和虐待这些实体，以及我们可能遇到的各种人工智能类型，所以这涵盖了我很多的科研兴趣。
让我再多谈一点伦理问题，因为你说这本书更具哲学性。我还读了你的一篇论文，题为《人工智能安全工程：为什么机器伦理是错误的方法》，在摘要的开头你说：“我们将论证，允许机器做出伦理决策或拥有权利的尝试是错误的。”
现在我们已经谈了一点权利问题，那么让我谈谈伦理决策。好的，现在我们和你有一个共同点，不仅是在东欧阵营长大，而且我实际上写过，我之所以接触到奇点这个概念，是因为我硕士学位的主要研究论文，是关于战时人工智能的。在我的论文中，我论证说，我们在阿富汗和伊拉克所目睹的，也许是第一次，日益自主的机器正在做出日益自动化的关于人类生死存亡的决定，这难道不是一个伦理决策吗？
是的，我完全反对机器做出那个决定。关键在于，如果存在争论，那么在机器伦理学界有很多关于做什么以及如何做的争论和研究。如果你看实际的论文，争论的是应该将哪种伦理系统编码到机器人中，应该是基督教伦理吗？应该是功利主义伦理吗？还是牙买加伦理？但是，关于拥有一个超级强大的功利主义代理人来决定如何对待人类是否是个好主意，却没有争论，我的答案是否定的。没有其他系统是普遍的，从某种意义上说，它们被所有人接受，但它们会适得其反，它们都被证明存在可怕的漏洞。功利主义伦理就是一个很好的例子，你可能会试图稍微提高数十亿人的幸福感，但在这个过程中牺牲数千人。所以，我会说，目标甚至不应该是让机器处于那种对人类生死做出决定的位置，而军事综合体正在走这条路，我再次看不到一个很好的解决方案来阻止它。
是的，因为不幸的是，我完全同意你的观点，但遗憾的是，这个过程已经展开并正在进行中。我的意思是，大多数无人机都是自行起飞、自行飞行、自行降落，它们甚至可以在空中自行加油。实际上，有一些武装机器人模型完全能够自行射击，它们仍然有操作员，但它们不必有。我特别指的是部署在朝鲜和韩国非军事区的一些机器人，它们曾由三星生产，我正在努力回忆另一家公司的名字，但现在就是我，那是一家韩国公司，它们在那里守卫边境，如果可以这么说的话，它们都有操作员，但它们不必有，它们可以，它们已经能够完全自动化，你基本上可以关闭手动模式，切换到全自动模式，它们可以识别、锁定并向它们自己充分识别的目标开火。问题是，那些不是超级智能机器，它们是标准工具，它们使用标准的模式识别算法，我们知道这些算法可能会过度训练，它们可能会做出不正确的决定，而且任何时候系统选择自己的目标，我的意思是，你比如说“好的，去阿富汗，选择所有留胡子的人”，那简直就是灾难的简单配方，所以你肯定能看到这种方法存在明显的问题。
是的，我完全同意你的观点，但那我们该怎么办呢？我的意思是，我们都同意机器不应该做出那些决定，然而它们很可能会做出，而且它们正在做出那些决定，我们已经有成千上万的人被无人机杀死，你可以说，是的，那里有一个操作员，但操作员是根据机器提供的信息做出决定的，如果你愿意这么说的话，所以它们已经对决策过程产生了巨大的影响，而且自动化运作的方式，你知道，我们总是朝着减少人类参与而不是增加人类参与的方向发展，那么我们该怎么办呢？我的意思是，我们能用法律来阻止它吗？如果你能在美国阻止它，那么其他人就不会关心它，他们会实现自动化。我完全同意你的观点，这是一个非常困难的问题，一个开放的问题，我们现在才刚刚开始关注它，事实上，即使在人工智能社区，大多数人甚至不认为这是一个问题，所以这就是我如此担忧的原因。
是的，说实话，那实际上是我最主要的担忧，也是我大约在2008年写的那篇论文的主要论点，但说实话，那篇论文并没有得到我的导师们很好的认可，出于一些原因，他们让你毕业了，所以它足够好。是的，我那篇论文得了B+，如果你愿意这么说的话，那是最低的及格分数，他们没有，我不知道，他们不认为它写得很好，或者很有逻辑，或者在宏大的计划中很重要，总之，它本身就是一个碰撞的故事。那么，我们也许可以谈谈有人可能会说，机器人学定律怎么样？我们有关于机器人学定律的提案，如果你愿意的话，你知道，第一条规则是不要杀人，对吧？那么，机器人学定律作为一种为任何人工智能提供指导的方式怎么样？你知道，让我来读一下它们，让大家稍微回顾一下。艾萨克·阿西莫夫在1942年定义的机器人学三定律，那是70年前的事了，内容如下：第一条，机器人不得伤害人类，或坐视人类受到伤害。第二条，机器人必须服从人类的命令，除非这些命令与第一定律冲突。第三条，机器人，我的意思是第三条定律，机器人必须保护自己的存在，只要这种保护不与第一定律或第二定律冲突。这难道不是一个很好的指导机制，可以预防和解决我们所有的问题吗？
你真的读过阿西莫夫的书吗？在他的每一本书中，他都使用这些定律，但结果都非常糟糕。事实上，他发明它们是作为一种文学工具，旨在表明这并不是一个好的解决方案。人们经常引用这些定律，好像它们是某种神奇的诫命，是的，不要杀人，但如果你仔细分析，很快就会发现它们根本无法实施。什么是人类？系统现在应该实施反堕胎法吗？它应该实施反安乐死法吗？然后还有一些琐碎的问题，但与这三条定律的相互作用使得它们在实践中几乎不可能真正使用。顺便说一下，为了纠正我自己，当我提到“所有”的时候，我的意思是，我读了阿西莫夫所有的《我，机器人》系列书籍，也读过其他几本，但我当然没有读过他所有的作品，因为他有大约400本，所以我肯定没有读完所有。我读了《我，机器人》系列，顺便说一句，它们既有智慧又很搞笑，所以我推荐给所有没读过的人。
那么，既然我们知道机器人学定律不起作用，为什么我们认为你提出的那种“奇点防漏”结构会比它更成功呢？它有一个非常不同的目标。假设那些定律是为了让系统在无限的时间跨度内保持安全，而我提出的方法是为我们争取更多一点时间，它就像是我们和奇点之间的一堵额外的高墙，也许能为我们争取十年，也许十五年。我并不是说这意味着它绝对安全，一旦我们实施了它，世界就会变得完美，只是用户工具非常不同。在你我读过的一篇论文中，我正在寻找一段引文，你实际上引用了两个人，我也曾写过一些关于他们的事情，那就是“大学炸弹客”泰德·卡钦斯基和塞缪尔·巴特勒，嗯哼。
那么，首先让我问你关于“大学炸弹客”的问题，我正在努力，哦，是的，你引用的泰德的话是：“也许有人会争辩说，人类绝不会愚蠢到将所有权力交给机器，但我们认为，人类不会自愿将权力交给机器，机器也不会蓄意夺取权力，但我们确实认为，人类可能很容易让自己陷入对机器如此依赖的境地，以至于他们除了接受机器的所有决定之外，别无实际选择。”
社会及其面临的问题变得越来越复杂，机器也变得越来越智能。那些仅仅因为机器做出的决定会带来比人类更好的结果，就让机器替他们做更多决定的人，最终可能会达到这样一个阶段：维持系统运行所必需的决定将变得如此复杂，以至于人类无法明智地做出。在那个阶段，机器将变得无效。人们将无法简单地关闭机器，因为他们将对机器如此依赖，以至于关闭它们相当于自杀。我想让你稍微谈谈这一点。所以我们已经看到了这一点。如果你想想今天机器控制着什么，大概有 90% 的股票市场、核电站、电网、太空旅行，所有这些东西都已经完全由机器控制了。而且在大多数情况下，我们甚至无法切换到手动模式，因为人类无法足够快地处理设备的复杂性，以及涌入的测量数据。所以预测是准确的。我的意思是，我们已经到了一个点，我们无法百分之百地回到人类决策，而不牺牲我们的生活方式。那么，你对那些说“那只是一个杀人狂式的、反技术、精神病恐怖分子”的人怎么说？他确实是，但这并不意味着他说的某件事是错的。毕竟他是一位杰出的数学家。所以，当涉及到科学时，他有一些相当不错的想法。我绝对不同意他解决问题的方法，以及他的社会观点。但当涉及到数学时，他被认为是相当扎实的。所以，另一位可以说是泰德·卡钦佐夫思想的知识渊博的“父亲”，比他早一百年，是塞缪尔·巴特勒。塞缪尔写了几本书，例如《机器中的达尔文》和《埃里克·霍恩》。在那里，他很早就提出了与泰德提出的相同的论点。例如，他在一处说：“日复一日，机器正在向我们逼近。日复一日，我们变得更加屈从于它们。每天有更多的人像奴隶一样被束缚着去照料它们。每天有更多的人将他们一生的精力奉献给机械生命的开发。其结果仅仅是时间问题。但是，机器将在何时统治世界及其居民，这是任何真正有哲学头脑的人都无法质疑的。我们的观点是，应该立即宣布对它们处以死刑。我们物种的福祉应该立即销毁各种机器，不留任何例外，不留情面。让我们立即回到人类种族的原始状态。如果有人认为在当前人类事务的条件下这是不可能的，那么这立即证明了祸患已经造成了。”基本上，他呼吁摧毁工业革命之前的所有技术，直到我们回到工业革命之前的水平，然后我们就保持在那里。我们基本上摧毁了进步，并永久地将其保持在十七世纪或十八世纪五十年代的英格兰的水平。你认为这个解决方案怎么样？这相当极端。我对他引用的文字以及它写成的年代感到惊讶。这相当令人惊讶。当时没有机器人，没有互联网，没有电脑。他写的是缝纫过程的自动化，但他已经能够预见到这一点。然后，又有一个非常聪明的人，可能以现代标准来看社交方面有些笨拙，但我们不应该仅仅因为某人有不受欢迎的道德主张就完全忽略他。这仍然比什么都没有好。以现代标准来看，它有价值吗？我不提倡摧毁汽车或自行车之类的东西。但他的观点是，是的，我们可以让自己处于完全依赖的境地，然后稍后我们将变得毫无用处。然后，在某个时候，当机器做所有其他事情时，我们做什么呢？所以你有点不同意药物，但你接受诊断，以某种方式，塞缪尔和卡特给你的。你不同意药物或治疗，他们都对。他们说的是，比如，癌症很糟糕。对抗癌症的唯一方法是杀死所有人。这有点极端。是的，它会治愈癌症，但这不是我想要的方式。所以，塞缪尔说我们应该杀死所有机器，而不是所有人类。他说应该对机器处以死刑，不留情面。但我们已经看到了另一种趋势。我们依赖机器，它们是生命支持，是残疾人的帮助，是医疗治疗。所以通过摧毁它们，我们将杀死一部分人类，我再次重申，我并不支持这一点。那么，这是否意味着你的提议是人类前进的最佳方式？你称之为“防漏奇点”？这是研究到目前为止还没有关注到的问题之一。我们正在研究我们可能遇到的问题。我们谈到了其中一个问题是人类的冗余，他们不需要我们了。所以我们将朝着那个方向发展。另一个是人类的结合，我们变成赛博格。我们将开始像人类一样，但会有一些更琐碎的事情。你开发了一个系统，有人可以破解它，系统可能有一个病毒，系统可能编程得很差。这些是我们能够做些事情并加以改进的事情。这些是计算机安全和软件工程设计中的标准问题，我们知道如何处理它们。所以我们不必将其视为一个单一的问题。我们可以比较分析它，然后说，我知道如何创建一个验证其自身代码免受病毒侵害的系统，如何防止外部人员篡改数据库。所以，这就是我建议的。让我们用现有的工具和技术尽力而为，并通过政治进程或其他任何方式尽可能减缓我们不知道如何处理的系统的发展。非常有趣。说到算法之类的东西，你说你的另一个兴趣是密码学。所以我想问你一个简短的评论，关于美国国家安全局的监控计划和密码学。在你看来，确保我们的通信能够保持私密，免受美国国家安全局机器的绝对暴力破解的最好方法是什么？对我们大多数人来说，这不是问题，因为我们不重要。我们真的无名小卒，没有人关心我们的通信，尤其是。然后你就可以访问更多有趣的通信了。所以，除非你是世界上在财务影响或影响力方面排名前列的人之一，否则你可能不必担心。你和你女朋友的个人交流将仍然是你的。没有人会浪费时间去破译它们。另一方面，如果你是信息有价值的人，无论出于何种原因，积极或消极，都有非常好的加密工具可以使用。我还会建议，不仅要加密你的通信渠道，还要隐藏它。隐写术是我的另一个兴趣。有很好的方法可以在不暴露你正在通信的情况下进行通信，将信息插入图像、视频中。也许这次采访，我看到了一些方法，至少根据科学界的知识，还没有被破解。现在，我还要采访乔迪·罗斯，他是加拿大不列颠颠，温哥华 d-wave 计算机公司的负责人，该公司可以说是世界上第一家量子计算机制造商和销售商。许多人会说，一旦我们有了量子计算机，市场上就会有量子计算机，而且我们已经知道谷歌买了一台，我想麦克唐纳道格拉斯或波音公司也买了一台，那么基本上就没有代码是安全的了。这是真的吗？这是不真实的。量子破解只适用于基于整数分解的加密系统。而所有系统都基于一个算法。目前使用的大多数算法确实依赖于它，但我们可以非常迅速地转向其他不基于整数分解的方法。而且，又有一个与量子计算机相关的问题。人们谈论像比特币这样的加密货币也基于这种方法。同样，有一种方法可以升级并超越这一点。据他们所知，关于 d-wave 开发的量子计算机的能力仍然存在争论，而且我还没有看到它们破解任何加密协议，即使是短密钥的。所以，这是我计划问乔迪的问题之一。但如果你有机会问他一个问题，你会问什么？我很好奇。我知道谷歌和 NASA 一起购买了一台量子计算机，据说是来自 AR 实验室。我想知道他们是否认为人类的思维方式与量子物理学之间存在任何联系。我知道你采访了那些处理量子意识之类事情的人，他们声称人脑的工作方式是通过量子效应。所以我一直在想，谷歌的立场是，事实上，你需要量子效应来模拟，来创造一个心灵吗？一方面，我敢说谷歌可能因为他们一直非常突出，我们知道雷绝对坚持认为，在我们的神经处理中，如果你愿意的话，不涉及任何量子力学物理学。他对此非常坚持。实际上，我在纽约市的全球未来 2045 会议上，他对他的尖锐程度感到有些惊讶，当时他直截坦率地说，那是错误的，我们知道那是错误的。但我想我们谈论的是两个不同的问题。一个是创造一个能够通过真正的意识做所有这些事情的智能机器。我们还没有谈论过它，但对我来说，这是一个非常不同的问题。我们可以拥有一台智能机器，它根本没有意识。那是另一回事。我认为他没有错，他只是在谈论别的事情。是的，我不是说他对还是错，我只是说他认为教授人类斯图尔特·哈默罗夫，我正在编辑他的采访，可能在未来几周内发布。雷非常坚持认为哈默罗夫的说法是错误的，这些说法据称得到了英国物理学家罗杰·彭罗斯的支持。但他们绝对是少数派。总之，拉曼，我们和你谈了大约一个小时了，我真的很享受。但我们也必须尊重观众的时间。所以，让我用最后两个问题来结束我们的采访。第一个问题是，人们在哪里可以找到更多关于你和你工作的信息？谷歌搜索我的名字或我的书名肯定有效。谷歌搜索拉曼·恩博斯，他的人工超级智能，一种未来主义的方法。我的网站上有很多采访和论文。如果你有有趣的项目可能性，想合作，随时联系。我总是对聪明人持开放态度。太棒了。如果你想让我们的观众从今天的谈话中带走一个最终的信息，你想让他们带走什么？你想传达的最重要的事情是什么？我想重申我在整个采访中试图传达的信息。每一项新技术，无论它是纳米技术、机器人技术、人工智能，都无关紧要。所有这些指数级技术都有负面和积极的影响。在决定如何处理它们之前，花一些时间考虑这两个方面。也许问问，我们在卖汽车之前，有没有为汽车开发刹车？花时间确保你发布的产品对消费者来说是安全的，并且像任何其他产品一样受到产品责任法的约束。这就是我希望你的观众能从中学到的。伊恩·波斯廷博士，非常感谢你今天抽出时间与我们在一起。谢谢你，我很高兴。吉尔·维里蒂。