David Deutsch - AI, America, Fun, & Bayes

好的，今天我与大卫·多伊奇（David Deutsch）对话。现在，这次对话我一直以来都非常渴望进行。所以，这对我来说非常令人兴奋。那么，首先让我们谈谈人工智能。您能否简要解释一下，为什么您预计通用人工智能（AGI）在根本上不会比人类更智能？您是指通用人工智能（AGI）吗？是的。那么，我猜您说的“根本上智能”是指原则上能够进行与人类相同的各种认知活动。是的。嗯，那将包括，你知道，进行科学研究、进行艺术创作，以及原则上，坠入爱河、行善、作恶等等。所以，原因有两个方面。一方面是关于计算硬件，计算硬件；另一方面是关于软件。如果我们看硬件，我们知道我们的大脑是图灵完备的硬件，因此能够展现运行任何可计算函数程序的功能。现在，我说“任何”的时候，我并不是真的指任何，因为你我坐在这里，你知道，我们正在对话，我们可以说，你知道，我们可以进行任何对话。嗯，我们可以假设，也许在一百年后，我们都会死去，因此，我们能够进行的对话数量是严格有限的。而且，有些对话取决于计算速度。所以，你知道，如果我们要做旅行推销员问题，那么有很多旅行推销员问题，我们可能在宇宙的年龄内都无法解决。所以，当我说的“任何”是指，我们能运行的程序没有限制，除了速度和内存容量。所以，对我们所有的限制，硬件限制，都归结为速度和内存容量。而这两者都可以提升到宇宙中任何其他实体的水平。因为，你知道，如果有人建造了一台比大脑思考速度更快的计算机，那么我们可以使用那台计算机或那项技术来使我们的思考速度与它一样快。所以，这是硬件方面。至于解释方面，我们能否达到与其他任何实体相同的解释水平？让我们说，通常这并不是以通用人工智能（AGI）来表述的，而是以地外智能来表述的，但它也适用于通用人工智能（AGI），你知道，如果它们对我们来说就像我们对蚂蚁一样，等等。嗯，同样，其中一部分只是硬件，通过增加更多硬件很容易解决，所以让我们先不管它。所以，真正的问题是，是否存在我们本身无法理解的概念？我认为马丁·里斯（Martin Rees）是这么认为的。他认为，你知道，我们可以理解量子力学，而猿类不能，也许地外生命可以理解超越量子力学的东西，而我们无法理解。而且，无论增加多少硬件都无法赋予我们这种能力，因为它们拥有适应于拥有这些概念的硬件，而我们却没有。同样的事情也可能适用于某些感受性（qualia），也许我们可以体验爱，而通用人工智能（AGI）却不能体验爱，因为它与我们的硬件有关，不仅仅是内存和速度，而是专门的硬件。而且，我认为这陷入了同样的论证。问题在于，这种专门的硬件除了计算机之外，还能是什么呢？如果存在某种硬件是爱所必需的，比如说，某人天生就没有这种硬件，那么这种硬件，大脑中负责爱的那一部分，或者负责数学洞察力等等的那一部分，就只是大脑的一部分，并且它以任何其他大脑部分连接到大脑其余部分的方式连接到大脑其余部分，即通过神经元传递电信号和化学物质。其浓度会发生变化等等。因此，一个计算哪些信号应该发送以及哪些化学物质应该调整的人工设备，可以完成同样的工作，而且将无法区分。因此，一个经过这种增强的人，如果之前无法感受爱，那么之后就可以感受到爱。所以，我认为这两点是唯一相关的。所以，这就是为什么我认为，通用人工智能（AGI）和人类在某种意义上具有相同的范围，正如我所定义的。好的。有趣。嗯，好的。所以，我认为软件问题比硬件问题更令人感兴趣。但我想对人类大脑的内存和速度可以任意且轻松地扩展的观点提出异议。但我们可以稍后讨论这个问题。我们可以先从这个问题开始。所有人类都能解释连最聪明的人类所能解释的一切吗？对吧？所以，如果我把一个傻瓜带过来，问他，你知道，去创造量子计算的理论，我应该预料到，如果他愿意，他就能做到吗？作为参考，根据全国识字调查，大约有 21% 到 24% 的美国人属于第一级，这意味着他们甚至无法执行基本任务，例如识别驾驶执照的到期日期，或者填写银行存款单。所以，这些人有能力解释量子计算或创建多伊奇-乔算法（Deutsch-Jozsa algorithm）吗？如果他们没有能力做到这一点，这是否意味着通用解释器（universal explainers）的理论就破产了？嗯，有些人……你提到的这些任务是任何猿类都无法完成的任务。然而，有些人类大脑受损到连猿类能做的任务都无法完成的程度。当……安装能够读取驾驶执照等的程序时，就需要同时增强他们的硬件和软件。所以，如果我们不知道大脑的很多信息，我们还不知道足够多的大脑信息，但如果你谈论的这些人，如果占人口的 24%，那么这绝对不是硬件问题。所以，我会说，对这些人来说，这绝对是软件问题。如果是硬件问题，那么让他们做到这一点就是修复不完美的硬件的问题。如果是软件问题，这不仅仅是他们是否愿意或者他们是否愿意被教导等等的问题。这是关于现有软件是否……我该用什么词来代替“愿意”……是否在概念上准备好去做这件事。例如，布雷特·霍尔（Brett Hall）经常说他想说中文普通话。所以他愿意，但他永远无法说中文普通话，因为他永远不会足够愿意去经历那个过程来获得那个程序。但是，他的硬件没有任何阻止他学习中文普通话的地方。他的软件也没有，除了……嗯，我们该用什么词来说他不愿意经历那个过程呢？我的意思是，他确实想学。他确实想学，但他不愿意经历那个被那个程序编程的过程。但是，如果他的情况改变了，他可能会愿意……例如，我的一些亲戚，几代人之前，被迫迁移到非常陌生的地区，在那里他们不得不学习他们从未想过会说，也从未想过要说的语言，但他们很快就学会了说那些语言。同样，是因为他们的大局观改变了吗？也许你可以说他们的大局观改变了。所以，如果你的……那些视力障碍的人想接受教育，能够像我的祖先想学习语言那样去阅读驾驶执照，那么是的，他们可以学会。存在一个低于该水平的失能水平，他们无法做到，我认为这些是硬件限制。在这两者之间的界限上，差别不是很大。这就像……你知道，这就像猿类是否可以被编程成拥有完全人类智力的问题。我认为答案是肯定的，但尽管编程它们不需要硬件，你知道，手术，就像修复缺陷一样，它将是修复缺陷，但它需要神经元层面的复杂变化。所以，将程序从人类大脑转移到猿类大脑。我猜这是可能的，因为尽管猿类比人类拥有少得多的……嗯……少得多的内存空间，而且也没有人类拥有的某些专门模块。我们两人都不会完全利用这些。我的意思是，当我跟你说话的时候，我大脑里有很多知识我根本没有提到，比如，你知道，我会弹钢琴或者开车的事实，在这场谈话中并没有被使用。所以，我不认为我们拥有如此大的内存容量会影响这个……这个项目。尽管这个项目将是极不道德的，因为你将故意在一个有缺陷的……嗯……大脑硬件中创造一个人。嗯。所以，假设是硬件差异区分了……你知道……不同人类在智力方面的差异。如果这仅仅取决于那些甚至不具备基本读写能力的人，对吧？所以，这些人又……我刚才说，这只能是硬件问题，在低水平上，要么是大脑缺陷的水平，要么是使用了我们所有的内存或速度分配等等。所以，除此之外，我认为它不是硬件问题。顺便问一下，软件是类比的，还是硬件对你来说等同于遗传影响，还是软件也可以是遗传的？软件也可以是遗传的，尽管……那并不意味着它是不可变的。它只是意味着它从一开始就在那里。好的。我之所以怀疑它不是软件，是因为这些人碰巧也是那些……假设它是软件，并且是他们选择做的事情，或者他们可以改变的事情。对我来说，很神秘的是，为什么这些人也会选择接受薪水较低但认知要求较低的工作，或者为什么他们会在学术测试或智商测试中表现得更差。所以，为什么他们会选择做那些认知能力较弱的人会做的事情？似乎更重要的解释是，他们认知能力较弱。一点也不是。为什么有人会选择不去上学，比如说，如果他们有选择，而不去上任何课？嗯，他们选择这样做的原因有很多。有些是好的，有些是坏的。而那些……你知道，称某些工作为认知要求高的工作，这本身就是在偷换概念，因为你只是在谈论人们做出的选择，我认为这是一个软件选择，被定义为……被硬件强加给他们。它不是认知上的缺陷。只是他们不想做。就像，你知道，如果有一个文化要求布雷特·霍尔……嗯……嗯……能够流利地说中文普通话，以便完成广泛的任务。如果他不懂中文普通话，他就会被降级到低级任务。那么他就会被 quoted quoted 选择低级任务，而不是 quoted 认知要求高的任务。但只有文化才使得那个认知要求高的任务……那个任务……将硬件解释分配给完成该任务的难度。对吧？我的意思是，说你在笔记本电脑上坐着就能做的工作需要不同的认知……需要比在建筑工地上做的工作更多的认知，这似乎也不是那么随意。而且，如果不是……如果不是认知区分了，或者如果不是像智力或认知或你想称之为任何东西的东西，是可以通过这些读写能力测试和你的工作来衡量的东西，那么为什么那些不具备基本读写能力的人与……或者我猜是那些不具备基本读写能力的人与……那些成为程序员的人之间存在如此高的相关性呢？对吧？我敢肯定，在苹果公司工作的人，他们都在这个读写能力调查的第一级以上。为什么他们恰好做出相同的选择？为什么存在这种相关性？嗯，到处都有相关性。文化就是为了利用……为了利用人们拥有的某些能力而建立的。所以，如果你要建立一家将雇佣一万名……嗯……员工的公司，那么最好让公司的运作方式……你知道，最好，例如，让门上的标志，或者门上的标志，或者表盘上的数字都是那个文化中受过高等教育的人能够读懂的。原则上，你可以让每扇门上的标签都用不同的语言。我不知道，你知道，有数千种人类语言。假设有 5000 种语言和 5000 扇门在公司里。你可以赋予它们相同的含义，让它们都用不同的语言。它们都是同一种语言，而且不仅仅是任何一种语言。它是一种许多受过教育的人都流利掌握的语言。这就是原因。然后你可能会误解为，“哦，有一些……嗯……硬件原因导致每个人都说同一种语言。”嗯，不是的。这是文化原因。好的。所以，如果文化有所不同，也许如果还有其他沟通思想的方式……你认为那些目前被指定为不具备基本读写能力的人，如果他们做出了正确的选择……或者不是正确的选择，而是那些可能导致他们理解量子计算的选择，他们是否有可能学习量子计算呢？嗯，我不想回避这个问题，答案是肯定的。但是你提出这个问题的方式，再次……有点偷换概念。不仅仅是语言是这样的。所有的知识都是如此。所以，所以……只是学习。所以，如果一个人不会说英语，量子计算就是……你知道，量子计算是一个领域，其中英语是标准语言。过去是德语，现在是英语。现在，一个不懂英语的人在学习量子计算机方面处于劣势，但不仅仅是因为他们语言上的缺陷。如果他们来自一个物理学、数学和逻辑学等文化水平相当的文化，只是语言不同，那么如果他们学会了语言，他们就会发现这和任何人一样容易。但是，如果很多事情都不同了，如果一个人不是用逻辑来思考，而是用骄傲、男子气概、恐惧来思考，以及……你知道，所有那些……概念，这些概念支配着……比如说……史前人类或启蒙前人类的生活，那么要理解量子计算机，他们就必须学习的不仅仅是文明的语言。他们必须学习文明的许多其他特征，或者至少是一系列其他特征。在此基础上，那些无法阅读驾驶执照的人也处于不同的文化中，他们也必须学习，如果他们想提高自己的智商，也就是说，他们在我们文明的智力文化中高水平运作的能力。好的。如果他们做到了，他们就能做到。好的。所以，如果这些是区分……那么你如何解释这个事实，即……同卵双胞胎在出生时就被分开，并被不同的家庭收养？他们往往……你知道……人类智力方面的大部分差异……并不存在于同卵双胞胎之间。事实上，相关性是 0.8，这是你在不同日子进行测试时会有的相关性，比如取决于你那天状态有多好。而且，这些人是被不同家庭收养的，这些家庭往往在不同的国家。然而，事实上，硬件理论很好地解释了为什么他们会在智商测试中获得相似的分数，这些分数与读写能力和工作表现等相关，而我不知道软件如何解释被不同家庭收养的原因。嗯，硬件理论从某种意义上解释了它，即它可能是硬件，可能是真的。所以，它并没有……它除了这个之外没有别的解释，软件理论也没有。……抱歉，请继续。我的意思是，事实上，大脑的水平差异与智商相关，对吧？所以，你的实际颅骨大小与智商有 0.3 的相关性。还有几个类似的。它们并不能解释人类智力或人类智力的全部遗传变异。但我们确实……我们已经确定了几个实际的硬件差异，它们是相关的。假设，相反，假设……假设这些实验的结果不同。假设结果是……嗯……嗯……在同一个家庭中长大的人，只在……他们拥有的头发数量或外观数量上有差异，而……这些差异中的任何一个都不会影响他们的智商。只有他们的父母是谁才会有影响。现在，这难道不令人惊讶吗？难道不令人惊讶的是，除了父母是谁之外，没有任何其他东西与智商相关吗？是的。嗯……嗯……我们应该期望多少相关性？到处都有相关性。你知道，互联网上有这些……笑话……表情包，或者你称之为。但是，它们提出了一个严肃的观点，它们将……例如，一年内制作的冒险电影数量与人均国民生产总值相关，这是一个糟糕的例子，因为有明显的联系，但你知道我的意思。这是一个特定演员制作的电影数量……与禽流感爆发的数量。而……令人惊讶的是随机性的一部分事实是，相关性无处不在。不仅仅是相关性不是因果关系。而是相关性无处不在。在两个事物之间获得相关性并不是罕见事件，你问的事情越多，你就会得到越多的相关性。所以，……嗯……令人惊讶的是，……与智商相关的事物是……是那些你期望与智商相关并进行测量的事物。例如，他们……当他们……嗯……进行这些双胞胎研究并测量智商时，他们会控制某些因素。就像你说的，同卵双胞胎一起长大。他们必须一起长大，或者分开，或者……分开。是的。是的。所以，但是……但是有无数的事情他们没有控制。所以，它可能是……智商的真正决定因素是，例如，孩子在三岁半到四岁半之间受到多好的对待，这里的“好”是由我们尚不知道的某些东西定义的，但你知道，类似的东西。那么，你会期望那个我们不知道的东西，并且没有人费心去……嗯……在这些实验中控制的东西，我们会期望那个东西与智商相关。但是，不幸的是，那个东西也与某人是否是同卵双胞胎相关。所以，不是同卵双胞胎的身份导致了相似性。是这个其他东西，对吧？这个……外观的某个方面或其他什么。如果你要对外科手术般地改变一个人，如果你知道这个东西是什么，并且对外科手术般地改变这个人，你就能产生与同卵双胞胎一样的效果，对吧？但是，正如你所说，在科学中，或者为了解释任何现象，都有无限多的可能解释，对吧？你必须选择最好的一个。所以，可能是存在某种未知的特质，它对养父母来说是如此显而易见，以至于他们可以以此为基础进行歧视或区别对待。但那是……我的意思是，我假设他们不知道那是什么。但是，难道他们不是在三岁时就以此为基础来区别对待孩子吗？不是，不是通过有意识地识别它。它……它就像……就像得到这个孩子真的很聪明的想法。但我想告诉你的是，这可能是一些父母没有意识到的事情。如果你让父母列出他们孩子身上导致他们对孩子行为不同的特质，他们可能会列出大约 10 种特质。但是，还有另外一千种特质是他们没有意识到的，这些特质也会影响他们的行为。嗯。所以，我们首先需要一个解释，说明这个特质是什么，研究人员无法识别它，但它如此……显而易见，以至于即使是无意识的父母也能可靠地以此为基础来……它不必是显而易见的，因为父母……嗯……对他们的孩子有大量的信息，他们正在……嗯……在他们的大脑中处理。而……他们中的大多数人不知道那是什么。好的。好的。嗯。好的。所以，我想……让我们暂时搁置这个话题，然后让我……让我带你进入动物。所以，如果创造力是一种不存在增量的东西，或者……你知道，创造解释的能力。你可以用一个简单的例子。去 YouTube 上搜索“猫开门”。对吧？所以，你会看到，例如……一只猫形成了一个理论，即对这个把手施加扭矩，对这个金属东西施加扭矩会打开门。现在，它还没有……然后它会做什么呢？它会爬到台面上，然后跳到那个门把手上。它没有见过另一只猫这样做。它没有见过另一只猫……爬到台面上，然后试图以那种方式开门。但是，它推测，鉴于它的……鉴于它的形态，这是它能够够到门的一种方式。然后，你知道，所以……这是它的理论，然后实验是门会打开吗？这似乎是一个经典的……这似乎是一个经典的猜想和反驳循环。这是否与猫不具备至少某种有限形式的创造力相兼容？我认为这是完全兼容的。所以……动物是令人惊叹的，而……本能的动物知识是为了让动物能够轻松地……嗯……嗯……在它们从未见过的环境中茁壮成长。事实上……如果你深入到细节层面，动物从未见过那个环境。我的意思是，也许金鱼在金鱼缸里……可能见过，但……当一只……当一只狼在森林里奔跑时，它看到一棵它从未见过的树的模式，它必须……嗯……制定策略来避开每一棵树。不仅如此，还要以一种前所未有的方式抓住它正在追逐的兔子。所以，我认为现在理解这一点的方法……现在，这是因为狼的基因中蕴含着大量的知识。这是什么类型的知识？嗯，它不是那种说“先左转，再右转，然后跳跃”之类的知识。它不是那种指令。它是一种接受外部输入的指令，然后……嗯……生成与该输入相关的行为。它不涉及创造力，但它涉及一种人类机器人学……嗯……尚未达到任何接近水平的程序复杂性。顺便说一句，当它看到异性狼时，它可能会决定放弃兔子，然后去性交。而一个机器人定位同类机器人然后与之性交的程序，再次……我认为这超出了当今的机器人技术，但……它会被完成。而且，它显然不需要创造力，因为它可以……同样的程序将引导下一只狼在相同的情况下做同样的事情。它能够在它从未见过的环境中运作，这证明了该程序的惊人复杂性。但它与创造力无关。所以，嗯……嗯……人类……人类确实完成了比这需要少得多的编程复杂性的任务。比如围坐在篝火旁，互相讲述一个关于差点吃了他们的狼的恐怖故事。现在，动物可以做到狼逃跑的事情。它们可以……它们可以……它们可以表演一个比人类讲述的更复杂的故事。但它们不能讲故事。它们不讲故事。讲故事是一种典型的创造性活动。它与形成解释是同一种活动。所以，我认为猫可以……跳到门把手上一点也不奇怪，因为这是……我很容易想象，让它跳到树枝上，以便树枝在某种意义上让开的那个惊人复杂的程序，也会在这个它从未见过的新环境中发挥作用。但是，它还有很多其他事情做不到。哦，那绝对是真的，这就是我的观点，它具有有限形式的创造力，如果有限形式的创造力可以存在，那么人类可能就是其中之一。但是，我很难想象在祖先的环境中……一只猫会通过基因获得遗传知识，即跳到金属杆上会使木板打开，并让它进入……你知道……另一边。嗯，我以为我刚才举了一个例子。我的意思是，如果我们不知道，至少我不知道……家猫的祖先生活在什么样的环境中。但如果它包含……例如，如果它包含灌木丛，那么处理灌木丛需要非常复杂的程序，否则你就会被卡住……然后饿死。我认为狗……如果它被卡在灌木丛里，它没有程序可以摆脱，除了摇晃身体直到它……摆脱。它没有……做某事暂时让事情变得更糟，然后让你能够摆脱它的概念。我认为狗做不到。但这并不是因为那是一件特别复杂的事情。只是它的程序没有这个。但是，如果动物的程序很容易拥有这个，如果它……如果它生活在一个经常发生这种情况的环境中。你的 AI 理论是否与具有狭窄目标函数的 AI 相兼容，但如果这些函数得到满足，将赋予 AI 创造者很大的权力？所以，例如，如果我写了一个深度学习程序，我用金融历史进行训练，然后问它，“让我在股市上赚一万亿美元。”你认为这会是不可能的吗？如果认为这是可能的，那么它似乎……它不是一个通用人工智能（AGI），但它似乎是一个非常强大的 AI，对吧？所以，它似乎 AI 正在取得进展。嗯，如果你想强大，你可能最好发明一种武器或其他什么。但是……或者……一个更好的捕鼠器甚至更好，因为它……它是非暴力的。所以，你可以发明一个回形针，用一个经常在这个语境中使用的例子。如果你没有发明回形针。你可以发明一个回形针，赚大钱。这是一个想法，但是……它不是 AI，因为它不是回形针在外面活动。它……实际上是你的想法，首先导致了回形针的全部价值。同样，如果你发明了一个愚蠢的套利……机器，它寻找复杂的交易来做，这些交易比任何人都复杂，这让你赚了大钱。嗯，让你赚大钱的不是套利机器。而是你关于如何寻找别人看不到的套利机会的想法。对吧？这就是有价值的，这也是经济中通常的赚钱方式。你有一个想法，然后你实现它，对吧？我……那是一个 AI，这无关紧要。它可能是一个回形针。但是……问题是……所以，现在使用的模型……不是像 90 年代的国际象棋引擎那样的专家系统。它们是……你知道，像 AlphaZero 或 AlphaGo 这样的东西。这就像一个……几乎是空白的神经网络。然后它们能够帮助……你知道，让它赢得围棋或者……所以，如果这样一个……空白的神经网络，你只是随意地将金融历史扔给它，说它实际上找到了正确的交易，即使它不是一个通用智能，这公平吗？嗯，我认为这在国际象棋中是可能的，但在经济中不行，因为经济中的价值是由创造力创造的，而……大多数……你知道，套利是一种可以通过利用其他人无法承担的机会来掠夺价值的东西。所以，你可以……你知道，你可以赚钱，你可以赚很多钱，如果你……如果你知道如何去做，如果你有一个好主意。但经济中的大部分价值是由知识的创造来创造的。有人有一个想法，即拥有智能手机会很好，即使……大多数人认为那不会奏效。而这个想法不能被任何低于通用人工智能（AGI）的东西所预测。通用人工智能（AGI）可以有这个想法，但任何 AI 都不能。好的。嗯，所以，我肯定还有其他话题想谈。所以，让我们谈谈虚拟现实。所以在《现实的结构》（The Fabric of Reality）中，你讨论了虚拟现实生成器可以直接插入我们的神经系统，并通过这种方式为我们提供感官数据的可能性。现在，正如你可能知道的，许多冥想者……你知道，像萨姆·哈里斯（Sam Harris）这样的人谈论……思想和感官都是意识的入侵，它们具有某种相似性。它们可以是受欢迎的入侵，但它们都是进入意识的东西。所以，你认为……虚拟现实生成器是否也能将思想和感官数据放入大脑？是的，但那只是因为我认为这个模型……是错误的。它基本上是……丹尼尔·丹尼特（Daniel Dennett）所说的笛卡尔剧场（Cartesian theater），舞台上清除了所有角色。所以，你……那是……那是……那是纯粹的意识，没有内容，就像萨姆·哈里斯设想的那样。但我认为，那里发生的一切只是你意识到了这个剧场……而你……你设想它具有某些属性，而顺便说一句，它并没有这些属性，但这并不重要。我们可以想象很多不会发生的事情。你知道，事实上，你知道，从某种意义上说，这正是我们一直在做的事情。嗯……所以，一个人可以解释他对这个空舞台的想法，将其解释为关于什么都没有的想法。一个人可以……将舞台的实际硬件解释为……纯粹的、无内容的意识。但它不是。它具有舞台或……空间的内容，或者……你知道，无论你想如何设想它。好的。然后，让我们谈谈图灵原理。这是一个你创造的术语。它也被称为丘奇-图灵-多伊奇原理。这个原理是否意味着你可以……顺便说一下，它指出任何通用计算机都可以模拟任何物理过程。这个原理是否意味着你可以模拟整个宇宙，例如，在一个紧凑高效的计算机中，它比宇宙本身小，或者它是否仅限于特定大小的物理过程？嗯，再次……不行，它不能……它不能模拟整个宇宙。那将是一个计算上能够做到，但没有足够内存或时间的任务的例子。嗯。所以，你给它的内存和时间越多，它就能越精确地模拟整个宇宙。但它永远无法模拟整个宇宙，或者接近整个宇宙，可能是因为……嗯……嗯……如果你想模拟它本身，那么从逻辑上讲，存在限制。但即使你希望它模拟整个宇宙，除了它本身之外，仅仅是宇宙的巨大规模……就使得……这……不可能。即使我们发现了极度密集地编码信息的方法，就像有些人说的那样，也许量子引力会允许……你知道，完全惊人的……嗯……信息密度。它仍然无法……模拟宇宙，因为这意味着……由于物理定律的普遍性，这意味着宇宙的其余部分也如此复杂，因为量子引力也适用于整个宇宙的其余部分。所以，所以……但是……我认为，被可用的时间和内存所限制，将这一点与被计算能力所限制区分开来，这是很重要的，因为只有当你区分了这两者，你才会意识到计算的普遍性是什么，而且我认为……计算的普遍性，比如图灵或量子……量子普遍性，是计算理论中最重要的东西，因为……除非你有通用计算机的概念，否则计算甚至没有意义。什么可以证伪你“所有有趣的问题都是可解的”的理论？我问这个问题是因为……正如我确信你知道的，有些人试图解释为什么某些问题或疑问，比如“为什么存在即是而非虚无？”或者“物理相互作用如何解释意识？”他们提供了为什么这些问题原则上是不可解的解释。现在，我不相信他们是对的，但你是否有强有力的理由从原则上相信他们是错的？不。嗯，这是一个哲学理论，无法通过实验证明是错误的。然而，我认为我有一个……一个很好的论据来说明为什么它们不是。也就是说，每一个个例都是一个糟糕的解释。所以，让我们……比如说，有些人说，例如，模拟人脑是不可能的。现在，我无法证明它是可能的。直到他们真正做到，或者除非他们有一个设计并证明它会起作用，否则没有人能证明它是可能的。所以，在等待的时候，没有办法证明……这不是真的，这是一个根本性的限制。但是，关于这个想法的问题，即它是一个根本性的限制。关于它的问题是，它可以应用于任何事情。例如，它可以应用于你刚才……一分钟前被一个……人形机器人取代的理论，这个机器人……将在接下来的几分钟里说出一套预先安排好的话，而你不再是一个人了。我不敢相信你算出来了。是的。嗯，这是你会说的第一件事。所以，除了真正去做，除了真正和你交谈等等之外，没有办法通过实验来反驳它。所以，所有这些其他事情也是如此。为了让一个理论有意义，即某事是不可能的，你必须有一个解释，说明为什么它是不可能的。所以，我们知道，例如，几乎所有的数学命题都是不可判定的。所以，这不是因为有人说“哦，也许……也许我们无法决定一切，因为……认为我们可以决定一切是傲慢。”这不是一个论证。你需要一个实际的……功能性的论证来证明……那是真的。然后，在……一个功能性的论证中，论证的步骤是有意义的，并且与其他事物相关等等。然后你就可以说，嗯，这到底意味着什么？这是否意味着，也许……我们永远无法理解物理定律？嗯，它不会，因为如果物理定律包含一个不可判定的函数，那么我们就会简单地写下……你知道，f(x)，而 f(x) 是一个不可判定的函数，我们无法计算 f(x)。它会限制我们做出预测的能力，但……我们做出预测的能力本身就完全受限，但它不会影响我们理解函数 f 的性质的能力，因此也不会影响……物理世界的性质。嗯。好的。像美国这样拥有权力分散和制衡的政府体系，是否与“恰当的标准”（proper criterion）不兼容？我之所以这样问，是因为上一届政府有一个理论，即如果你建造一堵墙，就会产生积极的后果。而且……你知道，那个理论本可以被检验，然后可以根据该理论是否成功来评估这个人。但由于我们的政府体系权力分散，你知道，国会反对……检验那个理论，所以它从未被检验过。所以，如果我们的……美国政府想要实现“恰当的标准”，我们是否需要赋予总统更多权力，例如？这没那么简单。所以，我同意，这是美国政府体系的一个巨大缺陷。没有一个国家拥有一个……能够完美实现“恰当的标准”的政府体系。我们总能改进。我认为英国的体系实际上是世界上最好的，而且远非……远非最优。做出像这样的单一改变并不能解决问题。一个政治体的宪法是一个非常复杂的东西，其中很大一部分是含糊不清的。所以，……开国元勋们……美国开国元勋们意识到他们面临一个巨大的问题，他们想做的事情，他们认为自己正在做的事情是实施英国宪法。事实上，他们认为自己是英国宪法的捍卫者，而……英国国王违反了它，并且……正在将其摧毁。他们想保留它。问题在于，他们……他们都……为了做到这一点，为了获得独立，他们不得不摆脱国王，然后他们……他们想知道是否应该找一个替代国王。无论他们怎么做，都有问题。他们决定这样做的方式，我认为造成了一个比他们所取代的体系本身就差得多的体系。但他们别无选择。如果他们想摆脱国王，他们就必须有一个不同的国家元首体系。因此，他们必须有一个……他们想民主。他们……这意味着总统在立法方面拥有国王从未有过的合法性，或者……抱歉，国王在中世纪确实有过。但到了……启蒙时代等等，国王……不再拥有完全的立法合法性。所以，他们……他们不得不实施一个体系，通过这个体系，除了传统之外，还可以阻止他夺取权力。所以，他们建立了这些制衡。所以，他们建立的整个体系是极其复杂的。这是一项了不起的智力成就，它能运作得如此之好，这本身就是一种奇迹。但是……固有的缺陷就在那里，其中一个就是这个。制衡的存在意味着责任被分散了，没有人应该对美国体系中的任何事情负责，这……这太糟糕了。在英国体系中，责任是绝对集中的。你知道，一切都为了……为了将责任和义务集中到……政府，你知道，经过……法院，经过议会，一直到政府。那就是……那就是一切的焦点所在。嗯，而且……没有系统比这做得更好。但是……正如你所知，英国体系也有……缺陷，我们最近看到了……随着……英国脱欧公投事件的连续发生，然后议会拒绝执行……一些他们不同意的法律，然后……这被提交给法院。所以，有法院、议会、政府和首相互相指责。而且，那里发生了一场微型的宪法危机……只能通过举行选举，然后拥有多数政府来解决，这是根据政府运作的数学原理。这在英国通常是这样的。尽管……你知道，我们最近几次运气不好，没有……没有多数政府。嗯。好的。这可能是错误的，但在我看来，在一个膨胀的宇宙中，我们的……在我们的光锥内将永远存在有限的总物质，对吧？有一个限制，这意味着……这个物质可以执行的计算量是有限的，它能提供的能量是有限的，甚至可能我们能维持的经济价值也是有限的，对吧？所以，如果人均 GDP 可以任意大，那将是很奇怪的。所以，这是否对你的“无限的开端”（beginning of infinity）的概念施加了某种限制？嗯，你刚才叙述的是一个宇宙学理论。这个……这个……宇宙可能是这样的。但是，我们对宇宙学知之甚少。我们对宇宙的宏观了解甚少。比如宇宙学理论的改变时间尺度大约是十年。所以，推测宇宙学理论的最终渐近形式并没有多大意义。同时……我们对非常小的东西的渐近形式也没有一个好的想法，就像我们知道物理过程的概念必须在量子引力层面某种程度上崩溃一样，比如 10 的负 42 次方秒，以及……诸如此类的事情。但是……但是，我们不知道下面发生了什么。有些人说下面必须停止。但对此没有任何论证。只是我们不知道下面发生了什么。下面发生的事情可能是一个有限的限制。同样，宏观尺度上发生的事情可能施加一个有限的限制，在这种情况下，计算受到这个宇宙的宇宙学初始条件的有限限制，这仍然不同于它受到固有的……硬件限制。例如，如果有一个有限的……嗯……在遥远的未来可用的国民生产总值，那么是否将这些用于……数学、音乐或……政治体系，或者……任何数千种甚至更有价值的尚未发明的想法，都取决于我们。所以，这取决于我们用 10 的 10 的 10 次方位来填充什么。现在……我的猜测是，没有这样的限制，但我的世界观不受是否有这些限制的影响。因为，正如我所说，这仍然取决于我们用什么来填充它们。然后，如果我们将来在某个时候被切断了，那么到那时为止的一切都将是值得的。明白了。嗯，好的。所以，我理解你的“无限的开端”的概念，在我看来，我们获得的知识越多……我们有能力获得的知识。所以，知识应该呈指数增长。但是，如果我们看看过去 50 年，似乎……

在研究生产力，经济增长，生产力增长方面出现放缓或下降。这似乎与这样一种说法相符，即树上的果子是有限的，我们摘了容易够到的果子，现在果子越来越少，也越来越难摘了。嗯，你知道，最终果园会空空如也。嗯，那么你对过去 50 年发生的事情有什么替代性的解释吗？是的，我认为这很简单。学术界存在社会学因素，它们已经扼杀了文化，并非完全如此，也并非无处不在，但这确实是一种趋势，并导致了许多领域在许多方面生产力的损失，但并非所有领域，也并非所有方式。嗯，你知道，例如，我认为理论物理学从 20 世纪 20 年代开始就陷入了停滞，而且至今尚未完全消散。如果不是这样，量子计算机早在 20 世纪 30 年代就已被发明，并在 60 年代被制造出来。嗯，这只是一个偶然的事实，但它恰恰说明了没有任何保证。我们视野无限的事实并不保证我们能到达任何地方，也不保证我们明天不会开始衰落。我不认为我们目前正在衰落。我认为我们看到的这些衰落是特定错误造成的局部效应，这些错误是可以纠正的。嗯哼。嗯，好的。那么，我想问你一个关于贝叶斯主义与波普尔主义的问题。人们之所以更喜欢贝叶斯主义，原因之一是它似乎有一种描述认识论状态变化的方法，而理论的相对状态并未改变。给你举个例子。嗯，目前，多世界解释是解释量子力学的最佳方式，对吧？但假设我们在未来。是的。好的。但假设在未来，我们能够制造出量子计算机上的通用人工智能，并且我们能够设计出一些你建议的巧妙的干涉实验，使其能够报告自己处于多个世界叠加态。现在似乎，即使多世界仍然是最佳的或唯一的解释，它的认识论状态也因实验而改变了。用贝叶斯主义的术语来说，可以说这个理论的置信度增加了。你会如何描述波普尔主义观点中的这类变化？嗯，现在我们只有一个无法立即被推翻的解释。如果我们做了那个思想实验，我们很可能会决定这将提供弹药来推翻甚至尚未想到的替代解释的观点。我的意思是，显然这不足以推翻所有可能的解释，因为首先我们知道量子理论是错误的。我们不能确定下一个理论是否会包含多世界。我的意思是，我认为会，但你知道，我们无法证明任何这样的事情。但我会用一个理论来取代置信度增加的想法，即实验将提供一整套箭袋，或者一套超越已知论证、已知错误论证的论证库，并且会触及其他类型的论证，因为我之所以这样说，是因为一些现有的关于量子理论的误解存在于对科学方法论的误解中。我写了一篇关于我认为的正确科学方法论的文章，但许多物理学家和哲学家会不同意，他们会提倡一种更基于经验主义的科学方法论。当然，我认为经验主义是一个错误，并且可以被其自身所推翻。所以我们不应该，但并非所有人都这么认为。现在，一旦我们有了像我的思想实验那样的实验，如果它真的被进行了，那么人们就不能使用他们基于虚假的经验主义观念的论证，因为他们的理论即使按照经验主义的标准也会被驳斥，而经验主义本就不应该被需要，但你知道，这就是为什么我认为，如果那个实验成功进行，论证库就会变得更强大。我接下来的问题是，开放式的科学进步是应对生存危险的最佳方式，你对此原则有多大的认同？举个例子，很多人提出了增益功能研究，对吧？可以想象，它可能会带来更多关于如何阻止危险病原体的知识，但我想，至少在贝叶斯主义的术语中，可以说它更有可能导致人造病原体的传播，而这种病原体本来不会自然产生。那么，你对开放科学进步的信念会让我们说“好吧，让我们停止增益功能研究”吗？不，它不会让我们说停止。它可能会让我们说，在进行增益功能研究之前，让我们研究一下如何使实验室更安全。这实际上是同一件事。这就像说，在我们用试剂进行实验之前，让我们研究一下如何使试剂通过的塑料软管更不渗透。这都是同一个实验的一部分。我不想仅仅因为可能发现新知识而停止某事。在我看来，这就是“不”。但是，我们首先需要发现哪些知识？这是排序问题，是任何研究和学习中一个非同寻常的、非同寻常的部分。但你是否可以想象，在弄清楚如何确保这些实验室达到一定标准之前，我们将停止目前的研究？然后，与此同时，我们将专注于进行另一种研究，这样增益功能就可以重新开始。但在此之前，它是不允许的。是的，原则上这是合理的。我对实际情况了解不够，无法发表意见，你知道。我不知道这些实验室是如何运作的。我不知道预防措施是什么。当我听到人们谈论实验室泄漏时，我想，嗯，最可能的实验室泄漏是其中一名工作人员从前门走出去。所以泄漏不是从实验室到外部。泄漏是从试管到人，然后从人走到门口。我不知道这些比例是多少，也不知道最先进的技术是什么，无法知道风险在多大程度上得到了实际的最小化。可能是这些实验室的文化不够好，在这种情况下，改进实验室的文化将是下一个实验的一部分。但我非常怀疑地说，所有实验室都必须停止并满足一个标准，因为我确信这种停止是不必要的，而且标准也不合适。同样，使用哪个标准取决于正在进行的研究。当我邀请泰勒·卡恩上我的播客时，我问他为什么他认为，他认为人类文明只能再存在 700 年。所以，我问他，我给了他，你知道，你的反驳，或者我理解的你的反驳，即有创造力的乐观社会将比极权主义的静态社会更快地创新安全技术，而极权主义的静态社会则能创新破坏性技术。他回答说，也许吧，但破坏的成本只是比建设的成本低得多。而且这种趋势已经持续了一段时间了。当一枚核弹只需要 6 万美元时会发生什么？或者如果出现像冷战期间我们多次看到的错误，又会怎样？你将如何回应？首先，我认为在整个文明史中，我们一直在变得越来越安全。你知道，曾经有过那些瘟疫，它们消灭了世界三分之一甚至一半的人口。而且可能是 99% 或 100%。大约 7 万年前，我们经历了一种瓶颈。我理解，他们可以从遗传学中得知。我们所有的表亲物种都灭绝了。所以，我们那时比现在安全得多。同样，如果在过去 200 万年或智人属的历史中的任何时候，一颗 10 公里的直径的近地小行星撞击地球，那将是它的终结。而现在，这只会意味着一段时间的税收增加。你知道，这就是我们变得多么安全。现在，我绝不会说我们不可能自我毁灭。那将违背人类心灵的普遍性。我们可以做出错误的选择。我们可以做出如此多的错误选择，以至于我们会毁灭自己。另一方面，原子弹事故之类的事件不会有零几率毁灭文明。它们只会造成巨大的痛苦。但我认为，即使我们想，我们也没有技术来终结文明。我认为，如果我们只是故意在全世界释放地狱，我们只会造成巨大的痛苦。但会有幸存者，他们会下定决心再也不那样做了。嗯哼。所以，我认为我们甚至无法做到这一点，更不用说我们会意外地那样做了。但至于坏人，嗯，我认为我们在应对外部和内部威胁方面都做错了，但我认为我们并没有在接下来的 700 年或更长时间里做错到生存风险的程度。嗯，我不想预言，因为我不知道未来 700 年的大部分进步是什么。但我看不出我们如果正在解决问题，就无法解决问题的理由。我不想用另一个比喻，尼克·博斯特罗姆的白球和黑球的罐子，你拿出白球，白球，白球，然后你碰到黑球，你就完蛋了。我不认为它是这样的，因为你拿出的每一个白球都会减少罐子里黑球的数量。所以，再说一遍，我不是说这是自然法则。有可能我们拿出的下一个球就是黑球。那将是我们的终结。有可能，但我认为所有认为会如此的论证都是虚假的。我想谈谈“乐趣标准”。你对“乐趣”的定义是否与其他人对其他积极情绪的定义不同，例如幸福、福祉或满足感？“乐趣”是一种不同的情绪吗？我不认为它是一种情绪，而且所有这些事物都没有得到很好的定义。在拥有令人满意的关于感受质的理论之前，它们不可能得到很好的定义，而且很可能需要更令人满意的关于创造力如何运作的理论等等。我认为，选择“乐趣”这个词来描述我更精确地解释但仍然不那么精确地描述为“在不同类型的知识——显性、隐性、潜意识、意识——和谐共存的情况下创造知识”的事物。我认为这实际上是“乐趣”这个词的日常用法与它不同的地方在于，乐趣被认为是琐碎的，或者追求乐趣被认为是追求琐碎。但我认为这与其说是词语的不同用法，不如说是关于这是好事还是坏事的不同评价理论。但尽管如此，我无法精确地定义它。重要的是存在一种具有这种“乐趣”属性的事物，即你无法强制执行它。所以，在某些观点中，你知道，“没有痛苦就没有收获”，那么你可以机械地找出事物是否造成痛苦，以及它是否按照“如果你有痛苦就会有收获”的理论进行的等等。所以这一切都可以机械地完成，因此它可能受到批评，而另一种看待“乐趣”理论的方式是，它是一种批评模式。受到批评，即“这不有趣”，也就是说，这正在任意地偏袒一种知识而不是另一种，而不是理性地让内容来决定。这是否对普适解释器施加了限制，如果它们无法创建某种关于为什么某事可能或应该有趣，为什么任何事情都可能有趣的理论？嗯，在我看来，有时我们确实可以使事物变得有趣，即使它们本来不是，例如，考虑锻炼，“没有痛苦就没有收获”。就像你第一次去的时候，它并不有趣，但一旦你开始去，你就会理解其中的机制，你就会发展出一种理论，解释为什么它可以而且应该有趣。是的。是的。嗯，这是一个相当好的例子，因为在那里你看到“乐趣”不能被定义为没有痛苦。所以你可能在经历身体痛苦的同时感到有趣，而这种身体痛苦并没有引起痛苦，而是引起了快乐。然而，正如近藤麻理惠所说，确实存在不会引起快乐的身体痛苦。这一点很重要，因为如果你教条地或不加批判地将涉及痛苦并排除“这可能不有趣”或“这还不是有趣”或“我应该让它变得有趣，如果我不能，那就是停止的理由”的“善”的理论应用于你的生活。你知道，所有这些事情，如果所有这些事情都被排除在外，因为根据定义，事物是好的，你的痛苦无关紧要，那么这就为不仅是痛苦，而且是停滞打开了大门。你将无法获得更好的理论。那么，为什么“乐趣”而不是另一种情绪，例如亚里士多德认为某种广泛定义的幸福应该是我们努力的目标，为什么“乐趣”而不是那种情绪？嗯，那是在模糊地定义它，以至于你所说的可能确实很有趣。关键是，在你所知的范围内，底层事物比真正理解它需要深入七个层次要低一个层次，而我们现在还做不到。但重要的是，我们的大脑中有几种知识。写在练习册里的，说你应该做多少次重复，你应该坚持下去，你感觉如何并不重要，这是一种显性理论，它包含一些知识，但也包含错误。就像我们所有的知识一样。我们还有其他知识，它们包含在我们的生物学中。它们包含在我们的基因中。我们有隐性知识，就像我们对语法的知识是我最喜欢的例子一样，我们知道为什么某些句子是可以接受的，为什么它们是不可接受的，但我们无法在所有情况下明确说明为什么是或为什么不是。嗯，还有，所以有显性知识和隐性知识。有意识和无意识的知识。所有这些都是大脑中的程序片段。它们是想法。它们是知识片段。如果你将知识定义为具有因果力的信息，那么它们都是具有因果力的信息。它们都包含真理，也包含错误。并且将其中任何一个屏蔽起来，使其免受批评或替换，都是一个错误。不这样做就是我所说的“乐趣标准”。你可能会说这是一个糟糕的名字，但你知道，这是我能找到的最好的。那么，通过进化创造通用人工智能是否必然会带来痛苦？因为在我看来，或者在你看来，你需要成为一个通用智能才能感受到痛苦。但当一个进化模拟生物成为通用智能时，我们可以停止模拟。那么痛苦从何而来？嗯，我所说的进化模拟，我的意思是，可能有几种类型，但我所说的，并且我认为这将是历史上最大的罪行，是那种模拟人类从非人进化而来的过程。所以你有一个非人的群体，在这个模拟中，他们将是一些 NPC，然后他们就会进化。我们不知道标准是什么。我们只有一个模拟地球表面的人工宇宙，他们会在其中行走，有些人可能会，有些人可能不会成为人。现在，事情是，当你走到一半时，发生的是，我所能想象的产生人格或创造力的唯一方式是，所需的硬件首先需要用于其他目的。我曾提出过，它需要用于传播模因。所以会有一些人创造性地传播模因，但他们正在耗尽资源。所以他们并不是在耗尽资源，直到它设法增加了他们的模因储备。所以在每一代中，都有一个模因储备被传给下一代。一旦它们变得足够复杂，它们就必须通过创造力来传递给接收者。所以，正如我所说，可能有一段时间，我无法想象它会以其他方式发生，即存在真正的创造力被使用，但它很快就耗尽了资源，但并非如此之快，以至于它没有增加模因带宽。然后在下一代，模因带宽就增加了，然后经过一定代数之后，就有机会使用这个硬件或任何固件，我预计会使用这个固件，而不仅仅是盲目地传播模因，或者更确切地说，创造性地传播模因，但它们是盲目模因。所以，在那段时间里，活着会非常不愉快。当我们有足够的资源来思考和传播模因时，活着就已经非常不愉快了。但我认为不会有任何一个时刻，你会说“是的，现在痛苦开始变得重要，因为它不仅仅是盲目模因”。我认为人们在盲目传播模因时就已经在痛苦了，因为他们使用了真正的创造力。他们只是没有有效地使用它。明白了。嗯，体验机器中的存在是否与“乐趣标准”兼容？所以，你不知道自己处于体验机器中。这都是虚拟现实。但你仍然在做那些会让你感到有趣的事情。事实上，比在现实世界中更甚。那么，你会不会想进入体验机器？它是否与“乐趣标准”兼容？我想有不同的问题，但我不太确定体验机器是什么。我的意思是，如果它只是所以，我的意思是，它只是一个虚拟现实世界，在其中事物比现实世界运作得更好，或者别的什么？是的。这是罗伯特·诺齐克的思想实验，想法是你会进入这个世界，但你会忘记你处于虚拟现实中。所以，我的意思是，这个世界在所有可能的方面都会是完美的，或者不完美，但它会变得更好。但你会认为你在这里的关系是真实的。你发现的知识是新颖的等等。你会不会想进入这样的世界？嗯，我绝对不想进入任何一个会抹去我来自这个世界的记忆的世界。嗯。与此相关的是，这个虚拟世界中的物理定律不可能是真实的，因为真实的定律尚未被发现。所以我会身处一个我试图学习物理定律的世界，而这些定律并不是真实的定律。它们是由某人为了某种目的而设计的，是为了操纵我。也许它被设计成一个需要 50 年才能解决的谜题，但它必须是有限的谜题，而且它不会是真实的世界。与此同时，在现实世界中，事情正在出错，而我却不知道，最终它们变得如此糟糕，以至于我的电脑没电了。然后我会怎么样？我总是喜欢问我采访的人的最后一个问题是，你会给年轻人什么建议？所以，一个 20 多岁的人，有什么你想给他们的建议吗？嗯，我非常努力地避免给出建议，因为它不是一种好的关系，与某人在一起并给他们建议。我可以对事情有看法。所以，例如，我可能认为，根据长期目标来条件化你的短期目标是危险的。我有一个我认为是好的认识论理由，即如果你的短期目标从属于你的长期目标，那么如果你的长期目标是错误的或有缺陷的，你直到死都不会发现。所以，这是一个坏主意，因为它将你现在或六个月或一年内可以纠正错误的事情，服从于你只能在 50 年的时间尺度上纠正错误的事情，那时就太晚了。所以我对“设定你的目标”这种形式的建议持怀疑态度，而对“让你的目标成为这样那样”的建议则更加怀疑。嗯，有意思。所以这是一个不是建议的建议的例子。但你为什么认为建议者和建议接受者之间的关系是危险的？哦，因为它是权威的。再次，你知道，我试图用我刚才给出的建议的例子，我试图让它不具权威性。我只是给出了一个论证，说明为什么某些其他论证是糟糕的。所以，但如果建议的形式是“身心健康”或者“中午前不要喝咖啡”或者诸如此类的话，那它就是非论证。如果我有一个论证，我可以给出论证而不告诉别人该做什么。谁知道别人会怎么对待一个论证？他们可能会将其改为一个更好的论证，该论证实际上暗示了不同的行为。我可以尽我所能为世界贡献论证，提出论证。我不声称它们比其他论证更优越。我只是把它们提出来，因为我认为这个论证有效，而且我期望其他人不认为它们有效。我的意思是，我们刚刚在这个播客上做到了。你知道，我提出了一个关于人工智能和类似事情的论证，你批评了它。你，如果你处于提出那个论证并说因此你应该这样做那样做的位置。这是一种权威关系，我认为拥有这种关系是不道德的。嗯，大卫，非常感谢你来到播客，非常感谢你给我这么多。太迷人了。太迷人了。谢谢你邀请我。[音乐]