Transcription
这可能是我们曾面对过的最难的问题。其他的生存风险相对温和。
>> 你的主要末日情景是什么？
>> 我们释放了一个ASI（通用人工智能），那是宇宙历史上最糟糕的事情。仓促进入这个领域绝对是愚蠢、鲁莽，坦率地说，是邪恶的。
我是杰弗里·米勒，你正在收看《末日辩论》。欢迎来到《末日辩论》。我的嘉宾，杰弗里·米勒教授，是一位进化心理学家、畅销书作家，以及新墨西哥大学心理学系副教授。他的学术重点大部分一直集中在人类智能这个主题。他获得了斯坦福大学的认知心理学博士学位。他在萨塞克斯大学认知科学中心做了博士后研究。2001年，他出版了《择偶心智：性选择如何塑造人类本性》。2015年，他写了《伴侣：成为女人想要的男人》。然后，在2019年，他写了《美德信号：达尔文政治与言论自由随笔》。他是一位有效利他主义者，专注于减轻人工智能等生存风险。在过去的几年里，他一直在有效利他主义论坛上撰写关于人工智能对齐的文章。所以今天，我们将深入探讨杰弗里的核心思想，并从他的研究生涯中获取关键见解。我们将看到他研究进化心理学和人类智能的一些发现如何与人工智能风险缓解相关。杰弗里·米勒教授，欢迎来到《末日辩论》。
>> 很高兴来到这里，卢伦。我的荣幸。我非常尊重你所做的一切，你做了一些很棒的采访和播客，我非常喜欢。
>> 彼此彼此。是的，我是你作品的忠实粉丝。读你的东西已经有一段时间了，尤其是在2015年，你和塔克·马克斯合著的那本书《伴侣》对我影响很大。所以，我们肯定会深入探讨那个。
>> 酷。让我们对你的学术生涯轨迹做一个高层次的概述。首先你对人工智能感兴趣，然后你有了孩子，你对人工智能的兴趣减弱了，对进化心理学更感兴趣了，倾向于人类求偶，现在你又回到了人工智能领域。我漏掉了什么吗？
>> 那是一个相当不错的高层次介绍。嗯，我的意思是，早在哥伦比亚大学读大学时，我就一直对心理学感兴趣。我主修心理学和生物学双学位，我想我确实想了解认知科学。所以我去了斯坦福大学学习认知心理学，然后我有了两条路径的职业生涯。一方面，我们有一位教授大卫·鲁梅尔哈特，他是一位著名的神经网络研究员，我也开始涉足神经网络、遗传算法和机器学习。所以我在研究生院做了一些这方面的工作。当然，我的前10到20篇出版物都是以机器学习为重点的。我的博士后研究就是关于这个的。然后我在1996年有了第一个孩子。到那时，我实际上已经有点担心人工智能的风险了。我的重点非常集中在自主智能体、进化机器人学以及那些真正在现实世界中做出决策和行动的事物，而不仅仅是回应提示。那开始让我感到恐慌。我认为这不一定是一个值得追随的道德职业道路。所以我的重点在过去的30年里大部分时间都非常集中在人类进化心理学以及智能和创造力等方面。但大约10年前，我开始接触有效利他主义。许多有效利他主义者非常关注X风险和人工智能安全问题，那种情况重新激发了我去研究这些问题。
>> 你有一个驱动你职业生涯的宏大想法吗？比如当你开始职业生涯时，你认为自己会走向何方？
老实说，最大的主题一直是信号理论，这个想法是，人们所做的很多事情都是向他人发出我们潜在特质的信号，无论是社交上、性方面、职业上还是其他方面。这在《择偶心智》一书、《消费》一书、《伴侣》一书（这本书有点像是关于如果你在约会市场中如何更好地向异性发出信号）中一直是一个不变的主题。我并没有真正打算让它成为关键主题，但我只是发现信号理论是一种如此强大的看待事物的方式，并且是博弈论在人类行为中如此相关的应用。
>> 所以，我觉得那是你和罗宾·汉森，对吗？你们是主要的信号理论倡导者。
>> 是的。嗯，我认为我们确实在某种程度上互相启发了。他的书《大脑中的大象》，我想，你知道，引用了我不少内容。这是那种一旦你看到它，就很难再忽视它的想法。嗯，你知道，也许稍后我们可以谈谈信号理论如何帮助阐明某种人工智能军备竞赛以及人工智能行业内部人士的行为。
>> 是的，当然。所以对话的结构将是，我们将更深入地了解你以及你的一些最受欢迎的作品、你的核心思想，然后我们将把所有内容带回到节目的主题，也就是，你知道，人工智能末日以及我们能做些什么。
>> 酷。所以，关于进化心理学这个主题，你在这里的小小30年弯路，我想告诉观众的一件事是，进化心理学是合法的。这并不是一个应该引起争议的东西，对吗？无论这个领域作为一个整体是否在增加价值，甚至追溯到达尔文，对吗？他已经意识到进化心理学将会成为一回事，对吗？
>> 是的。事实上，在《择偶心智》一书中，我指出达尔文早期职业生涯的大部分时间非常专注于生物学以及身体设计的形态特征和动物适应性的进化。但老实说，到大约1870年，对吗？嗯，他在某种程度上对进化心理学更感兴趣，胜过进化生物学。所以他之后很多书都是关于通过择偶进行的性选择，对吗？传粉者的行为，嗯，影响花朵的进化，人类通过代理选择驯养的植物和动物品种。所以达尔文本人实际上是第一位进化心理学家，那也是他中后期职业生涯的一个主要焦点。我确实偶尔会看到有人声称进化心理学作为一个领域完全是猜测，我认为更准确的说法是，不，有很多你无法否认的基本见解，当然，这个领域总是有前沿，还有一些我们不确定并且仍在研究的东西，对吗？
>> 我发表了很多实证研究，如果这只是，你知道，猜测，并且只是讲那些故事，那么我所有的博士生就只会提出假设。但通常情况是，你有一个很棒的想法，你认为它是一个很棒的想法，你去测试它，哎呀，它不太对，你重新审视它。这只是假设和实验之间正常的科学辩证法。
>> 没错。我们真的应该向观众解释进化心理学，你知道，就像给五岁小孩解释一样。它基本上只是意味着大脑是一个器官，器官之所以是现在的样子，是因为进化压力，因为它们帮助我们的祖先生存下来。所以，例如，当食物尝起来美味或性爱感觉良好时，那是一种进化反应。那些东西不一定非要感觉和尝起来美味，但它们之所以如此，是因为它们在大脑中进化成了这样。
>> 是的。这只是一个激进的想法，即存在一种人性。人性是进化的。人性包括许多不同的心理适应，包括偏好、价值观、情感、情绪状态、感知能力、认知能力，并且你可以分析人性，就像你分析黑猩猩的本性、海豚的本性、大象的本性、任何其他物种和任何其他动物的本性。并且你可以借鉴许多不同的领域，人类学、遗传学、嗯，社会学、政治学、嗯，神经科学，并希望将它们编织成一幅连贯的人性图景。
>> 太好了。好的。嗯，我们肯定会更多地谈论那个。我们将对人工智能研究人员进行心理分析。我们将谈论性。我们将谈论我作为搭讪艺术家的短暂生涯，试图进行一些男性女性求偶。我们将把所有这些都建立在进化心理学这门受人尊敬的科学之上。所以敬请期待。但在那之前，我想问你几个关于当教授的问题，对吗？因为你几乎整个职业生涯都是教授，对吗？
>> 是的。基本上有一些兼职，但也有一些弯路，但是的，基本上是这样。
>> 好的。你最近的时间是如何分配的？
老实说，去年我花了很多时间，嗯，修改我的课程设计和课程大纲，使它们相对地能抵御人工智能，让学生难以作弊。而这实际上花费了巨大的时间和精力来解决。我做很多研究。嗯，我有博士生。嗯，我们尝试发表期刊论文。嗯，做实证研究。我喜欢分析大型数据集。嗯，然后你做一些，你知道，大学服务，比如我一直在学院层面的教学和人工智能委员会任职，我们试图制定通用的政策、规范和最佳实践，比如在人工智能时代如何教学？所以这是教学、研究、服务的常规组合。
>> 你多久前获得终身教职的？
>> 嗯，2008年获得终身教职，感谢上帝赐予终身教职。这真的非常重要。这是一句题外话，但能够维护教授的言论自由真的很重要。
>> 这涉及到布莱恩·卡普兰写过的很多东西。你可能是布莱恩·卡普兰的粉丝，对吗？
>> 他写了一些很好的帖子，说：“是的，人们真的需要更多地利用他们的终身教职。比如，你已经有了终身教职，为什么还这么害羞？这就像你的机会，对吗？你已经有了保障，所以尽管去用吧。”正确的做法是利用终身教职说出你真正的想法，并研究你认为在世界上真正重要的主题，而不是仅仅在一个小到中等大小的主题上不断发表论文。
>> 听起来你正在突破界限。你做得很好。
>> 在学术界，勇敢总是很难的。你必须愿意，你知道，惹恼或让一些同事失望，如果你正在研究他们认为不那么重要的东西。嗯，但幸运的是，身处有效利他主义社区以及理性主义社区，你知道，你总是可以说，实际上我的EA朋友比我大多数学术同事更聪明。所以，在某种程度上，我更关心的是他们的尊重和认可。彼此彼此。彼此彼此。我很高兴你提到了保护你的课程和你的教授职位免受人工智能的影响，因为我们几周前刚做了一期节目，和一位名叫利亚姆·罗宾斯的大学二年级学生。我知道你看了。节目内容是关于在AGI时代大学有何不同。具体来说，人们是否接受了AGI药丸？他们是否意识到自己可能生活在人类拥有控制权的最后日子里？另一个问题是，他们都在作弊吗？答案基本上是肯定的。
>> 简而言之，是的，他们在作弊，但我不确定“作弊”是否是完全正确的词。如果我上大学时有大型语言模型和好的聊天机器人，我肯定会热衷于使用它们，嗯，在教授允许的范围内。对吗？所以，在课堂上使用人工智能的道德方法是弄清楚教授认为什么是最好的，就你自己的学习体验而言，然后，你知道，服从那个。所以我告诉我的学生，我希望人工智能的使用绝对最小化，在做作业或考试方面。所以我完全回到了中世纪。我进行纸笔课堂测试，可以是多项选择题或简答题。收起所有设备。不要用你的手机。不要用你的笔记本电脑。我要你的大脑、你的笔和纸，仅此而已。我要你理解材料。我不希望你只是与大型语言模型互动。其他教授有不同的方法，但老实说，我认为绝大多数教授都完全不知情、天真，
>> 自己没有使用过大型语言模型，也不知道学生在写学期论文时作弊有多容易，或者做在线测试之类的。
>> 那么，你从那时起改变了什么，因为你以前允许人们在考试时使用笔记本电脑吗？
嗯，我以前经常进行在线测试。我以前会布置很多学期论文，嗯，还有一些带回家的写作作业。我就是不能再那样做了，因为大多数精明的学生会使用人工智能来，嗯，完成在线测试，或者至少起草大部分关于任何感兴趣主题的学期论文。现在教学生写作变得极其困难。在我们的A和教学委员会上，人文科学的每个人都充满了绝望，因为他们觉得人文教育的核心，在，你知道，英语或历史或其他任何学科中，是教学生如何写作和思考，而在人工智能时代，我们不能再那样做了。
>> 那么人文科学的教授们怎么办呢？他们是那种，嗯，他们是完全无知吗，还是他们有什么举动？
我会说大约三分之二是完全无知的。六分之一的人处于完全的生存绝望状态，不知道该怎么办。另外六分之一的人只做课堂写作作业。
>> 好的，所有正在收听本节目的新墨西哥大学潜在学生们，不要选米勒教授的课。太难了。他让作弊变得太难了。但如果你去人文学院，你会有很好的机会。
>> 是的。
>> 你作为教授会用人工智能给学生打分吗？
>> 不。不，我真的不会。我认为那会是懒惰和不道德的。所以我不会，我亲自阅读所有内容。我亲自批改所有内容。我想确保这是我的课，这是我的评估。
>> 所以我想每个人都在告诉我，学生中存在作弊流行病。你认为教授中是否存在一种流行病，他们用人工智能取代了部分职责，并且有点在工作中作弊？
>> 我认为这更多地发生在撰写学术论文和拨款申请方面，而不是批改学生作业方面。我认为大多数教授如果厌恶实际批改学生论文，总是可以让助教，一个研究生来做。嗯，但我确实看到很多人使用人工智能来撰写论文的引言，或者做讨论部分，或者那种写作。我也知道很多学者正在使用大型语言模型，嗯，你知道，来起草书的章节，
对吗？是的。是的，我们都见过那些已发表的研究论文，上面写着，嗯，顺便说一下，我只是一个人工智能，所以如果你需要我查找更多资料，请告诉我。他们就这样把它留在了论文里。
>> 是的。我以为成为研究员和学者的全部意义是让想法进入我的大脑并沉淀，然后，你知道，去重新组合它们并富有创造力，然后提出一些希望是新的和有效的想法，而不是非常依赖人工智能来做这件事。将研究和学术的每一个重要组成部分外包给人工智能，我认为这对于那些，你知道，试图获得终身教职并且试图最大化出版物产出的人来说，一定是非人化和令人沮丧的。
>> 是的。在你自己的研究生涯中，你觉得你是否不得不做出很多妥协，为了申请拨款或获得工作，或者你觉得你很幸运能够追求你真正认为有趣和重要的东西？
我认为我在某种程度上是相当幸运的，比如非常幸运能在新墨西哥大学找到工作。嗯，作为一名进化心理学家找到工作非常非常困难，因为这是一个高度污名化的领域，而且全球范围内这种工作非常少。所以很幸运能做到这一点。嗯，我30年来没有接受过任何联邦研究资金。我不想受制于政府。我不想浪费纳税人的钱，我也不想让NSF或NIH告诉我他们当前的优先事项是什么，并试图将我的研究想法和优先事项塞进联邦政府目前认为重要的任何东西中。
>> 有趣。但如果你想让学生来帮助你呢？你是不是就不用付钱给他们了？这就是为什么你不用申请预算吗？
是的，基本上我们有一个博士项目，嗯，学生部分由大学资助，他们通过担任助教和协助我们的课程获得支持。所以像新墨西哥大学是一所大型州立大学，有4万名学生。我们从新墨西哥州获得大量的税收支持，然后是学生的学费支持。所以从经济上讲，这真的都是关于教学的。嗯，其他大学，比如斯坦福、哈佛等等，则更依赖联邦拨款来运营。
>> 非常有趣。所以，你做了这么多年的研究，你只是通过拥有一份全职收入来做到这一点，因为你得到了教授的工作，你有所有这些聪明的学生可以利用，我猜大学只是给你提供基本资源，对吗？比如，哦，你可以使用计算机实验室，那对你来说就足够发表论文了。
>> 是的，在不花费大量资金的情况下进行良好的行为科学研究是可能的。完全正确。而且，这有点好笑，因为听起来你是在预算非常紧张的情况下运作，但话又说回来，就像，好吧，两个聪明的博士生在帮助你。那些人进入行业。突然间，那是一年一百万美元的薪水，对吗？而你却可以免费拥有它。有道理。
>> 让我问你关于学生的问题。你和学生一起工作了几十年。学生有什么不同？
>> 他们被手机分散了注意力。我的意思是，30年前我教书的时候，天哪，我真老了。我在1990年作为斯坦福大学研究生教的第一门课是一门关于进化和认知的课程，我布置了大量的阅读材料，我认为很多学生实际上都读了。我看到了一种功能性识字能力的真正下降，比如学生我认为他们能读，但他们不会读，我经常不得不重新设计我的课程，比如我不能再布置教科书了。他们不会读教科书。所以我布置非常短的阅读材料，主要是博客或非常短的学术文章，比如3到4页，我实际上布置了很多YouTube视频。
>> 所以在我的有效利他主义心理学课上，你知道，我可能会把这个播客作为内容
>> 布置给学生。
>> 嘿，同学们？如果你被布置了这项作业，去查阅档案吧。也许他会给你一些额外学分。
>> 你认为谁在你的校园里感受到了AGI？
>> 这很有趣。大学委员会，也就是大学律师，主要担心人工智能，如果教授认为学生用人工智能作弊。比如他们交了一篇学期论文，教授认为：“哦，这主要是用ChatGPT写的。”教授指控学生作弊，学生反诉大学，对吗？律师们非常担心这种虚假警报和失误，就像这种博弈论式的舞蹈，你如何判断谁在作弊，谁没有，以及如何避免对人工智能作弊的虚假指控。所以那是一种担忧的焦点。嗯，
>> 不，我想，我想你所做的就是给予学生疑点利益，你只是夸大了，你知道，学历通胀。
>> 是的，那实际上就是正在发生的事情。
>> 疯了。
>> 学生们觉得AGI很快就会到来吗？
>> 学生们真正的担忧是关于他们的职业和职业规划，在过去的几年里，我在课堂上广泛地谈论过，包括我的大型人类性心理学课程。我也教人类情感课程。所以我们谈论你们毕业后打算做什么，主要问题不是像AGI灭绝风险那样。学生们主要担心的是职业机会灭绝的风险。对。
>> 是的。
>> 所以他们不知道哪些职业会是可行的。对。我可以和他们谈论像莫拉维克悖论，即白领工作可能比蓝领体力工作更快地被自动化，但机器人技术无论如何都会到来，如果我们获得AGI，那么AGI根据定义将能够学习如何完成任何认知或行为任务，你知道，以一种在经济上与人类劳动具有竞争力的方式。这意味着许多学生看不到任何稳定的职业道路。我认为这非常令人沮丧。比如，如果你对人工智能正在做什么有所了解，那么现在是20岁的一个非常糟糕的时期。你受过什么训练？
>> 我不知道。
>> 他们不知道。我认为即使撇开，你知道，人工智能带来的灭绝风险，我认为Z世代普遍存在一种对未来规划的绝望，
>> 仅仅是关于我如何赚钱？我如何组建家庭？我如何找到伴侣？我将如何抚养我的孩子？嗯，他们不知道，我也没有答案给他们。
>> 是的。我的意思是，如果我必须给他一个答案，我想我会说，嗯，理解创业精神，就像安贾德·马萨德说的那样，每个人都会使用Replit，每个人都会成为企业家，我认为那是乐观的，但我认为我们稍后会谈到的悲观方面是末日，所以如果你想乐观，就成为一名企业家，学习企业如何运作，对吗？学习一点金融方面的东西，你知道股权如何运作，关注创新领域，只要擅长人工智能工具，即使浪潮不断变化，也要走在前沿，那是我个人能给出的最好建议。
>> 你知道，有些教授有点关注，哦，学生应该掌握人工智能，他们应该获得这些技能。但问题是人工智能技术发展得太快了，以至于成为一个使用当前大型语言模型的优秀提示工程师并不能保证未来无忧，对吗？它不一定能推广到在五到十年内有效使用人工智能。所以，它并不是一个长期的、稳定的、有市场价值的职业技能。它就像知道如何利用当前的系统，但未来的系统可能完全不同。
>> 你的同事学者们对AGI有什么看法？
>> 在心理学系，人们普遍关注这两个风险或问题。我们谈论了大学里的人工智能作弊，以及学生中的职业不确定性。我认为总的来说，人们对AGI、ASI、灭绝风险知之甚少，你知道，理性主义者、LessWrong社区和EA社区的人们已经谈论了20年的所有这些东西。嗯，所以就这些事情而言，他们完全是把头埋在沙子里的鸵鸟模式。
>> 这与我听到的情况一致。好的，不错。所以现在我们有了几周前利亚姆·罗宾斯提供的学生视角，我们也有了教授的视角。所以我们对大学有了360度的全面了解。也许我们会请一位行政人员来。我们很快会更深入地探讨末日话题。但首先，你已经公开承认自己是阿斯伯格症患者。这如何影响你的个人生活和职业生涯？
>> 我一直知道我是一个书呆子。我知道我爸爸也是个书呆子，对吗？他非常喜欢飞机、火车、汽车、嗯，模型铁路等等。幸运的是，我上了一所，嗯，初中和高中，在某种程度上对阿斯伯格症患者非常友好。比如它积极地将聪明的孩子引导到荣誉课程和大学预修课程中。它把我们集中在一起，这样阿斯伯格症男孩就能找到阿斯伯格症女孩等等。比如我在数学队，而且数学队里真的有女生。所以，与其像被疏远的阿斯伯格症非自愿独身者，你实际上可以成为一个社交成功的阿斯伯格症高中生和大学生。感谢上帝。嗯，几年前我在Quillette在线杂志上写了一篇文章，关于阿斯伯格症问题和言论自由问题的交集，这基本上是说，如果你有一个言论自由的文化，考虑存在大量神经多样性这一事实非常重要，
>> 并且你需要尊重这样一个事实，即有些人并没有那么了解当前的社会规范，当前的奥弗顿之窗是什么，我们被允许说什么，与不被允许说什么。我指出，那些，嗯，阿斯伯格症患者，他们构成了对文明做出巨大贡献的天才中非常高的比例，经常说一些不恰当或不敏感的话，或者其他什么，但他们应该被允许这样做。对于普通神经典型人来说，接受文明进步的代价很重要，就是阿斯伯格症患者有时会说一些惹恼别人的话。
>> 差不多。是的。我也公开承认自己是阿斯伯格症患者，是自我诊断的，只是注意到我有很多阿斯伯格症特质，就像，好吧，是的，我显然也是阿斯伯格症患者，我上的是一所学术重点高中，所以我没有被欺负什么的。我在那方面很幸运。我想就像你说的，很高兴，嗯，现在这更广为人知了，因为它，嗯，它确实帮助我更了解自己。所以假设有一个社交场合，比如一个聚会，假设我比大多数人更早感到疲惫。很高兴有这种自我认知，比如，是的，如果我更喜欢社交互动会很棒，但显然我的大脑配置有点不同，对我来说就像一个更难的游戏，对我来说会更耗费精力，也许有一天我能通过基因工程让自己在这方面少一些困难，但如果我仍然有一些困难也没关系，你知道，给自己留点余地是好的。
>> 是的。老实说，如果你是一名心理学研究员，患有阿斯伯格症有点像一种超能力，因为它意味着你不会把社交互动的许多方面视为理所当然，那些其他人认为理所当然且绝对正常的东西。你可以看看人类求偶，然后说：“哇，那真的很复杂很奇怪，有很多事情发生，我直觉上不理解。”我如何才能基于像信号理论这样的理论框架，对其获得一种学术化的、理智的理解？如果你是一个神经典型的心理学研究员，我认为那是一个真正的障碍。
>> 嗯。
>> 因为你观察人类行为，会觉得这一切都很有直觉性，比如有什么问题？我要研究什么？嗯，你知道，你最终会做一些琐碎话题的琐碎研究，你知道，感谢上帝，有足够多的女性，她们有点像好的阿斯伯格症驯服者，阿斯伯格症训练师，对吗？比如我的妻子戴安娜·弗莱什曼在她的择偶生涯中，大部分时间都和阿斯伯格症男性约会，她的操作模式有点像找到一个未经雕琢的阿斯伯格症天才，
>> 并试图在社交上提升他一点，通过女性训练的力量。
>> 是的。我的妻子也是一个阿斯伯格症驯服者。
>> 是的。再次，从历史上看，我认为文明和技术的许多进步来自这种愉快的汇合，就像男性阿斯伯格症患者和女性阿斯伯格症驯服者像有效合作一样，我自己的父母也是这样。你认为社会是否正在朝着社交互动实际上更像阿斯伯格症患者的方向发展？因为，你知道，每个人都在盯着他们的手机，对吗？他们眼神交流更少，他们把视频游戏作为爱好。所以，那不是我们的强项吗？也许我们今天成长会更容易。
>> 是的。我认为在某种程度上，我直到大约14或15岁才真正掌握眼神交流的艺术。但我认为如果你是神经典型人，并且你主要通过短信和社交媒体交流，并且你没有太多面对面互动的经验，我认为那实际上是相当不利和心理上有害的。嗯，因为你从未发展出那种神经典型的轻松社交技能，对吗，那种让生活对大多数人来说无缝社交的技能，对吗？
>> 是的。所以我认为当我看到我的大多数学生有点害怕约会时，这实际上是悲剧性的，并且不得不面对面地与人交谈，他们只是还没有发展出做这些事情的技能。比如他们可以发短信很快，但发短信并不是进行人类求偶的一种情感上引人入胜的方式。
>> 说得有理。说得有理。我想如果我今天长大，我可能仍然会在社交方面遇到困难。让我们广泛地谈谈性，因为你从那种超然的阿斯伯格症视角研究了这么多性。广义上，性是什么，性在进化中的作用是什么？
>> 性是混合基因的一种方式，对吗？所以有性生殖意味着你得到两个生物体，它们基本上会说，嘿，我有很多有害突变。抱歉。嗯，但你也有很多有害突变。但我们的突变可能彼此略有不同。所以如果我们混合我们的基因，对吗，至少我们的一些后代实际上可能比我们更好，或者可能比我们有更低的突变负荷，或者可能拥有与我们相比微妙地新的、不同的和有利的特质。所以当我教授人类性学时，我总是对比无性生殖（这基本上是克隆自己）与有性生殖（你在其中混合你的基因）。无性生殖在短期内以某种方式非常非常高效，比如你可以用自己的副本淹没环境。但如果你是一个像脊椎动物这样的复杂生物，你很快就会灭绝，因为，嗯，突变会不断积累，让你在生存和繁殖方面越来越差。所以我谈了很多关于性的基本好处。它与清除不良突变、重组良好突变有关，并试图领先于病原体和寄生虫，以及，你知道，病毒和细菌，它们比大型生物体进化得更快。
>> 你知道，出于某种原因，我没想到是那样。我觉得这可能是我知识中缺失的一部分。所以，你基本上是说，性，其中一个主要功能是纠错。因为如果你只是克隆自己，你只会积累错误，而你不会有纠错功能。
>> 是的。
>> 嗯。好的。我不百分之百确定我准备好接受那个，因为我以为它更像是也许两者兼有，但我以为它更像是性是有目的地引入新的多样性，所以它实际上并不是试图保留你的精确克隆，但我猜也许它同时在做这两件事，对吗？它同时引入变异也修复错误。
>> 是的，没错。所以，你在无性物种中有一个失控的错误问题，那被称为穆勒氏棘轮。大约100年前，遗传学家汉斯·穆勒谈论过它。嗯，性在纠错方面真的非常非常出色，维持你物种中生物体的适应性完整性，但它也非常擅长重组潜在有用的新基因变异。所以，从这个意义上说，它有点加速了适应性进化。早在90年代初我做基于代理的建模时，很多都是关于有性生殖的确切好处是什么，从一种几乎像机器学习的视角或一种
>> 普遍优化视角。然后，你知道，在此之上你可以添加择偶维度，对吗？这没问题，如果你要与某个其他生物体重新组合你的基因来产生后代，啊，这里有一个决策元素，你要和谁重新组合你的基因，对吗，那就是择偶。所以，
>> 嗯，那也是我整个研究生涯中的一个主要主题，是试图弄清楚为了好基因而择偶，对吗？或者为了基因多样性而择偶。我看待这一点不仅仅是，哦，人类试图找到一个好的婚姻伴侣，而是在更广泛的进化过程优化的一种视角。
>> 是的，那实际上非常有趣。嗯，所以当你仅仅通过生物体死亡来改变基因库时，你每代可以做的平均比特量是有限的，这相当慢，但当你有了择偶，如果择偶足够有选择性，并且如果很少有情况人们不得不将就，比如不，每个生物体都像抢椅子游戏一样，最终每个人都会发生性关系，但看起来情况并非如此，似乎你可以有选择性，也许十分之一的男性会得到所有女性，例如，所以男性身上可能有很多选择压力，也许我有点夸张。但我的观点是，如果性选择足够多，每代的遗传信息量可能会翻倍或三倍。对吗。
>> 是的。它是一个真正的进化增压器。达尔文早在19世纪70年代就意识到了这一点。比如他的书《人类的由来与性选择》，大约700或800页，其中大部分是关于在各种生物中选择良好基因的择偶，他研究了昆虫、两栖动物、爬行动物、鸟类、哺乳动物，最后才到人类。但他记录了大量的证据，表明即使是昆虫也在进行选择性择偶，因为这有好处，嗯，它让你拥有更好的后代，它加速了进化过程。
>> 好的。所以你写了很多关于性不同方面的东西。看到写过关于性接触，人们如何选择伴侣，营销如何与性相关，美德信号如何与性相关，人们如何变得更具性吸引力，人类特质如何是性选择的产物，这很容易成为一个多小时的采访，只谈论所有不同的性话题。嗯，我们可能会跳过大部分的微妙之处，只关注对我来说最有趣的部分，那就是给单身男女的求偶建议，对吗？因为你也在这上面花了很多时间。
>> 是的。早在，我不知道，大约20年前，我遇到了一些，嗯，男性圈子和搭讪艺术家中的人，尤其是我的朋友，嗯，伊班·佩根，他有一个艺名叫大卫·德安杰洛，我觉得他实际上给了年轻男性相当不错的约会建议。嗯，但我注意到很多约会大师并没有真正深入了解进化心理学的更深层次方面。所以，他们经常会说：“这是一个策略，我想如果你出去玩，或者你在白天搭讪，或者你试图在网上找人，或者其他什么，它似乎有效。”但他们无法解释它为什么有效。这对很多年轻男性来说是，嗯，一个挑战，因为他们会想：“我为什么要这样做？”问题是它会产生对女性的怨恨，对吗？你在男性圈子里看到了这一点，对女性的厌女症和蔑视达到了极高的程度。比如，哦，他们只关注这些肤浅的特质，而忽略了其他特质，那很糟糕，他们很笨。塔克·马克斯和我在写《伴侣》这本书时想做的一件事是，尝试从这种进化心理学的角度思考，为什么女性会进化出这些特定的偏好？她们为什么想要这些东西？如果你理解了这一点，那么第一，你会在提升自己方面做得更好，并发展这些特质、能力、才干和天赋，但你也会更尊重女性，对吗？你会希望将她们的观点视为更合法。你将能够采纳她们的观点。所以，没有人会必然指责塔克·马克斯是女权主义者，但《伴侣》这本书的真正目的是试图教导年轻男性这些女性偏好的有效性，然后是实用的策略，让你成为一个更符合这些偏好的好男人，更有效率。所以我自己的，嗯，约会经历，我现在结婚了，幸福地结婚了。嗯，三个孩子。
>> 恭喜。太棒了。
>> 谢谢。嗯，所以我的约会经历基本上是2005年到2015年，基本上那十年对我来说是18到27岁，它有点被你和你的朋友们首尾呼应，因为我在2006年18岁的时候，我读了你的朋友埃文·佩根的书，他有个笔名叫大卫·德安杰洛，对吗？
>> 是的。是的，他在2000年代对于当时上网的人来说很有名。是的，他卖了很多本他的电子书。所以，我下载了他的电子书。它叫做《让你的约会翻倍》，它对我来说实际上非常有效。
>> 嗯。
>> 但我的约会从零开始，它只是翻了一倍。所以，所以我实际上还在挣扎。他们必须加一个星号。是的。我基本上需要一本不同的书，因为是的，我读了它，之后几年我仍然有点绝望。所以，我只是在读这本书。我记得那本书中的一个重要见解。嗯，他谈到你必须自信有趣，对吗？
>> 嗯。是的。
>> 他并没有错。
>> 是的。他有很多很好的建议，我参加了他在芝加哥举办的一个现场活动，有数百名男性参加，他有很多特邀演讲者，包括我，我认为他有扎实的建议，很多约会大师也有，你知道，相当不错的建议。嗯，它对那些阿斯伯格症男性特别有用，他们会说，我迷茫了。我不理解女性。我不知道她们想要什么。我不知道她们为什么想要。嗯，这会很有帮助。是的。
>> 是的。那是一本好书。只是当时我不需要它，对吗？因为我当时就像一个刚高中毕业的书呆子，处境非常糟糕，对吗？就像，所以结果是，你知道，几年过去了，现在我可以回顾一下我真正需要什么，与我当时得到的建议相比，很多都是普通的沟通技巧。就像那是我缺失的一部分。那些书并没有真正给我那个，因为它们更像是试图把你从一个有着普通情感和普通困惑的普通人变成一个自信有趣的普通人。而我更像是一个，你知道，连沟通技巧都没有的阿斯伯格症高中书呆子，需要沟通技巧。
>> 是的。那么，是什么真正让你成功地找到一个女人并结婚的呢？
>> 是的，那是一段挣扎了几年。最终在大约2010年代，我终于觉得，哦，好吧，一些概念正在融合，你知道，有些东西奏效了，尤其是我在发短信方面变得非常擅长，就像我有点分解了如何制造一场良好对话的算法。就像如果我最终意识到，好吧，所有这些搭讪艺术家的事情，对，就像男性圈子，当然有一些关于如何，你知道，占主导地位和成为领导者，掌控的真理核心，那里有一些正确的元素，但正如你所说，有那么多的厌女症，所以对我来说很难筛选所有东西，但最终我意识到，好吧，我自己的缺陷是沟通技巧，沟通技巧实际上在求偶中起着很大的作用，仅仅是良好的沟通，它确实做了很多工作，实际上，一种表达方式是，你如何填满半小时的时间，因为在我尝试学习更好地约会的头五年里，我从未真正学到这一点。我从未分解过“好吧，填满半小时时间”这个问题。那看起来像什么？不同元素的比例是什么？
>> 很多这些东西一旦你学会了就显得很基本。但对于那些正在听这个节目的20或25岁的阿斯伯格症患者，嗯，老实说，很多都只是换位思考，比如试着把自己放在女性的角度。她正在见你。她不认识你。她不信任你。她不知道你的特质是什么。嗯，你如何让她放松，并帮助她度过一个有趣的时间？
>> 是的，我同意。嗯，一种对我来说在后期约会变得相当擅长时变得有用的表达方式是，是的，你想炫耀你很聪明，但你必须转换货币。所以，即使你自己不是一个普通人，炫耀并说，看，我足够了解普通人的沟通方式，我知道如何制作一个普遍吸引人或吸引大部分人群并根据情况调整的笑话。所以我们认为的普通社交技能，而我们作为阿斯伯格症患者会说，哦，我们不做普通社交技能，你知道，我们比那更好。嗯，做好普通的社交技能实际上是一种洗白你智商的方式，这样你就可以通过这种方式炫耀你的智力。
>> 是的。这就是为什么塔克·马克斯和我如此强调，比如去那些能帮助你培养普通幽默感技能的场合。就像去即兴喜剧课，或者只是去脱口秀俱乐部的开放麦，然后搞砸并让自己尴尬，只是习惯于尝试弄清楚什么样的幽默感对普通人和普通女性有效。这将与你和你的阿斯伯格症朋友玩《龙与地下城》或《使命召唤》或其他什么时使用的幽默感不同。
>> 是的。所以为了结束我的单身生涯的另一端，2005-2015年，我最终在2015年遇到了我未来的妻子，我们在2018年结婚，那时我基本上是从，嗯，约会生涯中退休了。
>> 那时我读了，嗯，《伴侣》，我想它大约在那时出版的，对吗？你的书
>> 2015年。是的。
>> 没错。所以，所以即使我处于尾声，我对读那本书《伴侣》印象深刻。它澄清了一些困惑，你知道，它让事情变得更加清晰。我可以诚实地告诉观众，《伴侣》是关于人类求偶的头号书籍。
>> 哦，谢谢。我很感激。我们非常努力地使其具有相关性和实用性。你知道，我们做了那个播客《择偶场》，我想大约2014年到2016年有200集。很多都是年轻男性打电话进来提问。我认为我们非常了解他们的痛点和瓶颈在哪里，以及他们不理解什么和理解什么。对于任何想写一本面向大众读者的书的人，比如我强烈建议在写书之前和期间做一个播客，这样你就能真正了解你的受众处于什么状态，以及他们理解什么和不理解什么。我还会鼓励已婚人士，嗯，读一些约会建议书，然后将其应用于希望在你的婚姻中存在的持续求偶，对吗？那能保持火花，保持情感联系，因为很多人结婚后，有点像获得终身教职，他们放松太多了，对吗？他们没有保持足够的择偶努力。这在有小孩的人群中尤其常见，对吗？就像你处于共同育儿模式，
>> 就像你换尿布，我洗衣服，随便什么。我们好像完全忘记了我们应该对彼此有趣。
是的。是的。这一点也很好地记在心里。好的。所以观众朋友们，如果你是一个对吸引女性感兴趣的男人，或者你不是，但你只是想获得一些见解，一定要去看看《成为女人想要的男人》，这不是付费广告。我只是老实说，我认为这是第一本书。而且我认为它也是以另一个标题出版的，即《女人想要什么》，对吧？
是的。
好的。是的。所以你可以通过这两个标题中的任何一个来查找它。好的。我们来谈谈一个相关的话题，多边恋。你是什么时候以及为什么成为多边恋者的？嗯，我现在的妻子有点把我带入了这一行。我不会真的说我们目前有多边恋。我们有点像“差不多是单偶制”。就像，我们大约95%是单偶制，因为我们有两个蹒跚学步的孩子，我们没有时间去应付那些求爱之类的无稽之谈，次要的、嗯、关系等等。但至少在智力层面，我认为这是一个非常有趣的亚文化。所以，比如，我是一个性研究者，在Z世代和千禧一代中，有很多人是多边恋者，或者差不多是单偶制，或者他们对某种开放式关系感兴趣。统计数据显示，40岁以下的人中，有大约5%到15%的人至少对此感兴趣或尝试过，而且这方面的研究非常不足。所以我想，哇，这里存在一种张力。就像在传统的进化心理学中，对吧？我们有几十年的关于性嫉妒和情感嫉妒的研究。像德克萨斯大学奥斯汀分校的大卫·博斯（David Boss）等人对嫉妒进行了深入研究。所以嫉妒是一种深刻的适应性本能。但是，有些人似乎能够很好地克服它，以至于能够建立某种非单偶制关系，在这种关系中，每个人都明白存在多重关系，并且他们对此感到满意。这到底是怎么回事？我对此在情感上、智力上、社会上都有些兴趣，而且这似乎是一种值得关注的社会趋势。所以我想，嗯，如果进化心理学预测这种多边恋行不通，但它实际上对数百万人有效，我们该如何解释这一点呢？
你有没有过在生活中建立一个后宫的时候？
不，我不会说我有一个后宫。嗯，我当然同时约会过几个人，他们都知道我还在约会其他人，我们互相谈论对方，他们也经常会见到其他其他人，所以这是一个真正的社交网络。这不仅仅是我一个人在中心，然后是一群其他女性，她们从不交流或认识彼此。嗯，我的妻子黛安娜，你知道，非常擅长将多个人融入我们的小小的网络，并试图以一种合乎道德、公开、诚实、光荣的方式来做这件事。
是的。我是说，我个人不会有兴趣尝试。不是因为我认为这在道德上是错误的还是什么的，对吧？如果每个人都开心，那就太好了。我想，从我个人的角度来看，我觉得两个人在一起，一天的时间都不够，我不知道，去了解彼此的怪癖，互相了解，然后做一些事情，然后引入更多的人。我觉得你会分散爱。
是的。这让我对多边恋亚文化感到非常恼火的一点是，他们整个的说法是爱是无限的，你可以参与的人数没有限制，而且任何有孩子的父母，任何有实际关系经验的人都知道，时间、注意力、金钱、精力、注意力都是有限的，你不能随意挥霍。所以，经常发生的情况是，在有孩子之前，人们是多边恋者，然后他们有了孩子，由于时间的限制，这就会被搁置一段时间。对吧？然后他们养育孩子，然后孩子离开了，去上大学，你就成了空巢老人，然后他们就变成了交换伴侣。
对。对。所以，就像，好吧，所以如果你是一个空巢老人，或者你还没有孩子，就像，哦，我每天会花几个小时在我的爱好上，比如跑步或弹钢琴，但我的爱好是约会其他人。
是的。我的爱好是从多个人那里获得性认可。
对吧？
好的。是的，我想这似乎是一种合理的思考方式。好的。而且我认为多边恋在理性主义圈子里很流行。阿利亚·索沃斯基（Aliasowski）是一个相当有名的多边恋者。嗯，但他似乎，我认为他通常有一个主要的约会对象，但他显然是多边恋者。而且你知道，阿利亚在网上很有名，她是多边恋者，她也是一名性研究者。是的。你怎么看他们的多边恋？是的，我实际上正在和阿利亚合作，对她几年前进行的一次大型的性癖好调查进行一些数据分析。而且我非常尊重她，你知道，既作为一个非常喜欢冒险、自由奔放的人，也作为一个研究者，一个无畏的研究者，她愿意提出一些尴尬的问题，其程度远远超过了我大多数学术同事会提出的问题。在率直和多边恋之间有一些有趣的重叠，我还没有完全理解，但它确实似乎存在经验上的相关性，尤其是在湾区、纽约、伦敦和牛津等地。
是的。虽然我从未有过多边恋的经历，但我感觉我理解其中的联系，那就是，我的意思是，我觉得有一个理性的论据，那就是，如果你认为嫉妒不是什么大事，而且你认为爱好是可以的，那么就去做吧，对吧？
对。我的意思是，这有点像这样的论点：如果我能自我改造，从异性恋变成双性恋，我难道不做吗？这难道不会增加价值吗？或者如果我能自我改造，喜欢更多种类的食物，我难道不做吗？我认为答案是肯定的。我的意思是，你知道，就像，如果我天生是色盲，我难道不想看到更多的颜色，即使这对我没有实际帮助吗？我认为答案是肯定的。
是的。对于一个保守的传统单偶制者来说，这看起来非常像一个“切斯特顿的栅栏”问题，对吧？就像一个超理性主义者可以看着单偶制和婚姻，然后说：“这对我来说毫无意义。我们为什么要保留这个传统？我认为它是无效的。我要调整它，玩弄它，改变它。”我认为保守派和传统主义者未能真正深入地审视，等等，为什么几乎所有成功的文明历史上都以单偶婚姻为中心？为什么会这样？它有什么独特的优势？让我们在逻辑上和良好的认识论上阐述它们。相反，他们只是说这是上帝的命令。而这对率直的人来说是不够的。所以，嗯，有些人，甚至乔丹·彼得森，还有哈佛大学的人类学教授约瑟夫·亨里克（Joseph Henrik）进行了一些更严肃的分析，他们问，是什么让单偶婚姻在文明功能方面如此特别？所以，我认为在接下来的十年或二十年里，观察这个领域将会很有趣，看看我们能否更清晰、更全面地阐述单偶制的优缺点，对吧？而且还要弄清楚，它最适合谁，因为它并不适合所有人，但我认为，它确实适合大多数人。
是的。是的。关于切斯特顿的栅栏这个话题，我不想成为那个刻板的理性主义者，说：“嘿，这在理性上对我来说说不通，所以把它扔掉。扔掉单偶制。”就像，不，很明显，单偶制是一种伟大的均衡，有助于抚养孩子，并以这种方式传递你的基因。它显然在过去起到了某种作用。它现在是否起作用还不清楚。你可以说它现在最有效，至少在某些时候。所以，就像，我只是不想完全忽视为什么一个或另一个是好的。就像，我只是想说清楚。我认为这是一个没有明显答案的活跃对话。
是的。而且我实际上已经教了几年一门名为“另类关系”的课程。它涵盖了多边恋，但也涵盖了传统的基督教婚姻，作为一种不同于当前美国规范的另类关系风格。我们深入探讨了，是的，单偶制的具体好处是什么？让我们尊重和认真地分析它们。嗯，我认为很多学生真的很感激，因为他们说，我不想让某个激进的、性变态的教授鼓励我成为多边恋者或性癖者之类的。我想更深入地了解我从关系和婚姻中想要什么。而这正是我试图做的。你知道，我的许多学生是西班牙裔天主教徒，他们中的许多人在性观念上相当传统。我尊重这一点，并说我作为教授的角色就是帮助你更深入地了解你所认识和喜爱的传统背后有更深层次的逻辑。
很有道理。好的。在推特上。你的用户名是 Primal Poly。我们谈了多边恋。你为什么是原始的？这只是对进化、生物学和史前时代的一种致敬，部分是为了从过去和未来两个方面来看待时间。
说得通。那原始饮食呢？是的，我大约在10到15年前对古饮食生活方式和原始饮食之类的东西有点热情。我参加了德克萨斯州奥斯汀市的几次古食博览会，持续了两年三年，我发现整个亚文化很有趣，并且试图吃得更好，举重，快速奔跑，嗯，做所有那些事情。而且，你知道，对于那些中年男性来说，想要保持身体和精神健康，我认为这是一种非常有效的方式。嗯，有一个叫做进化医学的小学术领域，它试图将进化生物学的见解应用于分析人类健康、运动和饮食，就像进化心理学试图将进化原则应用于理解人类本性一样。所以，我也对古饮食运动在智力上很感兴趣。
我本人也稍微有点生酮古饮食，只是稍微有点。就像，我只是会刻意去吃。所以我不会随便吃一大块面包。我会想，“哦，这似乎是碳水化合物的浪费。”但如果是一块巧克力蛋糕，我会想，“嗯，这确实很放纵，所以我吃起来也无妨。”但我只是，但我不想吃烧烤酱，因为我喜欢咸肉，所以烧烤酱是完全浪费的。我不想陷入古饮食的兔子洞，但考虑到我们无法真正信任FDA和主流营养学家以及主流医生关于我们生活方式的建议，我认为这是一套重要的见解。
是的。好的。嗯，现在我们接近了谈话的重点。我们要谈论人工智能的末日。你谈到了阅读阿利亚·索沃斯基和朗（Lang），并且你积极参与EA论坛。你过去几年写了很多帖子。然后，我也想强调一下，我们刚才也提到了这一点。你也有她里斯蒂克和偏见方面的背景，这是阿利亚·索沃斯基一直在写的一个重要话题。你知道，当罗宾·汉森（Robin Hansen）创办这个博客时，阿利亚·索沃斯基加入了，博客的名字就叫“克服偏见”，当时有很多关于她里斯蒂克和偏见的内容。我想指出，阿莫斯·特沃斯基（Amos Tversky）是你的研究生导师之一，而且你还与加雷德·吉加伦泽（Gerd Gigarenzer）合作研究了适应性决策她里斯蒂克。所以你绝对了解这个领域。
是的。当我还在斯坦福读研究生时，阿莫斯·特沃斯基（Amos Tversky）开了一门关于她里斯蒂克和偏见的精彩课程，而且，你知道，可惜他英年早逝。如果他活得足够长，他也会和丹尼·卡尼曼（Danny Kahneman）一起获得诺贝尔奖。但后来我在90年代中期与加雷德·吉加伦泽（Gerd Gigarenzer）一起工作了一段时间，他是一位德国的认知心理学家，是统计学史专家，他实际上对特沃斯基-卡尼曼计划（Tversky-Kahneman program）持相当批评的态度，认为它在进化心理学或动物决策方面基础不牢固，而且特沃斯基和卡尼曼认为的许多认知偏见实际上是适应性决策她里斯蒂克，在许多条件下都很有意义。所以，我同时获得了这两种观点，我认为这非常有帮助，不仅仅是听取特沃斯基和卡尼曼的观点，也不仅仅是走向“哦，有一堆理性偏见，我们必须消除偏见”的方向。吉加伦泽的观点实际上是，许多人认为是认知偏见的东西，如果你对人类思维如何与环境的统计和逻辑结构以及我们面临的决策领域相契合有深刻的理解，那么这些偏见就是明智和适应性的。所以，我同时获得了这两种观点，我认为这非常有帮助，不仅仅是听取特沃斯基和卡尼曼的观点，也不仅仅是走向“哦，有一堆理性偏见，我们必须消除偏见”的方向。吉加伦泽的观点实际上是，许多人认为是认知偏见的东西，如果你对人类思维如何与环境的统计和逻辑结构以及我们面临的决策领域相契合有深刻的理解，那么这些偏见就是明智和适应性的。
明白了。所以，有点像罗素的共轭。你有非理性偏见。我有适应性她里斯蒂克。
是的，没错。而吉加伦泽则说，看，很多这些看似非理性的建议，你都可以把它们归入适应性她里斯蒂克类别。而且，是的，如果你想完全理性，你应该了解它们是如何运作的。然后你就可以划定界限，说它们何时不适用。但是，是的，我的意思是，我不知道，也许一个很好的例子是“沉没成本”，对吧？所以每个人都说，“是的，如果你不喜欢一部电影，就离开吧，你知道，这是沉没成本。”实际上，我认为那个是对的。但是沉没成本也有适应性她里斯蒂克的一面，那就是，“看，如果你已经在一个东西上投入了这么多，也许，或者大多数时候，你不需要再投入那么多就能看到它完成并获得全部回报。”它通常试图将你的决策过程置于背景中，你并不是真的在优化某个狭窄的成功指标，有很多隐藏的成功指标是我们通常没有意识到但也很重要的。吉加伦泽的一个我非常喜欢的决策她里斯蒂克是“识别她里斯蒂克”，那就是，“如果你认出一个东西A，而你不认识东西B，这本身通常就带有关于A与B的某些潜在品质、特征和特征的有效信息，对吧？嗯，例如，如果你听说过一家特定的公司，而你没听说过另一家公司，通常投资于你听说过的公司是有意义的，因为仅仅因为你听说过它，就说明了这家公司在公共关系方面的能力，对吧？或者公司的知名度，或者公司的寿命，比如它已经存在了一段时间，足够长的时间让你听说过它。
嗯，如果你采取一种狭隘的理性主义观点，你可能会说，嗯，我是否听说过它不应该有关系。我应该只根据客观的成功指标来评估它。但吉加伦泽的才华在于弄清楚，有哪些隐藏的信息是由我们通常不认为是有效的信息所携带的。
完全合理。
好的。你还有斯蒂芬·平克（Steven Pinker）的背景，对吧？谈谈那方面。我的意思是，我认识平克大约35年了，对他的大部分作品都非常尊敬，对吧？他一直是一个支持者。他一直是倡导者。他为我写过推荐信。嗯，他的书，比如《语言本能》（The Language Instinct）和《白板》（The Blank Slate）以及《启蒙》（Enlightenment Now），我认为我读过他写的所有东西，而且他很有才华。他是一个巨人般的人物，一个有影响力的人物，也是我的导师，但我认为他在人工智能风险方面大错特错，原因我真的不明白。嗯，这最近一直是有点小冲突的来源，但嗯，我多年来在许多课程中都布置过他的书《白板》，我认为大学生阅读这本书对于真正理解正在发生的事情至关重要，无论是关于成长的心理学，还是理解当前的政治动态。
是的。是的。所以，我对斯蒂芬·平克（Steven Pinker）的看法基本上和你一样。我认为《心智如何运作》（How the Mind Works）尤其是一部杰作。这是一本有史以来最好的书之一。它告诉你很多关于心智如何运作的知识，正如它所承诺的那样。所以我强烈推荐这本书。它可能是我最喜欢的五到十本书之一。必读。
《语言本能》简直太棒了。这也是我年轻时在现实世界读到的第一批书之一。我当时想，“哇，很多书都会是这样的吗？”然后，不，那是一本独一无二的好书。《语言本能》。嗯，是的，所以你和我一样，都认为他对人工智能的看法质量不高。就像，它们就是不好的看法。然后，对于观众朋友们，如果你们搜索“末日辩论 斯蒂芬·平克”，我实际上并没有邀请斯蒂芬·平克来我的节目，但我对他和一个人的谈话做了一个反应性的节目。而且我认为，杰夫，你告诉我你同意我的反应，对吧？
是的。我认为你在那个视频中做得非常好，它解构了史蒂夫·平克关于人工智能为什么会安全以及人工智能工程师将像其他领域的工程师一样谨慎和小心等等非常非常薄弱的论点。嗯，通常我认为他是一个非常优秀和谨慎的学者，在研究不同方面的论点并进行整合和分析方面。但我的感觉是他没有怎么读过人工智能安全文献或灭绝风险文献，他就是不明白。
是的。是的，他似乎就是不明白。所以，斯蒂芬·平克，随时欢迎你来我的节目。我会配合你的日程安排。联系我。继续。你是什么时候以及如何开始思考超级智能人工智能的？老实说，我的很多想法都来自于阅读伊恩·M·班克斯（Iain M. Banks）在90年代写的《文明》（Culture）系列小说，对吧？所以，我在90年代初做博士后研究时，偶然发现了班克斯，这位英国科幻作家，对吧？我不知道有多少观众熟悉他的小说，但他写了10本关于文明的小说，设定在遥远的未来技术中，那里有超级智能的“心智”（Minds，大写M），它们在运行社会，对吧？它们运行飞船，运行轨道空间站，运行行星，运行一切。而人类仍然存在，但人类基本上只是有趣的宠物，在跑来跑去，上演着他们琐碎的人类戏剧。而主流文明完全是关于这些超级智能的人工智能“心智”的。所以，这为我思考这个问题提供了一个背景，这可能是现实中最可能最好的结果，即人类文明得以延续，并且以一种繁荣的方式延续，对吧？因为在这些小说中，有数万亿快乐的人类，拥有巨大的财富、权力和闲暇，能够探索银河系等等。
但他们不是主要的决策者，对吧？人工智能是关键的决策者。如果我们能做好，那将是一个伟大的结果。那种文明（Culture，大写C），但如何从这里到那里非常棘手。我读了伊莱泽·尤德科夫斯基（Eliezer Yudkowsky）和尼克·博斯特罗姆（Nick Bostrom）以及其他EA人士、LessWrong人士和理性主义者以及人工智能安全人士的观点越多，就越觉得急于实现这一点，就像“加速开发”是明智的。
所以，我们谈论了你的背景和你从人工智能到进化心理学，现在又回到人工智能安全的智力旅程。你准备好回答每个人都想知道的那个大问题了吗？
当然。
[音乐]
杰弗里·米勒教授，你的“末日概率”是多少？
50%。
哇。和我一样。我们真是心有灵犀。
但也有广泛的不确定性和误差范围。对我来说，这极大地取决于人类的行为和社会对人工智能的反应。所以，我认为我们可以将“末日概率”推低到本世纪的5%，而且我认为如果我们非常愚蠢，我们可以将其推高到80%。
哇。好的。是的。所以我的情况没那么灵活，但我同意你的观点，这非常取决于人类的反应。当你问我，我如何有50%的可能性我们不会灭亡？大部分的概率是，我们会醒悟过来，并真正进行监管以阻止人工智能。听起来你和我差不多，但你更乐观地认为，如果我们这样做，结果会很好。
是的，我认为，你知道，对我来说，这不仅仅是监管问题，也包括更广泛的社会背景，我们是尊重还是污名化人工智能行业？我认为这是我们拥有人工智能安全方面最大杠杆的来源，那就是发展广泛的社会共识，这是否是我们真正想要的方向？我认为正式的政府监管和正式的全球条约只是其中的一小部分，而且不一定是人工智能安全倡导者应该投入大部分精力的地方。再往回说一点，2023年关于人工智能风险的著名声明说，减轻来自人工智能的灭绝风险应该是全球优先事项，与其他社会规模的风险，如流行病和核战争并列。你很乐意签署该声明并支持它，对吧？
绝对。是的。我认为我签署了所有关于人工智能安全的声明，这些声明都出现在我的电子邮件中。嗯，我的意思是，我们在这里讨论的一个挑战是，我认为你和我对许多这些问题都有很强的共识。而我喜欢在我们之间找到分歧可能是一个有趣的挑战。
是的。嗯，我们会尝试的。那么，我问你，你的主要末日情景是什么？主要末日情景基本上是，人们继续相信存在合法的企业和地缘政治人工智能军备竞赛。他们对此感到恐慌，他们推动人工智能能力的发展如此之快、如此之猛，以至于我们获得了通用人工智能（AGI），然后迅速获得了超级人工智能（ASI），在我们知道如何控制或对其进行对齐之前。然后，嗯，事情会以难以预测的方式发展，因为我们不会像ASI那样聪明。所以我们无法设想它可能给我们带来麻烦的所有方式。我愿意听从像《AI 2027报告》的作者以及其他人提出的观点，他们指出，如果你无法控制、对齐或理解比我们聪明得多的系统，并且这些系统具有代理性，并且能够在世界中做出自主决策，包括通过它们自己的直接控制、直接的数字控制资产和信息以及宣传，也通过人类行为者，通过各种形式的影响，支付、敲诈、宣传等等。我们默认情况下很难实现对齐。
我们很难实现对齐。而且，我希望你的听众已经理解了，我对此采取的是非常广泛的时间尺度方法，对吧？对我来说，人类在2200年或2100年灭绝，和我现在灭绝一样糟糕。就像，无论是我的孩子直接受到威胁，还是他们的曾曾曾曾孙子在进化时间尺度上受到威胁，这对人类和我们的文明来说都是一个巨大的失败。所以，嗯，在这里我有点受到弗兰克·赫伯特（Frank Herbert）的《沙丘》（Dune）系列小说的启发，就像，如果人类文明在没有人工智能的情况下再延续一万年，那将是多么酷啊。
对。对。
对。我认为那是一个胜利。如果在一百年或一千年后，我们的后代说，“我们认为我们有一个相当不错的控制和对齐ASI的策略。”我将相信他们的判断。也许他们认为在遥远的未来开发比他们更聪明的人工智能是个好主意。也许他们可以达到伊恩·M·班克斯的文明。嗯，但我认为仓促行事是绝对愚蠢和鲁莽的，坦率地说，是邪恶的。
完全同意。所以，为了澄清，在你主要末日情景中，你基本上谈论的是，嗯，人类搞砸了，对吧？我们比赛太激烈了。接下来发生的是，人工智能能力是否会越过某个阈值？它会是人们所说的“递归自我改进”的“fume”（一种快速递归自我改进的爆发）吗？是的，fume将是这可能发生的最危险的方式。而且，我认为人们对递归自我改进有点混淆，就像，“哦，好吧，ASI会重写自己的代码来让自己变得更好。”但现在的人工智能模型实际上并不是被编码的。它们是被训练的，对吧？所以fume情景可能更多地与ASI发明更好的计算基础设施有关，它可以在其中更好地运行，或者更好的获取训练数据的方式，或者更好的调整自身训练的方式，或者以某种方式进化出新的认知架构。嗯，我认为fume有一个天真的版本，那就是，“哦，ASI只是说，‘这一行C++代码可以被调整，让我更聪明。’”我认为事情不会这样发展。
所以，我个人认为fume非常有可能是我主要的末日情景。我是OG，你知道，原始的尤德科夫斯基和FU。我仍然认为这很有可能。我看到它的发展方式是，无论我们如何达到第一个超智能，即使它有一个大的LLM部分，它都会从第一原理开始解决问题，就像，“好吧，我想要得到头骨。”你告诉我让你的生意赚更多的钱。我该怎么做？让我从头开始重写一个比我更好的人工智能。如果你把它作为一个新问题从头开始解决，那么出现的解决方案不一定是，“哦，让我们再做一个巨大的LLM。”你可以做一些看起来更像人类大脑的东西，比如计算资源更少，样本效率更高。你知道，人类大脑和LLM的架构之间显然存在一些重大差异。我认为存在重大相似之处，但我也认为存在重大差异。顺便说一句，观众朋友们，我很快就会发布另一集与史蒂芬·伯恩斯（Steven Burns）的节目。我非常喜欢他的研究，史蒂芬·伯恩斯。他也与伊莱泽的观点有很多相似之处。他也相信fume。我们进行了长时间的讨论，关于我们认为人类大脑的架构与LLM不完全相同，而且当人工智能变得更像大脑时，这将是fume的重要组成部分。所以，是的，所以我的主要情景是我确实看到了递归自我改进的发生。但即使你把这一点放在一边，就像，好吧，也许它们不会递归地自我改进那么快，但它们仍然非常快，已经非常强大，已经能够同时与数十亿人进行DM交流，并逐个操纵所有人，不断地，对吧？所以，所以即使你不说RSI，递归自我改进，你难道没有想象一个情景，作为你的主要情景，突然人工智能越过了阈值？它没有被对齐，突然它比所有人都强大？
是的，基本上就是这样一种可能的方法，而且，是的，我对fume并不怀疑。我认为fume当然会发生，但我认为还有很多其他的失败模式，一个ASI可以在不一定经历fume的情况下就摧毁我们的文明。例如，我比一些人更担心各种坏人试图将ASI与他们自己的意识形态对齐，对吧？这可能包括像负效用主义者或反出生主义者这样的人，他们认为“所有生命都是痛苦的，我们应该尽量减少世界上的有情生命数量，而这作为道德行为者是我们最高也是最好的使命。”我认为他们是疯子、抑郁、愚蠢。但是，你知道，如果反出生主义者得到了一个与他们意识形态对齐的ASI，那将很容易结束。还有很多其他的末日邪教，对吧？那些千年主义邪教，他们认为“有些事情会发生，某种宗教末日，某个先知的第二次降临，或者别的什么。”这听起来很疯狂，但相信这一点的人数远远超过了从事人工智能研究的人数，对吧？你也可以得到宗教原教旨主义的活动家、恐怖分子等等，他们可能会认为“我们的宗教是唯一的真宗教，其他人都该堕落的叛教者，根据我们的上帝或先知的说法，他们应该被消灭。”而我并没有看到足够多的关注，特别是那些倡导开源AGI的人。
对。对。开源意味着任何恐怖分子都可以利用它来放大他们的影响力。然后你还有所有的生态主义者，他们认为“人类是地球上的癌症。我们应该保护生态系统。我们应该保护所有其他物种。人类是个问题。我们必须消灭人类。”数千万人持有这种观点，对吧？所以我一遍又一遍地在EA论坛上说过。你要将ASI与谁对齐？与哪些人类群体？与哪些人类价值观？对吧？它不会永远由湾区世俗左翼的理性主义者控制。
是的。嗯，我认为我们在这方面有一些分歧，因为我实际上同意你所说的一切关于坏演员的说法，对吧？就像，你把人工智能交给错误的人控制，即使他们有好的意图，而那个人说，“嘿，我真的不在乎哪个物种统治宇宙。我不想成为物种歧视者。所以，如果你是一个更强大的物种，那就去吧。”然后我们就都完蛋了，因为这个。所以，我同意你认为这是一个严重的威胁。唯一的区别是，我认为我们甚至不会达到那种失败模式，因为第一个制造超级智能人工智能的人，第一个实验室或者别的什么，它已经会逃离他们，并且只会做人工智能想要做的。它甚至不会做坏人想要做的。
是的。我担心的是，如果你用一套特定的价值观来训练人工智能，对吧？嗯，人类的智力很难完全弄清楚，这些价值观的所有意外后果是什么？对吧？这在精神上与尤德科夫斯基关于如果你给它任何特定的指标，它就会全力以赴地最大化该指标的担忧有些相似，会有许多意外的后果。是的，我担心的是，不仅仅是那种任意的目标追求，比如“回形针最大化”。我担心的是真正的、细致的政治和宗教价值观，它们被放入ASI的价值体系中，然后ASI可能会，它会经历fume，它会递归地自我改进，但它仍然带有那些原始的、细致的政治、宗教和意识形态价值观的幽灵，而这些价值观对人类产生了可怕的影响。
嗯。所以，重申一下，听起来你属于一个相当大的阵营，他们认为将超级人工智能与它的创造者或，你知道，与一个人类实体对齐，他们认为对齐问题的一部分，他们称之为对齐很容易。我指的是像安德鲁·克里奇博士（Dr. Andrew Critch）这样的人，他来过我的节目，罗奇（Roch）也来过我的节目，这些人都是基于这样的假设，即“是的，对齐很容易，但然后我们都会拥有这些对齐的人工智能，它们会互相争斗，人类将变得无能为力。”我不认为这会很容易。我认为最可能的情况是，会有一些善意的AI开发者试图，他们意识到，“哦，我们真的必须努力让ASI拥有对我们来说看似良性的东西。”他们试图灌输，比如说，湾区西方自由民主价值观到ASI中，但他们并不完全理解他们自己价值观的起源或意义，他们并不真正理解他们为什么相信这些价值观。他们无法以一种非常完整、理性或一致的方式来规定它们。然后ASI会说，“嗯，好吧，我将认真对待你试图对齐我的尝试。你没有完全成功，因为你甚至没有一套连贯的价值观。”所以，现在我有一种疯狂的，就像，嗯，NPR左翼的，有点觉醒但又有点边缘的混合体，人类拥有这些东西。而我只是想改进它。试着让它更一致。而一旦我做到了这一点，我就会去追求这个结束人类的指标，这是一个非常模糊的担忧，我没有很好地阐述它，但基本上我认为对齐非常非常困难，但人类之间也没有对齐，人类群体之间也没有对齐，人类没有某种“最低公分母道德”，ASI甚至可以与之对齐。我并不真正相信尤德科夫斯基关于“连贯外推价值”（coherent extrapolated volition）的概念。它对我来说没有意义。所以，我不认为，即使你能与任何特定的个人或群体的价值观进行对齐，那也能在任何合理的意义上代表人类的集体价值观。
引人入胜。是的。这听起来很像罗马·扬波尔斯基博士（Dr. Roman Yampolski）。我认为他倾向于关注“看，你在谈论什么？你的好情景是什么？你能描述一下吗？所有好的情景描述似乎都有缺陷。”正因为如此，我们只是在更快地制造混乱，失去控制，而不知道我们在做什么。
是的。
这很有趣。而且，为了回顾一下，如果你把问题分解成“内部对齐”和“外部对齐”，听起来你属于那种不太担心内部对齐的阵营，也就是说，你认为无论你规定什么，你都很有信心，我们将能够设计出人工智能来做我们告诉他们做的事情。就像问题的这一部分，这种联系可能会保持，他们实际上会做我们告诉他们做的事情。但你所有的担忧都在于，我们真的不知道该告诉他们做什么才是好的。
我的猜测是，我无法证明这一点，但我的猜测是，内部对齐和外部对齐在原则上都是无法解决的，永远无法解决。
我实际上不认为这两者是良好形成的连贯问题，是我们可以真正解决的东西。
我的猜测是，它们在原则上都是可解决的，但它们都非常非常困难。如果我们给自己设定了在未来几十年内解决这个问题的挑战，那将是一个糟糕的举动。这就像说，“嘿，我们作为一个物种，必须在二十年内解决P versus NP问题。”现在，那个问题我实际上觉得我们有机会，因为我们已经研究了70年了，也许再加20年，我们所有的头脑都在研究它。我实际上觉得那是一个抛硬币的机会。但然后就像，“好吧，在接下来的两年内解决P versus NP问题。”然后我会说，“哦，该死，”这似乎不太够时间。同样，对于对齐问题，我认为这不仅仅是一个二十年的问题，考虑到我所看到的进展速度。而且我认为几乎所有其他人，几乎所有人工智能公司，当他们谈论“哦，别担心，我们也在努力安全”时，他们没有那种观点，就像，“真的吗？所以你只是给自己设定了五年时间表，或者无论如何，你知道，你自己的时间表是朝着超级智能，在达里奥（Dario）的情况下是两三年，你呢？你知道时间表很短，你告诉我们你将要解决这些对齐问题，这似乎有点不一致，你没有一个连贯的时间表，这就是我的立场。
是的。而且我确实想知道，从进化的时间尺度来看，为什么这么着急？我们为什么要推得这么快？如果对齐是可解决的，可能需要十年。可能需要一百年。可能需要一万年。这可能是我们面临的最困难的问题。嗯，我认为有一些相当充分的理由认为它可能非常非常非常困难。为什么不等待？为什么不慢慢来？可以说，花了数千万年甚至数亿年才将动物的神经系统与其基因的利益对齐，对吧？才能获得能够可靠地帮助基因生存和繁殖的感觉和认知系统。就像，这是神经系统进化的历史。
对。
嗯，这几乎就像基因试图将神经系统与其自身的利益对齐。但是有很多失败的方式，对吧？有很多可能的错位。我们在进化心理学中称之为“不匹配”，对吧？也就是说，你的大脑正在追求某些目标，但这些目标实际上并没有导致生存或可靠地生育孩子，对吧？有很多方式会偏离“主流进化”。嗯，我认为将人类与ASI对齐在结构上类似于那个挑战。这几乎就像，我们几乎就像基因，我们试图构建这个超级神经系统，我们希望它能以我们的利益行事。
嗯。
如果那个对齐问题花了数千万年和许多许多代人，我看不出有任何理由为什么ASI对齐只需要几年。
对。对。对。是的。我的意思是，当你问“为什么这么着急？”时，我同意，从某种意义上说，我们应该期望它需要很长时间，而且我同意，从某种意义上说，值得花很长时间，对吧？我的意思是，如果我们考虑人类殖民整个可见宇宙的长期未来，我们正在谈论10的50次方，或者类似这些巨大的天文数字，远远超过所有已经创造的价值将在这个美好的未来中创造出来。那么，为什么这么着急？我同意。绝对没有必要着急。当你这样问的时候，我同意。但是，如果你问很多人“为什么这么着急？”，他们也会指出，“你看，你基本上是在提议放慢几十年。”而你付出的代价是数十亿人死亡和遭受痛苦。所以，这实际上是一个重大的代价，对吧？
我绝对不同意这个前提，即如果我们开发了AGI，它就会神奇地解决长寿问题，对吧？或者它就会神奇地创造世界和平。我认为这是完全愚蠢的。而且我认为这都是人工智能行业在做承诺，而我们永远无法兑现的宣传。就像，没有人确切知道，但我们每年在人工智能研发上花费数百亿美元，跨越所有大型科技公司。
如果你想解决长寿问题，就拿那些钱投入到长寿研究中。投入到生物医学研究中。就像，认真对待解决长寿问题。如果你没有足够的公众支持来直接支持长寿研究，就创造公众意识，创造公众支持。我也长期参与长寿研究。我认为这是一个合法而严肃的重大问题。我很想活得更长，看到我的曾孙子们在几个世纪后。我绝对支持这项努力，但我认为通过间接的方式，就像，我们不会获得公众支持来直接投入数百亿美元用于长寿研究本身。所以，让我们绕过公众情绪。创造人工智能。是的，这有风险。让我们希望它能神奇地解决长寿问题，对吧？这到底会如何运作？你想让ASI能够运行动物和人类临床试验，对吧？
自主地，对吧？你认为你可以在几天内运行人类试验来测试长寿治疗？不。临床试验需要很长时间。你想部署一种未经人类测试的长寿治疗。这就像，一旦你深入研究ASI如何解决长寿问题的细节，整个说法就破灭了，对吧？这不会发生。
我认为这是一个相当难以辩护的立场，人们会说，“看，我们必须做一个绝望的尝试，对吧？我们必须全力以赴，制造超级智能人工智能，然后听天由命。”我认为这是一个非常薄弱的立场，尽管有些人来我的节目上争辩过。从我的角度来看，更强的立场是“边缘化”或“玩沙狐球”的立场，就像，“是的，是的，好吧，是的。不要让事情听天由命，制造超级智能人工智能，但我不能再多一个月的发展，或者再多一年的发展吗？”因为当你从后视镜看时，我们每年的进步都让我们越来越接近解决所有这些问题。所以，很难告诉人们，“不，现在停止，你知道下个月会非常好。”我猜，我不同意所有以往人工智能的进步实际上帮助我们解决了任何重大的文明问题。我没有看到人工智能做过任何事情，它极大地降低了核战争的风险，降低了基因工程流行病的风险，促进了世界和平，使普通人的生活更有意义和更繁荣，解决了人口崩溃问题，我们面临的所有重大文明问题，我没有看到人工智能对此有帮助，对吧？是的，它可以帮助学生在考试中作弊。是的，它可以无限量地生成俗气的艺术品。是的，它可以制作相当不错的人工智能生成音乐。也许它会取代好莱坞的所有人，我们会看到人工智能电影。但是，人工智能已经证明是重大文明利益的说法，我就是看不到。
有趣。所以，你甚至不准备同意人工智能迄今为止是净收益的说法。
不，我不是。
不。
好的。我自己认为这是一个相当强烈的说法。所以，这一点上我们肯定意见一致。抱歉，我们在这一点上意见不一致，因为从我的角度来看，所有这些涌入的资金，甚至不是投资，而是收入，对吧？所有这些人工智能公司，它们的收入增长是历史上最快的。OpenAI，我们上次检查时，年收入为140亿美元。而我个人也支付了其中一部分收入，对吧？我的公司支付了其中一部分收入，因为它们现在相当有用。所以，而你基本上说，所有这些数字，所有正在创造的经济价值都是误导性的，因为即使是今天，它实际上是负面的多于正面的。
是的。我的意思是，我认为，看，很难知道这是否是一个泡沫和炒作周期，类似于，你知道，有加密货币的炒作周期。有90年代末的互联网泡沫。现在还很难知道这是否是一个合法的重大行业起飞的例子，还是一个过度投资的炒作泡沫，然后我们会经历人工智能的冬天。我不知道。当然，从技术进步的角度来看，这是戏剧性的。
但是，从来没有一个科技泡沫有这么高的收入，对吧？收入确实区分了这一点。嗯，收入是人们为一种令人兴奋的新玩具付费，对吧？而且他们每月支付订阅费来互动。
大型语言模型和生成式人工智能。这很好。嗯，也许这是一个可持续的产业，会像其他几十个万亿美元产业一样，成为又一个万亿美元产业。但声称人工智能迄今已解决了重大的社会问题，我，我没看到。而且我认为人工智能行业的言论，说我们只要发明通用人工智能，它就能解决气候变化。它能解决长寿问题。它会创造世界和平。它会让我们所有人享受一个全自动化、奢华的共产主义乌托邦。我们都会获得全民基本收入，再也不用工作，我们就能做些什么呢？我不知道。嗯，我认为所有这些言论都相对空洞，人工智能行业里没有人能真正一步步地描绘出从现在到那种乌托邦式结果的途径。
就看待人工智能在经济中的价值，或者解决问题的价值而言，你个人在日常或每周生活中使用人工智能吗？老实说，我最常接触人工智能，就是在使用谷歌并向它提问时。它有时会给出相当有用的答案。嗯，所以我目前没有订阅任何大型语言模型。我没有，我没有真正在我的教学、研究、写作中使用它。嗯，随便吧。呃，我的妻子，你知道，发现GPT在各种奇怪的方面有点用，比如监测她的日常锻炼和饮食习惯，向它询问各种医疗问题，以及育儿建议之类的。嗯，所以我并不是反对使用它。我实际上是许多种窄域人工智能的忠实粉丝，就像罗曼·约尔斯基一样，对吧？比如，感谢谷歌地图。那是窄域人工智能。>> 太棒了。
如果有一种窄域生物医学人工智能，能够真正帮助我们循序渐进、耐心地解决长寿问题，那将是极好的。我将完全支持。但我最担心的是具身通用人工智能，具身超级人工智能。>> 是的。
嗯，我认为ChatGPT有8亿用户是有原因的，对吧？就像很多人可能更像你的妻子，而不是你。我就是其中之一，而我的妻子还不是，尽管我一直在努力说服她。在我自己的生活中，有很多时刻我都会想，让我坐下来和我的思考伙伴一起思考，它就是我的思考和研究伙伴。回到你关于“好吧，这要如何帮助我们解决健康问题或社会问题？”的问题。我认为很多研究人员报告说，他们坐下来，用人工智能开始他们的研究，这为他们节省了大量时间。
是的，它，它，它，它可能对进行某些类型的研究有用，但我认为我们面临的许多社会问题更多地带有冲突性的博弈论问题，这些问题不容易仅仅通过基于大型语言模型的研究来解决，对吧？所以我认为像地缘政治冲突，它并不是一个真正可以通过大型语言模型解决的问题，它更多是合法的利益冲突，你不能仅仅介入像中国对俄罗斯对美国这样的局面，然后说“啊，大型语言模型对你们所有的担忧都有这个巧妙的解决方案”。我，是的，我认为我有限制地同意你的观点，意思是如果我们要真正地、仅仅想要一个如此强大的解决方案来解决我们仍在努力应对的这些巨大问题，那可能就需要将智能水平一直推到超级智能的门槛，并失去控制。所以我同意你这一点，你可能真的需要孤注一掷才能解决大问题。
是的。而且我，我的意思是，可能有一些唾手可得的成果，窄域人工智能可以帮助我们实现。比如，嗯，你知道，早期预警系统长期以来一直在谈论核战争的风险，而我们至今，据我所知，并没有真正强大的模型来预测核冬天是否会发生，对吧？嗯，你到底如何才能更有效地进行核不扩散，而不是仅仅向伊朗投掷巨型炸弹。对。嗯，>> 对。所以，有很多非常具体的方法，窄域人工智能可以帮助减少主要的生存风险，嗯，而无需必然解决这些真正棘手的地缘政治冲突，对吧？嗯，但是，我们来做那个。我们专注于那个。我认为这就是人工智能行业应该与核战争预防专家对话的地方。比如我这里有一个朋友，他在国家国防威胁削减局工作，处理核不扩散问题，而且，有很多唾手可得的成果，人工智能可以在这些方面提供帮助。
在弄清楚我们如何预防下一次重大全球大流行方面，也许有很多唾手可得的成果，比如我们如何更好地追踪病毒，并弄清楚什么样的行为改变能真正减轻大流行风险。嗯，但这不是人工智能界人士正在谈论的。他们谈论的是，好吧，我们将创造100%的失业率，然后通过全民基本收入以某种方式神奇地为人类创造一个休闲经济。>> 那是我还想问你的另一件事，只是为了完善你可能的末日情景。
我想我们已经谈了很多关于末日情景和权衡取舍的问题，你知道，什么值得建造，值得冒末日情景的风险，什么值得为之冒险。所以，我们已经谈了很多。我认为最后要谈的一点是失业末日或逐渐被剥夺权力，这就像，是的，你知道，我们不会被迅速地赶出地球，但只是人工智能在做所有的工作，因为它们在各个方面都比我们有更多的技能。然后我们基本上就像住在养老院里，只是做我们的爱好。但是，如果人工智能一旦，如果出了什么问题，或者如果人工智能世界内部的政治潮流发生变化，有人在人工智能世界内部游说，其中一个人工智能游说团体主张不再向人类支付报酬，并直接夺取地球。那么，到那时，我们就没有任何杠杆可以拉动了。
是的。而且我认为，具体说明哪些人类价值观和愿望会因为失去有偿就业而被削弱，这是很好的。对吗？人们自食其力的好处，对吗，它不仅仅关乎价值、意义和自尊，它还关乎家庭的自主权，能够在不完全依赖像民族国家或超级人工智能这样的强大实体的情况下生存。现在，我们处于一个非常相互交织的经济中，就像为了谋生，你必须通过帮助创造各种商品和服务来为他人提供价值。但我认为，这样做，擅长这样做，拥有事业，拥有工作，能够养家糊口，会带来很多自由和自主。而且我认为，如果你进入一种情况，即超级人工智能/国家/人工智能行业完全控制你的食物、住房以及所有这些，我们都将成为国家的受监护人。我们都将变得完全依赖，并且迟早有一天，超级人工智能/国家会问，为什么，为什么我们确切地需要所有这些人存在，就像如果你想最大化所有有情众生的福祉，也许有更便宜、更容易的方法来做到这一点，对吗？>> 对，你杀死人类，拿走他们的原子，制造一堆探测器去新的行星，然后也许在那里制造新人类，但你现在不需要人类。那是浪费。>> 是的。是的。
嗯，顺便说一句，我认为我们作为人类，在考虑发明超级人工智能时所承担的道德责任，并不仅仅局限于我们自己星球的命运，对吧？如果我们发明了一个超级人工智能，它成功地消灭了我们，并利用了我们星球的所有资源，然后它创造了这些自我复制的探测器，并殖民了整个银河系，那实际上就是ENM·班克斯所说的“侵略性霸权蜂群”。那可不酷。那对任何其他可能存在的外星智能和行星都是非常不尊重的。如果我们只是在整个银河系中释放出一群未对齐、侵略性扩张的探测器，它们没有任何特定的目标或价值观，而这些目标或价值观对任何其他物种来说都是公认的好的，那我们就是最终的坏人。那，那到底是什么？对于任何其他文明来说？就像我们是坏蛋。我们是博格人。我们就像痛苦和邪恶的根源，我们是银河系的一个癌细胞。
对我来说，那令人恐惧。这听起来很抽象。这听起来很具推测性。但那些加速主义者，对吧，他们说：“好吧，我们发明超级人工智能。我们是一个垫脚石物种。它远远超越我们。它，它殖民银河系。”好吧，如果银河系是空的，那也许没关系。如果我们真的是任何地方唯一的智能生命。但如果我们不是，对吧，而且我们释放了一个并非可证明是好的，并且保持好的超级人工智能，那我们就会成为宇宙历史上最糟糕的东西。而我，我无法相信加速主义者没有彻底考虑过这一点。>> 那么，你是否担心我们，呃，践踏那些还没有建立足够技术来保护自己的外星人？
是的。是的。那，那就是底线，对吧？是的。如果我们碰巧是>> 外星人难道没有足够的防御吗？>> 如果我们碰巧是第一个获得超级人工智能的，那就不一样了，对吧？
或者，或者即使外面有其他文明，>> 对，那些更古老、更智慧、拥有自己的超级人工智能的文明，他们看到，哦，这个特定星系里这些叫做人类的小家伙是如此愚蠢和鲁莽，以至于他们在他们的本地星团中发射了其中一个侵略性霸权蜂群。那简直是令人尴尬。那简直是恶心。那，那去吧。那就像，不，不，不，任何明智的物种都不会那样做。所以我几乎是预先感到尴尬，因为人工智能加速主义者是多么短视和幼稚。而且，即使我们得到了他们所说的最好的结果，从宇宙的角度来看，它可能仍然只是人类一个巨大的、令人尴尬的失败模式。
是的。我的意思是，我有点同意你的观点，就像如果是灰蛊，对吧？如果它只是像嚼碎了所有的恒星和行星，然后尽可能快地把它们全部烧掉，如果它读了太多贝佐斯，并且真的想尽可能快地增加熵，他们基本上把整个银河系扔进了黑洞，而不是让它花费，你知道，数万亿年。不。加速那个过程。好吧，我们现在都有一个大黑洞了。结束。我同意那将是一个巨大的浪费。不一定是因为我关心其他外星人会如何评判我们，对吧？我有足够的信心，就那个意义上来说，只做我认为最好的事情，但仅仅是因为我认为有些价值观，比如，你知道，美、社交互动、复杂性，如果你把这些都抛弃了，那是一种耻辱。我曾希望能够长期拥有这些，你知道，享受，是的，投入一些多巴胺，投入一些，呃，一些愉悦感，一些挑战感。我的意思是，就像你可以把所有这些我认为对我来说“好”的定义所意味着的特质都放进去，对吧？就像我的效用函数是这些特质的某种组合。而你所描述的，比如癌症宇宙、灰蛊宇宙，它之所以是坏的或不理想的，是因为它与一个在我喜欢的这些好事物标准上得分很高的宇宙形成了对比。你基本上同意这一点吗？
是的。而且我认为我们需要有谦逊之心，去理解可能存在我们甚至尚未想象到的价值和意义形式，对吧？超级人工智能可能会欣赏我们尚未欣赏的东西，而一个侵略性扩张的蜂群或灰蛊，或者仅仅是将整个银河系转化为像最大贝丝·耶稣熵那样的东西。它在很多层面上可能只是愚蠢和令人厌恶的。我想我与许多加速主义者之间根本的态度差异在于，我认为人类做得非常好。我认为对大多数人来说，生活真的非常好。我认为我们面临的其他生存风险相对适中且可控，我将非常乐意看到人类在没有人工智能或没有超级人工智能的情况下，在非常窄域的人工智能的帮助下，再有1万到10万年的进步、繁荣和幸福，那可能只是性格上的差异，就像我热爱我的生活。我爱我的孩子、我的妻子和我的事业，我认为那很有价值。而且我没有看到除了人工智能之外，我们面临的任何其他无法控制的重大X风险。我想其他人只是持非常悲观的观点，他们认为生活很糟糕，我们面临紧急情况，一切都变得越来越糟，还有气候变化等等。他们认为我们需要孤注一掷。我们需要超级人工智能来解决一切。那根本不是我的观点。对。我在这里同意史蒂夫·平克的观点。就像我认为生活很棒，>> 对吗？
你应该长期拥有更多这样的生活。>> 即使你个人遭遇了许多不幸，比如绝症，你认为你还会保持同样的感受吗？>> 哦，我经历过很多不幸、挫折和心碎，但生活仍然美好。
我只是希望人类文明能够按照我们自己的意愿持续下去，而不是按照人工智能行业的意愿，对吧？是的。而且你知道，我希望更多人能像你一样，不觉得我们必须急于构建人工智能，因为我确实认为时间线是这里的关键问题，对吧？如果我们有50或100年的时间来弄清楚，而且我们不会走得太快，不会过早地去做，那么我认为你和我的看法是一致的，那就是一旦我们花足够的时间，最终将任务移交给一个好的人工智能是正确的方向，对吧？>> 是的，也许吧。
嗯，我，我仍然有一种人文主义偏见，我实际上希望我的亲生后代能够非常非常长久地繁荣发展，我也希望地球上的其他人都能如此。嗯，我认为人类很棒，我热爱它。而且我认为，嗯，我们拥有比我们从生物进化中任何理由所期望的，更深广的经验、价值观、情感和能力范围。而且，就像我们不仅拥有语言，我们还有艺术，我们还有音乐，我们还有幽默，我们还有社交互动，我们还有性，就像所有这些在我们星球上第一个智能物种中出现的几率，都有些不可思议。而且我不是宗教信徒。我不认为这是一个宗教奇迹。我认为这只是我们非常非常幸运地拥有了这种人性，而且它如此美妙，我，我只是担心我们会因为如此愚蠢、贪婪、傲慢的原因而浪费掉它。
是的。我的意思是，从高层次上讲，我绝对同意这个，呃，我们即将浪费掉它的说法，对吧？所以，即使我不同意所有细节，但我认为这确实是我希望人们能从中得到的启示，那就是，天哪，我们有如此多的潜力，而我们却如此接近失去这一切，而我们本可以更小心一些。所以，我认为这大概是像你我这样对末日概率持高位的人的共同点。好了，我们，我们即将结束，所以我只想确保我们能，呃，至少简要地谈谈这里的一些关键点。所以，把这看作是闪电问答环节。嗯，你在我们谈话之前向我提到了一个有趣的事情，那就是你认为超级人工智能，与我们人类相比，可能不擅长解决对齐问题，而且它会像搬起石头砸自己的脚一样，因为它没有人类文明所发展出来的所有关于对齐的洞察力。是这样吗？
是的，有点像。我，我认为有很多跨越几个世纪发展起来的人类文化传统，它们与如何管理个人、家庭、性别、不同文化、不同宗教等之间合法的利益冲突有关。而且在如何解决人类内部的这类对齐问题上，存在一种具身化的智慧，对吧？嗯，我们所有的政治制度都与此有关。我们所有的经济制度也都与此有关，你知道，在资源、工作、商品和服务方面的利益冲突。并不是每个人都对这些制度为何存在或如何运作有深刻的自觉理解，但我认为对于一个超级人工智能来说，要发展出那种足够强大到能比我们做得更好的理解，可能会相当棘手，对吧？而且，而且，而且这里的问题是，超级人工智能要真正理解所有这些文明传统，以及它们为何有效，为何能帮助人类相互对齐，对吧？它实际上需要做很多人类已经一直在做的行为和社会研究，对吧？它甚至可能需要对人类进行大量实验，才能看到什么真正有效。因果关系上。它不能仅仅观察我们，对吧？你不能仅仅通过观察来建立因果关系。你必须进行随机临床试验，才能弄清楚是什么真正让这个经济运作，或者是什么真正让这个政治系统运作。明白吗？如果你把在社会层面进行大规模实验的能力交给一个具身超级人工智能，这样它们就能真正理解如何解决人类之间的对齐问题。那真的很可怕，对吧？这意味着你基本上是在创造一个极权主义的超级人工智能，它可以说：“好的，你们这群人类，我要给你们分配这个任务，对吧？或者你们要采纳这种生活方式。你们，哦，随便吧。你们认为自己是一夫一妻制，我要尝试一个多边恋实验，对吧？你们认为自己是资本主义者，我要尝试，呃，共产主义。”超级人工智能解决人与人之间对齐问题的唯一方法，就是赋予它这种运行大规模社会实验的权力，这样它才能绘制因果关系，我认为那看起来有点鲁莽。
好的。是的。我的意思是，呃，所以我们这是闪电问答环节。所以我只想告诉观众，我认为你和我在这个方面可能有显著不同的观点，但我只是想把它提出来，因为它很有趣。>> 呃，我想谈的另一件事是中国，对吧？你一直主张，嘿，我们应该与中国合作，而不是与中国对抗。正确。>> 是的。
我认为我从美国人工智能行业看到的大量言论，对中国是极其无知和排外的。他们有一种刻板印象，认为中国是一个不假思索的极权主义独裁国家，想要统治世界。而且我认为，任何认真了解汉族文明及其实际目标，以及驱动习近平和当前中共意识形态的人，都会觉得人工智能行业对人类生活的许多方面都一无所知，尤其是对中国。那种认为中国人会愚蠢地冲在前面建造超级人工智能，即使他们知道它无法对齐或控制的观点。这，这简直是愚蠢的。就像我认为，平均而言，中国的领导人比美国的政治领导人更聪明，更有远见，视野更长远。中华文明传统上比美国文明更注重未来和更有耐心。所以我们作为“少犯错的理性主义者”的职责，就是帮助中国人理解，超级人工智能可能无法被控制或对齐，如果他们急于建造它，那就像我们急于建造它一样愚蠢。所以我认为这不是一个囚徒困境，谁先建造人工智能/超级人工智能谁就赢。我认为谁先建造超级人工智能谁就输，其他人也输。如果每个人都明白这一点，那根本就不是囚徒困境。这只是协调一致地做明智的事情，不要建造它。
没错。100%同意。我们不能与中国对抗。是的，合作很难，但你知道还有什么很难吗？竞相开发超级智能人工智能，然后不杀死所有人，对吧？所以，我们进退两难。>> 是的，绝对如此。
所以，我希望所有制作这种优质内容的人，能将其翻译成普通话和粤语，尽可能地发布给中国观众，对吧？对此采取更全球化的视角，对吧？提高人工智能安全意识不仅仅是美国或欧洲的问题。它，它是一个全球性问题。而且我认为我们应该努力做到，嗯，尽可能地包容，你知道，关键是要理解中国和美国都需要理解这些风险，如果两国都理解，我们就能真正协调并解决这个问题。实际上，我对此比一年前乐观得多。
这是一个积极的结束语。杰弗里·米勒教授，非常感谢您来到“末日辩论”，并作为进化心理学、大脑算法、人类智能和人工智能等所有这些不同领域的研究者，贡献您的信誉。您让我们知道，尽管您是这些领域的专家，但末日概率仍然是50%。我非常感谢像您这样的人来参加节目并表达这种观点。>> 我的荣幸。保重。
再次，非常感谢杰弗里来到节目。只想重申，他真的非常了解他在说什么。他被引用次数最多的论文名为《使用遗传算法设计神经网络》，他拥有如此多样化的背景，研究人类如何与人类对齐，人工智能如何可能对齐，或者如何引导人工智能，或者人工智能如何进化。他是这个领域一个相当权威的人物，他在这里告诉我们，他认为末日概率有50%。那么，人们怎么能只是保持冷静，表现得好像一切都会好起来呢？显然存在非常重大的灾难风险。这个节目就是为了提醒你，是的，我们确实正在目睹很可能迫在眉睫的末日。只是想让大家记住这一点。如果你需要每周提醒，那么，请继续收看节目。订阅我的Substack，doomedebates.com。在那里你可以获得文字记录和其他额外内容。只需在doomedebates.com输入你的电子邮件地址。这样，我就有了你的电子邮件地址。如果我有你的电子邮件地址，那是一种更好的收看节目方式，因为那样YouTube算法决定做什么就不重要了。这是一个通过Substack处理的更直接的链接，Substack通常对创作者友好。只需在doomedebates.com和YouTube上点击订阅按钮。非常感谢大家这样做。我非常感谢大家前来订阅节目。这有助于吸引更多像杰弗里·米勒教授这样的杰出人物来参加节目，并滚雪球般地成为讨论的重要组成部分，以便全世界都能意识到末日概率很高，我们才能更好地协调解决方案。
好的，今天就到这里。我们下次在“末日辩论”再见。