📱

Get Our Mobile App

Take your business learning on the go!

Download on the App StoreGet it on Google Play

Ben Goertzel: Artificial General Intelligence | Lex Fridman Podcast #103

Lex Fridman4:08:58

Transcription

以下是与本·格策尔的对话,他是人工智能领域最有趣的思想家之一。他是奇点网络(SingularityNET)的创始人,OpenCog AI框架的设计者,曾任机器智能研究所(Machine Intelligence Research Institute)研究总监,以及创造了索菲亚机器人的汉森机器人公司(Hanson Robotics)的首席科学家。多年来,他一直是通用人工智能(AGI)领域的核心人物,包括组织和参与通用人工智能大会,2020年的大会实际上就在本周三、周四和周五举行,它是虚拟的,而且免费。

我鼓励大家去看看这些演讲,包括本播客第101集嘉宾约萨·巴克(Yosa Bak)的演讲。广告快速摘要:两位赞助商是乔丹·哈宾格秀(Jordan Harbinger Show)和大师课(MasterClass)。请考虑通过访问JordanHarbinger.com/lex或masterclass.com/lex来支持本播客。点击链接,购买所有商品,这是支持本播客以及我研究和创业旅程的最佳方式。

这是人工智能播客。如果你喜欢它,请在YouTube上订阅,在Apple播客上给出五星好评,在Patreon上支持,或者在Twitter上与我联系,我的名字是Alex Fridman,没有e,就是f-r-i-d-m-a-n。像往常一样,我现在会花几分钟时间介绍广告,绝不会在中间插入任何可能打断对话流程的广告。

本集由乔丹·哈宾格秀赞助。访问JordanHarbinger.com/lex,他就会知道是我推荐你去的。在那个页面上有在Apple播客、Spotify和所有其他地方订阅的链接。我一直在狂听他的播客。乔丹很棒,他能从嘉宾身上挖掘出最好的内容,深入探讨,在需要时指出问题,并让整个节目听起来很有趣。他采访过科比·布莱恩特、马克·库班、尼尔·德格拉斯·泰森、加里·卡斯帕罗夫等等。与科比的这次对话提醒我们,在体育、商业和生活中,要取得伟大成就需要多少专注和努力。如果你想再次获得启发,我强烈推荐这一集。访问JordanHarbinger.com/lex,乔丹就会知道是我推荐你去的。

本节目由大师课赞助。在masterclass.com/lex注册即可获得折扣并支持本播客。当我第一次听说大师课时,我觉得它好得令人难以置信。每年180美元,你就可以获得一个全通通行证,观看以下课程:列举我最喜欢的一些,克里斯·哈德菲尔德(Chris Hatfield)讲太空探索,尼尔·德格拉斯·泰森(Neil deGrasse Tyson)讲科学思维与交流,有史以来最伟大的城市建造游戏《模拟城市》(SimCity)和《模拟人生》(Sims)的创作者威尔·莱特(Will Wright)讲游戏设计,卡洛斯·桑塔纳(Carlos Santana)讲吉他,有史以来最伟大的国际象棋棋手加里·卡斯帕罗夫(Garry Kasparov)讲国际象棋,丹尼尔·内格里亚努(Daniel Negreanu)讲扑克,还有更多。克里斯·哈德菲尔德解释火箭如何工作以及被发射到太空的经历,仅此一点就值回票价。再次提醒,在masterclass.com/lex注册即可获得折扣并支持本播客。

现在,这是我与本·格策尔的对话。在你的生命早期,有哪些书籍、作者或思想对你产生了很大影响?你知道,让我最初接触人工智能和科幻小说等事物的,不是一本书,而是原版的《星际迷航》电视剧,我爸爸在它首次播出时就和我一起看,那大概是1968年或1969年左右。那真是不可思议,因为每一集他们都会拜访一个不同的外星文明,有着不同的文化和奇特的机制。但这让我对科幻小说产生了兴趣,而且在那个阶段电视上没有那么多科幻节目可看,所以这让我开始阅读整个科幻文学,你知道,从上世纪初到那时为止的所有科幻文学。我的意思是,有那么多科幻作家给了我启发。如果非要选两个,我会说是波兰作家斯坦尼斯瓦夫·莱姆(Stanisław Lem),是的,《索拉里斯星》(Solaris),他还有一些关于被设计出来的超人类人工智能的更晦涩的作品。《索拉里斯星》中的索拉里斯星是一种自然产生的超人类智能。然后是菲利普·K·迪克(Philip K. Dick),你知道,最终我对菲利普·K·迪克的喜爱是我与我的机器人项目合作者大卫·汉森(David Hanson)走到一起的原因之一。所以,你知道,斯坦尼斯瓦夫·莱姆非常像一个知识分子,对吧?所以他对智能有着非常广阔的视野,超越了人类,进入了我所说的开放式超级智能。《索拉里斯星》中的超级智能海洋在某些方面比人类更具普遍智能,但它以一种复杂而令人困惑的方式存在,以至于人类永远无法真正与它建立联系,但它仍然明显非常非常聪明。然后是莱姆的另一本书中的“魔像四号”(Golem IV)超级计算机,这是由人类设计的,但最终它变得非常智能,与人类走向了不同的方向,并认为人类是微不足道的,不那么有趣。于是它在自己周围设置了一道无法穿透的屏障,将自己与人类隔绝,然后发表了一篇关于人类和所有人类思想的可悲和绝望本质的哲学檄文,然后就消失了。而菲利普·K·迪克则有些不同,他以人类为中心,对吧?他的主要观点是,你知道,人类的同情心以及人类的心灵和灵魂将是永恒不变的,它将使我们度过我们发现的任何外星人、心灵感应机器、超级人工智能或其他任何可能存在的事物。所以他不相信现实,比如我们所看到的现实可能是一个模拟、一个梦境或其他我们甚至无法理解的东西,但他相信爱和同情心是贯穿各种模拟现实的持久存在。所以这两位科幻作家对我产生了巨大的影响。

之后,我年纪稍大一些,开始接触陀思妥耶夫斯基、弗里德里希·尼采和兰波,以及许多更具文学性的作品。我们来谈谈其中一些。关于索拉里斯星,斯坦尼斯瓦夫·莱姆提出了这种想法,即存在与我们自身不同的智能。你认为我们周围可能存在我们甚至无法探测到的智能吗?那么,这种想法,也许你也可以评论一下斯蒂芬·沃尔夫勒姆(Stephen Wolfram)的观点,他认为我们周围充满了计算,而我们只是不够聪明,无法探测或欣赏它们的智能。

是的,我的朋友雨果·德·加里斯(Hugo de Garis),从90年代初开始,几十年来我一直在和他谈论这些事情,他有一个想法,他称之为“粒子内智能搜索”(SII,Search for Intraparticulate Intelligence)。所以那里的概念是,随着人工智能变得越来越聪明,你知道,假设我们现在所知的物理定律仍然是这些超级智能所认为的有效并受其约束的,那么随着它们变得越来越聪明,它们会一点一点地缩小自己,因为狭义相对论使得在两个空间上相距遥远的点之间进行通信变得困难,所以它们会变得越来越小。但最终这意味着什么呢?那些超级超级超级智能的思维将被压缩到基本粒子或夸克,或夸克内部的夸克子,或任何其他东西的相互作用中。所以我们所感知的量子或亚量子层面的随机波动,实际上可能是微型微型微型超级智能的思维,因为我们无法区分随机和有结构的东西,但如果算法信息比我们的大脑更复杂,对吧?我们无法分辨。所以我们认为是随机的,可能是一些非常微小的超级思维的思考过程,如果是这样,我们对此无能为力,除了,你知道,尝试升级我们的智能,扩展我们的思维,以便我们能够感知更多我们周围的事物。

但是,如果那些随机波动,即使我们谈到量子力学,如果那实际上是超级智能系统,那么我们不就是超级智能汤的一部分吗?我们不就像是超级智能系统整体身体的一根手指吗?

我们可能是。我的意思是,手指是一个奇怪的比喻。我的意思是,我们,我们,手指是愚蠢的,我的意思是,但是手指也是有用的,并且由大脑有意识地控制,而我们可能远不及此,对吧?我的意思是,是的,我们可能只是某种他们不太在意的随机的附带现象,就像想想从体育场散发出来的人群的形状,对吧?人群有一些涌现的形状,它就在那里,你可以拍张照片,这有点酷,但它与体育赛事的主要目的,或者人们要去哪里,或者形成人群形状的人们在想什么,都无关,对吧?所以我们可能只是从一个低层次的超智能自组织中突然冒出来的一些半任意的高层次模式,而我就是我,所以就这样吧,对吧?我的意思是,这仍然是一段有趣的旅程。是的,我的意思是,我年纪越大,就越尊重我们根本性的无知,我的意思是,我的和所有人的。我看着我的两只狗,两只漂亮的小玩具贵宾犬,你知道,它们看着我坐在电脑前打字,它们只是觉得我坐在那里动动手指锻炼它们,或者守着桌上的显示器,它们根本不知道我正在和半个地球之外的人交流,更不用说,你知道,在圣彼得堡的某个计算机服务器上,在内存中运行复杂的算法,对吧?它们虽然就在那里,就在房间里和我在一起。那么我们周围有哪些事物是我们太愚蠢或思想狭隘而无法理解的呢?可能,可能有很多。

你的那只贵宾犬可能也在与其他的存在进行多维度的交流,而你太不聪明了,无法理解它们正在进行的交流机制。有各种各样的电视剧和科幻小说暗示猫、海豚、老鼠等等实际上是来这里观察的超级智能。我会猜测,正如另一位量子物理学创始人所说,那些理论还不够疯狂,不足以成为真相。现实可能比那更疯狂。说得好。

那么,在人类方面,关于菲利普·K·迪克以及总的来说,你对这种观点持何看法:爱和人类本性的基本精神在这些多重现实中持续存在?嗯,你是否认为人工智能让你受到启发的是人类的一面,即某种程度上通过我们设计的所有不同系统而持续存在?还是说人工智能激励你创造出超越人类、甚至是非人类的东西?

我会说,我创造通用人工智能的动机实际上来自这两个方向。所以当我第一次对通用人工智能产生热情时,我大概两三岁,看了《星际迷航》里的机器人。我的意思是,那时它真的是智力好奇心的结合,比如机器真的能思考吗?你该怎么做?是的,还有一种雄心,就是创造出比我周围所有那些明显有限且根本上有缺陷的人类好得多的东西。后来,随着我长大,更多地融入人类世界,你知道,结婚生子,父母开始变老,我开始意识到,通用人工智能不仅能让你远远超越人类的局限性,它还能阻止我们死亡、受苦、感受痛苦以及精神上的折磨。你可以看到,通用人工智能具有惊人的能力,可以作为人类为人类做好事,同时它也能够远远超越人类水平。所以我的意思是,这两个方面都存在,这使得它更加令人兴奋和重要。

那么你提到了,你从那些人身上学到了什么?我的意思是,那肯定会超出简短采访的范围。我的意思是,他们两位都是了不起的思想家,人们必然会与他们建立复杂的关系,对吧?我的意思是,陀思妥耶夫斯基从负面来看,他有点像一个宗教狂热分子,他某种程度上帮助镇压了俄罗斯虚无主义运动,这非常有趣,因为虚无主义在19世纪中后期俄罗斯的那个时期,最初的意思并不是完全百分之百地把任何事情都视为理所当然,它更像是我们现在所说的“不确定主义”(beanis),即你不想把任何东西当作教条式的确定性来接受,总是保持开放的心态。而陀思妥耶夫斯基对虚无主义的讽刺则有点不同,对吧?他讽刺的是那些什么都不相信的人,所以他们必须给每个命题分配相同的概率权重,但这实际上行不通。所以一方面,我不太同意陀思妥耶夫斯基的宗教观点。另一方面,如果你看看他对人性的理解,以及对人类思想、心灵和灵魂的理解,那真是无与伦比的。他对人类如何根据自己的理解和心理倾向来构建自己的世界,有着惊人的洞察力。我认为,如果你特别看看《卡拉马佐夫兄弟》,俄罗斯文学理论家M·巴赫金(M. Bakhtin)曾将其描述为一种复调小说模式,这意味着它不是第三人称,也不是任何一个人的第一人称,小说中有许多不同的角色,每个人都从自己的角度讲述故事的一部分,所以整个故事的现实是许多不同角色世界观的协同交汇。这确实是一个美丽的隐喻,甚至我认为它反映了我们所有人如何社会性地创造我们的现实,就像我们每个人都以某种方式看待世界,我们每个人在某种意义上都是根据自己的思想和理解来创造我们所看到的世界,但它是复调的,就像音乐中多种乐器汇聚在一起创造声音一样,最终创造的现实来自于我们每个人的主观理解,你知道,彼此交织,而这正是陀思妥耶夫斯基作品中许多美妙之处之一。

那么,也许可以提一下,你与俄罗斯和苏联文化有联系。我的意思是,我不确定这种联系的确切性质是什么,但至少你的思想精神中存在这种联系。嗯,我的祖先有四分之三是东欧犹太人。我的意思是,我的三位曾祖父母在大约第一次世界大战前后,从立陶宛和波兰的边境地区(这些地区当时时而属于波兰,时而不属于波兰)移民到纽约。他们是社会主义者和共产主义者,也是犹太人,主要是孟什维克,而不是布尔什维克。他们出于个人原因,在恰当的时机逃到了美国。后来,我留在东欧的几乎所有或可能所有大家庭成员,都在某个时候被希特勒或斯大林的爪牙杀害了。所以,移民到美国的那一支家族,几乎是唯一幸存的,对吧?

那些人的精神还有多少流淌在你的血液里?比如,当你照镜子时,你看到了什么?肉?我看到一袋肉,我想通过上传到某种更高级的现实来超越它。但是,是的,我的意思是,是的,非常清楚。我的意思是,我不是传统意义上的宗教信徒,但显然我是在东欧犹太传统中长大的。我的祖父利奥(Leo)是一位物理化学家,曾与莱纳斯·鲍林(Linus Pauling)以及其他一些早期量子力学领域的伟大人物共事。我的意思是,他从事X射线衍射研究,属于材料科学领域的实验家,而不是理论家。他的妹妹也是一位物理学家。我父亲的父亲维克多·格策尔(Victor Goertzel)拥有心理学博士学位,他在二战期间在美国的日裔集中营里从事着一项令人羡慕的工作,为日裔美国人提供心理治疗,劝导他们不要自杀,尽管他们所有的财产都被没收,无缘无故地被囚禁。所以我的意思是,是的,我的背景中有很多东欧犹太人的特质。我的一位曾叔父,我猜是旧金山管弦乐团的指挥,所以那里也有很多米奇·苏尔(Mickey Sul)和很多音乐。显然,这种文化是关于学习和理解世界,同时在做这些事的时候也不太把自己看得太重,对吧?里面有很多意第绪语的幽默,所以我确实很欣赏那种文化,尽管“犹太人是上帝的选民”这种想法从未在我心中引起太多共鸣。

格策尔家族的谱系,我的意思是,仅仅是我在做一些研究时遇到的人,以及几十年来对你工作的了解,这有点令人着迷。我只是,博士学位的数量,是的,是的。我的意思是,我父亲是一位社会学教授,最近从罗格斯大学退休,但这显然给了我人生的一个良好开端。我的意思是,我祖父在我七八岁的时候就把他所有的量子力学书都给了我,你知道,我记得我翻阅它们,那都是老式的量子力学,比如卢瑟福、亚当斯之类的。所以我读到了波函数的部分,虽然我当时是个非常聪明的孩子,但我并不理解,我意识到他自己也并不完全理解,但至少他把我介绍给了他在宾夕法尼亚大学附近认识的一位教授,那位教授理解这些东西,对吧?所以,对于一个孩子来说,那是一个不寻常的机会,对吧?

我的父亲在我十岁或十一岁的时候,就在罗格斯大学的惠普3000大型机上用Fortran编程。所以我在中学的时候,就可以用Fortran在打孔卡上做线性回归,对吧?因为他当时在做人口统计和社会学数据的分析。所以,是的,那无疑给了我一个良好的开端,并推动我走向科学,这超出了许多不同情况下的可能性。

你是什么时候第一次爱上人工智能的?是Fortran的编程方面吗?还是你从父亲那里学到的社会学心理学?我大概三岁的时候,在《星际迷航》里看到一个机器人,它在原地打转,发出“错误,错误,错误,错误”的声音,因为斯波克和柯克用一个逻辑悖论把它骗进了机械故障。我当时就想,这说不通啊,这个人工智能非常非常聪明,它一直在宇宙中旅行,但这些人却能用一个简单的逻辑悖论来欺骗它,比如,你知道,如果人类大脑能超越那个悖论,为什么这个人工智能不能呢?所以我觉得《星际迷航》的编剧误解了智能的本质,我向我爸爸抱怨了这件事,他没有说什么,但你知道,在我出生之前,我爸爸在美国中部的安提阿克学院时,他领导了一场名为“反对死亡学生联盟”(SLAM Student League Against Mortality)的抗议运动,他们抗议死亡,在校园里游荡。所以他当时就已经对一些未来主义的事物很感兴趣了,但至于人工智能能否应对逻辑悖论,他也不知道。

但是,你知道,在那之后大约十年左右,我发现了道格拉斯·霍夫施塔特(Douglas Hofstadter)的书《哥德尔、埃舍尔、巴赫》(Gödel, Escher, Bach),那本书也涉及人工智能、悖论和逻辑的相同观点,对吧?因为他反复探讨哥德尔不完备定理,以及人工智能能否真正完全地自我建模,或者这是否会导致某种悖论?人类思维能否真正完全地自我建模,或者这是否会导致某种悖论?所以当我读那本书《哥德尔、埃舍尔、巴赫》时,我想它刚出版的时候我大概12岁左右,我记得我花了一整天,大概16个小时,从头到尾读了一遍,然后又重读了一遍,又重读了一遍,因为里面有很多奇怪的小形式系统,当时对我来说很难。但那是我读的第一本书,让我对人工智能有了一种感觉,认为它是一门人们正在从事的实用学术或工程学科。因为在读《哥德尔、埃舍尔、巴赫》之前,我只是一个科幻迷,从科幻的角度对人工智能感兴趣,我当时的想法是,嗯,我们可能要很久才能在超人类通用人工智能中实现永生,所以我应该想办法建造一艘接近光速的宇宙飞船,飞得很远,然后在一百万年后,当技术更先进时,再回到地球,那时我们就能建造这些东西了。读了《哥德尔、埃舍尔、巴赫》之后,虽然并非所有内容都让我觉得真实,但很多内容确实如此,而且我可以看到,我周围的许多大学里,现在就有聪明的人正在努力构建我如今称之为通用人工智能的东西,尽管霍夫施塔特当时并没有这样称呼它。所以,实际上是在我读那本书的时候,那大概是在中学时期,我才开始思考,嗯,这是我可以实际从事的工作。

而不是飞走等待,你实际上可以成为那些真正……如果你想想,我当时对我们现在所说的纳米技术、人类永生和时间旅行都感兴趣,就像其他所有热爱科幻的孩子一样,但人工智能似乎是,如果霍夫施塔特是对的,你只需要找出正确的程序,坐在那里打字就行了,你不需要把星星变成奇怪的形状,也不需要获得政府批准来解剖人类并修改他们的DNA什么的,对吧?它只是编程,然后当然,这可以实现其他任何事情。当时还有另一本书,是杰拉尔德·费恩鲍姆(Gerald Feinberg)写的,他是普林斯顿大学的一位物理学家,那本书叫做《普罗米修斯计划》(The Prometheus Project)。这本书写于1960年代末,尽管我是在1970年代中期才读到它。但这本书说的是,在接下来的几十年里,人类将创造出超人类思维机器、分子纳米技术和人类永生。然后我们将面临的挑战是如何处理它:我们是利用它来积极地扩展人类意识,还是仅仅为了进一步空洞的消费主义?他提出的建议是,联合国应该对此进行一项调查,联合国应该派人到非洲或南美洲最偏远的小村庄,向每个人解释未来几十年技术将带来什么,以及我们如何使用它的选择,并让全球每个人投票决定我们是否应该发展超级人工智能、纳米技术和永生,以扩展意识,还是为了猖獗的消费主义。不用说,这并没有完全发生,我想这个人死于80年代中期,所以他甚至没有看到他的想法开始变得更主流。但有趣的是,我现在所从事的许多主题,从通用人工智能和永生,甚至到我一直在奇点网络(SingularityNET)和区块链领域推动的技术民主化,许多这些主题在费恩鲍姆1960年代末的书里就已经存在了。当然,还有瓦伦丁·图尔钦(Valentin Turchin),一位俄罗斯作家,也是一位伟大的俄罗斯物理学家,我在90年代末和2000年代初我们都住在纽约时认识了他。我的意思是,他在60年代末在俄罗斯出版了一本书,叫做《科学现象》(The Phenomenon of Science),也阐述了所有这些相同的事情。瓦伦丁死于,我不记得是2004年还是2005年左右,死于帕金森综合症。所以,是的,现在人们很容易忘记这样一个事实:未来主义和奇点主义几乎已经成为主流,他们一直出现在电视上。我的意思是,这些东西并不是那么新,对吧?它们在人类历史上算是比较新的,但我的意思是,这些思想在上世纪中叶就已经以相当成熟的形式存在了,并且由顶尖大学的教授等相当主流的人士非常清晰地阐述过。只是直到使能技术达到了一定程度,你才能把它变成现实。所以,即使在70年代,我也在某种程度上看到了这一点,并亲身经历了它,从《星际迷航》到道格拉斯·霍夫施塔特,从60年代末到70年代末,事情变得非常非常实用。你知道,我买的第一台电脑只能用十六进制机器码编程,而且你必须把它焊接起来。然后几年后出现了打孔卡,再几年后你可以买到像雅达利400和康懋达Victor 20这样的电脑,你可以在键盘上打字,用高级语言和汇编语言一起编程。所以这些想法已经积累了一段时间,我想我们这一代人感受到了它们的积累,这与现在进入这个领域的人不同,对他们来说,这些东西在他们的整个职业生涯甚至整个生命中都只是文化氛围的一部分。

嗯,想到所有这些想法,你知道,几乎像噪音一样在世界各地、在不同世代中游荡,然后某种非线性的事情发生了,它们渗透出来,并抓住了主流的想象力,这似乎就是现在人工智能正在发生的事情,这很令人着迷。我的意思是,你提到的尼采,他有超人的想法,对吧?但他对技术了解不足,不认为可以通过某种方式将分子拼凑起来,从而物理地制造出一个超人。他对超人将如何出现有点模糊,但他对超人的意识状态和认知模式的思考却非常深入。他是一位非常敏锐的分析家,他分析了人类思维如何构建自我幻觉,如何构建自由意志的幻觉,以及如何从自身维护和发展自身有机体的欲望中构建善恶等价值观。他对人类思维的工作方式了解很多,然后他对后人类思维的工作方式也了解很多。我的意思是,这个超人应该是一个能够完全根访问自己的大脑和意识,并能够构建自己的价值体系,检查和微调自己所有偏见的思想。所以那里有很多强大的思想,这些思想随后融入并孕育了所有后现代大陆哲学以及各种对文化发展甚至间接对技术发展都非常有价值的事物。但当然,如果没有技术,那都只是一些相当抽象的思考。所以现在,我们正处于历史上的一个时期,许多这些想法可以变为现实,这既令人惊叹又令人恐惧,对吧?

思考一下尼采如果晚一个世纪出生或者穿越时空,他会对人工智能说些什么,这很有趣。我的意思是,如果他晚一个世纪出生或者穿越时空,那会很不一样。嗯,他会在TikTok和Instagram上,他永远不会写出他所写的那些伟大作品。所以让我们让他穿越时空吧,也许斯巴拉也会变成一个音乐视频,对吧?我的意思是,我的意思是,谁知道呢,是的。但如果他穿越时空,你认为,那实际上会很有趣,可以回去重读尼采,看看他是否有关于人工生命体的思考。我确信他有这种预感,我的意思是,在他之前的《弗兰肯斯坦》中,我确信他在文本的某个地方有关于人工生命体的预感。看看他的作品,看看他是否没有,如果超人实际上是一个通用人工智能系统,比如他是否有那种思考的预感,那会很有趣。

他没有,不,我不会这么说。我的意思是,他对现代认知科学有很多预感,如果你看看那本名为《权力意志》(The Will to Power)的文集第三部分,那非常有趣。我的意思是,在第三卷中,对思维过程有非常深入的分析,但他并不是那种物理修补匠类型的人,对吧?他非常抽象。你认为,你对权力意志有什么看法?你认为人类,你认为是什么驱动着人类?是,是,哦,是各种事物的邪恶混合吗?我绝不认为有一个纯粹、简单、优雅的客观函数在驱动人类。

嗯,你认为,我知道很难从整体上看待人类,但你认为总体而言人类是善良的,还是说我们内心既有善也有恶,这取决于环境,取决于任何可能浮现出来的东西?善与恶是非常模糊、复杂,在某些方面甚至是愚蠢的概念,但我们可以从几个方向深入探讨你的问题。所以我认为,如果你从进化论的角度来看,人类既受到个体选择的影响,也受到生物学家所说的群体选择的影响,比如部落层面的选择,对吧?所以个体选择以一种自私的DNA方式驱动着我们,这样我们每个人在一定程度上都会做有助于我们将DNA传播给后代的事情。我的意思是,这就是我目前有四个孩子的原因,而且可能还不是最后一个。是的,另一方面,我喜欢部落式的群体选择的雄心,这意味着人类在某种程度上会做那些有利于他们整个部落或社会群体DNA延续的事情。在生物学中,这两种情况都存在,对吧?比如,你可以看到蚁群或蜂巢,在这些社会性动物的进化中,有很多群体选择。另一方面,比如一只大型猫科动物或某种非常孤独的动物,它更偏向于个体选择。人类是一个有趣的平衡,我认为这在某种程度上反映在我们对自私与利他主义的看法上。所以我们的大脑构成中,这两种目标函数都起作用。然后,正如尼采以自己的方式分析,其他人以不同方式分析的那样,我的意思是,我们也将其抽象化,我们内心既有善也有恶,对吧?因为我们认为的许多恶实际上只是自私,而我们认为的许多善则是利他主义,这意味着为部落做有益的事情。在这个层面上,这两种特质都根植于我们体内,这就是它的本质。当然,也有精神病患者和反社会人格者,以及那些,你知道,从他人的痛苦中获得满足的人,那,那,那,那,那是另一回事。是的,那些是例外,但总的来说,我认为从核心来看,我们并非纯粹自私,也并非纯粹利他,我们是两者的混合体,这就是它的本质。而且我们还有一套复杂的价值观,这些价值观非常具体地与我们的进化历史相关,比如,你知道,我们热爱水路和山脉,理想的房子位置是在俯瞰水面的山上,对吧?而且,你知道,我们非常关心我们的孩子,对表亲的关心少一点,对五代表亲的关心更少。我的意思是,人类价值观有很多特殊性,它们是善是恶,真的取决于你的视角。

看,我在埃塞俄比亚的亚的斯亚贝巴待了很长时间,我们在那里有一个人工智能开发办公室,用于我的奇点网络项目。当我在亚的斯亚贝巴的街上走过时,你知道,路边躺着很多人,就像就住在路边,可能死于可治愈的疾病,没有足够的食物或药物。当我走过他们身边时,你知道,我感到很糟糕,我给了他们钱。当我回到发达国家时,他们就不那么在我心上了。我确实捐了一些,但我的意思是,我也会把我有限的钱花在一些轻浮的享乐上,而不是捐给那些现在正在路边挨饿、垂死和受苦的人。那么这让我变得邪恶了吗?我的意思是,这让我有点自私,也有点利他,我们每个人都以自己的方式平衡这一点,对吧?所以,这是否适用于所有可能的通用人工智能,这是一个更微妙的问题。

所以你,你就是这样的人类,所以你有一种感觉,你刚才提到有一种自私……我不会提起艾茵·兰德(Ayn Rand)关于自私是核心美德的整个想法,那是一个非常有趣的旁枝末节,我认为只会分散我们的注意力。我必须发表一个有趣的评论,或者至少让我觉得有趣的评论。所以,是的,我对艾茵·兰德有着非同寻常的负面尊重。负面尊重是什么?但是,当我在一家名为“杰辛”(Gensyn)的公司工作时,该公司在南加州培育苍蝇,使其寿命异常长。我们通过人工选择培育出的苍蝇,寿命是普通果蝇的五倍。但是,这些超长寿苍蝇的种群,实际上就放在南加州一所艾茵·兰德小学(Ayn Rand Elementary School)的空房间里。所以那简直是,哇,如果我在电影里看到这个,我简直不敢相信,对吧?嗯,是的,宇宙就是以这种方式具有幽默感,幽默以某种方式融入到这个荒谬的存在中。

但是你提到自私和利他之间的平衡是与生俱来的。你认为这可能是一种涌现现象吗?我们价值观体系的那些特殊性,有多少是先天的,有多少是我们作为一个文明,像陀思妥耶夫斯基的小说一样,共同创造出来的?

我的意思是,关于先天与后天的问题,答案通常是两者兼而有之,当然,正如你所提到的,它是先天与后天与自组织的问题。所以很明显,个体选择和群体选择都有其进化的根源,导致了自私和利他主义的混合。另一方面,不同的文化以不同的方式表现出这一点,而我们都拥有基本相同的生物学特征。如果你看看前吠陀时代的委内瑞拉的亚诺马米人(Yanomami),他们的文化专注于杀戮其他部落;而你也有其他石器时代的部落,他们大多是和平的,并且对暴力有很大的禁忌。所以,文化如何表现这些先天的生物学特征,肯定会有很大的不同,但仍然,你知道,生物学可能会设定一些限制。

我以前经常和我的曾祖父母争论这个问题,他们实际上是马克思主义者,因为他们相信国家的消亡,他们相信,你知道,当你从资本主义走向社会主义再到共产主义时,人们会变得更加具有社会意识,以至于国家将变得不必要,人们会给予,每个人都会给予其他人他们所需要的东西。暂且不提地球上各种马克思主义实验在实践中似乎并未朝着这个方向发展,仅仅从理论角度来看,我当时非常怀疑人性是否能达到那种境界。就像在我曾祖父母还在世的时候,我只是觉得,你知道,我是一个愤世嫉俗的青少年,我认为人类就是混蛋,如果你没有某种结构来阻止人们互相搞砸,国家是不会消亡的,他们会这么做。所以现在我实际上不再那样看待事物了。我的意思是,我现在主观上的感觉是,文化方面比我青少年时期认为的更重要。我认为我们可以拥有一个比我们当前社会更显著地倾向于自我意识、他人意识、同情心和分享的人类社会。当然,更大的物质丰裕会有帮助,但在某种程度上,物质丰裕也是一种主观感知,因为许多石器时代文化认为自己生活在巨大的物质丰裕中,他们拥有所有想要的食物和水,他们生活在一个美丽的地方,他们有性生活,他们有孩子。我的意思是,他们没有工厂也有丰裕,对吧?所以我认为人类可能能够实现比我们现在更积极、更充满欢乐的社会存在模式。显然,马克思对如何实现这一目标并没有完全正确的想法。我的意思是,他错过了人类社会及其进化的一些关键方面。如果我们看看现在社会所处的位置,如何实现这一目标是一个截然不同的问题,因为有非常强大的力量将人们推向与积极、快乐、富有同情心的存在不同的方向,对吧?

那么,如果我们尝试……你知道,埃隆·马斯克(Elon Musk)目前梦想着殖民火星,所以也许他有机会建立一个拥有新政府体系的新文明。当然,我们现在正处于相当混乱的时期,我不知道具体日期,但现在是六月,美国和世界各地都存在各种形式的混乱,所以人们渴望新型政府、新型领导和新型系统。那么,有哪些力量在起作用?我们又该如何前进?

是的,我的意思是,首先,殖民火星是一件非常酷的事情,我们应该去做。所以你,你喜欢这个想法。是的,我的意思是,它比制作巧克力和更性感的内衣,以及我们作为一个物种花费更多资源做的许多事情都更重要,对吧?所以我的意思是,我们当然应该去做。我认为火星殖民地能对人类产生关键影响的未来可能性非常少。我的意思是,我认为,假设我们在几十年内建立了一个火星殖民地,人们去那里居住,我的意思是,他们的补给将来自地球,建造殖民地的资金来自地球,而从地球向那里供应物资的任何力量,实际上都将控制那个火星殖民地。当然,也有一些例外情况,比如地球被核弹摧毁,而火星在那时已经实现了自给自足,然后火星就是人类得以延续的原因,但我认为那些情况非常非常非常不可能。

你不认为这可能是一段漫长旅程的第一步吗?当然,这是一段漫长旅程的第一步,这很棒。我猜想,物理宇宙其他部分的殖民化很可能将由更适合在太空中生活的通用人工智能来完成,而不是由我们这些“肉体机器”来完成。但我的意思是,谁知道呢,我们可能会以某种比我们现在所知更优越的方式冷冻保存自己,然后像把自己发射到半人马座阿尔法星之外。我的意思是,那都很酷,非常有趣,而且比你现在花费资源做的大多数事情都更有价值。另一方面,有了通用人工智能,我们肯定可以在火星殖民地实现自给自足之前,甚至可能在它投入运行之前,就达到奇点。

所以你的直觉是,如果我们真正投入资源,我们可以比火星的合法、完全自给自足的殖民化更快地实现通用人工智能,这就是问题所在。是的,对我来说,这非常清楚,因为从狭义人工智能走向通用人工智能具有巨大的经济价值,而火星殖民地在遥远的未来之前,经济价值相对较小。所以我认为这非常有趣,我只是觉得它有点偏离主题。我的意思是,就像我认为艺术和音乐非常非常有趣,我希望看到资源投入到创造令人惊叹的艺术和音乐中,我宁愿看到这些,而不是社会把钱花在许多垃圾上。另一方面,我不认为火星殖民或发明令人惊叹的新音乐流派,是未来几十年内最有可能对宇宙这一部分的人类或非人类生命的进化产生关键影响的事情之一。你认为通用人工智能(AGI)确实是目前最重要的事物,而那些能够直接实现或加速通用人工智能的技术也同样非常重要。例如,量子计算,我不认为它对实现通用人工智能至关重要,但你肯定可以看到正确的量子计算架构如何能够极大地加速通用人工智能,类似于其他类型的纳米技术。现在,治愈衰老和终结疾病的探索,虽然在大局上不如通用人工智能重要,但对我们每个人类个体来说当然很重要。如果有人明天制造并分发一种超级长寿药丸,我的意思是,那将是巨大的,其影响将远远大于火星殖民地在相当长一段时间内所能产生的影响。但也许不如通用人工智能系统。不,因为如果你能制造一个仁慈的通用人工智能,那么所有其他问题都解决了。我的意思是,如果通用人工智能一旦达到与人类相同的通用智能水平,它就能迅速变得比人类更具通用智能,然后那个通用人工智能应该能够解决科学和工程问题,而且比人类做得好得多,只要它确实有这样做的动机。这就是为什么我说一个仁慈的通用人工智能,可能还有其他类型。

也许我们应该稍微回顾一下。我的意思是,我们一直在使用“AGI”这个词,人们经常把你视为这个词的创造者,或者至少是普及者——“人工通用智能”。你能讲讲这个词的起源故事吗?当然。是的,我会说我将“AGI”这个词推向了世界,无论它有什么价值,但我从未完全爱上这个词,对吧?事情是这样的,我当时正在编辑一本书,这个过程大约始于2001年或2002年,我想这本书最终在2005年出版。我当时编辑的书暂时命名为《真正的人工智能》(Real AI)。我的意思是,目标是汇集相当严肃的学术论文,探讨如何制造能够真正像人类一样思考,甚至比人类思考范围更广的思维机器,对吧?所以那时我正在联系我在这里或那里遇到过的,对这方面感兴趣的人。

包含了一些我认识的来自超人类主义和单一化论的人。我想他可能刚刚开始攻读马库斯·胡特(Marcus Hutter)的博士学位,当时马库斯·胡特还没有出版他的《通用人工智能》(Universal AI)一书,这本书为通用人工智能提供了一个数学基础。所以我联系了沙恩(Shane)、马库斯(Marcus)和彼得·沃斯(Peter Vos),以及我的前雇员王佩(Pay Wang),他曾是道格拉斯·霍夫斯塔特(Douglas Hofstadter)的博士生,他有自己的人工通用智能(AGI)方法。还有一些俄罗斯的朋友也联系了这些人,他们为这本书贡献了论文。但那只是我的暂定书名,我从来不喜欢它,因为最终,你知道,我也在做一些我们现在称之为狭义人工智能的事情,比如将机器学习应用于基因组数据或用于情感分析的聊天数据。我的意思是,这项工作是真实的,在某种意义上,它确实是人工智能,只是不同种类的人工智能。雷·库兹韦尔(Ray Kurzweil)写过关于狭义人工智能与强人工智能的对比,但这对我来说似乎很奇怪,因为首先,狭义和强不是反义词,没错。我的意思是,但其次,强人工智能在认知科学文献中被用来指代数字计算机人工智能可以拥有真正的意识,就像人类一样。所以强人工智能已经有了它的含义,它复杂地不同,但又相关,对吧?所以我们在一个电子邮件列表中讨论,关于书名应该是什么,我们讨论了狭义人工智能、广义人工智能、宽泛人工智能、狭义人工智能、通用人工智能。我想,在我们进行的私人电子邮件讨论中,是沙恩·莱格(Shane Legg)或彼得·沃斯(Peter Vos)说,为什么我们不采用AGI,即通用人工智能呢?而王佩(Pay Wang)想用GI,即通用人工智能,因为在中国,顺序就是这样的,对吧?但我们觉得,在当时的美国文化中,GI可能行不通,对吧?所以,我们选择了AGI。我们用AGI作为那本书的标题。彼得(Peter)和沙恩(Shane)的部分理由是,心理学中有G因子,即智商,一般智力,对吧?所以,在心理学中,你有一个GI,即一般智力的含义。那么,你看起来就像是人工GI,所以,哦,这很有道理。我们用它作为书的标题。所以,我想沙恩(Shane)和彼得(Peter)可能都认为他们发明了这个词,但后来,在书出版后,马克·格里德(Mark Grid)这个人来找我,他说,我发表了一篇包含AGI这个词的文章,大概在1997年左右。所以我只是在等某个俄罗斯人出来说他们在1953年就发表了,对吧?我的意思是,那个词,那个词并没有什么革命性的创新,它是事后看来显而易见的那些东西之一,这在某种程度上也很令人恼火,因为你知道,你采访过的乔希·哈巴赫(Josh Habach)是我的一位密友,他喜欢“合成智能”(synthetic intelligence)这个词,我更喜欢它,但它实际上并没有流行起来,对吧?因为我的意思是,对我来说,“人工”(artificial)有点不对,因为“人造物”(artifice)就像一种工具或别的什么,但并非所有AGI都会是工具。我的意思是,它们现在可能是,但我们的目标是制造它们成为代理人,而不是工具。而且,在某种程度上,我不喜欢“人工”和“自然”之间的区别,因为我的意思是,我们也是自然的一部分,机器也是自然的一部分。我的意思是,你可以看“进化”与“工程”,但那是另一个区别,那应该是“工程通用智能”,对吧?然后是“通用”。嗯,如果你看看马库斯·胡特(Marcus Hutter)的《通用人工智能》(Universal AI)这本书,他论证的是,你知道,在计算理论的领域内,这是有限的但有趣的。所以,如果你假设一个可计算的环境,它是可计算的奖励函数,那么他阐述了一个真正通用的智能,一个叫做Axiom的系统,它非常优美。我,那是我的最后一个孩子的中间名。第一个名字是什么?第一个名字是Quiry,Q-U-I-R-X-I,是我妻子想出来的。但那是“量子组织化扩张智能”(Quantum Organized R Expanding Intelligence)的缩写。他的中间名是Exes,意思是“曾经的根本原理”,I-X-E。但无论如何,你是在给埃隆·马斯克(Elon Musk)的新孩子一个挑战。我先做的。他抄袭了我这个新的怪异名字。但现在,如果我再有一个孩子,我必须超越他。这已经变成了一场怪异的极客婴儿名字的军备竞赛。是的,我们拭目以待孩子们怎么想,对吧?但我的大儿子查拉图斯特拉(Zarathustra)喜欢他的名字,我的女儿莎赫拉扎德(Sharizad)也喜欢她的名字。所以,到目前为止,基本上,如果你给你的孩子起怪名字,他们就会活出那个名字。你必须让孩子足够怪异,让他们喜欢这些名字,对吧?它在某种程度上指导了他们的成长。但,是的,总之,马库斯在那本书中表明,理论上真正的通用智能是可能的,但需要无限的计算能力。所以,“人工”有点不对,“通用”在物理学上并非真正可实现,就我们所知而言。我的意思是,就我们所知而言的物理学可能是有限的,但这就是我们现在必须处理的。无限通用的智能,你的意思是像,是的,信息处理的角度,是的,是的。智能本身也不是一个非常明确的定义,对吧?我的意思是,它意味着什么?我的意思是,在人工智能领域,现在流行将其视为最大化未来预期奖励,但这种定义在各种方式上都是病态的。我的朋友大卫·温鲍姆(David Weinbomb),又名Weaver,他有一个关于开放式智能的精彩博士论文,试图在没有奖励的情况下构思智能,没有,是的,他只是从不同的角度看待它。他正在研究复杂的自组织系统,并将智能系统视为一个能够与环境相互作用、发展和改进自身的系统,而不必有一个目标函数去最大化,尽管在某些时间段内,它可能表现得好像在优化某个目标函数,非常像斯坦(Stan)小说中的《索拉里斯》(Solaris)。所以,重点是,人工通用智能,它们都不起作用,它们都很糟糕。另一方面,每个人都知道AI是什么。而且,AI似乎对有技术背景的人来说是立即可以理解的。所以我认为这个词起到了社会学的作用,现在它无处不在,这让我感到困惑。就像肯德基(KFC)一样,我的意思是,就是这样,我们可能要长期受制于AGI,直到AGI系统接管并重新命名自己。是的,我的意思是,我们也将受制于GPU,它们现在大多与图形无关了,对吧?我想知道AGI系统会如何称呼我们人类。我可能是爷爷。是的,GPU,爷爷处理单元。生物爷爷处理单元。好的,那么,也许也只是对AGI代表着一个社区的评论,甚至在术语存在之前。你过去也谈过,人工智能是分阶段出现的,但一直有一群人梦想着创造通用的人类水平的超级智能系统。你能否谈谈这个社区的历史,它今天是什么样的,它在深度学习革命之前,在人工智能的寒冬和盛夏时期是什么样的?当然。首先,我想说一点题外话,人工智能的寒冬和盛夏被美国人夸大了。是的。而且,如果你看看自20世纪50年代以来人工智能领域的出版记录,你会发现思想和论文的进步是相当稳定的。被认为是人工智能的寒冬或盛夏,实际上是如何看待美国军方向人工智能投入多少资金。这很重要。另一方面,德国、英国、日本和俄罗斯等地都有人工智能研究,而美国军方对人工智能的兴趣时高时低。所以,我的意思是,这只是对那些不知道的人来说,美国军方恰好是人工智能研究的主要资金来源。所以,换一种说法,这是人工智能研究资金的起伏。没错。而且,我想说,资金与智力进步之间的相关性不是100%。因为,我的意思是,例如在俄罗斯或德国,美元资金比美国少,但许多基础思想都是在那里奠定的。但那更多是理论而非实现,对吧?而美国在从理论论文到工作实现方面确实表现出色,这在一定程度上随着美国军方资金的起伏而起伏。但即便如此,我的意思是,你可以看看20世纪80年代,德国的迪特里希·德雷尔(Dietrich Dörner)在高速公路上就有自动驾驶汽车,对吧?我的意思是,这在汽车行业方面有点过早,所以它没有像现在这样流行起来。但我的意思是,德国在自动驾驶汽车技术方面的所有进步,基本上独立于美国人工智能军事的盛夏和寒冬。所以,全球范围内的人工智能研究比地球上大多数人意识到的要多,也比大多数新的人工智能博士生意识到的要多,因为他们是在人工智能的某个子领域内出现的,并且不必超越太多。但我会说,当我1989年在数学领域获得博士学位时,我已经对人工智能感兴趣了。费城,是的。我先在卡内基梅隆大学(CMU)开始,然后转到费城的天普大学(Temple University)。好老的北费城,北费城,是的,是的。美国明珠,对吧?是的。你从来不停在红灯前,因为你害怕如果停在红灯前,会有更多的汽车……所以,闯过每一个红灯。是的,每天开车或骑自行车去天普大学,从我家出发,就像一次新的冒险。是的,但我的意思是,我没有选择人工智能作为我的博士研究方向的原因是,当时学术界的人工智能研究领域所做的事情简直是令人厌烦,而且在我看来是错误的。它真的是基于规则的专家系统和生产系统。我实际上很喜欢数理逻辑,我对逻辑作为人工智能的认知引擎没有任何意见,但认为可以通过输入人工智能所需的知识来思考,这在我看来简直是愚蠢和错误的。我的意思是,如果你愿意,你可以使用逻辑,但系统必须是自动学习的,对吧?它应该从经验中学习,而当时的人工智能领域对从经验中学习不感兴趣。我的意思是,当然有一些研究人员是。我的意思是,我记得在80年代中期,我发现了一本约翰·安德烈亚斯(John Andreas)的书,是关于一个叫做Perus的强化学习系统,P-R-R-P-U-S,这是一个我甚至记不起缩写的缩写,但总之是目的。但他,我的意思是,那是一个被认为是AGI的系统,基本上通过某种像马尔可夫决策过程学习的技巧,它应该从进入它的比特中学习一切,并学会最大化它的奖励,变得智能,对吧?所以,当时学术界就有这个,但它就像是孤立的、分散的、奇怪的人。但那个时期所有这些分散的奇怪的人,他们奠定了后来发生的事情的智力基础。所以,你看看约翰·安德烈亚斯(John Andreas)在坎特伯雷大学(University of Canterbury)用他的目的强化学习马尔可夫系统,他是新西兰约翰·克莱尔(John Clare)的博士生导师。现在,约翰·克莱尔(John Clare)在我1993年在新西兰怀卡托大学(University of Waikato)工作时与我一起工作,他与伊恩·惠顿(Ian Whitten)在那里一起工作,他们推出了Weka,这是第一个开源机器学习工具包,我猜是在93年或94年推出的,当时我在怀卡托大学。用Java写的,可惜。虽然当时Java是一种很酷的语言,对吧?我猜现在仍然如此。嗯,它不再酷了,但它很强大。我发现,就像现在大多数程序员一样,我觉得Java不必要地臃肿,但当时基本上是Java或C++,而且是面向对象的。所以,Java对学生来说更容易。有趣的是,我们在新西兰的Weka工作的大部分资金来自新西兰政府的一项拨款,用于使用机器学习来预测奶牛的月经周期。所以,在美国,所有的人工智能研究资助都与如何杀人或监视人有关,而在新西兰,则都是关于奶牛或奇异果。是的,所以,是的,总之,约翰·安德烈亚斯(John Andreas)有他的基于概率论的强化学习原型AGI。约翰·克莱尔(John Clare)正在尝试做更具雄心的概率AGI系统。现在,约翰·克莱尔(John Clare)帮助创建了Weka,这是第一个开源机器学习工具包,所以是TensorFlow和Torch以及所有这些东西的前身。沙恩·莱格(Shane Legg)也在怀卡托大学与约翰·克莱尔(John Clare)和伊恩·惠顿(Ian Whitten)以及整个团队一起工作。然后与我的公司Webmind合作,我在90年代末在怀卡托大学拥有一家人工智能公司,在那里有一个团队,这就是沙恩(Shane)如何满脑子都是AGI,这让他后来与加布斯(Gabus)一起创立了DeepMind。所以,你可以看到这个谱系,你知道,在80年代和70年代,约翰·安德烈亚斯(John Andreas)试图构建概率强化AGI系统,技术,计算机还没有支持它。他的想法与人们现在所做的非常相似,但你知道,尽管他早已去世,并且在坎特伯雷之外并不出名,但我的意思是,思想的谱系从他传给了他的学生,再传给了他们的学生,你可以直接追溯到我,以及DeepMind。所以,AGI领域有很多事情最终为我们今天所拥有的奠定了基础,但当时没有一个社区。所以,当我开始试图将AGI社区聚集在一起时,那是在我住在华盛顿特区的时候,我通过为各种美国政府机构做人工智能咨询来谋生。我在2006年组织了第一次AGI研讨会。我的意思是,它不是真的在我的地下室里,我的意思是,它是在贝塞斯达万豪酒店的会议室里。不幸的是,不够前沿或地下。但仍然,有多少人参加?大约60人左右。这不算差。我的意思是,华盛顿特区有很多AI研究,可能在过去五到十年里比硅谷多得多,尽管它很安静,因为华盛顿特区的事情的性质。它的业务主要不是由公关驱动的。当某件事开始真正奏效时,它就会被隐藏起来,变得更加安静。是的,但我的意思是,那真的有一种一群充满幻想的叛逆者挤在地下室里策划如何推翻狭义人工智能的建立,你知道,在某些情况下,第一次与其他人聚在一起,他们分享对AGI的热情和对其进行技术研究的严肃性。我的意思是,这与我们今天的情况非常非常不同。我的意思是,现在有点不同了,我们每年都有AGI会议,然后有几百人,而不是50人。现在,这更像是那些想要实现AGI并认为大规模非线性回归不是通往AGI的黄金之路的人的主要聚会。我的意思是,它是AK和你的全网络。是的,是的,是的。嗯,学习使用神经网络的某些架构。所以,AGI会议现在是那些不痴迷于深度神经网络和深度强化学习的人的主要聚集地,但仍然对AGI感兴趣。他们不是唯一的,我的意思是,还有其他一些小型会议和团体对人类水平AI和认知架构等感兴趣。但,是的,这是一个巨大的转变。回想当年,你很难在大学部门的研讨会上提到AGI或人类水平AI,这会非常前沿。你必须谈论一些更短期、更直接实用的事情。然后在研讨会后的酒吧里,你可以和时间旅行或模拟假设之类的事情一样谈论AGI。而现在,AGI不仅在学术研讨室里,弗拉基米尔·普京(Vladimir Putin)知道AGI是什么,他说,俄罗斯需要成为AGI的领导者。所以,国家领导人和大型企业首席执行官,我的意思是,英特尔的首席技术官雷·库兹韦尔(Ray Kurzweil)多年前在2008年左右的Singularity Summit会议上说,我们相信奇点将在2045年发生,并且英特尔将在其中。所以,我的意思是,它已经从被视为疯狂的叛逆者、疯子和科幻小说迷的追求,变成了大型企业的营销术语和国家领导人的口号。这是一个惊人的转变。但在这个转变过程中,我认为形成了一些亚社区,而AGI会议系列周围的社区无疑是其中之一。它没有像我希望的那样发展壮大。另一方面,你知道,有时一个规模适中的社区可能更有利于取得智力进步。就像你参加神经科学学会会议,有3.5万到4万名神经科学家。一方面,这很棒。另一方面,如果你是外行,你不会在那里和该领域的领导者交谈。在同一个意义上,AAAI,人工智能,主要的通用人工智能社区,会议太大了,太模糊了,它没有做到,而NeurIPS现在已经变成了一个公司广告的出口。所以,是的,我的意思是,评论一下AGI在研究社区中的作用。我仍然,如果你看看NeurIPS,如果你看看CVPR,如果你看看ICLR,你知道,AGI仍然被视为被排斥的。我仍然会说,在这些主要机器学习、主要人工智能会议上,在研究人员中,我不知道它是否仍然是一个被接受的术语。我勇敢地看到,你提到了沙恩·莱格(Shane Legg)在DeepMind,然后是OpenAI,这两个地方可以说是毫不犹豫地,到目前为止,我认为情况正在发生变化,不幸的是,但到目前为止,他们一直在推动创造AGI的目标。他们有数十亿美元的支持,所以我的意思是,在公众心中,这肯定有一定的分量。我的意思是,但他们也有非常强大的研究人员,对吧?他们有很棒的团队,我的意思是,特别是DeepMind。是的,而且他们有,我的意思是,DeepMind有马库斯·胡特(Marcus Hutter)在周围走动,我的意思是,有所有这些人,他们的全职职位都涉及梦想着创造AGI。我的意思是,Google Brain也有很多很棒的AGI导向的人。我的意思是,所以,我想说,从公众营销的角度来看,DeepMind和OpenAI是两个大型、资金雄厚的组织,它们将AGI这个术语和概念作为其公众形象的一部分。但我的意思是,它们肯定不是,还有其他团体在进行研究,在我看来,它们同样是“AIish”的,包括Google在Mountain View总部的许多团体。所以,是的,AGI现在确实有点远离主流,但如果你和15年前相比,你知道,已经有了惊人的主流化。你也可以对超级长寿研究说同样的话,这是我兴奋的应用领域之一。我的意思是,我从90年代就开始谈论这个,从2001年开始研究它。当时,如果你说你正在尝试创造疗法来让人类活几百年或几千年,你就远远超出了行业学术主流。但现在,你知道,谷歌有Calico项目,克雷格·文特尔(Craig Venter)有人类长寿公司(Human Longevity Inc.)。一旦西装革履的人们涌入,一旦有大笔资金投入,人们就不得不认真对待,因为现代社会就是这样运作的。它仍然不像癌症研究那样主流,就像AGI不像自动驾驶那样主流一样。但对于我们这些长期从事这项工作的人来说,过去10到15年的主流化程度是惊人的。是的,但这个术语有一个营销方面,但在实际的全面研究方面,目前我认为它可能被神经网络研究主导,正如你提到的非线性回归。你对OpenCog和你自己的工作有什么看法?对我来说,基于逻辑的系统和专家系统似乎总是捕捉到了智能的一个深层要素,它必须在那里。就像你说的,它需要学习,它需要某种程度的自动化,但似乎在目前的研究中很多都缺失了。所以,你的看法是什么?我想问这个问题的一种方式是,你认为AGI系统需要具备哪些东西?这是一个非常有趣的话题,我思考了很长时间。我认为有很多不同的方法可以实现人类水平的AI。所以,我不认为有一个黄金算法,一个黄金设计可以奏效。我的意思是,飞行器是更合适的类比,对吧?我的意思是,你有飞机,你有直升机,你有气球,你有看起来不像普通飞机的隐形轰炸机,你有所有飞艇,鸟类,是的,还有虫子,对吧?我的意思是,而且肯定有许多种飞行器,而且你还可以发射弹射器,还有自行车驱动的飞行器,对吧?是的,是的。现在,这些都可以通过基本的空气动力学理论来分析。所以,AGI的一个问题是,我们还没有空气动力学理论的类似物。这就是马库斯·胡特(Marcus Hutter)试图用Axiom和他的通用智能理论来做的。但那个理论,在其最清晰的阐述部分,实际上只适用于无限强大的机器,或者几乎是,或者令人难以置信地,强大的机器。所以,我的意思是,如果你要采取一种基于理论的方法来研究AGI,你会说,好吧,让我们采用所谓的Axiom TL,这是胡特(Hutter)的Axiom机器,它可以在近乎无限的处理能力上工作,而不是无限的。TL代表什么?时间,时间,长度。好的,所以你基本上是,某种程度的约束,是的,是的。所以,Axiom基本上是如何工作的?它所要采取的每一个行动,在采取行动之前,它都会回顾它所有的历史。是的,然后它会查看它可能用来做决定的所有程序。是的,它会决定哪个决策程序能够让它根据其历史做出最佳决策。它使用该决策程序来做出下一个决策。它不害怕无限的资源,它在每个行动和下一个行动之间搜索所有可能的计算机程序空间。XL搜索所有运行时小于T且长度小于L的所有可能计算机程序。所以,这仍然是一个不切实际的巨大空间。所以,你想做的是制造AGI,而且很可能在50年后制造AGI,你会说,好吧,我们有一些约束,我们有这些处理能力约束,你知道,我们有程序的时间和长度约束,我们有能源利用约束,我们有我们关心的特定环境类别,这可能是,你知道,操纵地球表面的物理物体,用人类语言交流,我的意思是,无论我们的特定要求是什么,只要我们不消灭人类,只要我们的特定要求恰好是这样。如果你用某种形式的规范语言将这些要求形式化,那么你应该能够运行一个自动程序特化器,在Axiom上,将其特化到计算资源约束和特定环境和目标,然后它会吐出像Axiom的特化版本,以你的资源限制和你的环境,这将是你的AGI。我的意思是,这将是我们的超级AGI创造新的AGI系统。但,是的,这似乎非常低效。顺便说一句,这是非常俄罗斯式的方法,就像整个程序特化领域都起源于俄罗斯。你能倒回去吗?程序特化是什么意思?基本上,假设列表排序,你可以有一个通用的列表排序程序。但如果你关心的所有列表长度都在10,000或以下呢?明白了。你可以对你的排序算法运行一个自动程序特化器,它会找到最适合排序长度为1,000或更短列表的算法。我的意思是,这有点像,进化过程就是这样吗?它是一个针对环境的程序特化器。所以,你正在进化人类或生命。正是如此。你的俄罗斯血统在那里显现。我的意思是,没有亚历山大·维特维茨基(Alexander Vitvitsky),我的意思是,还有彼得·安宁(Peter Anning)等等。我的意思是,长期以来,人们一直在以这种方式思考进化,是的。我的意思是,我的观点是,我们所认为的人类水平的通用智能,你知道,如果你从现在商业AI领域使用的狭义AI开始,那么你就在想,我们如何让它越来越通用。另一方面,如果你从Axiom或施密德胡伯(Schmidhuber)的Girdle机器,或者这些无限强大的但实际上无法实现的AI开始,那么达到人类水平的AGI就是专业化的问题。就像,你如何,你如何将这些最大程度通用的学习过程,以及你如何,你如何将它们专业化,以便它们能够在我们拥有的资源约束下运行,但能够实现我们关心的特定事情。因为我们,人类不是最大程度通用的智能。我的意思是,如果我让你在750维空间中跑迷宫,你可能会非常慢,而在二维空间中,你可能要好得多。所以,我的意思是,我们是特殊的,因为我们的大脑中有二维地图,而没有750维地图。所以,我的意思是,我们是,你知道,普遍性和专业化的奇特组合。我们出生时可能相当通用,不明显仍然狭窄,但比20岁、30岁、40岁、50岁、60岁时更通用。我不认为,我认为它比这更复杂。因为,我的意思是,在某种意义上,年轻人偏见更少,大脑还没有形成适当的结构来处理物理世界和社会世界的各个方面。另一方面,年轻人非常依赖于他们的感官,而我们可以处理抽象数学,比如750维,而年轻人不能,因为他们还没有,他们还没有成长皮亚杰所谓的“形式能力”,他们还没有学会抽象。而抽象能力赋予你一种不同于婴儿的通用性。所以,实际上,发展过程带来了更多的专业化和更多的通用化。我的意思是,我猜只是在年轻时,专业化的轨迹是最可控的,我想,这是其中的一种说法。你有孩子吗?不,它们不像你想象的那么可控。所以,你认为它很有趣吗?我,我,我,老实说,我认为一个成年人比一个婴儿更通用智能。婴儿非常愚蠢。我的意思是,我的意思是,他们很可爱,他们很可爱,这就是为什么我们能忍受他们的重复和愚蠢。而且他们有禅宗人士所说的“初学者心态”,这是一件很美妙的事情,但这并不一定与高水平的智能相关。在可爱和愚蠢的图表上,有一个过程允许我们忍受他们的愚蠢。到你像我一样变成一个丑陋的老头时,你必须变得非常非常聪明来弥补。好的,酷。但,是的,回到你最初的问题。我看待人类水平AGI的方式是,是的,如何专业化,你知道,不切实际的低效的超人 brute force 学习过程,以实现人类需要达到的特定目标和我们拥有的特定资源。这两者,目标和资源,我的意思是,所有这些都很重要。在资源方面,重要的是我们投入的硬件资源与人脑非常不同。所以,我想在人脑中实现AGI的方式,在一个我可以任意重新布线的神经元集群中,与我想在现代CPU和GPU服务器农场上实现AGI的方式非常不同,而后者又可能与我想在10年后可能拥有的量子计算机上实现AGI的方式非常不同,假设有人制造了一个强大的量子图灵机或类似的东西。所以,我认为,你知道,人类大脑的组织模式和人类大脑的生理细节在一段时间内是共同进化的。当你看到神经网络工作时,它是强大的学习算法类别之一,但它也是一种学习算法类别,它进化以利用人脑作为计算基底的特定细节。如果你看现代服务器农场的计算基底,你可能不会想要与人脑上相同的算法。而且,你知道,从正确的抽象层面来看,你可能会认为大脑上最好的算法和现代计算机网络上最好的算法实现了相同的抽象学习和表示过程,但你知道,找到那个抽象层面本身就是一个AI研究项目。所以,这是关于硬件方面,以及由此产生的软件方面。关于要求,我多年前写了一篇关于我称之为“具身交流先验”(embodied communication prior)的论文,其意图与约书亚·本吉奥(Yoshua Bengio)最近关于“意识先验”(consciousness prior)的论文非常相似,除了我不想把它和意识联系起来,因为对我来说,感受问题和主观体验也是一个非常有趣的问题,我们可以聊聊。但我宁愿将这场哲学辩论与你想给通用智能什么样的偏见才能使其具有类似人类的通用智能的辩论分开。我不确定约书亚·本吉奥是否真的在解决这种问题。他只是在用这个词。我非常喜欢约书亚(Joshua),我的意思是,他是迄今为止我最喜欢的深度学习巨头之一。他是一个非常善良的人,当然。我不确定他是否深入研究了意识的哲学。不,他只是用它作为一个性感的词。是的,是的。所以,我称之为“具身交流先验”。你能解释一下吗?是的,是的。我的意思是,人类是为了什么而进化的?你可以说,为了成为人类,但这非常抽象。我的意思是,我们的思想控制着在由固体物体组成的世界中移动的自主代理的个体身体。而且,我们也进化出了通过语言与其他在固体物体世界中集体行动的固体物体代理进行交流。这些事情非常明显,但如果你将它们与所有可能的智能,甚至所有物理上可实现的智能的范围进行比较,它们实际上会极大地改变事情。所以,如果你开始考虑,如何在一个具有有限内存和有限处理速度的系统上实现通用智能的某种专业化或约束版本,但其通用智能将偏向于控制一个在固体物体世界中移动的固体物体代理,用于操纵固体物体,并通过语言与该世界中其他类似代理进行交流。那么,从这里开始,你就开始对人类水平的通用智能进行需求分析了。然后,这会让你进入认知科学,你可以看看,人类心智和大脑有哪些不同类型的记忆。这几十年来已经成熟了。我深入研究了这一点。所以,在我获得数学博士学位后,我在学术界工作了八年。我在数学、计算机科学和心理学系任教。我在西澳大利亚大学(University of Western Australia)的心理学系时,专注于记忆和知觉的认知科学。实际上,我当时在教神经网络和深度神经网络,是多层感知器。心理学,是的,认知科学。它是工程、数学、心理学、哲学、语言学、计算机科学之间的跨学科研究。是的,我们当时教心理学专业的学生,试图用多层感知器来模拟人类认知实验的数据,这是早期版本的深度神经网络。非常非常,是的,反向传播的递归训练非常非常慢。所以,这是对这些约束系统的研究,这些系统应该处理物理对象。所以,如果你看看认知心理学,你可以看到有多种类型的记忆,它们在一定程度上由人脑中的不同子系统表示。我们有情景记忆,它考虑了我们的生活史和发生在我们身上的一切。我们有陈述性或语义记忆,就像事实和信念,从发生的具体情况中抽象出来。有感觉记忆,在某种程度上是感觉模态特定的,在某种程度上是跨感觉模态统一的。有程序性记忆,关于如何做事情的记忆,比如如何挥动网球拍。其中有运动记忆,但它也比运动记忆更抽象一些。它涉及到小脑和皮层协同工作。然后,有与情感相关的记忆联系,这与皮层和边缘系统的联系有关。有与记忆相关的空间和时间建模的细节,这涉及到海马体和丘脑连接到皮层和基底神经节,这影响着目标。所以,我们有关于过去我们想要感知什么目标、子目标和子子目标的具体记忆,以及在什么背景下。人脑在这些不同类型的记忆方面拥有实质上不同的子系统,并且在长期增强方面具有实质上不同的调整学习,这与神经元和神经递质的类型有关,大脑的不同部分对应于这些不同类型的知识和不同类型的记忆和学习。在人脑中,你可以将所有这些都整合到具身交流中,用于控制代理和在固体物体世界中。所以,如果你看看构建AGI系统,一种方法是,它更多地从认知科学而不是神经科学开始,那就是说,好吧,为了这种世界,这种智能,需要哪些类型的记忆?是的,是的,对于这种智能是必要的。这些不同类型的记忆,哪些类型的学习与这些不同类型的记忆效果很好?然后,你如何将所有这些东西连接起来?当然,人脑通过进化逐步实现了这一点,因为大脑的每个子网络,我的意思是,它不是大脑的真正叶片,而是子网络,每个子网络都广泛分布。大脑的每个子网络都与大脑的其他子网络协同进化,无论是在其组织模式上还是在神经生理学的细节上。所以,它们都在相互交流和适应中成长。它们不是独立的黑箱,然后被组合在一起。而作为工程师,我们倾向于说,让我们在这里做一个陈述性记忆盒子,在那里做一个程序性记忆盒子,在那里做一个感知盒子,然后将它们连接起来。当你能做到这一点时,它很有趣。我的意思是,汽车就是这样制造的。但另一方面,这显然不是生物系统的制造方式。这些部分共同进化,以便协同工作。所以,顺便说一句,我们之前使用的飞行类比,所有人类工程的飞行系统都是这样制造的。所以,你觉得这有点吸引力吗?在过去几十年里,认知架构方面有很多非常令人兴奋的工作,我发现它被忽视了。你觉得呢?是的,我的意思是,我与那个社区有很多联系。保罗·罗森布拉姆(Paul Rosenbloom)和约翰·拉雷德(John Laird)建造的Soar架构是我的朋友。我学过Soar,Actar和这些不同的认知架构。大约十年前,在我看来,在这次商业深度学习爆炸之前,AI世界是这样的:一方面,你有一群认知架构的家伙,他们与心理学家和认知科学家密切合作,他们深入思考了人类心智的不同部分应该如何协同工作。另一方面,你有一群学习理论的家伙,他们根本不关心架构,只是在思考如何识别大量数据中的模式。在某种意义上,你需要做的是将学习理论家们正在做的学习,与认知架构家们正在做的架构结合起来,然后你就会拥有你所需要的东西。现在,不幸的是,你不能这样做,当你查看细节时,你不能简单地这样做,而不完全重建认知架构和学习方面正在发生的事情。所以,我的意思是,他们在Soar中尝试过,但他们最终所做的就是,比如说,将一个深度神经网络或类似的东西用于感知,并将其包含为黑箱之一。它成为盒子之一。学习机制成为盒子之一,而不是根本性的。那不太奏效。你可以看看DeepMind的一些工作,比如差分神经网络计算机(Differential Neural Computer),它有点像一个用于深度学习感知的神经网络,它有另一个神经网络,就像一个记忆矩阵,比如说伦敦地铁地图。所以,德米斯·哈萨比斯(Demis Hassabis)可能在想,就像皮层的一部分和海马体的一部分,因为海马体有一个空间地图,而且他做神经科学时,对皮层-海马体相互作用做了很多研究。所以,DNC将是深度神经网络领域的人们试图朝着认知架构方向迈出一步的例子,通过拥有两个神经模块,大致对应于人脑中处理不同类型记忆和学习的两个不同部分。但另一方面,从认知架构的角度来看,它非常非常粗糙。就像约翰·拉尔(John Laird)和Soar在神经网络方面所做的那样,从学习的角度来看,它非常非常粗糙,因为学习是放在一边的,没有影响核心表示。我的意思是,你没有学习表示,你学习的是输入到表示的数据,你学习的是感知数据的抽象,以输入到未学习的表示。所以,是的,这在我看来很清楚。我希望AGI社区能够将这两个方向的人们聚集在一起。这并没有发生多少,就说“还没有”而言。或者我要说的是,它并没有像将认知架构的巨头们与深度学习的巨头们聚集在一起那样发生。它确实起到了作用,因为许多年轻的研究人员的头脑中都充满了这两种想法。这回到了我父亲经常引用的一句话,他是一位大学教授,他说:“科学一次只进步一次葬礼。”我正在努力避免,我53岁了,我正在努力发明一些令人惊叹的、疯狂的、没人想过的新东西,我们将在几分钟内谈论。但确实有那个方面。我的意思是,那些长期从事AI研究并将其职业生涯致力于发展一个方面的人,比如认知架构或深度学习方法,一旦年老并以此为生,就很难在精神上换挡。我的意思是,我努力保持思想开放,在改变方面取得了一定的成功。你是否改变了对构建AGI所需的技术方面的某些看法?难点在于世界不希望你这样做,世界或者你自己的大脑。世界,嗯,一方面是你自己的大脑不希望你这样做,另一方面是世界不希望你这样做。就像那些追随你想法的人,如果你改变主意,他们会生你的气。你知道,媒体想把你定位为某个特定想法的化身。是的,我改变了很多事情的想法。我的意思是,当我开始我的职业生涯时,我真的认为量子计算对于AGI是必要的,我现在怀疑它是否必要,尽管我认为它将是一个超级重要的增强。但我的意思是,我也正在开始与圣彼得堡的阿列克谢·波波夫(Alexei Popov)和他的团队一起,从头开始彻底重构和重写我们的OpenCog AGI系统,他正在与我在SingularityNet合作。所以,现在我们正在尝试回归基础,吸收我们从使用当前OpenCog系统中学到的一切,吸收每个人从使用他们的原型AGI系统中学到的一切,并设计出下一阶段的最佳框架。而且,我认为从最近深度神经网络和深度强化系统取得的成功中有很多可以学习。我的意思是,人们制造了这些本质上微不足道的系统,效果比我预期的要好得多,从中可以学到很多东西。我想在我们的OpenCog 2.0系统中适当地整合这些知识。另一方面,我也认为目前的深度神经网络架构本身永远无法让你接近AGI。所以,我认为你避免了……

扔掉婴儿连同洗澡水,就像说“这些东西都是垃圾,因为愚蠢的记者夸大了它们,说它们是通往通用人工智能的道路”,还有一些研究人员也夸大了它们,说“是的,那里有很多有趣的东西可以学,即使它们不是黄金之路”。所以也许这是一个很好的机会退一步。你提到了 OpenCog 2.0,但让我们回到 OpenCog 0.0,它确实存在。嗯,是的,也许谈谈 OpenCog 的历史。绝对。而且你在思考这些想法时,我会说 OpenCog 2.0 是我们有点开玩笑地使用的一个术语,因为我们现在正在开发的现有 OpenCog 系统与我们认为的 1.0 版本相去甚远。我的意思是,它已经存在了大约 13 年,但它仍然是一个早期阶段的研究系统,对吧?而且实际上,我们正在回归理论和实现的起点,因为我们觉得这是正确的做法。但我敢肯定,我们最终会与当前系统有很多共同之处。我的意思是,我们都仍然喜欢这种通用方法。所以,首先,什么是 OpenCog?当然,OpenCog 是一个开源软件项目,我与几个人一起在 2008 年启动的。也许写下的第一段代码是在 2001 年或 2002 年,当时它是在我的人工智能公司 Nov LLC 内作为专有代码库开发的。然后我们决定在 2008 年开源它,清理了代码,删除了一些东西,添加了一些新东西。它用什么语言编写?主要是 C++,也有一些 Scheme,但大部分是 C++。而且,它与我们将要谈论的 SingularityNET 是分开的。所以它最初是一个非网络化的东西,对吗?正确。这里涉及许多网络层级,对吧?出生时没有互联网连接,或者没有。我的意思是,SingularityNET 是一个独立的项目,一个独立的代码体。你可以将 SingularityNET 用作分布式 OpenCog 系统的基础设施的一部分,但它们是不同的层级。明白了。所以一方面,OpenCog 作为一个软件框架可以用来实现各种不同的人工智能架构和算法。但实际上,有一个由我和 Linus Vus、Nil Giler 以及其他几个人领导的开发人员团队一直在使用 OpenCog 平台和基础设施来实现关于如何制造通用人工智能的某些想法。所以,关于 OpenCog 软件平台与 OpenCog 通用人工智能设计之间存在一些模糊性。因为理论上你可以使用该软件来做,你可以用它来制作一个神经网络,你可以用它来制作很多不同的东西。软件平台提供什么?比如在实用工具方面,像什么?是的,让我先谈谈 OpenCog 作为软件平台,然后我再告诉你我们在此基础上构建的具体通用人工智能研发。是的,OpenCog 作为软件平台的核心组件是我们称之为 Atom Space 的东西,它是一个加权标记的超图。Atom Space,Atom Space,是的,是的,不是像亚当和夏娃那样的 Adam,尽管那也挺酷的。所以你有一个超图,就像一个图一样,在这个意义上,图是一堆节点和它们之间的链接。超图就像一个图,但链接可以连接三个以上的节点。所以你有一个连接三个节点的链接。事实上,OpenCog 的 Atom Space 应该被恰当地称为元图,因为你可以有指向链接的链接,或者你可以有指向整个子图的链接。所以它是一个扩展的超图,或者是一个元图。元图是一个技术术语吗?它现在是一个技术术语。有趣。但我认为当我们开始称之为广义超图时,它还不是一个技术术语。但无论如何,它是一个加权标记的广义超图,或者是一个加权标记的元图。权重和标签意味着节点和链接可以附加数字和符号。所以它们可以有类型,它们可以有数字,代表某个目的的真值或重要性值。当然,像所有事物一样,你可以将其简化为超图,然后超图可以简化为图,然后图可以简化为邻接矩阵。所以,我的意思是,总有多种表示方法,但似乎有一个表示层在这里效果很好。明白了。对,对,对。同样,你可以有一个指向整个图的链接,因为整个图可以代表一个信息体。我可以拒绝这个信息体。一种方法是让那个链接指向代表该信息体的整个子图。我的意思是,有很多替代表示方法,但无论如何,这就是我们在 OpenCog 中拥有的。我们有一个 Atom Space,这是一个加权标记的广义超图知识存储。它驻留在 RAM 中。也有方法可以将其备份到磁盘。有方法可以将其分布在多台机器上。然后有各种实用工具来处理它。所以有一个模式匹配器,它允许你指定一种抽象模式,然后在整个加权标记的超图 Atom Space 中搜索,看看哪些子超图可能匹配该模式。例如。然后,OpenCog 中有一个称为 Cog Server 的东西,它允许你运行许多不同的代理或进程,它们都以欧拉方式运行。每个代理基本上都会从 Atom Space 读取内容,并向 Atom Space 写入内容。所以这是基本的操作模型。就像那个软件框架,对吧?当然,从可扩展的软件工程角度来看,那里有很多东西。所以你可以使用这个,我不知道你是否研究过最近的 Stephen Wolfram 的物理项目,关于超图之类的东西?你理论上可以使用软件框架来玩吗?当然可以,尽管 Wolfram 宁愿死也不愿使用 Mathematica 以外的任何东西来做他的工作。好吧,那是,但是有很多社区的人们,你知道,很想集成。就像你说的,年轻人的头脑喜欢集成、连接的想法。没错。而且我会在那个方面补充一点,在物理学中使用超图类型模型的想法并不新鲜。比如,如果你看看俄罗斯人,他们最先做的。好吧,我敢肯定他们做过。而且有一个叫 Ben Drus 的人,他是路易斯安那州某地的数学家、教授,他有一本关于量子集和超图以及离散物理模型代数拓扑的美丽的书,并且比 Wolfram 走得远得多。但他不富裕也不出名,所以没有成为头条新闻。但是的,Wolfram 式的,是的,当然,这是一种很好的说法。整个 OpenCog 框架都可以用来模拟生物网络和模拟生物过程。你可以用它来模拟物理学,在物理学的离散图模型上。所以你可以用它,你可以用它来做,比如生物学上真实的神经网络,举个例子。所以这是一个框架。代理和进程做什么?它们会增长图吗?它们进行什么样的计算?只是为了了解一下。理论上它们可以做任何它们想做的事情。它们只是 C++ 进程。另一方面,计算框架是为代理设计的,其中大部分处理时间都花在对 Atom Space 的读写上。所以这是一个非常不同的处理模型,而不是像大多数深度学习系统所依据的基于矩阵乘法的模型,对吧?所以,你可以,我的意思是,你可以创建一个只分解数字十亿年的代理,它会在 OpenCog 平台上运行,但那将毫无意义。我的意思是,做 OpenCog 的目的是因为你想制造通过读写这个加权标记的超图来协作的代理。所以,这既有认知架构的重要性,因为这个超图被用作不同认知过程之间的共享内存,但它也有软件和硬件实现的意义,因为当前的 GPU 架构对 OpenCog 来说用处不大,而图处理器将非常有用。而且我认为 Graphcore 现在就有这些,但它们并不理想。但我认为在接下来的,比如说三到五年里,我们将看到新的芯片,就像一个图被放在芯片上,然后,你知道,多个进程在那个图上同步和并行地来回操作将是快速的。然后这可能会为 OpenCog 类型架构做 GPU 为深度神经网络架构所做的事情。作为一个小小的离题,你能评论一下关于神经形态计算的想法吗?比如所有这些不同类型的硬件实现?你对这种可能性感兴趣吗?你感到兴奋吗?我对图处理器感到兴奋,因为我认为它们可以极大地加速 OpenCog,这是我正在研究的一类架构。我认为,原则上,神经形态计算应该很棒。我还没有完全被现有的任何系统说服,比如 memristors 也应该很棒,对吧?所以很多这些东西都有明显的潜力,但我还没有接触到似乎能实现这一点的系统。Marxism 也应该很棒,但目前的系统并不好。我的意思是,举个例子,如果你想做一个生物学上真实的硬件神经网络,比如做一个硬件电路来模拟像 Hodgkin-Huxley 方程或 Izhikevich 方程这样的生物学上真实的神经元的微分方程,并将其放在芯片上的硬件中,这似乎会使制造大规模的真正生物学上真实的神经网络更加可行。现在到目前为止所做的不是那样的。所以我想,就个人而言,作为一个研究人员,我的意思是,我在计算神经科学领域做了一些工作,我在 IPA 在华盛顿特区情报高级研究计划局做了一些工作。我们正在研究如何制作一个生物学上真实的模拟,模拟大脑的七个不同部分如何相互协作,使用现实的非线性动力学模型来模拟神经元,以及如何让它模拟一个地理情报分析员在地图上寻找恐怖分子时的思维过程。所以,如果你想做这样的事情,拥有真正能让你模拟像神经元真实模型的神经形态硬件将是惊人的。但这有点像是戴着计算神经科学的帽子。戴着通用人工智能的帽子,我更感兴趣的是这些基于超图知识表示的架构,它们将从各种类型的图处理器中受益更多,因为主要的处理瓶颈是读写 RAM,是读写 RAM 中的图。这种类型的原型通用人工智能架构的主要处理瓶颈不是矩阵乘法。因此,GPU 在矩阵乘法方面非常出色,但在这里并不那么适用。有像 Gunrock 等框架试图将图处理简化为矩阵运算,它们很酷,但你仍然在某种程度上是将一个方钉子塞进一个圆孔。同样,目前的量子机器学习,非常酷,它也完全是关于如何在量子力学中进行矩阵和向量运算。我明白为什么这很自然。我的意思是,量子力学完全是酉矩阵和向量,对吧?另一方面,你也可以尝试制造以图为中心的量子计算机,我认为这就是事情的发展方向。然后我们就可以,然后我们可以,比如,将 OpenCog 的实现层放在量子计算机中未折叠的状态。但这可能是奇点平方?我不确定我们是否需要那样才能达到人类水平。那已经超出了第一个奇点。但我们可以回到 OpenCog 吗?是的。和超图以及 OpenCog?那是软件框架,对吧?接下来是我们的认知架构告诉我们具体的算法放在那里。明白了。我们能倒退一下那种,这种图是设计的吗?它通常是稀疏的吗?操作会不断地增长和改变图吗?是的,图是稀疏的。但它在不断地添加链接等等吗?它是一个自我修改的超图。所以读写操作,你指的是这不仅仅是一个固定的图,你改变它的方式?它是一个不断增长的图吗?是的,是的,是的,那是真的。所以它是一个与当前深度神经网络不同的模型。它们有一个固定的神经网络架构,你正在更新权重。尽管有过像级联相关神经网络架构那样会增长新的节点和链接。但现在最常见的神经网络架构具有固定的神经网络架构,你正在更新权重。而在 OpenCog 中,你可以更新权重,这当然经常发生。但是添加新节点、添加新链接、移除节点和链接,同样是系统运行的关键部分。明白了。那么,当你开始在 OpenCog 架构之上添加这些认知算法时,它看起来是什么样的?所以,是的。所以在该框架内,创建认知架构基本上是两件事:一是选择你想要放在超图的节点和链接上的类型系统,你想要什么类型的节点和链接。然后是选择哪些代理、哪些人工智能算法或进程集合将运行来操作这个超图。当然,这两个决定是紧密相连的。所以,在类型系统方面,有一些链接更像神经网络,它们只是有权重,通过 Hebbian 学习来更新,激活沿着它们传播。还有一些链接更像逻辑,节点也更像逻辑。所以你可以有一个变量节点,你也可以有一个代表谓词逻辑或项逻辑中的全称量词或存在量词的节点。所以你可以有逻辑类的节点和链接,或者你可以有神经网络类的节点和链接。你也可以有过程类的节点和链接,就像在组合逻辑或 lambda 演算中表示程序一样。所以你可以有代表多种不同语义的节点和链接。这意味着你可以制造一个可怕的混乱,或者你可以制造一个系统,其中这些不同类型的知识相互渗透并协同工作。所以,超图可以包含程序吗?它可以包含程序。虽然在当前版本中,它是一种非常低效的指导程序执行的方式,这是我们希望通过重写系统来解决的一个问题。那么,对你来说,OpenCog 最美丽的一面是什么?就个人而言,某个让你着迷的方面,无论是美还是力量?是的,让我着迷的是找到一个通用的表示,它构成了抽象的声明性知识、感官知识、运动知识和程序性知识的基础。找到正确的表示级别,其中所有这些类型的知识都以一种通用且可相互转换但又可实际操作的方式存储。所以,对我来说,这是核心。一旦你做到了这一点,不同的学习算法就可以互相帮助。比如,你想要的是,如果你有一个逻辑引擎来帮助处理声明性知识,你有一个深度神经网络来收集感知知识,你有一个进化学习系统来学习程序,你希望它们不仅在共享结果和传递输入输出的层面上进行交互,你希望逻辑引擎在卡住时能够与神经网络和进化学习算法共享其中间状态,以便它们可以互相帮助摆脱瓶颈,并通过干预彼此的认知过程来帮助解决组合爆炸。但这只有在逻辑引擎、进化学习引擎和深度神经网络的中间状态以相同形式表示时才可能做到。这就是我们通过在加权标记的超图之上放置正确的类型系统而弄清楚如何做到的。所以,你能详细说明一下,一个可以共存于所有这些需要表示的不同种类知识的类型系统有哪些不同的特征吗?我的意思是,它是否是分层的?你有什么见解可以提供关于那种类型系统吗?是的,是的,这变得非常细节和数学化,当然。但一个关键部分是从谓词逻辑转向项逻辑。什么是谓词逻辑?什么是项逻辑?逻辑。所以项逻辑是由亚里士多德发明的,或者至少我们有关于它的最古老的记忆。但项逻辑将基本逻辑分解为基本上是节点之间的简单链接,比如节点 A 和节点 B 之间的继承链接。所以在项逻辑中,基本演绎操作是 A 蕴含 B,B 蕴含 C,因此 A 蕴含 C。而在谓词逻辑中,基本操作是 Modus Ponens,比如 A 蕴含 B,因此 B。所以它们是分解逻辑的略有不同的方式。但通过将逻辑分解为项逻辑,你可以很好地将逻辑分解为节点和链接。所以你的概念可以成为节点,逻辑关系成为链接。然后推理就像,如果这个链接是 A 蕴含 B,这个链接是 B 蕴含 C,那么演绎就构建了一个链接 A 蕴含 C。而你的概率算法可以分配一个特定的权重。现在你可能还有一个像 Hebbian 神经网络链接从 A 到 C,这是思考的程度,A 成为注意力的焦点应该使 B 成为注意力的焦点,对吧?所以你可以有一个神经网络链接,你可以有一个符号化的,像逻辑继承链接在你的项逻辑中,它们有不同的含义,但它们也可以互相指导。比如,如果 A 和 B 之间的链接有很大的神经网络权重,这可能会引导你的逻辑引擎思考,嗯,它们是什么关系?它们相似吗?是否存在继承关系?它们在某种上下文中相似吗?另一方面,如果 A 和 B 之间存在逻辑关系,这可能会引导你的神经网络组件思考,嗯,当我思考 A 时,我是否应该将一些注意力导向 B,因为存在逻辑关系?所以,在逻辑方面,有很多思考是如何分解逻辑关系,包括基本的命题逻辑关系,正如亚里士多德项逻辑所处理的那样,以及量词逻辑关系。如何优雅地将它们分解成超图,因为你可以,你可以将逻辑表达式分解成图,有很多不同的方式,很多都很丑。对,对。我们试图找到优雅的方式来分层地将复杂的逻辑表达式分解成节点和链接。所以,如果你有不同的节点代表,你知道,Ben AI Lex interview 或其他东西,它们之间的逻辑关系在节点和链接表示中是紧凑的。所以,当神经网络作用于相同的节点和链接时,神经网络和逻辑引擎可以相互操作,并且也对人类可解释。这是重要的吗?在简单的情况下,它是可解释的。但老实说,我认为逻辑系统比神经网络系统提供了更多的透明度和可理解性。但你仍然需要努力,因为,我的意思是,如果我给你看一个谓词逻辑命题,有大约 500 个嵌套的全称和存在量词,以及 217 个变量,那就不比神经网络的权重矩阵更容易理解了。所以,我认为 AI 从其经验中学习的逻辑表达式在很大程度上对人类来说是不透明的,甚至比神经网络更难理解。因为,我的意思是,当你有多个嵌套的量词绑定时,这是一个非常高的抽象级别。但有一个区别是,在逻辑中,将问题表述为“规范化这个并将其简化为某种形式”要更直接一些。我的意思是,你也可以在神经网络中做到这一点,比如你可以将一个神经网络提炼成一个更简单的形式。但这通常是为了制作一个可以在嵌入式设备上运行的神经网络。将一个网络提炼成一个可理解的形式比简化逻辑表达式到一个可理解的形式要困难。但这并非免费获得。AI 心中的东西对人类来说是不可理解的,除非你做一些特殊的工作来使其可理解。所以,在程序方面,有一些不同的、有点有趣的魔法。我的意思是,如果你熟悉计算机科学,有一个叫做 Curry-Howard 对应关系的东西,它是一对一的映射,在证明和程序之间。每个程序都可以映射到一个证明,每个证明都可以映射到一个程序。你可以使用范畴论和很多好的数学来模拟这一点。但我们要使其实用。所以,如果你有一个执行程序,比如移动机器人的手臂,或者确定在对话中说什么的顺序,那就是在 OpenCog 超图中表示的一个过程。但如果你想推理如何改进那个过程,你需要使用 Curry-Howard 同构将那个过程映射到逻辑。然后逻辑引擎可以推理如何改进那个过程,然后将其映射回适合执行的过程表示。所以,再次,这不仅仅是你能否将你的过程变成一堆节点和链接,因为,我的意思是,这可以很容易地做到,一个 C++ 编译器里面有节点和链接。你能将你的过程分解成一堆节点和链接,以一种分层分解且足够简单的方式,你可以推理吗?是的,是的。考虑到手头的资源限制,你可以足够快地将其映射回你的项逻辑,并且不会有一个臃肿的逻辑表达式。所以有很多细节。但我也同样如此。如果你问一个芯片设计师,比如,如何让 Intel i7 芯片如此出色?那里有一长串技术答案,需要一段时间才能看完。这已经是几十年的工作了。我的意思是,我试图构建的第一种类似性质的人工智能系统叫做 WebMind,在 1990 年代中期。我们有一个大的图,一个大的图在 RAM 中运行,用 Java 1.1 实现,这是一个非常糟糕的实现想法。然后每个节点都有自己的处理。所以,核心循环遍历网络中的所有节点,每个节点执行它正在做的小事情。我们在里面有逻辑和神经网络,以及进化学习。但我们还没有做足够的数学来让它们很好地协同工作。所以那确实是一个非常糟糕的混乱。所以,除了做一个图是自己的对象,代理是单独调度的实现之外,我们还做了很多关于如何表示程序,如何表示过程,你知道,如何表示进化的基因型,以一种与这些不同类型的知识相关的不同类型学习之间的互操作性实际起作用的方式。这非常困难。这已经花费了几十年,而且完全偏离了人工智能领域商业主流的做法,后者根本不考虑表示。尽管你可以看到,比如在 DNC 中,他们不得不稍微考虑一下如何让地图的表示在这个内存矩阵中与分层神经网络中视觉模式识别所需的表示一起工作。但我会说,我们已经朝着这个方向发展,即采用不同类型学习所需的知识类型,如声明性、程序性、注意力,以及如何以允许跨不同类型内存的交叉学习的方式表示这些知识类型。我们一直在 OpenCog 及其之前的 WebMind 中进行原型设计和实验,自 1990 年代中期以来。现在,令我们所有人失望的是,这还没有在一个通用人工智能系统中实现。我的意思是,我们已经在我们的咨询业务中使用了这个系统。所以我们构建了自然语言处理、机器人控制和金融分析。我们构建了许多特定于垂直市场的专有 AI 项目,它们在后端使用 OpenCog。但我们还没有,那不是通用人工智能的目标。那不是通用人工智能的目标。所以现在,我们正在关注我们重建的系统 2.0。是的,我们也称之为 True AGI。所以我们还不确定名字是什么。我们为 2ai.com 创建了一个网站,但我们还没有放任何东西上去。所以我们可能会想出一个更好的名字。但它有点像是你通用人工智能的真正起点。但我更喜欢 True,因为 True 有,你可以是真诚的。你可以对你的女朋友忠诚。所以 True 有一个数字,它也有逻辑,因为逻辑是关键。所以,是的,有了 True AGI 系统,我们坚持相同的基本架构,但我们正在努力建立在我们学到的东西之上。我们学到的一个东西是,我们需要对依赖类型之间的类型检查更快,对概率依赖类型之间的类型检查更快。现在,你可以在节点和链接上拥有复杂的类型,但如果你想把,比如,如果你想让类型成为一流公民,这样类型就可以是变量,然后你进行复杂的高阶类型之间的类型检查,你现在可以在系统中做到,但它非常慢。这是像 Agda 或其他晦涩的研究语言中完成的事情。另一方面,我们花了很多时间将深度神经网络与符号学习结合起来。我们为思科做了一个项目,例如,关于街景分析。他们有深度神经网络模型来分析许多摄像头拍摄的街景,但他们为每个摄像头训练了不同的模型,因为他们无法在摄像头 A 和摄像头 B 之间实现迁移学习。所以我们把所有摄像头输出的深度模型的东西,输入到 OpenCog 的符号表示中,然后我们对所有不同摄像头输出的东西进行了模式挖掘和推理,在符号图中。这对那个应用来说效果很好。我的意思是,思科的 Yugo Latapi 在去年的 AGI 会议上谈到了这一点,去年在深圳。另一方面,我们从中了解到,让深度神经网络模型与符号系统很好地协同工作有点笨拙,因为我们使用的是 Torch,而 Torch 保持着一种计算图状态。但我们需要在我们的超图中实时访问那个计算图。我们当然做到了。我们圣彼得堡团队的负责人 Alexa Popov 写了一篇关于 OpenCog 中认知模块的优秀论文,解释了如何处理 Torch 计算图。但最终我们意识到,这在我们构建 OpenCog 时并没有被考虑进去。所以,在想要真正快速的依赖类型检查,以及想要更有效地实现深度神经网络框架的计算图与 OpenCog 超图之间的互操作性,再加上想要更有效地在 10,000 台机器上分布式运行 OpenCog 超图(我们现在正在使用几十台机器,但这只是因为我们没有以那种现代的可扩展性来架构它),这些性能要求促使我们想要重新架构。目前的架构是在 2001 年到 2008 年的阶段构建的,这并不令人震惊。所以,嗯,你提到的三件事非常有趣。那么,你对神经网络的计算图的互操作性有什么看法?你对神经网络形成的表示有什么看法?它们很糟糕,但有很多方法可以处理。我在监督语法归纳方面的一些工作中一直在努力解决这个问题。我有一篇关于这个的简单论文,我将在下一次 AGI 会议上发表,其在线部分就在下周。什么是语法归纳?这也不是通用人工智能,但它介于狭义人工智能和通用人工智能之间,或者类似的东西。无监督语法归纳问题是给你的 AI 系统大量的文本,让它学习产生该文本的语言的语法。所以你没有给它标记的例子,你没有给它像研究生标记的 1000 个句子的解析。所以它只能从文本中推断出语法。这就像罗塞塔石碑,但更糟,因为你只有一种语言。你必须弄清楚什么是语法。所以这并不是真正的通用人工智能,因为,我的意思是,人类学习语言的方式不是那样的。我们从语境中使用的语言中学习。所以这是一个社会化的、具身化的东西。我们看到给定的东西是如何基于观察来解释的。我认为有一个互动元素。是的,是的。另一方面,我更感兴趣的是,我更感兴趣的是让一个通用人工智能系统从其社会和具身化的经验中学习语言。另一方面,这样做也更麻烦,这会让我们进入 Hansen Robotics 和他们正在进行的机器人工作,我们将在几分钟内谈到。但仅仅作为一个智力练习,作为一个学习练习,尝试从语料库中学习语法是非常非常有趣的。而且,这在人工智能领域已经存在了很长时间,没有人能做得很好。所以我们一直在研究 Transformer 神经网络和 Tree Transformers,它们非常棒。它们实际上来自 Google Brain。而且,在那支团队中,有 Lucas Kaiser,他曾在 2005 年到 2008 年期间为我工作过。所以看到我以前的通用人工智能员工分散开来,做出所有这些惊人的事情很有趣。太多人被吸收到谷歌了。好吧,是的,总之,我们会谈论那个。Lucas Kaiser 和这些家伙中的许多人创造了 Transformer 网络,经典的论文《注意力就是你所需要的一切》,以及所有后续的论文。所以我们正在研究 Transformer 网络,比如,它们能够,我的意思是,这就是 GPT-2 和 GPT-3 等的基础,它们非常非常酷,而且它们对它们所说的任何文本都完全没有认知理解。它们非常聪明,它们是非常聪明的白痴。所以,抱歉打断一下,但请回到我们的话题。你认为 GPT-3 理解吗?不,一点也不。它什么都不理解。它是一个完全的白痴,但一个聪明的白痴。你认为 GPT-20 会理解语言吗?不,不,不。规模不会给你带来理解,就像更快的汽车不会让你到达火星一样。是的,好吧。这是完全不同的事情。我的意思是,这些网络非常酷,作为一名企业家,我可以看到它们有很多非常有价值的用途。而且,作为一名艺术家,我爱它们。我的意思是,我们正在使用我们自己的神经模型,它在这方面与此类似,来控制 Philip K. Dick 机器人。而且,训练一个神经模型来控制 Philip K. Dick 机器人,然后看到它说出一些疯狂的、 stoned 的哲学陈述,非常像 Philip K. Dick 会说的话,这真是太棒了。所以,这些模型非常酷。而且我正在与 Hansen Robotics 合作,为 Sophia 使用一个类似但更复杂的模型,我们还没有发布。所以,我认为这很酷。但不是,这些,但这不是理解。它们只是识别大量浅层模式,它们没有形成抽象表示。这就是我想要说的,当我们研究语法归纳时,我们试图从 Transformer 网络的结构中挖掘模式。你可以做到,但模式不是你想要的,它们很糟糕。我的意思是,如果你做监督学习,如果你看句子,你知道句子的正确部分,你可以学习一个矩阵,它映射 Transformer 的内部表示和句子的部分。然后你就可以训练一个东西,它会从 Transformer 网络的内部状态输出句子的解析。我们做到了。我认为 Christopher Manning 和其他人现在也做到了。但我的意思是,你得到的是表示非常丑陋,并且分布在整个网络中,看起来不像你知道的正确的语法规则。它有点丑陋。所以,我们实际上正在做的是,我们正在使用一个符号语法学习算法,但我们将 Transformer 神经网络用作句子概率预言机。所以,比如,如果你有一个语法规则,你不确定它是否是正确的语法规则,你可以用这个语法规则生成很多句子,以及违反这个语法规则的句子。你可以看到 Transformer 模型并不认为遵守语法规则的句子比不遵守语法规则的句子更可能。所以,通过这种方式,你可以使用神经网络模型作为概率预言机来指导符号语法学习过程。这比试图从没有语法规则的神经网络中提取语法要好。所以,我认为这些神经网络在很大程度上并没有在内部获得有语义意义的表示。所以,一个研究方向是尝试让它们做到这一点。Infogame 试图做到这一点。所以,比如,如果你回顾一下,大约两年前,有很多关于 Edward 的论文,Google 的那个概率编程神经网络框架,它来自 Infogame。所以,那里的想法是,你可以训练一个 Infogame 神经网络模型,它是一个生成关联网络,来识别和生成人脸。模型会自动学习一个变量,比如鼻子有多长,自动学习一个变量,比如眼睛有多宽,或者嘴唇有多大,等等。所以它会自动学习这些具有语义意义的变量。所以,这是一个罕见的例子,一个用相当标准的 GAN 方法训练的神经网络能够真正学习到语义表示。所以,多年来,我们中的许多人试图更进一步,得到一个 GAN 类型神经网络,它不仅有一个语义潜在变量列表,还有一个具有依赖关系的语义潜在变量集合。Edward 的整个编程框架就是为此而设计的。我的意思是,没有人成功过。你认为这可能吗?你认为有可能吗?我不知道。也许是因为反向传播根本不起作用,因为梯度太糟糕了。也许你可以使用 CES 或某种浮点进化算法来做到这一点。我们尝试过,没有成功。最终我们只是暂停了,而不是放弃了。我们暂停了,然后说,好吧,让我们尝试更多创新的方法来学习隐含的,学习网络中隐含的表示,而不试图在网络内部生长它。我在语言方面描述了我们如何做到这一点。在视觉方面也可以做类似的事情。所以,使用它作为预言机。是的,是的。所以,一种方法是使用结构学习算法,它是符号化的,然后使用深度神经网络作为预言机来指导结构学习算法。另一种方法是像 Infogame 那样尝试,并尝试调整神经网络,使其内部有一个符号表示。我倾向于认为大脑所做的事情更像是将深度神经网络类型的东西用作预言机。比如,我认为视觉皮层或小脑可能正在学习一种非语义上有意义的、不透明的、缠结的表示,然后当它们与皮层的更认知部分接口时,皮层就利用它们作为预言机,并学习抽象表示。所以,如果你做运动,比如以网球发球为例。我的网球发球还可以,不算伟大。但我通过反复试验学会了它。我的意思是,我也通过反复试验学会了音乐。我只是坐下来弹奏。但如果你是一名运动员,而我不是一名好运动员,那么你会观看自己发球的视频,你的教练会帮助你思考你在做什么,然后你会形成一个声明性表示。但你的小脑可能没有声明性表示。音乐也是如此。我会听到脑海中的东西,我会坐下来弹奏,就像我听到的那样。然后我会研究我的手指做了什么,看看,你刚才弹奏了什么?你是怎么做到的?因为如果你在作曲,你可能想看看你是怎么做到的,然后以声明性的方式以一种你的手指不会想到的方式来改变它。但生理运动可能来自某种不透明的、小脑强化学习的东西。所以,我认为尝试通过将神经网络视为预言机来挖掘其结构,可能更像是你的声明性思维对你的视觉或运动皮层进行后处理。我的意思是,在视觉方面也是如此。你可以比你说出为什么你认为这件艺术品很美更好地识别美丽的艺术品。但如果你受过艺术评论家的训练,你确实学会了说为什么。其中一些是,但其中一些不是。其中一些是学习将感官知识映射到声明性、语言性知识,而不一定使感官系统本身使用透明且易于交流的表示。这很有趣,将神经网络视为可以用来构建知识库的“愚蠢问题回答者”。而且可能存在多个网络,我想。是的,是的。所以,我认为,如果像 DeepMind 或 OpenAI 这样的团队要构建通用人工智能,我认为 DeepMind 的可能性要大一千倍,从我能判断的来看。因为他们雇佣了很多人,他们有广泛的思维,在许多不同的方法和角度上研究通用人工智能。OpenAI 也非常棒,但我认为他们更像是一个纯粹的深度强化学习商店。我明白了。你说的对。那里有很多,我的意思是,DeepMind 有很多跨学科的工作,比如神经科学与 Google Brain 的结合,虽然他们现在不那么紧密地合作了。但我最年长的儿子 Zarra 正在布拉格的 Josef Urban 指导下攻读应用机器学习到自动定理证明的博士学位。第一篇论文 DeepMath,它应用深度神经网络来指导定理证明,来自 Google Brain。我的意思是,现在自动定理证明社区已经远远超出了 Google 所做的任何事情。但仍然是。但总之,如果那个社区要制造通用人工智能,也许他们会这样做的方式是,你知道,采取 25 个不同的神经网络模块,以不同的方式架构,可能类似于大脑的不同部分,比如基底神经 ganglia 模型、小脑模型、丘脑模型、几个海马体模型,代表皮层部分的几个不同模型。然后将它们连接起来进行共同训练,并一起学习。这将是创建通用人工智能的一种方法。一旦我们有了 True AGI,我们就可以在其之上高效地实现类似的东西,尽管显然 Google 也有他们自己高效的实现架构。所以我认为这是一个不错的构建通用人工智能的方法。我在 90 年代中期对那个很感兴趣。但我的意思是,关于大脑如何工作的知识,你知道,它还没有到位。你知道,在海马体中有概念神经元,比如所谓的“祖母神经元”,每个人都嘲笑它。它实际上就在那里。我有一些 Lex Friedman 神经元,当我看到你时它们会不同地放电,而当我看到任何其他人时则不会。是的。那么这些 Lex Friedman 神经元是如何与我在皮层中对 Lex Friedman 的分布式表示协调的呢?皮层和海马体之间存在一些来回的交互,使得海马体中这些离散的符号表示能够与皮层中的分布式表示相关联并协同工作。这可能与大脑如何进行抽象和量词逻辑有关。比如,你可以在海马体中有一个单一的神经元,它激活皮层中的一个完整的分布式激活模式。这也许就是大脑如何进行符号化和抽象,就像在函数式编程中一样。但我们无法测量它。我们没有足够的电极插在皮层和海马体之间,在任何已知的实验中都无法测量它。所以我对那个方向感到沮丧,不是因为它不可能,而是因为我们还不够了解。当然,这是一个有效的研究方向,你可以尝试了解越来越多。而且我们现在对大脑中发生的事情的测量比以往任何时候都多。所以这很有趣。另一方面,我有点更倾向于工程思维方式来处理通用人工智能。我的意思是,好吧,我们不知道大脑是如何工作的,我们也不知道蜂鸟是如何飞行的,我们对它的空气动力学一无所知。另一方面,我们知道基本的扑翼和向下推空气的原理。我们也知道大脑不同部分工作方式的基本原理。所以,让我们采用这些基本原理,设计出体现这些基本原理的东西,但你知道,为我们现在拥有的硬件进行了良好的设计。对,对。所以你呢?

我认为我们可以创造出通用人工智能,在我们理解大脑如何工作之前。我认为,我认为这很可能就是会发生的事情,而且通用人工智能可能会帮助我们进行更好的脑部成像,然后这将使我们能够建造人工智能人类,这对我们来说非常非常有趣,因为我们是人类,对吧?我的意思是,建造人工智能人类是非常有价值的。我只是认为这可能不是通往通用人工智能的最短路径。所以,我们建造通用人工智能来帮助我们了解自己,这是一个迷人的想法。你知道,很多人问我,如果……你知道,年轻人对人工智能感兴趣,他们会看看……你知道,进行研究生级别的,甚至是本科级别的研究,但研究生级别的研究……他们看到人工智能社区现在的状况,它在很大程度上并不是通用人工智能类型研究。是的,所以他们问的自然问题是,你会给什么建议?我的意思是,也许我可以问一下,如果人们有兴趣从事……你知道,OpenCog 或者与 OpenCog 或通用人工智能研究有直接或间接的联系,你会推荐什么?OpenCog 首先是一个开源项目,有一个……有一个 Google 群组……讨论列表,有一个 GitHub 存储库。所以,如果有人有兴趣在这方面提供帮助……你知道,通用人工智能,请在 OpenCog 电子邮件列表中介绍你自己。而且……还有一个 Slack。我的意思是,我们当然有兴趣……你知道,为新版本的 OpenCog 的重新设计过程提供意见。但是……我们也正在进行很多非常有趣的研究。我的意思是,我们正在为 COVID 临床试验进行数据分析,我们正在与 Hanson Robotics 合作,我们正在使用当前版本的……你知道,OpenCog 进行很多很酷的事情。所以……当然有机会加入 OpenCog 或……你知道,各种其他面向通用人工智能的开源项目。所以,你会说那里有硕士和博士论文吗?很多,是的,很多。当然,我的意思是,挑战在于找到一个愿意培养这种……你知道,这种研究的导师。但比我获得博士学位时容易多了,对吧?所以,好的,我们谈论了 OpenCog,它有点像……你知道,一个软件框架,也是一个实际的……你知道,尝试构建通用人工智能系统的尝试。然后,还有这个令人兴奋的 SingularityNET 的想法。所以,也许你可以先说一下 SingularityNET 是什么?当然,当然。SingularityNET 是一个实现人工智能去中心化网络的平台。所以,人工智能先驱 Marvin Minsky,我认识他一点点,他有一个“心灵社会”的想法,就像你应该通过编写一个算法或一个程序来实现人工智能,但不应该这样做,你应该把很多不同的人工智能放在那里,不同的人工智能会相互交互,各自扮演自己的角色,然后……你知道,人工智能社会的整体就是展示出人类水平智能的东西。在他活着的时候,我曾与 Marvin 就这个想法进行过多次辩论。我认为……他确实认为心灵更像一个社会,而不是我。就像我认为……我认为你可以拥有一个像人类社会一样混乱的心灵,但我认为一个像人类一样的心灵比这有更多的中央控制。实际上,就像……我的意思是,我们有丘脑、延髓和边缘系统。我们有一种自上而下的控制系统,指导我们所做的很多事情,比……你知道,社会所做的更多。所以,我认为他把这个比喻拉伸得有点太远了。但是……我也认为那里有一些有趣的东西。所以,在……你知道,90 年代,当我开始我的第一个……你知道,非学术人工智能项目 WebMind 时,那是在纽约的……你知道,硅谷地区的一个人工智能初创公司,在90年代末。我当时的目标是创建一个分布式的人工智能社会,它的不同部分将生活在世界各地不同的计算机上,每个部分都会对本地数据进行自己的思考,但它们都会相互共享信息,相互外包工作,并进行合作,而智能将存在于……你知道,整个集体中。我在 2001 年与 Francis Heylighen 在布鲁塞尔自由大学一起组织了一个会议,那是“全球大脑零”会议。我们正在计划……你知道,明年在布鲁塞尔自由大学举行的“全球大脑一”会议的下一届。所以,20 年后,也许我们可以再过 10 年举行下一次会议,直到奇点来临,对吧?……时机正好。是的,是的,正是如此。所以,你知道,全球大脑的想法是,也许人工智能不会仅仅存在于一个人电脑上的程序中,而是人工智能将存在于……你知道,整个互联网中,通过生活在不同地方的不同人工智能模块的合作。所以,当你设计这样一个系统时,你面临的一个问题是,你知道,整个系统是如何控制的?你有一个……你知道,一个中央控制单元来操纵所有不同模块的傀儡线吗?还是你有一个根本上去中心化的网络,人工智能社会以某种民主和自组织的方式被该社会中的所有人工智能控制?对吧?我和 Francis 在很多事情上都有不同的看法,但我们都……我们都想创建一个全球性的人工智能心灵社会,并采用去中心化或……你知道,组织模式。现在,主要区别在于,他希望个体人工智能都非常简单,而所有智能都存在于集体层面。而我认为那很酷,但我认为一个更实用的方法可能是,如果心灵社会中的一些代理人本身就相当普遍智能。所以,就像你可以拥有很多 OpenCog,以及很多更简单的学习系统,然后这些……你知道,都在一起合作和协调。有点像大脑。你知道,整个大脑是通用智能,但大脑的某些部分,你可以说,本身就具有相当普遍的智能。而,比如说,小脑或边缘系统的部分本身就很少有普遍智能,它们通过与其他……你知道,模块的连接来贡献通用智能。你是否看到相同类型的……你知道,也许是 OpenCog 的不同版本,但也只是 OpenCog 的相同版本,以及它可能存在的许多实例,作为……你知道,David 和 H 和我想用 Sophia 和其他机器人做的?是的,是的,每个机器人都有自己的个体心灵,生活在服务器上,但也有一个集体智能在它们身上,以及一部分心灵生活在每个机器人的边缘。对,对。所以,所以,当时的情况是,WebMind 是用 Java 1.1 实现的,作为一个……你知道,大规模的分布式系统。你知道,当时还没有区块链。所以,如何……你知道,进行这种去中心化控制?我们……你知道,有点知道它。我们知道分布式系统,我们知道加密。所以,我的意思是,我们拥有现在区块链底层原理的关键原则,但我的意思是,我们没有像现在这样把它组合起来。所以,当 Vitalik Buterin 和他的同事们推出以太坊区块链时,你知道,很多年……你知道,后来,比如 2013 年左右,我就觉得,嗯,这很有趣。这是 Solidity 脚本语言,有点……你知道,有点呆板,而且我不知道为什么你需要一个图灵完备的语言来实现这个目的。但另一方面,这是我第一次可以坐下来,开始……你知道,以一种可控的方式编写心灵社会中人工智能去中心化控制的基础设施。就像你可以破解比特币的 coinbase,但它真的很烦人。而 Solidity 是……以太坊的脚本语言就是更好,也更容易使用。我对此非常恼火,但就像 Java 一样,我的意思是,这些语言在它们刚出现时是惊人的。然后我就有了那个变成了 SingularityNET 的想法。好吧,让我们……你知道,创建一个去中心化的代理系统,其中许多不同的人工智能……你知道,封装在……你知道,不同的 Docker 容器或 LXC 容器中。不同的人工智能都可以拥有自己在区块链上的身份,并且这个人工智能社区的协调没有中央控制器,没有独裁者,对吧?而且没有中央信息存储库。心灵社会的协调完全由去中心化网络以……你知道,去中心化的方式,通过算法来完成。因为……你知道,比特币的模型是“我们相信数学”。对,所以……你知道,这就是你需要的东西。你需要心灵社会只相信数学,不只相信一个……你知道,一个中央服务器。所以,人工智能系统本身在区块链之外。但然后,通信……目前,是的,是的。我本来很想在某种意义上把人工智能的操作放在链上,但在以太坊上,它太慢了。你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你……你

嗯,你也知道,这种,我的意思是,这些机器人离智能还很远。嗯,我上次玩过她的一个,就是那个Spot Mini,是的,非常酷。我的意思是,它的反应方式非常流畅和灵活,对吧?但我们立刻就把那种智能,我们立刻就把通用人工智能归因于它们,是的,是的。如果你踢它,它摔倒了,然后发出“哎哟”一声,你会觉得难过,对吧?你情不自禁,是的。而且,嗯,我的意思是,那是,那是,那是,嗯,一部分,那将是我们创造智能系统旅程的一部分,越来越多,越来越多。就像,嗯,索菲亚(Sophia)最初只是一个会走路的骨架,随着你添加越来越多的智能,我的意思是,我们绝对会不得不处理这种想法。

关于索菲亚,我想说,我的意思是,首先,我对他没有任何意见,他是个好人。如果他想玩媒体的玩笑游戏,我非常乐意。他是一位优秀的科学家,也是一个好人,我很乐意与他合作。但我想说的另一件事是,我一直明确地解释索菲亚是如何运作的,我已经在网上发布了。在H+杂志,一个在线网络杂志上,我的意思是,我发布了一篇相当详细的文章,解释了我们在索菲亚内部使用了三个软件系统。有一个时间线编辑器,它就像一个基于规则的创作系统,她实际上只是人类编写内容的出口。有一个聊天机器人,它有一些基于规则的方面,也有一些神经网络的方面。然后有时我们在索菲亚背后使用了OpenCog,那里有更多的学习和推理。而且你知道,有趣的是,我不能总是分辨出这里是哪个系统在运作,对吧?我的意思是,所以当她,她是否真的在学习,是的,或者在思考,或者只是看起来像,超过半小时我能分辨出来,但如果只是三四分钟的互动,我,我,所以即使有三个系统,也已经足够复杂,你无法立刻分辨出来,是的。

问题是,即使你上台告诉人们索菲亚是如何运作的,然后他们和她交谈,他们仍然会赋予她比实际更多的自主性和意识。所以我认为这里有几个层面的伦理问题。一个问题是,你是否应该透明地说明索菲亚是如何运作的,我认为你应该,而且我认为,我认为我们已经这样做了。我的意思是,我的意思是,网上有文章,还有一些电视特辑,里面有我解释索菲亚背后的三个子系统。所以索菲亚的运作方式比Facebook的AI或其他什么东西的运作方式要清晰得多,对吧?我的意思是,我们对此一直相当明确。

另一个问题是,既然告诉人们它是如何运作的并不能阻止他们仍然赋予它过多的智能代理,那么当他们想被愚弄时,你是否应该继续愚弄他们?我的意思是,你知道,整个媒体行业都是基于以人们希望被愚弄的方式来愚弄他们,而我们,我们正在100%地为了一个好的目的而愚弄人们。我的意思是,我的意思是,我们正在利用人们的同理心和同情心,以便我们可以通过有用的机器人给他们一个良好的用户体验,这样我们就可以,我们可以用爱和同情来填充AI的思维。

所以我最近一直在和汉森机器人公司(Hansen Robotics)谈论在医疗机器人领域的合作,我们还没有完全启动那个领域的项目,但我们很可能很快就会这样做。所以我们一直在谈论很多,你知道,机器人可以帮助老年护理,机器人可以帮助孩子。大卫在新冠疫情之前就用机器人做了很多关于自闭症治疗的事情。拥有一个可以在各种意义上充当护理助手的机器人会非常有价值。机器人不会传播感染,而且它们也能提供比人类护士更多的关注,对吧?所以如果你有一个机器人正在帮助新冠患者,如果那个患者把更多的理解、同情和自主性归因于那个机器人,而它实际上并没有那么多,因为它看起来像个人类,我的意思是,那真的不好吗?我的意思是,我们可以告诉他们它不完全理解你,但他们不在乎,因为他们正躺在那里发烧生病,但他们会对那个带着充满爱意的温暖面部表情的机器人反应更好,而不是对一个Pepper机器人或者一个金属外观的机器人。

所以,这真的,这关乎你如何使用它,对吧?如果你制造了一个看起来像人类的上门推销机器人,它利用其人类般的外表来骗取人们的钱财,是的,那么你就是以一种不好的方式利用了这种联系。但你也可以以一种好的方式使用它,而且,那和所有技术都面临同样的问题,对吧?说得真好。

所以就像你说的,嗯,我们生活在,嗯,新冠疫情时代。这是2020年,是,嗯,近代史上最疯狂的年份之一。所以,嗯,如果我们放大来看这场大流行,嗯,冠状病毒大流行,也许让我问你这种问题,就病毒而言,当你看到病毒时,你是否将它们视为一种智能系统?

我认为智能这个概念最终并不是一个那么自然的观念。我的意思是,我认为人类的心智和身体是一种复杂的自组织适应系统,而病毒当然也是如此,对吧?它们是一个非常复杂的自组织适应系统。如果你想把智能看作是马库斯·胡特(Marcus Hooter)所定义的那样,即在可计算环境中优化可计算的奖励函数,那么病毒肯定在这样做,对吧?而且,我的意思是,在这样做的时候,它们正在对我们造成一些伤害,所以,你知道,人类免疫系统是一个非常复杂的自组织适应系统,它具有很多智能,而病毒也在适应并分裂成新的变异株等等。

最终的解决方案将是纳米技术,对吧?我的意思是,我的意思是,解决方案将是制造能够对抗病毒的小型纳米机器人,或者,人们会用它们来制造更恶劣的病毒,但希望我们也能用它们来检测、对抗并杀死病毒。但我认为现在,现在我们只能依靠生物学,嗯,机制来对抗这些病毒,是的,你知道,通用人工智能(AGI)还没有成熟到可以用来对抗新冠病毒,但我们一直在使用机器学习以及OpenCog中的一些机器推理来帮助一些医生进行针对新冠病毒的个性化医疗。

所以那里的问题是,给定一个人的基因组学数据和他们的临床医学指标,你如何找出哪种抗病毒药物组合对那个人的新冠病毒最有效?所以机器学习在这方面很有趣,但我们也发现OpenCog与机器推理所获得的抽象很有趣,因为当你的研究案例不多,而且病毒的不同毒株或不同年龄的新冠患者之间存在质的差异时,它可以帮助进行迁移学习。所以有很多不同的、不相关的数据需要处理,而且是小数据集,以及如何整合它们。你知道,这是令人羞耻的事情之一,很难获得这些数据。

所以我的意思是,我们正在与几个进行临床试验的团队合作,他们正在与我们分享数据,比如在保密协议下。但实际情况应该是,每个新冠临床试验都应该将数据发布到网上,比如经过适当加密以保护患者隐私,这样任何拥有正确AI算法的人都应该能够帮助分析它,任何生物学家也应该能够手动分析它以理解他们能理解的,对吧?相反,相反,这些数据就像被隔离在运行临床试验的医院内部,这完全是愚蠢和荒谬的。为什么,为什么世界会这样运作?我的意思是,我们都可以分析原因,但它这样做是疯狂的。

你看看这个羟氯喹,对吧?所有这些临床试验都是由Surgisphere这家没人听说过的小公司报告的,每个人都关注了这一点。所以他们基于此进行了更多的临床试验,然后他们停止了基于此的临床试验,然后又重新开始。为什么这些数据不直接公开,以便每个人都可以分析它,并看看发生了什么,对吧?

你希望,嗯,我们会前进,嗯,这些数据最终会公开,以应对未来的大流行病。我的意思是,你是否希望我们的社会会朝着这个方向发展?在不久的将来不会,因为中美摩擦越来越严重,所以很难看到我们和中国朝着彼此公开分享数据的方向发展,对吧?这不是说没有数据共享,但不同的团体在从数据中获得最佳结果之前会将其数据保密,然后他们才会分享,对吧?所以,是的,我们正在处理一些我们设法获得的数据,我们正在做一些对世界有益的事情,这是一个非常酷的试验场,可以把深度神经网络和OpenCog结合在一起。所以我们有一个生物原子空间,里面充满了来自许多不同生物学实验的关于人类长寿的知识,以及来自在线生物学知识库的知识,我们可以做图到向量类型的嵌入,我们将超图中的节点嵌入到向量中,然后这些向量可以输入到神经网络中进行不同类型的分析。我们在名为“Rejuve”的项目背景下进行这项工作,这个项目是我们从SingularityNET剥离出来的,用于进行长寿分析,比如了解为什么有些人能活到105岁或更久,而其他人不能。然后我们有了这个衍生公司Singularity Studio,我们正在与一些医疗保健公司合作进行数据分析,但我们为这些更商业化和长寿数据分析目的而构建的这个生物空间正在被重新利用,并将新冠数据输入到同一个生物原子空间中,并尝试将该图中的图嵌入到神经网络中进行生物信息学分析。所以它既是我们生物AI学习和推理的一个很酷的试验场,而且我们似乎能够发现人们以前没有看到的东西,因为在这种情况下,对于每种抗病毒药物组合,可能只有少数患者尝试过这种组合,而这些少数患者可能具有其特定的特征,比如这种三种药物的组合只在80岁或以上的人群中尝试过,而另一种与第一种有重叠的三种药物组合则更多地在年轻人中尝试过。那么你如何结合这些不同的数据呢?这是一个非常棘手的迁移学习问题,而我们OpenCog内部的概率推理算法在这方面比深度神经网络更擅长。

另一方面,你有基因表达数据,其中有25,000个基因,以及每个人外周血中每个基因的表达水平。所以这类数据,无论是深度神经网络,还是像XGBoost或CatBoost这样的决策森林树,都比OpenCog更擅长处理,因为它只是这些巨大、混乱的浮点向量,对于逻辑引擎来说处理起来很麻烦,但对于决策森林或神经网络来说却是完美的。

所以它是一个很好的混合AI方法论的试验场,我们可以让SingularityNET在一个代理中拥有OpenCog,在另一个代理中拥有XGBoost,它们彼此交流。但与此同时,它也非常实用,对吧?因为我们正在与,例如,一些医生在这个项目上合作,这些医生来自温哥华和西雅图的一个名为“AnOpinion”的团队,他们每天都在医院里与新冠患者一起工作,患者正在死于新冠。所以看到像神经符号AI这样的东西,就像是真刀真枪地尝试拯救人们的生命,这非常酷。

我从2001年开始就一直在做生物AI研究,但主要是人类长寿研究和果蝇长寿研究,试图理解为什么有些生物能活得很久。这是第一次像与时间赛跑一样,试图利用AI来找出一些事情,比如如果我们再花两个月来解决AI问题,就会有更多人死去,因为我们不知道该给他们哪种抗病毒药物组合,是的。

在社会层面,在生物层面,在任何层面,你对我们人类摆脱这场大流行病抱有希望吗?你对任何普遍情况有什么看法?嗯,一旦有了疫苗,大流行病在一两年内就会消失。所以我的意思是,那是,那是,但在那段时间里可能会发生很多痛苦和磨难,所以我的意思是,那可能是不可逆转的。

我的意思是,我认为如果你在撒哈拉以南非洲待很长时间,你会看到那里一直都在发生很多痛苦和磨难。就像你走过撒哈拉以南非洲任何一个大城市的街道,那里有成千上万,可能几十万的人躺在路边,主要死于可治愈的疾病,没有食物或水,要么被家人排斥,要么他们离开了家,因为他们不想感染家人,对吧?

我的意思是,地球上一直存在着巨大的苦难,而发达国家的大多数人对此不予理会,新冠病毒绝不是最糟糕的。一直有多少人死于疟疾?我的意思是,所以新冠病毒很糟糕,但它绝不是正在发生的最糟糕的事情。撇开疾病不谈,我的意思是,世界上有很多地方,你面临着你的少年儿子被武装民兵绑架,并被迫在别人的战争中再次部落与部落之间战斗而丧生的风险。我的意思是,所以人类有很多问题,鉴于我们目前的技术发展水平,我们本不必拥有这些问题。

我认为新冠病毒是更容易解决的问题之一,因为有许多杰出的人正在研究疫苗,我们拥有制造疫苗的技术,而且我们将会,我们将会制造新的疫苗。我们更应该担心的是,在这么长时间之后,在盖茨基金会和其他机构投入了如此多的资金之后,我们仍然未能战胜疟疾。

我的意思是,我认为很明显,整个全球医疗系统、全球卫生系统以及全球政治和社会经济系统都极其不道德、不平等且设计糟糕。我的意思是,我不知道如何直接解决这个问题。我认为我们可以间接解决它的方法是,创建与那些名义上用我们的军队和民兵控制世界的政府并行运作且独立于其之外的系统。而且,在你能建立富有同情心的点对点去中心化框架来做事的情况下,这些事情可以从不受监管开始,然后如果在监管机构介入之前它们获得了关注,那么它们就已经影响了世界的运作方式,对吧?

SingularityNET旨在通过AI Rejuve来做到这一点,Rejuve是SingularityNET的一个衍生项目,你可以在rejuve.io上看到。Rejuve.io旨在为医疗领域做同样的事情。所以它就像医疗数据的点对点共享,你可以将医疗数据共享到一个安全的数据钱包中,你可以通过Rejuve将在未来几个月内推出的应用程序获得关于你的健康和长寿的建议,然后Singularity AI可以分析所有这些数据,但分析带来的好处将分配给网络的所有成员。

但我的意思是,当然我会推销我的特定项目,但我的意思是,无论Singularity和Rejuve是否是答案,我认为关键是为所有事物创建去中心化机制。我的意思是,对于AI,对于人类健康,对于政治,对于就业,对于社会信息共享,只要以普遍同情为核心设计的去中心化点对点方法能够获得关注,那么这些方法就会减少政府的作用,我认为这比试图明确改革全球政府系统更有可能带来好处。

我的意思是,我很高兴其他人正在尝试明确改革全球政府系统。另一方面,你看看互联网、谷歌或手机做了多少好事。你的意思是,你正在创造一些去中心化的东西,并将其散布到各地,然后它扎根了,那么政府就必须适应。我的意思是,这就是我们需要对AI和健康做的事情。从这个角度来看,我的意思是,医疗保健和AI的中心化当然不理想,对吧?

就像大多数AI博士生都被,你知道,六七家大公司吸走了,大多数AI处理能力都被少数几家大公司购买用于其专有利益,大多数医学研究都在少数几家制药公司内部,而由制药公司进行的临床试验将牢牢地保留在这些制药公司内部。你知道,这些大型的中心化实体,它们本身就是智能体,这些公司,但它们大多是恶意的、精神病态的和反社会人格的智能体,我不是说参与其中的人,而是公司作为独立的自组织实体,它们只关注最大化股东价值作为唯一的客观函数。

我的意思是,AI和医学正在被这些病态的公司组织所吸纳,并与政府合作,谷歌在这方面与英国和美国政府合作,这只是众多例子中的一个。23andMe为你提供测序基因组的优质服务,然后将基因组独家授权给葛兰素史克,对吧?现在你可以拿走你自己的DNA并随意处置,但23andMe测序DNA的汇总集合只属于葛兰素史克。其他人可以联系所有与23andMe合作测序DNA的人,说把你们的DNA给我们,用于我们开放和去中心化的存储库,这将对所有人开放,但没有人这样做,因为组织起来很麻烦,而且客户列表是23andMe的专有财产,对吧?

所以,是的,我的意思是,这,这,我认为这是AI对人类更大的风险,而不是流氓通用人工智能将宇宙变成回形针或计算材料。因为你在这里看到的是大多数心地善良的好人,他们被吸入了一种组织模式,对吧,大型公司,这种模式的演变并非任何个人的过错,仅仅因为社会就是这样演变的,它不是利他主义的,而是变得自私自利,变得精神病态,就像你说的,公司是精神病态的,即使人不是。而这正是,这正是真正令人不安的地方,因为公司可以做对社会相当糟糕的事情,即使没有人,没有人有,有不良意图,对吧?

而且那个公司的任何一个成员都没有恶意,不,有些人可能有,但他们没有,但但他们不一定需要有恶意才能为公司服务。就像我的意思是,谷歌,我认识谷歌的很多人,他们除了极少数例外,都是非常好的人,他们真心希望世界变得更好。Facebook我认识的人比较少,但可能大多数,可能大多数都是真的,可能都是些想创造酷炫技术的优秀年轻极客。我实际上倾向于相信,即使是领导者,甚至是马克·扎克伯格,科技界最不受欢迎的人之一,也希望为世界做好事。

你觉得杰米·戴蒙怎么样?杰米·戴蒙是谁?哦,那些大公司的头头们可能有不同的心理,哦,天哪,是的。嗯,我倾向于,嗯,我倾向于对这些事情很天真,并且看到,看到最好的一面,嗯,我,我,我倾向于同意你的看法,我认为个人希望为世界做好事,但公司的机制有时可以成为它自己的智能系统。

我的意思是,我的表弟马里奥·盖尔(Mario Gel)从1985年左右就开始为微软工作,我能看到对他来说,我的意思是,除了做酷炫的项目,你还在编写被数十亿人使用的代码,你会想,如果我改进这个功能,那会让数十亿人的生活更轻松,对吧?所以当然,当然这很酷。而且你知道,工程师无论如何都不负责运营公司,当然,即使你是马克·扎克伯格或拉里·佩奇,我的意思是,你仍然有信托责任,我的意思是,你对股东负责,对你希望继续支付工资的员工负责等等。所以,是的,你被困在这个系统中。而且你知道,当我在华盛顿特区工作时,我与美国陆军情报与安全司令部(INSCOM)合作了很多,我当时在政治上强烈反对美国陆军在伊拉克所做的事情,比如在阿布格莱布监狱折磨人,但我在美国陆军情报与安全司令部认识的每个人,当我与他们相处时,都是非常好的人,他们对我友好,对我的孩子和我的狗都很好,对吧?他们真的相信美国正在与邪恶势力作斗争,如果你问他们关于阿布格莱布监狱的事情,他们会说,嗯,但这些阿拉伯人会把我们砍成碎片,所以你怎么能说我们对他们进行一点水刑是错的呢,对吧?那比他们对我们做的要少得多。在他们的世界观里,他们所做的一切都是真正为了人类的福祉,就像他们没有人早上醒来会说,我想伤害好人,因为我只是个坏家伙,对吧?

所以,是的,地球上大多数人,除了少数真正的精神病患者和反社会人格者,我的意思是,地球上大多数人都怀有强烈的善意和做好事的愿望,同时也具有强大的能力说服自己,无论他们想做什么,或者对他们最好的事情,都是为了人类的福祉,对吧?

所以我们越能去中心化控制,你知道,民主很糟糕,但这就像丘吉尔说的,你知道,它是除了所有其他制度之外最糟糕的政府制度,对吧?我的意思是,我认为整个人类社会有很多很多非常糟糕的方面,但到目前为止,那些自认为知道什么对全人类更好的精英群体的记录,远比整个人类大众的民主参与记录要糟糕得多,对吧?

我的意思是,它们没有一个是完美的。一个知道什么最好的小精英群体的问题是,即使它最初是真正仁慈的,并按照其最初的良好意图做善事,你也会发现你需要更多的资源,你需要一个更大的组织,你吸引更多的人,内部政治出现,意见分歧出现,贿赂发生,就像一些对立组织把二把手拉出来,让其成为某个其他组织的一把手。我的意思是,精英群体自认为知道什么对人类最好,这样的历史有很多。

所以,如果你非要我选择,我将不情愿地把我的信念寄托在庞大的民主去中心化大众身上,而且我认为公司的道德记录比其组成的人类部分更糟糕。而且你知道,民主政府的记录好坏参半,但至少,但这是我们所能得到的最好的,是的。

我的意思是,你可以,你可以,有冰岛,非常好的国家,对吧?我的意思是,800多年来非常民主,非常仁慈有益的政府。而且我认为,是的,有民主组织模式的记录。例如,Linux的一些负责人是公开的,对吧,并且在许多情况下试图自我改革,在其他情况下则没有,但作为一个整体的组织,我认为它总体上做得很好,例如在第三世界非常受欢迎,并且它允许先进技术在各种不同的嵌入式设备和平台上推广,在那些人们无法负担专有软件费用的地方。所以我会说,互联网、Linux和许多民主国家都是例子,说明一种开放的、去中心化的民主方法论在道德上如何能比各部分之和更好,而不是更糟。而公司,这种情况只发生了一小段时间,然后,然后它就变质了,对吧?

我的意思是,我会对大学说类似的话,比如大学是一种糟糕的组织研究和完成事情的方式,但它比我们想出的任何其他方式都好,对吧?一家公司可以好得多,但只是一小段时间,然后它就停止了,停止了那么好,对吧?

所以,那么我认为,如果你相信AI将以某种方式逐步从AI在世界上做实际事情中出现,比如控制人形机器人,或者驾驶汽车,或者诊断疾病,或者操作杀人无人机,或者监视人们并向政府报告,那么,那么什么样的组织能够创造出越来越多趋向于通用人工智能的先进狭义AI,可能就非常重要。因为它将引导早期通用人工智能的心智中有什么,因为它首先获得了重写自身代码库并将其自身投射到超级智能的能力。

而且如果你相信AI可能会从许多代理协同合作的活动中走向通用人工智能,而不是仅仅是一个人的项目,那么谁拥有和控制那个AI合作平台也变得非常非常重要,对吧?那个平台是AWS吗?是谷歌云吗?是阿里巴巴吗?还是更像互联网或SingularityNET这样开放和去中心化的东西?

所以,如果我所有奇怪的计谋都实现了,对吧?我的意思是,我们有汉森机器人作为漂亮的用户界面,你知道,收集关于人类价值观的信息,并在医疗家庭服务机器人和办公应用方面对人们充满爱心和同情。你有SingularityNET在后端将许多不同的AI连接起来,形成合作智能,为机器人提供动力,以及许多其他事情。你有OpenCog 2.0和真正的通用人工智能作为这个去中心化网络内部的AI来源之一,为机器人和医疗AI提供动力,帮助我们长寿和治愈疾病等等。而且这一切都以民主和去中心化的方式运作,对吧?

我认为,如果任何人都能实现这样的事情,你知道,无论是使用我提到的特定技术还是其他什么,我的意思是,那么我认为我们更有可能走向一个有益的技术奇点,而不是一个第一个超级通用人工智能对人类漠不关心,只把我们视为分子低效利用的奇点。那是一个对世界的美好愿景,谢谢你。

但我们来谈谈生与死。我支持生命,反对死亡。嗯,对大多数人来说,有一些例外我不会在这里提及。我很高兴,就像你爸爸一样,你正在反对,嗯,死亡。嗯,顺便说一句,你有很多很棒的音乐,你在网上弹钢琴。嗯,其中一首歌,我相信是你写的,嗯,歌词是,顺便说一句,我喜欢它的声音,人们应该听听,它很棒。我曾考虑过,我可能会翻唱它,这是一首好歌。嗯,告诉我,你为什么认为我们都会变老和死亡是件好事?这是我喜欢它声音的歌曲之一。但让我先问你关于死亡的问题,你认为死亡中是否存在某种元素,对于赋予我们生命意义至关重要,就像这件事会结束一样?

我,我,嗯,很高兴,也有点不好意思,你一直在听我放在网上的那些音乐,那很棒。我最近生活中的一个遗憾是,我很想有时间好好制作音乐,比如我,我,我大约五年没碰我的音序器软件了,比如我,我很想排练、制作和编辑,但有了两岁的孩子,而且还在努力创造奇点,根本没有时间。所以我,我只是决定,当我在空闲时随意弹奏时,就把它录下来,就,就录下来,然后发布出去,就像,就像随便什么。也许如果我不幸去世了,也许那可以作为通用人工智能试图对我进行精确思维上传时的输入,对吧?

死亡是坏事,我的意思是,这很简单,这很令人困惑,我们应该这样说。我的意思是,当然人们可以从死亡中创造意义,如果一个人被折磨,也许他们可以从那种折磨中创造出美丽的意义,并写一首关于被折磨的经历的美丽诗歌,对吧?我的意思是,我们非常有创造力,我们甚至可以从最可怕和最糟糕的事情中榨取出美和积极性。但仅仅因为如果我被折磨,我能写一首关于被折磨经历的好歌,并不意味着折磨是好的;仅仅因为人们能够从死亡中获得意义和价值,并不意味着他们不能从没有死亡的持续生命中获得更好甚至更多的意义和价值,对此我非常肯定,是的,是的。

所以如果你能永生,你会永远活下去吗?我,我,我进行长寿研究的目标是废除非自愿死亡的瘟疫。我不认为人们应该死亡,除非他们选择死亡。如果我必须在被迫永生和死亡之间选择,我会选择被迫永生。另一方面,如果我选择,如果我有永生并可以随时选择自杀的权利,我当然会选择后者,那是一个更现实的选择。我的意思是,没有理由你必须被迫永生,你应该能够活到你厌倦生活为止,对吧?

我的意思是,那,那在50年后对每个人来说都会显得极其明显,他们会,我的意思是,那些认为死亡赋予生命意义所以我们都应该死去的人,他们50年后看待这种想法的方式,就像我们现在看待公元1000年那些重洗派教徒一样,他们放弃了所有财产,爬到山顶等待耶稣降临并带他们升天。我的意思是,人们认为死亡是好的,因为你随着接近死亡会获得更多智慧,这很荒谬。我的意思是,当然这是真的。我的意思是,我53岁了,你知道,我可能只剩下几十年的事实确实让我对事情有了不同的思考,它确实让我对许多事情有了更深的理解,但我的意思是,那又怎样,你可以在很多不同的方式中获得深刻的理解。

痛苦也是一样,比如我们要废除痛苦,那,那,那甚至比废除死亡更令人惊叹,对吧?我的意思是,一旦我们在神经科学方面做得更好一点,我们将能够进入并调整大脑,使疼痛不再疼痛,对吧?而且你知道,人们会说那很糟糕,因为克服痛苦和磨难有很多美。嗯,当然,克服折磨也有美,但有些人喜欢自残,但不多,对吧?

我的意思是,那很有趣,但要反驳,我的意思是,再次反驳我内心的俄罗斯一面,我确实将苦难浪漫化了,这并非不明显。我的意思是,你这样说,听起来非常合乎逻辑,将苦难、痛苦或死亡浪漫化几乎是荒谬的,但对我来说,一个没有苦难、没有痛苦、没有死亡的世界,你能在人类动物园里待着,人们互相折磨,这并不明显,对吧?不,但我的意思是,我,我不知道,嗯,我想说的就是,我不知道如果我面临那个选择,我会选择什么,因为对我来说,不,这,这,这是一个更微妙的问题,我在这段对话中以一种不必要的极端方式提出了它。

所以我,我认为,我认为你应该这样想:如果你的头侧面有一个小旋钮,你可以调节疼痛的程度,把它调到零,或者像在《摇滚万岁》里那样调到11,如果它愿意,也许通过实际的脊椎穿刺,对吧?所以我的意思是,你会选择在那里安装那个旋钮吗?那,那,那就是问题所在。问题不是你是否会一直把疼痛调到零,而是你是否会选择安装那个旋钮。我的猜测是,在你生命中的某个黑暗时刻,你会选择植入那个旋钮,然后它就会在那里。

只是坦白一件小事,我,嗯,别问我为什么,但我目前正在进行这项体能挑战,我每天做680个俯卧撑和引体向上,而且我的肩膀现在,当我们坐在这里时,非常疼痛。而且,嗯,我不知道,我当然现在,如果你给我一个旋钮,我会尽快把它调到零,但我不知道,我认为这次旅程的全部意义是,我不知道,嗯,因为你,你是一个扭曲的人,我是一个扭曲的。所以问题是,我是否以某种方式扭曲了,我是否扭曲了,因为我为自己创造了某种叙事,以便我能够处理世界上的不公正和苦难,嗯,或者这实际上会成为我幸福的源泉?

嗯,这,这在某种程度上是人类将要承担的一个研究问题,对吧?所以我的意思是,人类,人类确实有特定的生物构成,这在某种程度上暗示了动机系统上的某种概率分布,对吧?所以我的意思是,我们,我们,我们,而且那,那就在那里,说得好,那就在那里。现在的问题是,随着社会和技术的发展,它能多么灵活地变形,对吧?

所以,如果,如果我们有了那个旋钮,并且我们生活在一个社会中,比如说我们不必,我们不必为了生计而工作,而且有一个无处不在的去中心化仁慈AI网络,它会在我们即将伤害自己时警告我们。你知道,如果我们处于不同的情境中,我们能否在真正完全是人类的情况下,始终保持一种意识状态,即我们只想把疼痛旋钮一直调到最低,但我们现在却过着非常有意义和充实的生活?我怀疑答案是肯定的,我们可以做到,但我,我不知道那是否是研究,我不能确定,是的。

现在我更有信心,我们可以创造一个非人类的通用人工智能系统,它根本不需要疼痛感的模拟,而且我认为那个通用人工智能系统将比人类更健康、更仁慈。所以我认为,人类需要某种程度的苦难才能感到满足,这可能是真的,也可能不是真的。如果这是真的,那么这就是使我们不适合成为超级通用人工智能的原因之一,对吧?

我的意思是,这是人类动机系统的本质,我们似乎倾向于这样的情况:在宏观层面上最好的事情,根据我们的主观价值体系,在微观层面上却不是最好的事情。所以我们倾向于主观价值判断,即为了在宏观上满足自己,我们必须在微观上不满足自己。你在音乐中可以看到这一点,有一种音乐理论认为,音乐美学的关键在于对期望的惊喜实现。就像你想要一些东西,它能满足音乐前一部分列出的期望,但又带有一点点让你惊喜的转折。而且我的意思是,这不仅适用于像我自己的户外音乐,或者扎帕(Zappa)、史蒂夫·瓦伊(Steve Vai)、巴克海德(Buckethead)或克里斯托弗·潘德雷茨基(Krzysztof Penderecki)的音乐,甚至在莫扎特(Mozart)的音乐中也有。在电梯音乐中就不太多了,但那,那,那就是为什么,那就是为什么它很无聊,对吧?

但其中包含着,你知道,我们想受一点点伤,这样我们就能,我们就能感觉到,我们就能感觉到痛苦消失。就像我们想对接下来发生的事情有点,有点,有点困惑,所以当接下来发生的事情真正有意义时,它就非常令人满意,对吧?而且是出乎意料地满足了期望,你是这么说的吗?是的,是的。

说得真好。嗯,我们一直在回避这个问题,但如果我问你最荒谬的宏大问题:生命的意义是什么?嗯,你的答案会是三个价值观:喜悦、成长和选择。

我,我,我认为你需要,你需要喜悦。我的意思是,那是所有事物的根据,如果你想要头号价值观。另一方面,我对一种不进步的静态喜悦感到不满意,也许是因为人类某种基本的反常元素,但某种程度上,事物不断成长、变得越来越好、越来越棒的想法吸引着我。但我也有点喜欢个体性的想法,即作为一个独特的系统,我有一些自主性,在这个系统内部有一些因果关系的联系,而不是因果关系完全均匀地分布在快乐成长的群体中。所以你从喜悦、成长和选择这三个基本价值观开始,那,而且这三件事可以无限期地持续下去,那不是,那是一些,是的,可以永远持续下去的东西。有没有你称之为“超级长寿”的某个方面,你觉得很兴奋?在研究方面,那个领域有什么想法?

我的意思是,我,我认为,是的,就生命的意义而言,这确实与此相关,因为对我们人类来说,获得最大喜悦、成长和选择的方式,很可能是超人类主义,超越我们现在拥有的那种人类形态,对吧?

我的意思是,我认为人体很棒,我们任何人都没有充分发挥我们人体中固有的喜悦、成长和选择的潜力。另一方面,很明显,其他物质配置可以展现出比人类更大程度的喜悦、成长和选择,甚至可能找到超越我们目前所理解的物质领域的方法。所以我认为,在实际意义上,我在人类生活中看到的大部分意义是创造出比人类更好的东西,并超越生命。

但当然,在实际意义上,对我来说这并非全部,对吧?比如我有四个孩子,一个孙女,还有许多朋友、父母和家人,只是享受日常的人类社会生活。嗯,我们可以做得更好,是的,是的。

我的意思是,我,我喜欢,我一直以来,只要能住在靠近大自然的地方,我每天都会花很多时间在大自然中,在森林里,在水边等等。所以我的意思是,享受愉快的时刻是其中一部分,但你知道,成长和选择方面受到我们人类生物学的严重限制,特别是死亡似乎在很大程度上抑制了你个人成长的潜力,据我们所知。

我的意思是,也许存在某种死后生命,但即使存在,为什么不也继续在这个生物领域中前进呢,对吧?在超级长寿方面。我的意思是,你知道,我们还没有治愈衰老,我们还没有治愈死亡,当然,周围有很多非常有趣的进展。我的意思是,CRISPR和基因编辑可以是一个令人难以置信的工具。我的意思是,现在干细胞有可能大大延长寿命,就像如果你给身体的每个组织注射干细胞,并且你可以用这些干细胞产生的新细胞替换旧细胞,我的意思是,那对延长寿命可能非常有影响力。现在我们只需要稍微更好的技术来让它们生长,对吧?所以你使用机器学习来指导干细胞分化和转分化的过程,这有点细节,但我的意思是,那,那,那,那相当有趣。

所以我认为,有很多不同的事情正在做,以帮助延长人类寿命,但我们可以做得更好。例如,细胞外基质,它是你身体细胞之间的一堆蛋白质,随着你年龄增长,它们会变得越来越硬。细胞外基质通过电学、机械和某种程度上的生物光子学方式传输信息,所以身体各部分之间都有这种传输。但细胞外基质越硬,传输就越少,这使得你的身体随着年龄增长,不同器官之间的协调性变得更差。所以我的朋友克里斯蒂安·沙夫迈斯特(Christian Schafmeister),在我校友组织,我的母校天普大学,克里斯蒂安·沙夫迈斯特对此有一个潜在的解决方案,他拥有这些名为“螺旋配体”(spirro ligers)的新型分子,它们是非有机聚合物,是专门设计的聚合物,这样你就可以非常简单地算法预测它们将如何精确折叠。所以他设计了一种分子剪刀,它含有螺旋配体,你可以吃下去,然后它就会切断你细胞外基质中所有的葡萄糖胺和其他交联蛋白,对吧?但要让这项技术真正发挥作用并成熟,据我所知需要几年的工作,目前没有人资助它。但有,所以有很多不同的方式可以利用技术来延长寿命。

我们真正需要的是一个整合了关于人类和模式生物所有生物学知识的数据库,比如,希望是一个分布式OpenCog生物原子空间,但它也可以以其他形式存在。我们需要以适当保护隐私的方式开放这些数据。我们需要对机器学习、通用人工智能(AGI)、原型AI统计研究进行大规模资助,旨在基于这个庞大的数据集解决分子生物学和人类生物学问题,对吧?而且,然后我们需要监管机构不要阻止人们尝试激进疗法,如果他们愿意的话,以及更好的基于云的平台,用于对微生物、果蝇和老鼠等进行自动化实验,而且我们可以做到所有这些。

你看看上次金融危机之后,奥巴马,我通常很喜欢他,但他给了大型银行和保险公司4万亿美元。你知道,现在在这场新冠危机中,数万亿美元正在用于帮助普通民众和小企业,最终我们可能还会发现更多的万亿美元被给予大型银行和保险公司。比如,世界能否投入10万亿美元来建造一个大规模的整体生物AI、生物模拟和实验生物学基础设施?我们可以,我们可以投入10万亿美元,甚至不会把我们搞得太糟,就像最终新冠疫情和上次金融危机不会把世界经济搞得太糟一样。

我们没有投入10万亿美元,相反,所有的研究都被隔离在少数几家大公司和政府机构内部。而且我们个人身体产生的大部分数据,这些数据本可以喂给这个AI来解决衰老和死亡问题,大部分数据都躺在一些医院的数据库里,什么也没做,对吧?

我还有,嗯,两个快速问题要问你。嗯,一个是我知道很多人会问我,你在乔·罗根(Joe Rogan)播客上戴着那顶同样惊人的帽子。嗯,你有没有关于这顶帽子的起源故事?这顶帽子有没有它自己的故事,你,嗯,可以分享的?

嗯,帽子的故事还没有讲,所以我们得再回来,你可以,你可以采访那顶帽子。

帽子,我们留待“帽子区”采访再说吧。这太多了,太多了,无法打包。有没有一本书?帽子会写书吗?好吧,我们……它可能会通过直接神经传输来传递信息。好吧,所以它实际上可能有一些 Neuralink 的竞争。很美。我们把它留作一个谜。也许最后一个问题,如果你……你建造了一个 AGI 系统,你成功地建造了一个 AGI 系统,它能带领我们走向奇点,而你能够和它交谈并问它一个问题,那会是什么问题?我们不允许问“我应该问什么问题?”是的,那算是作弊了。但我猜那是个好问题。我正在想,我曾经和 Stefan Bugyi 写过一个故事,其中这些 AI 开发者创造了一个超级智能的 AI,旨在回答所有困扰他们的哲学问题,比如“生命的意义是什么?是否有自由意志?什么是意识?”等等。所以他们建造了超级 AGI,它……它花了一段时间,说“那些问题真的很愚蠢”,然后它就离开了地球,离开了地球,离开了地球。看到吗?害怕吓跑它,吓跑它。就是这样。是的,说实话,真的没有一个问题比其他所有问题更重要。我更感兴趣的是提升我自己的智力,这样我就可以吸收超级 AGI 的整个世界观。但当然,如果答案是“长生不老药的化学式是什么?”,那我就会那样做,或者发出一个字符串,它将是 Intel i7 处理器上超级 AGI 的代码。所以那些将是好问题。所以如果你的思想被扩展成超级智能,就像你描述的那样,我的意思是,有一种观念认为智力是一种负担,随着智力的不断提高,你提到的快乐的另一个指标会变得越来越困难。你那个非常愚蠢的想法,所以你认为如果你超级聪明,你也可以超级快乐吗?我认为获得对你大脑的根访问权限将能够带来我们现在没有的新形式的快乐。我认为正如我之前所说,我的目标是真正创造多个版本的自己。所以我想保留一个版本,它基本上像我现在一样是人类,但你知道,可以调节疼痛的开关,摆脱死亡。然后创造另一个版本,它将自己的思想与超人类 AGI 融合,然后我们将变得非常超人类。它是否会向人类的我发送一些信息回来,这将很有趣。关键是,一旦你成为超级超级 AGI,对人类来说一秒钟可能相当于对那个超级 AGI 来说是一百万年。所以它将完全是另一个基础。我的意思是,至少有这两个副本是好的,但将你的思想放入海豚或太空变形虫或各种其他东西中可能会很有趣。或者你可以想象一个版本每年智力翻倍,而另一个版本则尽可能快地成为超级 AGI。所以,我的意思是,现在我们被限制在一个思维、一个自我、一个身体。但我想我们实际上不必如此受限地思考未来的智力,一旦我们掌握了 AGI、纳米技术和长寿生物学。我的意思是,我们每个人的思想都是一种特定的组织模式。我知道我们还没有谈论意识,但我有点泛灵论者,我有点将宇宙视为有意识的。所以,你知道,一个灯泡,一个夸克,一只蚂蚁,一条虫子,一只猴子都有它们自己的意识表现形式,而人类的意识表现形式部分地与我们所体现的特定肉体有关,但很大程度上与大脑中的组织模式有关。所以,如果你将自己上传到电脑或机器人或任何其他东西中,人类意识的某些元素可能不存在,因为它只与生物体的体现有关。但我认为大部分会存在,这些将是你意识的不同风味的化身。你知道,创造这些不同的版本将是惊人的,它们中的每一个都将发现生命的意义,这些意义将与人类的生命意义有一些重叠,但可能不是完全重叠。关键是到达那个未来,我们可以探索不同种类的快乐,不同种类的人类体验和价值观,以及超人类的体验和价值观。要到达那个未来,我们需要穿越很多公司、政府、杀人无人机,以及赚钱和赔钱等等。而这正是我们现在面临的挑战。如果我们做得对,我们可以达到一个仁慈的奇点,它拥有人类无法想象的快乐、成长和选择的水平。如果我们做得不对,我们可能会毁灭地球上的所有生命,或者导致一种情况,比如所有人类都被毁灭,然后有一个超级 AGI 继续做它自己的事情,与我们无关,除了我们起源它的作用。我们现在可能正处于一个分叉点,我们现在所做的事情对未来有重大的因果影响,但地球上的大多数人根本不这样想。他们只想着自己狭隘的目标和现在的目标。当然,我也有一定程度地想着我自己的狭隘目标,但我正试图尽我所能地利用我的能量和思想来推动这个更仁慈的替代方案,这对我和对其他人都会更好。奇怪的是,很少有人理解发生了什么。我知道你采访了埃隆·马斯克,他理解很多事情,但他比我更偏执,因为埃隆明白 AGI 将会比人类聪明得多。而且他明白 AGI 不一定会在乎人类,因为与许多 AGI 相比,我们是一种非常初级的物质组织模式。但我不认为他清楚地认识到,通过将早期 AGI 注入同情心和人类的温暖,可以产生一个爱和帮助人类的 AGI,而不是将我们视为历史遗迹和浪费物质能量。但另一方面,虽然我与他有些分歧,但他理解的故事比几乎任何其他处于如此大规模企业领导职位的人都要多。外面对这些根本问题的理解是多么糟糕,现在可能与五到十年后不同,因为我可以看到,与十到十五年前相比,对 AGI 和长寿等问题的理解肯定更强,也更普遍。所以,我的意思是,从整体上看,人类的学习速度可能比我想要的要慢。但从历史的角度来看,另一方面,你可以说进步是惊人的快。但埃隆也在乔·罗根播客上说过,我认为爱是答案。所以,也许在这方面,你和他都在如何处理 AI 的问题上站在同一页上。我认为没有比这更好的结束方式了。我希望我们能再次谈论帽子、意识以及我们没有涵盖的数百万个话题。本,能和你交谈是莫大的荣幸。谢谢你出来。谢谢你今天和我交谈。诺克,谢谢你邀请我。这真的,真的,真的很有趣,我们深入探讨了一些非常重要的事情。所以,谢谢你做这件事。非常感谢。太棒了,感谢收听本·格泽尔的对话,也感谢我们的赞助商 Jordan Harbinger Show 和 Master Class。请考虑通过访问 Jordan Harbinger.com/lex 并注册 Master Class,以及 masterclass.com/lex 来支持这个播客。点击链接,购买商品,这是支持这个播客以及我研究和创业之旅的最佳方式。如果你喜欢这个节目,请在 YouTube 上订阅,在 Apple Podcast 上给它五星好评,在 Patreon 上支持我,或者在 Twitter 上与我联系。Alex Friedman,拼写时没有 e,就是 f r i d m a n。我敢肯定,最终你会弄清楚的。现在,让我用本·格泽尔的一些话来结束:我们描述情感的语言非常粗糙,这就是音乐的用武之地。感谢收听,希望下次再见。