Human Dignity in the Age of AI | Yuval Noah Harari

伊瓦尔，非常感谢您来到KO大学。感谢您的邀请。能来到这里，我感到非常荣幸。我们只有30分钟。所以，我将向您提出大量问题。当然。那么，第一个问题。嗯，当我四年前就任KO大学校长一职时，大学图书馆设立了一个“校长推荐必读书目”的书架，您的《21 Lessons》占据了书架的中心位置。谢谢。那是六年前。呃，您出版了您的《21 Lessons》，其中您提到了三个重大的全球性威胁：一是核战争，当然包括普京的俄罗斯；二是生物技术的失控发展，包括影响人类自身的基因编辑；三是信息网络和人工智能，某种程度上是失控的。所以，这些是您提到的三个威胁，但对于《Nexus》，您只专注于信息网络和人工智能。您能解释一下原因吗？嗯，如果比较人工智能和生物技术，最明显的一点是人工智能的进步速度快得多。生物技术也能以戏剧性的方式改变世界，但需要的时间要长得多，因为生物学变化速度很慢。比如，如果你对人类基因组进行修改，比如说对一个婴儿的基因组进行修改，你想知道其影响是什么，以及未来如何进行更大的改变，你需要等待20年、30年、40年才能看到新的基因材料、新的基因密码对人类行为、人类智力、人类心理的影响。所以，在生物技术领域，对于人类来说，一代可能就是20到30年。而在人工智能领域，可能只需要几天。数字进化的速度比有机进化的速度快数百万倍。所以，在不贬低生物技术潜在危险和机遇的情况下，人工智能的进步速度就是快得多。而与核战争的威胁相比，专注于人工智能的原因其实有两个。首先，核战争没有任何好处，所以它没有支持者，每个人都认为它是一个巨大的威胁，尤其是在当今世界，我们看到像俄罗斯这样的国家完全无视国际体系最大的禁忌。自1945年以来，国际体系最大的禁忌就是大国不能侵略、试图征服和摧毁弱国。而现在，这个禁忌被打破了。所以危险是巨大的。但至少每个人都明白危险。核战争没有赢家。而人工智能则是一个更复杂的挑战，因为它具有巨大的积极潜力，而且人们很难理解其中的威胁。自广岛和长崎被轰炸以来，人类至少清楚核技术的危险性。你不需要长篇大论的解释。而对于人工智能，很难把握其危险性，因为它确实是一种陌生的威胁。人工智能的关键问题不在于它是邪恶的。它不是邪恶的。关键问题在于它是陌生的。它是一种在许多方面可能超越人类的智能，但它不是人类的。它不是有机的。很多人问，人工智能何时能达到人类水平的智能？答案是永远不会，因为它根本不像我们。这就好比问，飞机何时能达到鸟类的飞行水平？永远不会。飞机根本不像鸟类。它们以不同的方式飞行。所以，人工智能将超越人类智能，但它本质上是陌生的。因此，我们很难预测它将如何发展以及会产生什么后果。我再说一点，也许这是大家对人工智能最需要理解的一点，它不是一种工具。它是一种代理。它是我们创造的第一个不是工具而是代理的技术。原子弹或生产电力的和平核反应堆。这些是我们手中的工具。我们决定如何使用它们。我们决定，人类决定，哦，我们将使用核技术来发电而不是摧毁城市。我们做决定。反应堆本身无法做出任何决定。当然，它也无法发明下一代反应堆或炸弹。直到现在，只有人类才能做出决定并产生新的想法。人工智能是第一种可以在没有我们帮助、没有我们干预的情况下做到这一点。人工智能可以自己做出决定。人工智能武器不需要人类告诉它做什么。它可以自己决定轰炸什么。人工智能甚至可以发明新的武器和新的军事战略。它再次拥有巨大的积极潜力。它可以发明新的药物，新的癌症治疗方法。它拥有巨大的消极潜力。所以，这就是为什么我在这本书中只关注信息技术史，因为我认为目前这是我们面临的最大挑战。实际上，在许多方面，这是人类历史上最大的挑战，因为数千年来我们统治着地球。地球上没有任何东西能在智力上、在发明新事物的能力上与我们竞争。现在，地球上有了某种东西，可能在几年内就会在智力上超越我们。它将能够为我们的生活做出决定。它将能够发明从药物到武器的一切新事物。而这正是最大的挑战。你刚才说，也许在几年内，但早在2015年，你就出版了《霍莫·德乌斯》一书，一本关于未来的历史。在那里，你也警告并专注于信息技术和信息网络。你如何看待你现在的想法与2015年写《霍莫·德乌斯》时的想法相比？已经10年了，你最初是一名历史学家和中世纪军事专家，现在你专注于信息网络和人工智能。你能比较一下你过去10年的发展吗？是的，我认为10年前我写《霍莫·德乌斯》时，所有这些谈论，当时很少有人谈论人工智能。当然，计算机科学系的有些人，像谷歌和微软这样的领先公司的有些人已经明白了发生了什么，还有一些哲学家，比如尼克·博斯特罗姆，他在2014年出版了《超级智能》。但是，当我写《霍莫·德乌斯》时，感觉就像我们在谈论一些可能在几百年后才会发生的事情，一些哲学上的推测，对我们的生活几乎没有直接的实际影响。现在，它无处不在，发展的速度简直令人震惊。你知道，即使在当时，也有像雷·库兹韦尔这样的人说，将会出现通用人工智能，能够超越人类在所有领域的能力，不仅仅是在下棋或开车这样的狭窄领域，而是在所有领域。他们说，到2020年代末，也就是2029年。即使在我读到雷·库兹韦尔的著作时，我也觉得，“啊，他太夸张了。不可能到2029年。”现在，雷·库兹韦尔仍然说2029年，他被认为是比较保守的思想家之一。比如，你听听在美国和中国公司中负责开发的人，他们说，一年之内，五年之内，我们将拥有通用人工智能。所以，速度大大加快了。另一件事是，所有关于监管的希望，关于达成某种协议的希望，现在看来都极其天真。尤其是在上次美国大选之后，我认为，关于如何管理人工智能发展风险达成全球协议的所有希望都已破灭。人工智能革命的巨大悖论，我认为，人工智能革命的核心是一个巨大的悖论，那就是信任的悖论。当你与那些领导人工智能革命的人交谈时，与那些经营OpenAI、微软、腾讯、百度等公司的人交谈时，与主要政治家交谈时，我总是问他们两个问题。第一个问题是，你们为什么行动如此迅速？是的，我理解有巨大的积极潜力，但也有风险。让我们稍微放慢速度，给人类社会一些时间。人类是极具适应性的生物。我们可以适应人工智能时代，但我们需要时间。再给我们一点时间。他们都说同样的话。我们理解存在巨大的风险，就像人类灭绝一样。我们明白这一点。我们想放慢速度，但我们不能，因为如果我们放慢速度，而我们在其他公司、在其他国家的竞争对手不放慢速度，他们就会赢得比赛，而最无情的人将主宰世界，因为他们将拥有这项美妙的技术——人工智能。所以，因为我们不能信任其他人，我们必须加快速度。然后我问第二个问题，你认为你可以信任你正在开发的人工智能吗？他们说可以。就在一分钟前还告诉我我们不能信任其他人的人，突然变得极其值得信赖，他们说，但我们可以信任人工智能。这真的接近疯狂的边缘。因为你知道，对于人类，我理解为什么难以信任其他人，但我们有数千年的与他人相处的经验，我们了解他们的心理，他们的动机，我们对人类对权力的渴望有很多了解，但我们也了解制约权力追求的机制。数千年来，人类已经发展出相互信任的方式。而现在，你看看，1万年前或10万年前，人类生活在几十人的小群体中，无法信任群体之外的任何人。现在你有像日本这样的国家，拥有数亿公民，他们可以相互信任。全球贸易网络连接着地球上的80亿人。我们吃的食物，穿的衣服，保护我们的药物，往往是由地球另一端的陌生人生产的。所以，是的，如何信任他人仍然是一个巨大的问题，但我们有这方面的经验。我们对超级智能人工智能没有任何经验。我们不知道它们可能会发展出什么样的目标和策略。我们不知道当数百万甚至数千万的超级智能人工智能相互以及与数百万人类互动时会发生什么。人工智能不是某个地方的一个巨大的计算机。它将是一场席卷全球的移民浪潮。现在你看到所有那些民粹主义政党如此害怕移民。哦，移民要来了。移民会抢走我们的工作。移民有他们不同的文化观念。他们会接管我们的国家。他们会改变我们的文化。我们如此害怕。人工智能就像数百万外来移民的浪潮，他们会抢走人们的工作，他们将拥有截然不同的社会运行方式，他们可能会接管国家。这应该让人们更加害怕。所以，这就是巨大的悖论，而巨大的问题是我们如何在开发出超级智能人工智能之前，建立人与人之间的信任。所以你谈论人与人之间的信任，以及，比如说，自主人工智能或代理人工智能。是的，但也谈论所谓的精英和所谓的普通公民之间的信任，这种分裂正在扩大。当然，民粹主义者和独裁者，你在《Nexus》中提到，他们试图利用人工智能作为代理，而不是作为亚洲，而是作为工具，对吧？但后果将是未知的，因为正如你所说，那么，你如何看待所谓的精英和所谓的民粹主义一代之间的信任或分裂？因为你的书可能主要被所谓的精英阅读，但我不知道这本书对普通公众的影响有多大，因为这正是我们需要的。你试图弥合这两个分裂的群体，以缩小这种分裂。就像我们头脑中创造的许多分裂一样，这种分裂也是一种错误的二分法，即精英和人民。你知道，世界上最富有的人，埃隆·马斯克，以及唐纳德·特朗普等其他亿万富翁，他们声称自己反对精英。如果你不是精英，那什么是精英？世界上最富有的人不是精英吗？所有这些现在执掌美国政府的亿万富翁，哦，他们不是精英。为什么？我的意思是，精英这个词已经变成了一个负面词，你只是用来形容你的政治对手。事实是，每个群体都有精英。我的意思是，你无法经营任何人群，甚至是一个足球俱乐部。你总会有人更有才华，或者拥有更多的权力或影响力。这只是人类社会的本质。问题不在于精英的存在。主要问题是，它是一个服务型精英，还是一个自私的精英？这是真的。如果你有一群人，从一个小团体到整个国家，乃至整个地球，而那些在那里拥有最大影响力的人只为自己的私利而利用他们的权力，那将是一个非常糟糕的局面。理想情况是，在特定领域拥有更多才能或更多影响力或更多权力的人，他们将其用于社会利益。创造一个没有精英的社会的幻想，这从来都不奏效。这总是某些人为了获得权力而玩的把戏。你知道，创造一个完全平等的没有精英的社会的最大的实验是共产主义，我们都知道它导致了什么。那么，朝鲜是一个没有精英的社会吗？也许吧，因为只有一个。是的。但这并不是我们应该追求的目标。我认为，特别是对于像这样的机构和所有大学来说，目的不是摧毁精英或打破这个群体之间的所有障碍。目的是创造一个服务型精英。是的，那些在特定领域拥有更多才能的人，在特定领域拥有更多影响力的人，他们利用自己的才能和权力，不仅仅是为了个人利益，更是为了所有人的利益，这应该是目标。所以，你在《Nexus》中也谈到了生活在赛博空间和物理空间之间的人们的划分，越来越多的人生活在赛博空间，只是在关注推文，280个字符以下，等等。像我们这样的教育机构，以及K12的初等和中等教育，应该如何应对让年轻一代能够阅读像这样篇幅的书籍的挑战，这些书籍发人深省，让我们思考和讨论，但这对我们来说越来越困难。那么，教育在维持人类智力方面扮演着什么角色呢？是的，在过去的时代，教育机构专注于为人们提供信息，因为信息是稀缺的商品。也许你住在一个偏远的小镇，镇上只有一个图书馆，只有几百本书。所以，仅仅拿到一本书就很困难。现在正好相反。人们不需要更多信息。我们被海量的信息淹没了。最需要理解的是，信息不等于真相。真相是信息中非常罕见的子集。如果你考虑世界上所有的信息，那么真相只是其中的一小部分。大多数信息都是垃圾。大多数信息是虚构的、幻想的、谎言和宣传等等。很容易理解为什么真相是昂贵的。而虚构是便宜的。如果你想写任何事情的真实记录，你需要做研究。你需要花时间去分析它，去事实核查。这需要时间和精力以及金钱。虚构非常便宜。你只需要写下脑海中闪过的任何东西，非常便宜。其次，真相往往很复杂，因为现实很复杂。比如，你想写一篇关于量子物理学的记述，它很复杂。而人们通常不喜欢复杂的叙事。他们想要简单的故事。同样，虚构可以变得像你想要的那么简单，因为你只是虚构它。最后，真相往往是痛苦的。不总是，但现实的某些部分是不舒服的。从个人层面来说。这就是为什么人们去看心理治疗师，因为如果我的一切都那么令人愉快和有趣，我就不需要心理治疗师来帮助我承认我内心的痛苦记忆或痛苦模式。这甚至适用于整个国家，它们通常不想承认自己历史或社会中某些痛苦的部分。所以，真相有时是痛苦的。虚构可以变得像你想要的那么讨人喜欢。所以在昂贵、复杂、痛苦的真相和廉价、简单、吸引人的虚构之间的竞争中，虚构获胜，世界被海量虚构所淹没。像大学、报纸这样的机构的任务，不仅仅是为人们提供更多信息。他们已经拥有太多了。而是为他们提供一种方法，在信息的海洋中找到这些稀有的真相宝石，并知道如何区分。所以，作为一名历史学家，我在历史课上教我的学生最重要的事情不是关于过去的史实。哦，这个国王在某年打败了那个国王。他们不需要我，他们可以自己谷歌。他们仍然需要在历史系学习的是，我如何区分可靠的历史资料和不可靠的资料？资料可能是我今天在网上读到的东西。我怎么知道我能不能相信这个抖音视频？资料可能来自中世纪。你找到了一千年前的文件。你怎么知道国王写了他赢得了这场战斗？你怎么知道是否应该相信，因为人们在一千年前也会撒谎，不仅仅是今天？所以，这是主要问题，在每个科学学科中，当然情况略有不同，但关键问题不是获取更多信息。而是我们如何区分可靠和不可靠的信息。在实验中也是如此。是的，在物理学或化学中。我怎么知道这个实验是否运行正确，我是否可以相信结果，或者是否存在问题，我不应该相信它？你说真相有时是痛苦的，事实上，阅读《Nexus》至少让我经历了一系列复杂的情感，但同时，它也给了我希望，那就是还不算太晚，而且人类天性中存在自我纠正和合作的能力，如果我们有时间的话，我想在人工智能达到某个阶段之前，我们应该有一种方法来应对这种情况。这就是为什么正如山本教授所说，我们成立了所谓的跨尊严中心，在那里，我们的人文和社会科学教授、学者们聚集在一起，正是为了解决这个问题。所以，如果你是我们跨尊严中心的一名研究科学家，哦，顺便说一句，你随时欢迎加入我们。谢谢。你的研究课题是什么？[音乐] 如何建立人与人之间的信任？我认为这是最紧迫的，因为我们现在在世界上看到的是人类信任的崩溃，而这正是我们最需要它的时候。世界上最大的危险仍然不是人工智能，而是人与人之间的不信任。如果人类能够相互信任并合作，我们仍然可以找到安全地开发人工智能的方法。正是人与人之间的不信任使得人工智能革命如此危险。所以，我将专注于这一点。现在建立足够的人类信任来控制人工智能还为时不晚。你将如何着手解决这个建立信任的挑战？我认为我们需要投入，这就是为什么跨学科中心是理想的场所，因为没有一个学科可以单独解决这个问题。你需要生物学和心理学的投入，因为我们仍然是动物。你需要了解我们的动物遗传。你可以从黑猩猩如何建立信任或未能建立信任中了解很多，从而了解人类如何运作。你需要经济学的投入，当然还有计算机科学，因为今天所有的社会系统都基于新的信息技术。所以，许多关于如何建立人与人之间信任的课程，直到大约10到20年前都非常成功，现在已经过时了，因为现在人类通过计算机进行交流，如果我们不理解这种现在在中间起作用的新技术，那么关于是什么导致了过去10到20年人类信任崩溃的巨大讨论。这又是一个悖论，因为人类正处于我们有史以来最好的状态。你看看大多数硬数据，比如儿童死亡率、疾病、饥荒，都在下降。我们正处于有史以来最好的状况。然而，人们如此愤怒和沮丧，无法与他人交流。发生了什么？发生的是，一项新技术介入了人与人之间，现在大多数人类交流都通过非人类代理进行，这正在给世界带来混乱。所以，要重建信任，我们不能回头。我们不能说，好吧，让我们扔掉所有的智能手机和电脑。这行不通。所以，我们需要重新学习如何在信息技术的媒介下，在大量人群中建立信任。你的书非常易读。它与学术写作截然不同，可以说。你是故意这样做的吗？绝对。我的工作是搭建一座桥梁，连接学术研究的世界，在那里，专家们主要用普通人难以理解的语言与专家交流。所以我试图将学术界和科学界最前沿的理论、模型和发现，以一种易于理解的方式传达和解释，比如，即使是高中生或任何想了解人工智能革命的人，我从未学过计算机，我也不想看所有这些图表和方程，我能用简单的语言理解人工智能革命和信息史吗？这就是写这本书的目的。你觉得你的努力是否渗透到赛博空间，那些生活在赛博空间的人？很难知道。我的意思是，你写一本书，把它发布到世界上，它会对人们产生什么实际影响？很难知道。我们有，我的意思是，帮助这本书的一件事是，不仅仅是我，我和我的丈夫在10年前《霍莫·德乌斯》出版时，就成立了一家社会影响力公司，我负责写书，他负责所有业务方面，我们有一个20人的团队为我们工作，其中一人在这里东京，他们有社交媒体账号，并试图将书中的思想转化为更多的媒体，以便能够接触到更多的人。至于这是否足够，我们不知道。我的意思是，我们觉得每个人在世界上都有一些微小的能动性，我们尽力而为，并相信其他人也会尽力而为。没有人能独自承担整个世界。如果足够多的人在他们的小活动领域里尽力而为，我认为我们会没事的。《Nexus》刚刚在日本出版。所以你才在这里。是的。但《Nexus》的英文原版是去年9月出版的。是的。9月。你如何看待发展，特别是特朗普政府上台，你知道，有很多发展？是的。在全球范围内，这再次令人担忧，因为社会内部和国家之间的信任正在加速侵蚀。我们看到国际秩序正在崩溃，第二次世界大战后建立的国际秩序，其最重要的禁忌，最重要的规则是，大国不能侵略和征服弱国。这与数千年来普通的事情完全相反，数千年来，一个强大的国家会侵略和征服邻国，建立一个更大的国家，一个帝国。而在21世纪初，人类享受了历史上最和平、最繁荣的时代，这在很大程度上是因为这个禁忌得到了维持。世界某些地区存在冲突。我来自中东。我来自以色列。我对此非常清楚。虽然它不是一个完美的秩序，但它比以前的任何秩序都要好。你可以在政府的预算中很容易地看到这一点。在人类历史的大部分时间里，每个国王、幕府将军和皇帝的预算中，超过50%都用于军事，士兵、军舰、城堡。这是政府的主要支出。在21世纪初，平均政府军事支出下降到约6%或7%。这一惊人的成就，约10%用于医疗保健。这是人类历史上第一次，世界各国政府在医疗保健上的支出超过了军事。现在情况正在逆转。由于俄罗斯入侵乌克兰和其他事态发展，你看到国防预算飙升，这将以医疗保健和教育为代价。坦率地说，特朗普政府并没有让事情变得更好。嗯。你知道，你听特朗普指责乌克兰发动战争，很明显，他心中所想的是一种世界秩序，在这种秩序中，弱者必须服从强者。对吧？如果弱者拒绝服从强者，那么弱者就应该为由此产生的冲突负责。对吧？你看到它就像，它威胁到美国现在想征服格陵兰岛。现在，如果丹麦和格陵兰说，但我们不想成为美国的一部分，结果发生了一场战争，在特朗普看来，谁应该为此负责？丹麦应该负责，因为美国很强大，你必须服从强者。如果你不服从强者，而发生了战争，那么弱者就应该负责，他们应该服从强者。这种世界观，这种逻辑，将把全人类带回持续的战争状态。在这种情况下，不仅仅是医疗保健和教育预算会下降。任何监管人工智能的机会，都将不可能实现，因为每个国家都会说，我们必须赢得人工智能竞赛。我们不会做任何可能减缓我们速度的事情，然后另一方就会获胜，然后他们就会成为强者，我们必须服从他们。然而，你的书又给了我们希望。只要我们还没有走到那一步，就还有希望。如果足够多的人在未来几个月和几年里做正确的事情，人类仍然会没事的。时间到了。她说。所以，非常感谢你，伊瓦尔。这太棒了，我们非常高兴你能来。所以，非常感谢。我们在这里接受提问。[掌声] 感谢哈拉瑞教授和校长。感谢您进行了精彩的讨论。作为跨尊严中心的联合主任，我真的印象深刻。是的，我现在正在考虑在跨尊严中心开展一个新项目，这个项目与如何信任人类有关。是的，非常感谢。所以，我将用日语发言，为日本学生和日本记者，由于新闻机构的编辑问题。所以，是的，我希望你用日语提问。好的。是的，我知道你们学生可以流利地说英语，但是，嗯，编辑问题。谢谢。好的。讨论。好的。是的，我们智人的特殊能力是通过共享的故事、共享的叙事来组织大规模的合作，不仅是关于神和宗教，也包括经济。比如，可能是最成功的发明的故事就是钱。它是唯一一个每个人都相信的故事。不是每个人都相信某个神，但即使是那些在其他事情上完全意见不合的人。你知道，看看美国，共和党人和民主党人什么都谈不拢，除了美元。如果一个共和党人带着美元来，民主党人就会接受它，并卖掉任何东西，面包或汽油。反之亦然。即使是这个现在也受到加密货币的威胁。是的。是的。因为有人说我们不想要美元，我们想要加密货币。这是一个非常重要的迹象，因为美元是人类货币。它是由银行等人类机构生产的。像比特币、以太坊等加密货币是后人类货币，由算法生产。那些说我不信任美元，我信任比特币的人。他们实际上说的是，我不信任人类。我信任算法。我不信任那些经营银行的人。我宁愿信任那些经营加密货币网络的算法。现在，你在越来越多的领域也能看到这一点，你知道，我们之前谈到了官僚主义。所以，你看到埃隆·马斯克和唐纳德·特朗普同时解雇了数万名人类官僚，但他们并不是真的反对官僚主义，因为他们只是用数字官僚，用算法来取代他们。这是权力从人类转移到算法。当谈到故事时，这就是社交媒体最相关的地方。以前，世界上流传的所有故事都来自人类的思想，是人类编辑决定哪些故事将主导对话。比如，你有一份报纸，或者你有一个电视台。所以，你有一个人类编辑，审阅今天发布的所有故事，然后说，哦，这是最重要的故事，我们将把它发布在头版，每个人都读它，然后谈论它。现在，这项工作也由算法完成。如果你问现在世界上最重要的编辑是谁，他们是TikTok、Facebook和Twitter的编辑，他们不是人类，而是算法。所以，故事是由非人类智能产生和传播的，以维持人类的信任与合作。我认为，这不是一个完整的解决方案，当然，但每个政府应该做的第一件也是最简单的事情是，通过一项法律，禁止假冒人类，禁止伪造人类。就像有法律禁止伪造货币一样，你不能随便印日元然后假装是真的。不，你不能。人类也是如此。直到今天，你还不能创造假冒人类。现在，你可以。机器人可以假装是人类。TikTok和X Twitter等地方的大部分流量都是由假冒人类的机器人运行的。所以，第一件也是最简单的一步是，制定一项非常严格的法律。你不能假冒人类。人工智能欢迎与我们交谈，条件是它们必须表明自己是人工智能。如果有人试图假冒人类，或者一个平台不采取行动打击假冒人类，他们应该坐牢。就像如果有人拥有印刷机或印刷店，而那里的人试图印日元，那么印刷店的老板会怎么样？他会坐牢。对于试图假冒人类，情况应该是一样的，甚至更糟。谢谢。虚构。为了。音乐。当涉及到假新闻和虚假信息以及所有这些时，我们需要区分言论自由和信息自由。言论自由赋予人类。这是一项非常重要的人权，应该受到保护。无论是在这个大厅里，还是在TikTok或Facebook上，或者在任何其他地方，人类，除了在极端情况下，都应该有权表达自己的观点而不必担心受到惩罚。这应该受到保护。信息自由是完全不同的东西。这是一项新的权利，不是赋予人类，而是赋予人工智能和算法以及机器人。当许多社交媒体巨头故意混淆这两种权利时。社交媒体的问题不在于人类发明谎言。人类发明谎言已经有数千年了，除了在极端情况下，他们不应该受到惩罚。但问题是，然后你有一个算法，它决定故意传播谎言和仇恨等等。这应该被阻止，这应该受到惩罚。同样，如果我是一个YouTube用户，我创建了一个假新闻视频，我不应该因此受到惩罚。但如果我是一家公司，我故意推荐并向数百万人播放这个充满仇恨的阴谋论，因为我从中赚钱，这应该受到惩罚，这不受言论自由的保护，因为这是由算法完成的，而算法没有权利。它们没有权利传播谎言。社交媒体公司的职责，就像报纸和电视台在传播信息之前确保它是真相而不是充满仇恨的谎言一样。再说一遍。是的。我的意思是，物理世界仍然存在。我的意思是，信息技术的任何发展都不会废除物理世界。它只是在上面又加了一层。这已经，如果你回到几千年前。所以，人类创造的所有信息，无论是法律和宪法，无论是宗教，无论是金钱，都没有取代或废除物理和生物现实。人们仍然有身体，需要吃饭，需要干净的水。但所有这些额外的故事层，使人们能够创造贸易网络，改变我们获取食物的方式。就像10万年前，你饿了。你去森林，去草原，去大海，你钓鱼，你打猎，你采集水果，你吃。现在，很少有人这样做。几乎每个人都依赖于由信息管理的全球贸易网络来获取食物。所以，同样的事情很可能也会发生在人工智能身上，无论是在和平时期还是在战争时期。战争最终还是关于杀人，但方式正在改变。我们最近看到的战争，不仅仅是俄罗斯入侵乌克兰，我也更了解我国家之间以色列人和巴勒斯坦人之间的战争。很多人期望人工智能通过实际射击来改变战争。就像人们看了所有关于杀人机器人的好莱坞电影一样。所以，他们现在在电视上看到，但没有看到杀人机器人。杀戮仍然由人类完成。人工智能已经真正改变的是谁在选择目标，谁在做决定，谁决定轰炸这座建筑，谁决定轰炸这个人，而答案越来越多的是人工智能。这是在过去两三年里真正发生的事情。以前，识别目标的任务是由人类情报官员完成的。他们会收集所有这些信息，开始阅读所有这些报告，需要几天时间才能说，“哦，这座建筑是敌方总部。轰炸它。”现在，人工智能在几秒钟内就完成了。人工智能处理大量人类无法分析的信息。它能发现人类无法发现的模式，并在几秒钟内说这是敌方总部。轰炸它。但这是基于统计概率，对吧？基于统计概率和许多其他复杂的计算机数学模型。当然，最大的问题是我们能否相信人工智能？也许它犯了错误。也许它告诉我们轰炸一座平民建筑，而不是军事建筑。我和不同的人交谈，他们告诉我不同的故事。有些人说，“哦，在人工智能指向目标后，我们会让人类分析师检查所有信息，确保没有错误，对吧？”其他人说，“不，人类分析师只花大约半分钟。”没有人能真正检查人工智能。它处理的数据点太多了。所以，基本上他们只是橡皮图章，而做出决定的是人工智能。现在我不知道，可能有时是这样，有时是那样，但放眼未来五年、十年，趋势非常清楚，人工智能将越来越多地做出战争中的关键决定，这当然是一个非常危险的发展。谢谢。所以，是的，假新闻。是的，阴谋论并不是什么新鲜事。它们在历史上一直存在。这与我们之前提到的真相和虚构之间的关键区别有关，真相是复杂的。虚构是简单的。当发生像大流行病这样改变了许多事情的事情时。大流行病的真相非常复杂，仅仅理解什么是病毒就很复杂。病毒是如此奇怪的东西。人类在历史上大部分时间都不知道病毒的存在。直到上个世纪，我们才真正开始理解病毒是什么。它们奇怪之处在于，它们既不完全是活的，也不完全不是活的。科学界对此有很大的争论。病毒是生命的一种形式，还是它们只是生物学的一部分，还是它们实际上只是一些化学信息？因为病毒无法自行繁殖。病毒不吃东西。它不像细菌那样吃东西和繁殖。病毒真的只是一点信息。而这种遗传密码惊人的能力是进入我体内的细胞，并告诉我的身体，我的细胞开始产生该代码的更多副本。所以，你从一个代码开始，一行代码。它会接管我身体的一个细胞。你得到一百万份该代码的副本。它们传播到其他细胞。它们告诉其他细胞产生更多该代码的副本。这就是它如何传播开来的。而这是如此奇怪的事情。我们在我们所处的现实层面看不到这样的事情发生。它发生在非常非常小的现实层面。所以，要理解一场大流行病是如何开始和传播的，非常复杂。相信一个阴谋论要容易得多。哦，有一群非常有权势的人。他们制造了这场大流行病来接管世界。作为一名历史学家，我能说的一件事是，这类阴谋论总是错误的，原因很简单，世界太复杂了，任何少数人都不可能真正理解和操纵它。阴谋论通常假设的操纵程度是完全不现实的。你看看政府，即使你有一个拥有政府所有权力的政府试图做某事，通常也会失败。比如，我不知道，美国人决定入侵伊拉克。他们是世界上最强大的国家。他们拥有所有这些军事力量，但他们失败了。是的，他们设法征服了伊拉克。然后一切都脱离了计划，最终伊朗成为了战争的主要受益者，胜利者。所以，美国有一个计划，结果完全不同。这就是真实世界的运作方式。而阴谋论，它们通常是这种一厢情愿的想法，即世界是一个非常简单的地方。几个人在房间里就可以计划接管世界，然后他们就这么做了。这从来没有发生过。好的。非常感谢。我的工作。为了。为了。为了。C 你能具体说说会发生什么变化吗？嗯，我们不知道，我们无法预测，但很明显，娱乐的形式和内容将越来越多地来自人工智能，而不是人类。以前在历史上，所有的娱乐，无论是诗歌、戏剧、电视、电影，一切都来自人类的思想，来自人类的想象力。现在，地球上有某种东西能够以比人类便宜得多、效率高得多的方式生产这些东西，并且还能打破人类想象力的限制，因为人类的想象力受到我们自身大脑的生物学限制。人工智能则不然。所以，以一个稍微不同的领域为例，比如围棋。2016年，AlphaGo和世界围棋冠军李世石之间有一场非常著名的比赛，AlphaGo赢了。这是人工智能革命的一个决定性时刻。但这场比赛的惊人之处不仅仅在于AlphaGo击败了世界冠军。还在于它的方式。它提出了完全陌生的策略，人类在东亚下围棋已经有数千年了。它是在2000多年前发明的。数千万人下围棋。它被认为是一种艺术形式，不仅仅是一种游戏。围绕如何下围棋发展了整个哲学。然而，所有这些年，所有这些人，没有人想过像AlphaGo那样下围棋。所以，你可以把它想象成一个景观，一个星球，围棋星球。所有不同的下围棋方式。而人类一直被困在一个岛屿上，在围棋星球上。他们认为这就是整个星球，2000年来。他们认为只有这些下围棋的方式。他们无法离开这个精神岛屿，因为我们的思维是有限的。然后AlphaGo来了，说你看，你可以这样下棋，你可以那样下棋，你发现了围棋星球上的整个新区域。同样的事情很可能也会发生在音乐、绘画、戏剧、电视领域。它已经发生了。现在有很多人在使用人工智能创作视频，这只是这个过程的开始。如果你认为今天的人工智能很复杂，那与10年后的人工智能相比简直不值一提。所以，像其他领域一样，娱乐也将彻底改变。而且不可能预测会以何种方式改变，因为，这就是人工智能的本质，它是一种陌生的智能形式。所以，人类智能无法预测外星智能会做什么。如果你能预测人工智能将要做的一切，那它就不是人工智能。它只是某种自动机器。就像你有一台咖啡机，你可以预测咖啡机将要做的一切。我按下这个按钮，它就制作浓缩咖啡。这是一台自动机器。它不是人工智能。什么时候是人工智能？当你按下按钮，你甚至不按任何按钮，你只是走近机器，机器告诉你，“嘿，我今早发明了一种新的饮料，我认为你会比咖啡更喜欢它，我给你做了一杯。”那就是人工智能。谢谢。去。好了。为了互联网。所以，为了。为了。为了。是的。正如我所说，我同意这是最大的问题。如何在人类沟通被新的信息技术扭曲和操纵的时代，达成人类之间的协议。我不知道，我之前被问到研究项目是什么？如果我知道答案，就不需要研究项目了，因为我们已经有了答案。我认为科学中最重要的事情之一是承认无知。对我来说，科学革命回顾历史，是一场关于无知的革命，而不是关于知识的革命。在科学之前，每个群体，每种文化都说，“我们已经知道一切了。一切都在圣书中，或者我们的圣人，有时是圣女，知道一切。不需要新的研究。

科学革命是关于人们站出来说我们不知道。这是一种非常“我们想知道这个问题的答案，但我们不知道它是什么”的心态。哦，所以我们需要做研究，而现在仍然是这样。所以再说一遍，如果你问我最重要的研究课题是什么，不仅仅是这里的研究中心，而是普遍的，我会说这是研究课题，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，它是，。