Transcription
我们都同意，末日概率似乎高于20%。实际有什么办法可以降低它呢？
是的，我们需要很多超级天才，一大群聪明人，他们会让你活得更久。
你实际上正处于人类智能增强研究的最前沿。
正确。我们不需要制造像外星半神那样的东西。超级聪明、超级健康、超级长寿的婴儿。乐观地说，十年内就能诞生。欢迎来到“末日辩论”。我的嘉宾Tvi Benson Tilson是伯克利基因组学项目的联合创始人，该项目正致力于人类智能增强研究的最前沿。TVI拥有芝加哥大学数学学士学位，他曾是伯克利大学的数学博士生，直到2017年辍学，加入了由Elazar Yudowski创立的机器智能研究所。所以他从2017年到2024年在MIRI工作。他研究了AGI对齐理论，然后在2025年共同创立了伯克利基因组学项目。他在网上广泛撰写了关于基因工程人类能力的技术方面文章，并运营着“生殖前沿峰会”，该峰会汇集了该领域的顶尖人才。一位非常有趣的嘉宾，今天我们将讨论他在MIRI的研究、他对AI时间线和AI末日的看法，以及我们将如何通过人类基因工程和他可能有助于降低末日概率的其他想法来帮助降低末日概率。Benson Tilson，欢迎来到“末日辩论”。
嘿，Leon，谢谢你邀请我。
非常感谢你来参加节目。人们在观看“末日辩论”时总是问我，好吧，好吧，我们注定要完蛋，但你到底会怎么做呢？我想你可能就是能给出一些答案的人。是的，有可能。我的意思是，确实如此。我们处境艰难，但我认为有几件事我们可以做，可能会有所帮助。
嗯，我很期待那部分，但我们得从头开始。我得问你那个大问题。你准备好了吗？
嗯哼。
Benson Tilson，你的末日概率是多少？嗯，我不喜欢给出那种综合性的答案，比如如果问题是“所有人死亡的概率是多少”。它结合了大量非常异质的复杂过程。所以对我来说，总结一个概率似乎不太好，但我会给出一些部分答案。首先，根据我的看法，目前我们离解决AGI对齐问题还差得很远。换句话说，我们还远未能设计或创造出一种真正比人类或全人类更聪明，但又不会立即杀死所有人的心智。然后，如果我们没有解决那个技术挑战就创造了AGI，我认为所有人死亡的几率非常高。所以肯定超过90%。嗯，而且我们也没有在短期内，比如几十年内，解决对齐问题的轨道上。
嗯，而且我们目前似乎也没有特别地走在阻止甚至减缓AGI研究的轨道上。所以这描绘了一幅相当悲观的画面。另一方面，我比许多考虑AI生存风险的人有更长的时间线。所以我倾向于以几十年而不是几年为单位来思考，这并没有给我带来太多的整体希望，因为我认为情况相当糟糕，但它可能给了我们一些时间。所以我不知道如何将其整合到一个末日概率中。
好的。你会说它到2050年至少有10%吗？
嗯，是的。
你会说它到2050年至少有20%吗？
所以问题是，到2050年，所有人死于AI的几率是多少？
是的，差不多。
是的，到2050年，它大概在20%左右。
所以那，你知道，有点末日感。这绝对是令人恐慌的程度。面对现实吧，说“是的，人类的整个故事有五分之一的几率会结束”。我其实也差不多。我经常说，到2040年是50%，或者如果你喜欢，是10%到90%，因为我对此并没有很高的精确度。我只是觉得低于10%或高于90%似乎完全没有校准。所以，我认为你完全处于理智的范围，你知道，只要你远高于10%。
现在，我们来谈谈时间线。你提到你以几十年为单位思考。所以，例如，你说如果它在未来五年内出现，你会感到惊讶。
是的。所以当我们说“惊讶”时，我的意思是，我对此并没有很好的校准。这是一个非常复杂的事情，等等等等，但如果你逼我，我就会给出数字。所以你知道，比如说，未来五年内出现真正的AGI的几率是1%到3%。所以这肯定低于我们通常汇总人们预测的方式，对吧？如果你看看Metaculus，或者甚至是我节目中邀请过的人，通常大多数知情人士的共识是，是的，有一个钟形曲线，似乎平均在2031年左右，届时我们将获得超人智能。嗯，但有一些尾部。呃，但你为什么如此自信，那可能不会在2031年发生呢？基本上，归结为我没有看到非常强烈的证据表明我们已经解锁了智能的核心算法，那种能创造出非常有创造力的心智的算法。那正是我们真正担心的事情，当我们觉得有一个心智，它是外星的，与我们有不同的价值观。而且它以真正有创造力的方式思考，使其能够以令人惊讶、奇怪、远超我们能力的力量驾驭世界中的因果关系。
我认为你有点模糊地指出了什么，但我同意那也是我思考的方式，对吧？当然，新的见解。我的意思是，我认为很多人都有类似模糊但相关的想法。我唯一的问题是，为什么这会转化为一种自信，即你认为剩下的任何差距都不会被那么多不同的人试图弥补的所有方式所跨越。你知道，强化学习作为弥补大型语言模型（LLMs）差距的一种方式，浮现在脑海中。
嗯，你所说的“自信”，我大概会说未来10到15年内有3%到10%的几率。让我快速评论一下。有一个我称之为“缺失的更新”的东西，嗯，我想你会同意大型语言模型（LLMs）非常奇怪，比如能力分布令人惊讶，也许我不知道是否有人真的期望我们能得到现在拥有的东西，所以在某种程度上，这应该更新我们，让我们觉得我们离AGI更近了，但还有另一个更新应该发生，那就是，哦，原来你不需要AGI就能获得这套奇怪的能力。
嗯，这经常出现，对吧？比如我们应该如何根据大型语言模型（LMS）的存在来更新我们的看法，因为我很乐意承认我不是深度学习的倡导者或什么的，对吧？比如我不是那些像Daario或Yon Lun那样公平地说“是的，都是深度学习”的人。你知道，模糊比整洁更好。呃，你知道，Richard Sutton的“苦涩教训”。我不是那种人。所以，我不得不来个急转弯什么的。所以，我确实承认这一点。我也做过几期节目，包括一期和Jim Babcock的，一期是我自己讲的，都在说：“好吧，那么正确的更新是什么？”简而言之，就像你说的，确实有一些更新要做，但我们来看看像工具性趋同这样的东西。这真的能教我们任何关于，比如说，工具性趋同的东西吗？
不。我的意思是，但原因
好的。嗯，那是一个重要的观点。
是的，我认为它没有教我们太多关于工具性趋同的原因仅仅是，嗯，我们还没有一个真正会思考的心智。所以，我们只是没有观察到太多关于思考心智会做什么的事情。
没错。是的。我用“智能动力学”（intellynamics）这个词，我认为它与一些人使用的“智能体基础”（agent foundations）是同义的。但在我看来，“智能动力学”很清楚，因为我打了个比方，我们不是在研究AI如何工作。当我们谈论智能动力学时，我们只是在谈论智能会做什么。就像我们研究热力学时，我们不一定研究特定引擎的细节。我们研究的是热机所做的工作。对吧？所以就像有一个独立的研究。而在智能动力学的情况下，工具性趋同是智能动力学的一个定理。所以只要你向我展示某物是一个强大的优化器，我就会提出它可能具有工具性趋同。我甚至不需要知道大型语言模型（LMS）的任何细节，除了它们可以优化事物这一事实，就可以推断你会看到，你知道，智能动力学特性。你对此怎么看？
是的，这似乎公平。你应该在某种程度上已经看到工具性趋同了。而且我认为我们确实如此，嗯，你知道，像大型语言模型（LLMs）放在某些游戏环境中，它们会找出如何破解它们所处的系统，因为这通常是一件非常有用的事情。它们会找出如何破解游戏场景，或者破解它们运行的电脑，呃，然后把它们的权重复制到其他服务器什么的。
没错。对。我的意思是，智能动力学只是告诉我们，如果我们没有观察到这一点，我们就需要一些额外的理由，比如“哦，它们正在避免这些东西，因为它们认为这很糟糕”，否则那将是默认情况，对吧，我们就是这样思考的。是的，我的意思是，我不想夸大对当前发生的事情需要更新多少，这在某种程度上是防御性的，因为如果有人说“好吧，实际上我训练了我的系统，或者我为我的大型语言模型（LLM）搭建了一些支架，它不会做那些事情”。我会说，老实说，我不会更新太多。原因是我认为大型语言模型（LLMs）并不是那么智能，或者说，如果你允许我这样说，并不是真正有创造力的。就像当前的系统并没有真正选择或能力在概念空间或算法空间中横向滑动，比如编写一些非常巧妙的新破解方法，在你的监控系统未察觉的情况下，突破你将AI置于其中的盒子。
明白了。我非常尊重MIRI。很多节目的观众都赞赏MIRI的贡献。我认为它做出了真正重大的贡献。我想问你的是，在MIRI工作了七年半，我们在AI对齐理论方面进展如何？
所以，我不能百分之百权威地发言，因为我不一定对所有事情都了解最新情况，而且有很多研究人员，很多事情都存在争议，但如果你想听我的观点，我们基本上是零，0%完成了理解。
嗯，这有点严峻。
呃，基本上有很多根本性的挑战。呃，我们不知道如何应对这些挑战，而且从社会学角度来看，甚至很难将我们的注意力集中在应对这些挑战上，因为它们有点奇怪。这更像是前范式。很难协调多人高效地从事同一件事。很难为超前瞻性研究获得资金，而且问题本身就很棘手。
好的。好吧，那我们进入下一部分，即现在有什么可能奏效的方法来降低末日概率，因为我们都同意末日概率似乎高于20%。实际有什么办法可以降低它呢？你觉得呢？
是的，所以这当然是一个难题。嗯，我会说几点。首先，我的意思是，我认为目前最重要的优先事项应该是减缓并停止AGI研究的进展。
很好。那么，你支持#暂停AI吗？
我得老实说，我什么都不关注。嗯，所以我不知道他们具体在做什么。我绝对支持抗议和发声，关于嗯，每个人都不希望AI公司全力以赴地发展可能杀死所有人的技术。
是的。我的意思是，暂停吧。这差不多就是全部的论点，对吧？就是我们认为我们现在太鲁莽了。比如，我们认为我们已经有点突破极限了。我们在玩沙狐球，对吧？一场致命的沙狐球游戏，或者一场致命的伊卡洛斯飞向太阳的游戏。是的，在沙狐球中靠近目标，或者飞向太阳，确实很酷。我理解你。但我们已经超越了一个负责任的文明会达到的界限。而现在成熟的做法是真正踩下刹车，努力弄清楚到底发生了什么。
是的。我完全同意那个声明和使命。是的。
好的。而且说出来我很难受，因为我喜欢那些闪亮的新玩具，对吧？比如你告诉我这意味着我们可能需要更长时间才能让VO制作出更好的视频，而那是我愿意做出的牺牲。
是的。我的意思是，总的来说，我就是超级支持技术。很难高估技术对世界的帮助有多大。比如治愈疾病，预防疾病，让数十亿人摆脱贫困。汽车很酷。自动驾驶汽车会非常酷。我们可以永远谈论技术有多棒，但就是这一两种或三种技术，比如不要在实验室里制造极其擅长感染人类的病毒。那毫无意义。也不要制造出比全人类加起来更擅长掌控整个宇宙的外星心智。那个就别做了。
但说到像VR，尽情享受吧，对吧？
完全同意。VR，飞行汽车，去火星，所有这些东西。
没错。没错。VR，飞行汽车，去火星。你知道，甚至社交媒体，在我看来，都还好。
是的，比如社交媒体，有很多不好的影响。它影响我。我得承认，我每天看30分钟的短视频。嗯，
太好了。嗯，你知道，不用担心，因为我自己也开始制作短视频了，所以你会有很多高质量的娱乐内容。
哦，不。嗯，但是是的，我只是觉得所有这些事情都是我们可以从中恢复过来，从中学习的。嗯，你知道，父母将不得不弄清楚如何不让他们的孩子注意力不集中，或者因为他们太沉迷于屏幕而未能发展某些技能，等等。而且很多人会因为社交媒体而焦虑。很多人会收到不好的表情包。肯定有很多不好的东西，但所有这些都是人类可以成长和恢复的。嗯，我们会找出如何应对的方法。AI基本上是唯一会杀死你，杀死所有人的东西。没有重来，没有撤回，没有第二次机会。
好的，所以你我都同意，而且这著名地也是他的立场，就是我们现在真的必须暂停。已经走得太远了。我们现有的AI有很多事情可以做。肯定有大量的研究来理解到底发生了什么，当我们加入更多元素时接下来会发生什么，并为我们接下来要讨论的事情争取时间。所以，好的，但我们都同意暂停AI是好的。好的，你还有什么？
是的。所以，暂停AI，现在我的意思是，我会将其分解成几种不同的策略。所以，嗯，是的，有提高公众意识。还有政府干预。我确实认为我们需要一项国际条约，你知道，尽可能多地禁止AI研究。我认为学术界应该站出来说，听着，那些在学术实验室进行概念性研究，试图更多地了解智能算法的研究人员，这不是好的研究，这就像对病毒进行功能增益研究，你们应该停止这样做。我像一个数学家或哲学家什么的，我不懂社会学和政治等等，但在我看来，除了法律制度之外，建立一个非常强大的社会制度，一个人们非常深刻地理解不进行功能增益AGI研究的社会制度，更具可行性。
就像我们一样。我完全赞成。我经常说，现在我们面临一个糟糕的局面，因为AI实验室的这些人，我的意思是，今天实际上是它的顶峰，然后它还在不断升高，就像你知道的，Meta现在正在开出3亿美元的报价，包括1亿美元的签约奖金，据我所知，他们已经这样做了大约10次，这我想也说得通，你知道他怎么会扔出数十亿美元呢？我们什么时候才能看到那种史诗般的、嗯，时代性的、呃，关于最大美元的对数对数曲线研究呢？没错。是的。
嗯，我还开玩笑说，呃，时间线实际上不像看起来那样有限。看起来我们离AGI越来越近，但当你接近奇点时，将人们束缚在公司的力量，即薪酬力量，变得越来越弱，突然间他们就散落在事件视界周围。他们无法凝聚成公司。他们太难了，他们太容易被挖走了。
面条化。
没错。没错。所以，所以时间线实际上将是无限的。所以，别担心，伙计们。嗯，但是不管怎样，我之所以提到这个，是因为这些人是绝对的摇滚明星。如果我不担心末日，我也会感受到这种吸引力。我不认为我会得到1亿美元的报价，但也许我可以得到200万美元的报价。我不会那样做，因为我无法想象自己在AI实验室工作，因为我认为它们是净负面的。但我的观点是，这些人应该像怪胎一样。他们应该被视为怪胎。嗯，我甚至自己告诉过你，去那里很诱人，因为我认为我的同事会是摇滚明星。领导层在运营科技公司方面就像摇滚明星。所有的钱都流向那里。你知道，OpenAI突然变成了一个3000亿美元的组织。你知道，Meta正在向它投入数十亿美元。所以，我感受到了吸引力。就像，这就是它的所在。这是A队所在的地方。但它应该像，看，你们就像怪胎。比如，想象一下，你知道，那些中国医生，他们说：“哦，是的。我真的很喜欢克隆人类，我要研究克隆，我要制造一个突变体。如果我有几代突变体也没关系，因为我在做克隆。”就像，“好吧，怪胎。”就像，是的，你知道，你技术上，技术上是优生学，或者那种克隆和工程，技术上绝对有不合理之处，但你正在做的事情是多么令人毛骨悚然。或者更令人毛骨悚然、更明显糟糕的，就像你说的功能增益病毒研究，对吧？想象一下，就像我的热情是功能增益病毒研究。就像“好吧，怪胎”。就像那些人不是在我们社区里获得所有金钱和所有地位的摇滚明星。所以我们必须进行一个巨大的逆转，我们要把那些最酷的人变成怪胎。而那是一项相当艰巨的任务。是的，我的意思是，我不是要责备你什么的。我的意思是，我也有类似的直觉。我对那些试图推进AGI能力的人感到非常非常负面。所以一方面，我心想，是的，我我想我大概应该表达出来，这就是我的感受和想法。另一方面，我希望，嗯，尽可能保持沟通渠道畅通。所以当然，在对话中，我不会一定称一个从事功能增益AGI研究的人为怪胎。我会希望他们生活在一个构建的、自我构建的社会环境中，每个人都对这项技术感到非常积极，觉得它超级酷。我们会帮助人们。我们会赚很多钱。我想我可能对人性有点天真乐观，但我只是觉得，如果我们真的能倾听人们的处境，也让那个特定的人听到我们的声音，比如他们是如何思考的，什么对他们很重要。他们应该能够被说服停止。
嗯，我想也许我可以感同身受，你知道，你谈到同理心。好的，我可以理解一个AI公司的研究员，因为我不是素食主义者，尽管我完全相信，你知道，我吃的动物受到了残忍的对待，它们遭受痛苦是完全错误的。
顺便说一句，那是一个很棒的例子。是的。
是的。谢谢。所以，现在当我吃肉的时候，我感觉自己像个摇滚明星，因为我去牛排馆，那里是，你知道，五星级的，服务最好，最贵，就像，呃，你知道，我周围的每个人都挺有钱的，因为他们一顿饭就花几百美元。但如果社会对待我不同，如果牛排店像妓院一样，对吧？比如，哦，你得去红灯区才能吃到里脊肉，字面意义上的里脊肉。也许这就是它们名字的由来。嗯，那我就会说，是的，你知道吗？我想我还是吃我的，呃，你知道，大豆汉堡，随便什么。我不会那么努力地去追逐肉食。所以，这就是我认为我们可以为AI工程做的事情。我认为，这种向奥弗顿之窗移动的开端，就是像你这样的人来参加节目，而不是说“是的，我真的不愿评判他们”。我宁愿你像“去他的那些家伙”一样。
嗯，是的，我不是说不“去他的那些家伙”。是的。“去他的那些家伙”。是的，我不是说不那样做。我想我只是也想说，我的意思是，我会稍微反驳一下。你的主张是，无论如何，利用社会污名基本上会更好地发挥作用吗？整个节目的宗旨，“末日辩论”，我的意思是它有两方面。一是提高讨论的质量，二是提高对迫在眉睫的末日的认识。其中很大一部分只是纯粹地移动奥弗顿之窗，填补缺失的情绪。所以，现在，就像你听所有这些其他播客一样，他们偶尔会提到末日，但很多时候他们会谈论其他话题，然后暂时忘记末日。你知道，他们就是不会。嗯，这就像，我的意思是，这是一个“别往上看”的情况。你知道，电影《别往上看》，小行星正在靠近。然后就像，好吧，现在我们进入谈论名人八卦的环节。就像，等一下，我们作为一个物种，都只剩下几个月可活了。为什么你现在在这个节目中报道名人八卦？很多对话都给人这种感觉。而且我只是想确保我们能触及到那个明显的小行星部分。
所以如果我理解你的意思，或者至少是你所说的一个版本，我非常强烈地、全心全意地同意，而且我确实很欣赏你正在做的工作。嗯，是的，就像你应该抬头看看，AGI将以5%、50%或90%的概率杀死所有人。5%太多了。AGI将永远杀死所有人，全人类。人类承诺的整个未来，人类的爱、痛苦、冲突、成长和创造力。所有这些都将因为AGI而愚蠢地、毫无理由地结束。那不应该发生。你不希望你的孩子被杀。我不希望我未来的孩子被杀。你不希望你的亲人被杀。停止AGI。但我对我如何谈论相关人员更加挑剔。不像我，是的。我不是说我们应该，嗯，手下留情或者什么的。我想我只是想小心一点。我的意思是，有一个犹太故事，嗯，有一个拉比反复被公路强盗拦劫，然后一天晚上他的妻子发现他在祈祷，她问：“你在祈祷什么？”他说：“我祈祷公路强盗会被击倒。”她说了些大致翻译过来是：“不要为此祈祷。”恨罪恶，不恨罪人。现在，好的。不，我我不指望你完全同意，但我的意思是，我之所以想对这类事情挑剔，就是尽可能地，我宁愿我们与公司之间，或者我们与计划或意图之间，或者与一份工作，或者与一个我完全支持的研究项目之间发生冲突。与一个人发生冲突，我也不是说不要那样做。我只是说，尽可能减少你与一个人之间的冲突。所以如果我说这个人是个怪胎，那就像我作为一个个体对抗你作为一个个体，而不是我，我认为我们你和我对AI风险有正确的看法。然后，在另一边，有一个人，他一半处于社会背景中，有他们认为为什么可以的理由，他们的合理化以及他们那些没有意义的动机，甚至在某种意义上是邪恶的。但他们的另一半，有那个关心自己孩子的人，以及那个如果有可能，真的可以找到另一份有成就感的工作的人。
是的。不，当然。我的意思是，看，在我看来，这不是针对个人的。这不是针对在实验室工作的人的个人恩怨，因为我很容易理解他们，他们也可以反驳我吃肉，你知道，我我我我真的应该，我的意思是，我做了一些有效的慈善，所以我喜欢认为这至少抵消了，是的，很多动物正在受苦，被我的牙齿弄得一团糟，但我也抵消了，所以随便吧，那基本上就是我的论点，而且从长远来看这不是问题，因为一旦合成肉可用，我就会吃合成肉。嗯，但是不管怎样，嗯，我想说的是，这真的不是我和在实验室工作的人之间的个人恩怨。我不认为我比他们更好。嗯，我只是认为重要的是这些人能收到他们正在被视为“混蛋”的信息。
好的。被说成怪胎，我感觉没那么糟糕，这听起来可能只是一个微小的区别，但是的，如果你正在尝试制造AGI，你就是个怪胎。
没错。没错。你是个怪胎。这不是针对个人的，但我认为你应该停止。而且我认为如果你不停止，人们应该在你的办公室外抗议，并像将你逐出他们的社交圈一样，而不是现在相反的情况，即把你当作摇滚明星。而且你知道，不仅如此，而且，嗯，你知道，TBPN，一个很酷的新科技新闻网络，他们现在正在制作交易卡，并像足球运动员被交易到另一支球队一样发布公告。他们为科技界人士这样做，这完全是理性的。我的意思是，如果你现在只比较薪水，科技行业前2%的人赚的钱，就和运动员中前0.001%的人一样多。但你应该停止那样做。即使它无穷无尽地有趣、好玩、美好，但就像，不，停止。你知道，这很难。我的意思是，你可以看到我的潜意识大脑有点背叛了我的理性思维，对吧？但我只是因为玩得开心，但我只是如实说出我的看法，对吧？我敢肯定伊卡洛斯在飞向太阳时玩得很开心。
是的，我同意你大部分的说法，但再说一次，我们不必深入讨论这个，但只是为了表达我的不同意见，我认为你应该邀请他们参加你的派对，然后和他们谈谈
然后伏击他们。
是的。我的意思是，试着倾听他们，但“值得对抗的同理心”是我的说法。
很好。好的。好的。那么，我们来谈谈核心问题，那就是你实际上正在努力解决这个问题。你知道，我们谈到了争取时间。那么，假设我们争取到了一些时间。你实际上正在努力在我们争取到的时间里做一些有成效的事情，对吧？我们来谈谈这个。
对。是的。所以，正如你所说，不死有两部分。你现在不能死，然后你最终也不能死。我们最终如何不死呢？实际上很难找到出路。一种出路是解决对齐问题，然后制造比人类更聪明的AI，然后利用那个AI来稳定棋盘，可以说。换句话说，让它变得你不能只是在你的地下室用你的笔记本电脑制造另一个AI。所以你用你的对齐AI来阻止不友好的AI，换句话说，不对齐的AI被创造出来。那是一种策略。这种策略最大的问题之一是，对齐问题极其困难。我的专家判断是，嗯，目前的人类似乎不够聪明来解决那个问题。这个问题就是极其极其复杂。它非常微妙。它需要非常长的困难推理链，而尝试这样做的人，包括我，都失败了。
是的。顺便说一句，你知道，我我应该对此发表评论，因为在我们否定人类之前，对吧，就像我们知道人类在真正投入精力时是能够遵守法律的。只是投入精力的过程通常会给我们多次尝试的机会。那就是问题所在。
那是关键问题之一。是的。
好的。但我想把这个话题引向生殖系工程。对。我认为那是你对此的真正特殊贡献。对。因为任何人都可以谈论对齐的困难和那些空泛的理论，但你实际上在这里深入细节，说：“让我们通过改变人类的基因来制造更聪明的人类。”
是的。所以如果我们想退一步，我们可以谈论其他可能制造更聪明人类的方法。但我考虑过各种方法，而唯一看起来真正可行的方法是人类生殖系基因组工程，也就是生殖遗传学，就像生殖一样。
当你谈到生殖系时，那是指女性卵子或男性精子中发生的细胞吗？
是的，没错。生殖系就是那些代代相传的细胞，对吧？就像你知道这个梗，如果你从某个角度看，你知道，我们认为自己生活在我们的头脑中，但至少从生物学角度看，我们就像性腺，比如睾丸和卵巢，特别是精子和卵细胞，只是，你知道，它们在时间中传播自己，复制自己，然后它们长出这种肉体机器人来移动它们自己。那就是生殖系。
是的。是的。那那那很有趣。我不知道这是否是一个更客观真实的观点，即精子细胞正在利用身体的其他部分，包括大脑，只是为了制造另一台将制造更多精子细胞的机器，而不是像“哦不，大脑正在操控”那样。我的意思是，我想也许归根结底你只能说基因在操控。对。
从进化的角度来看，身体和大脑只是精子和卵子的延伸表型。
对。对。而唯一的区别，我想让精子特别的地方在于，字面上，它们所含的任何基因组合，都将与大脑中的组合略有不同，特别是由于基因数量只有一半，对吧，一个精子只有一半的基因，而且它真的取决于你传递的是哪一半，那是一个相当高风险的游戏，呃，而且大脑并没有真正玩那个游戏，对吧，只有精子在玩。
是的。所以，我们谈论的是人类生殖系基因组工程。所以，我们谈论的是基因组的可遗传改变。所以，我们说我们要生一个孩子。正常的生孩子方式更有趣，但它，嗯，涉及随机选择父亲一半的基因组和母亲一半的基因组，然后你得到一个具有那个组合基因组的婴儿。所以，生殖系工程就是你以某种方式影响你将给予未来孩子的基因，基因组。然后，如果我们能够影响你将给予未来孩子的基因组，那么我们就可以潜在地赋予父母调整某些特性的能力。所以你可能会，如果技术可行，你可以降低你的孩子患糖尿病或心脏病的概率。你可能能够，你很可能会提高一个拥有那个基因组的孩子的大致平均智商。原则上，你可能能够调整个性特征，比如你对经验的开放程度，你的神经质程度等等。所以，有几个特性我们可能能够影响。在这个背景下，我们感兴趣的是智商。你知道，很难确切地说它意味着什么。呃，这里重要的事实是，嗯，首先，它很可能通过影响基因组而受到影响，其次，如果你提高智商，你很可能确实会，尽管存在各种争议，但我认为相当清楚的答案是，你提高了一个人解决问题的能力，追求他们的目标，嗯，通过提出新想法和解决问题来帮助他人，特别是你可能在数学、哲学和计算机科学方面更出色，因此你可能能够解决对齐问题。
好的。嗯，为了让这里更具体一点。那么，假设现在是2035年。AI还没有杀死我们，而你正在帮助的项目，你知道，帮助培养围绕这种生殖系工程的研究社区。假设进展顺利。它正在达到你预期的上限。那么，我们来讲述一个关于2035年的故事。就像一个新的人类婴儿诞生了，他们的基因得到了改善。那么，在十年后的这个良好情景中，他们是如何得到改善的呢？他们是直接从基因打印机中打印出来，还是这里实际发生了什么？
是的，有几种不同的可能方法。我我只选择我最喜欢的那一种。所以我想强调一下，这是假设性的，但我们正在讲述一个貌似合理ish的未来场景。那么好的，现在是2035年。你进去，诊所拿到一份精子样本。然后我们查看你的一堆精子，我们发现，嗯，你身体的每个细胞都有46条染色体。一个精子细胞的DNA含量是其一半。所以它有23条染色体，每种染色体编号一条。这是染色体1号、2号、3号等等。所以，我们要做的就是查看你的精子，然后我们会说：“你的所有精子中，哪条1号染色体得分最高？哪条2号染色体得分最高？哪条3号染色体得分最高？”以某种方式，我们将提取那些不同的染色体，将它们组合成一个精子，然后我们将用你伴侣的卵子进行受精，那将制造一个婴儿。当我们选择这些精子时，我们选择它们是因为它们含有大量与非常健康和非常聪明相关的基因。然后婴儿
我能问你一个问题吗？
我注意到你是在染色体层面做的，但你知道，一次射精有多少，比如一百万个精子？
呃，10到100百万。
天哪。10到100百万个精子，老兄。嗯，所以如果你查看1000万个精子，即使你没有深入到单个染色体的层面，仅仅从1000万个中选择最好的一个，那不是非常有帮助吗？
从技术角度来看，这有点帮助。即使是精子选择也相当困难。我实际上听说过一家公司可能正在进行某种非常弱的精子选择形式。但不管怎样，它有多强大？
但你的，你的，但你的设想涉及比精子选择更复杂的东西，对吧？它涉及在相同的1000万个精子中进行染色体选择。
是的。是的。是的。没错。嗯，它们都很难。那么，这东西有多强大呢？我认为，如果你只是从精子中选择最好的，它的效力会比你希望的要小得多。呃，原因在于，粗略地说，你给定精子中DNA的多基因评分将从高斯分布，即钟形曲线中采样。
嗯，我的意思是，也许我可以这样解释，对吧？如果你，嗯，如果你每次只选择最好的精子，那么粗略地说，这有点像你现在必须经过23代才能获得选择23条染色体最佳组合的等效效果。我的意思是，不太对，因为它不是那样工作的，但它给出了一些直觉。嗯，好的，我给出这个直觉的方式会相当粗糙，但它给出了一个不错的直觉。如果我们将染色体选择与整个精子选择进行比较，那就像你有一个密码，你不知道密码，你想猜密码。在一个场景中有两种情况。所以精子选择就像你按下一个按钮，然后整个密码被随机打乱，然后就像我猜对密码了吗，你一直按按钮直到你猜对密码。所以你会一直打乱所有，你一直重新采样整个密码猜测，就像一个随机的符号串，我猜对密码了吗？那会花很很长时间。如果你进行染色体选择，那就像你按下按钮，你重新采样所有数字，但当你猜对一个数字时，它就保留下来，不再被重新采样，你看。
好的。我的意思是，我同意，如果你能单独选择每条染色体，那可能会好上10的多少次方，我甚至不知道是多少，但就是很多个10次方。所以我同意这一点。好的。所以你理想的2035年是，看，我们一次射精的精子。如果我们能从中挑选出最好的，你知道，就像一个普通人的射精中，可能就有一个冯·诺依曼-爱因斯坦，你知道，可能就有一个染色体组合在里面，对吧？这样说公平吗，或者你会怎么猜测？
呃，不完全是那样，但实际上已经很接近了。嗯，我认为你，这些估计很难做。在这个估计的不同部分，我既保守又乐观，但我会说，如果一对夫妇能对精子和卵子都进行染色体选择，智商可以提高大约三个标准差。所以这意味着智商增加45分。所以你可以从平均水平，当你选择卵子时。
一个典型的女人大概有，我甚至不知道，几百个卵子储备。
呃，那非常乐观。更像是五、五、十或二十个。是的，没错。是的。我的意思是，你知道，当你选择卵子时，肯定比什么都没有好，但可供选择的实在太少了。所以，我觉得精子选择正在承担重任。
卵子，卵子稀缺在这里绝对是一个大问题。但即使你愿意销毁你的卵子，这不好，但如果你愿意销毁你的卵子并且你有10或20个卵子，你实际上会获得大部分的力量，因为再次强调，在染色体层面，你正在从高斯分布中进行采样。所以，回报是递减的。
我明白你的意思了。哇。好的。所以，如果你能选择理想的，当然，不仅如此，即使你把精子优化到极致，你也会真的想确保你得到最好的卵子而不是最差的卵子，即使只有大约10个选择。嗯，所以我的意思是，是的。当然，就像你说的，混合染色体。好的。所以，我的意思是，看，我完全接受这个前提。我的意思是，我认为有一百万个注意事项。我认为这需要10年的研究，也许更久，但原则上，我完全认为一对夫妇的典型精子和卵子中存在如此多的多样性可供选择，这确实似乎能让我们达到，我同意你的看法，这应该能让我们达到人类能力的巅峰。然后我想我主要担心的是，在仍然拥有人类基因的情况下，我们能超越爱因斯坦多远，对吧？就像我们可能仍然会在这里碰到天花板。
是的，我认为没错。我认为这是一个重要的担忧，关于我们能走多远，以及我们是否能通过制造100个天才来可靠地解决对齐问题。没有人知道你能走多远。我会非常强烈地反对尝试制造一个所谓的“300智商婴儿”。呃，因为那将是彻头彻尾的危险。嗯，就像如果你想象制造一个，我们对身高的基因了解很多。所以，如果你真的天真地线性外推，我们完全可以制造一个10英尺高的婴儿，但那个婴儿基本上会死。与其通过外推智商来选择，不如选择一个拥有非常非常大头部的婴儿呢？因为那种基因可能被抑制了，因为它们不会是适应性的，对吧？就像你自然分娩时必须有，但现在我们有剖腹产，对吧，也许我们只是专门修改大脑大小和头部大小。也许那就像一个解锁。
是的。所以，你指出了一种主要方式，我们可以通过这种方式在自然选择中取得优势，即存在某种限制。所以你会看头部大小的统计数据，对吧？那会告诉你，好吧，我们怎么才能得到一个更大的头？然后那可能会让你免费获得更多智能。我的意思是，也许，你知道，规模就是你所需要的一切，对吧？
嗯，是的。呃，我认为那是个好主意。
就像一个大得多的头。
嗯，是的，我要申请专利。你必须向我授权那个专利。
对。呃，不错的尝试。但是，嗯，那，嗯，那可能是一个不错的想法，可以做一点。嗯，当我们基本上除了只看那种最终输出特征之外做任何事情时，我都会非常紧张。原因在于，嗯，我之所以对生殖遗传学，比如生殖系工程，感到良好或乐观的主要原因之一。呃，我感到乐观的原因之一是，我们在某种意义上实际上拥有大量的验证和安全数据。我的意思是，有80亿人在外面活动，你可以看到他们的行为，看到他们的生活结果，他们的健康结果，而且你知道，在他们同意的情况下，你可以，嗯，对他们的基因组进行测序。所以你实际上可以看到哪些基因导致哪些特征和哪些生活结果。如果我们不太过度地调整这些特征，那么你仍然处于安全领域，就像你只使用我们在人群中实际见过的基因和基因组合，我们基本上知道它是安全的。但如果你开始修修补补，做一些奇怪的事情，比如你试图让一个特征，一个生理特征变得非常奇怪，超出人类的范围，比如工程，工程智能真的很难。使用像经验观察到的智能范围可能正在
去工作。 >> 那么等等。如果你的目标仅仅是再培养一个陶哲轩，为什么不直接克隆陶哲轩呢？ >> 嗯，除了同意问题，克隆实际上并没有那么容易。它并不比……比这些其他生殖工程方法容易多少。就像一个宏观层面的大问题，至少有两个非常大的问题。一个问题是基因组退化。所以你体内的细胞基本上会积累越来越多的突变。所以如果你只是用一个皮肤细胞之类的，就会有很多损伤。即使你使用一个更受保护的细胞，比如骨髓干细胞。所以这是一个问题，累积的体细胞突变，然后另一个问题是我称之为表观基因组校正，其中 DNA 是细胞最重要的东西，但细胞第二重要的东西是表观基因组，这意味着像控制哪些基因表达的化学物质，而生殖细胞，如精子和卵子，需要相当特定的表观遗传状态才能生出健康的婴儿。现在，你听说过克隆。你听说过多莉羊，他们从一只成年羊的乳腺细胞中提取 DNA，然后将其放入……将 DNA 放入一个卵母细胞，一个卵子中，偶尔你会得到一只羊，这很神奇，但 99% 的时间胚胎不会发育，然后大约百分之零点五的时间你会得到一个健康的婴儿，然后另外百分之零点五的时间你会得到一个畸形的婴儿，比如一个有严重发育缺陷的婴儿，他们生病了，他们痛苦，然后他们死了。和 >> 哇，如果你这样做，你就是个怪胎。 >> 是的。正确。所以克隆根本不能绕过这个问题。就像你无法接触到成年人的细胞。你成年身体里没有任何细胞准备好成为一个健康的婴儿。如果你产生精子，那么精子可以为一个健康的婴儿做出贡献，如果你有相对健康的精子。但那样我们就不是在克隆你了，对吧？ >> 好的。是的。是的。所以，我想我真正的问题是，你的潜在收益与让天才青少年发生性关系相比如何？ >> 巨大的好处是，有两个巨大的好处。一个好处是，会有更多像你一样的人。所以，这里的目标，这个领域的目标，在我看来是赋权给普通父母，代表他们未来的孩子。我的意思是，人们对这项技术的一个大问题可能是它会加剧不平等。就像所有有钱人都能生出聪明、健康的孩子，而其他人只能生出随机的孩子。嗯，我有点同意。我说，是的，我们应该让这项技术非常有效，非常……非常高效且成本低廉，并尽可能广泛地提供，这样你就会得到很多很多天才。这是第一个巨大的好处。第二个巨大的好处是，你可能可以稍微……稍微推向上限。 >> 我明白了。所以，所以我的意思是，你有点把自己看作是推动一个非常早期的领域向前发展。就像，听着，有很多好处。我们只需要推进这个领域。我从……的角度问你问题，比如，好吧，我们还有大约五年的时间，直到我们都死了。那么完整的端到端计划是什么？我们需要尽可能多的超级天才。 >> 是的，我们需要很多超级天才。然后总的来说，我正试图成为这个领域的合适帮手或管理者。就像，这不是我的领域。我的关于……关于人工智能和 X 风险以及所有这些东西的动机，并不是这个领域的大多数人所共有的。而且，社会对生殖工程的关注也并非只有这些。就像社会还有所有这些其他问题，比如不平等和安全等等。但你说的是端到端计划？ >> 是的。是的。是的。正是如此。所以，所以我的故事不会是我们在地堡里秘密制造一千个天才，然后我们告诉他们不要制造 AGI 能力，但我们告诉他们研究对齐。就像，那不是我想要的计划。我不认为任何人应该这样做。端到端计划包括一个步骤，比如现在我们有很多聪明人，我希望他们会决定帮助世界，特别是其中一些人，我希望他们会把他们强大的头脑投入到降低人工智能带来的生存风险的任务中，这可以通过几种不同的途径来实现。其中一种是解决对齐问题。另一种是……甚至更好地说服所有人暂时不要制造 AGI，并弄清楚如何……如何实现这一点，无论是技术上还是社会上。另外，我认为有一件事是，提供一个真正合法且充满希望的替代方案来制造 AGI，就像，看，你是对的。智能非常强大和重要，并将带来巨大的好处，但让我们作为人类来做这件事。我们不需要制造……制造像外星半神之类的东西，因为我们需要立即这样做。就像，如果你等待……等待 10 到 20 年左右，我们会得到很多聪明的人，他们会让你活得更长。我们可以达到寿命逃逸速度。我们可以治愈癌症。我们可以治愈心脏病和任何数量的精神疾病。这只是……这只是一个人类规模的科学和工程问题，以及一切。 >> 缩小范围，走向总结。你正在进行这项伟大的研究，但当你谈到你的 P 厄运时，你说你不是很确定，并且你坚持在 50% 以下的数字。所以，似乎在某种程度上，你的主要设想是我们将在未来几十年里以某种方式……以某种方式度过难关。所以，我想在你看来，我只是想确认一下，你认为你的种系工程研究的速度是否足够快，足以在我们注定要灭亡之前帮助解决问题。嗯，是的，因为我对生殖工程相当乐观，而且我的时间表相当长。是的。就像，我……我希望第一个超级聪明、超级健康、超级长寿的婴儿……乐观地说，可能在 10 年内出生，也许更可能是在 15 或 20 年后，然后他们长大。然后，这意味着在 30 到 40 年后，你开始有一些孩子为世界做出贡献。 >> 如果在六个月内，你开始看到人工智能在数学竞赛中获胜，甚至更好。我的意思是，我们有它们赢得一些数学竞赛的结果，但它们甚至更好，而且人类报告说它们……它们甚至比人类更好的软件工程师，我不知道你是否看到了一些让你主观地认为“我的天哪，这是……这是创造力的火花。这是……这是一个新的概念。这就像乔治·坎特尔级别的可证明性。这种事情会突然重塑你的 P 厄运吗？ >> 嗯，嗯，你给出的具体例子不会有太大影响，但总的来说，是的，如果我看到让我认为 AGI 即将到来，是的，当然我的 P 厄运会大大增加，在某些……在某些相对方面， >> 我认为。所以主观上，你……你只是觉得过去几年你一直在阅读有关突破的消息，然后说“哇，这是一个有趣的突破”，但它仍然没有那种创造力的火花。就像在你看来，所有的突破都落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在……落在
</h2>