Transcription
开始介绍，当人们正在加入时。我是 Karolina，我是道德抱负人工智能圈的组织者。这是道德抱负学院的一项倡议，与 Otto 的谈话是我们希望与在人工智能领域体现道德抱负或能为我们提供如何在该领域产生更大影响的良好指导的专家们组织的一系列谈话中的第一次。Otto 是存在风险天文台的主任。他还撰写了被推荐为本次演讲的阅读材料的文章。非常感谢您加入我们，并与我们分享您的专业知识和知识。
是的，非常感谢 Karolina 的介绍，欢迎大家。很高兴你们能来到这里。我确实是存在风险天文台的创始人，我将稍微介绍一下我的背景。我将稍微深入探讨长期主义的概念，以及为什么我认为致力于人工智能的未来，以及为什么我认为致力于人工智能的未来是优先事项。当然，我还会分享一些关于存在风险天文台在做什么，以及你们自己可以做什么。那么，在我们开始之前，请允许我以一个介绍性问题开始。那么，你们能否在接下来的 100 年内，按可能性从高到低的顺序，在脑海中列出三个可能导致人类灭绝的事件？在你们思考的时候，请记住结果。如果一切正常，你们现在应该可以投票了。然后，请检查人工智能是否在这三个风险之中。如果是，请投票“是”，如果不是，请投票“否”。
这都奏效了吗？是的，它正在奏效。到目前为止，我们有三个投票支持“是”，表明人工智能是三大风险之一。嗯哼。好的。这似乎相当代表了我所想的一切。尽管只有四票，五票，到目前为止。尽管 Gary 提到他一直认为核战争将是最大的风险。好的。嗯，是的，感谢这个背景。那么，有了这些知识，让我们进入演讲。首先，我将分享一些关于我的背景。我的背景是物理学和可持续能源技术。我的学士和硕士学位都在这里完成。我曾担任可持续能源工程师约五年，主要从事风力涡轮机的建造。然后，我还曾是“反抗灭绝”组织和“Wise”组织的环保活动家。我还创办了一家智能电动汽车充电初创公司。所以，我的背景确实是从技术角度和活动家角度都深入到气候和可持续能源领域。然后，我听了安德·桑德伯格（Ander Sandberg）在人类未来研究所的一次讲座，他是一位典型的长期主义者，这在某些方面改变了我的看法，然后我继续创立了存在风险天文台。所以，我的背景可以概括为两篇文章。第一篇是我被警察带走。气候示威者得到了报酬，当然我们没有。第二篇是我争论我们是否仍然控制着电子或智能机器人，正如他们所说的那样。
那么，我们从哪里来？我想从这里开始。人类大约有 30 万年的历史，或多或少。世界人口爆炸式增长，正如你们在右侧图表中看到的，Y 轴是世界人口数量（以十亿为单位），X 轴是时间。从 30 万年前到 10 万年前，似乎非常平淡。然后在零年左右，尤其是在工业革命期间，你们可以看到图表脱离 X 轴，真正爆炸式增长到约 80 亿人。我认为，这是普遍接受的，技术使这一切成为可能。那么，你们称之为？广义上讲，技术。农业也是一种技术。通过从事农业，通过进行工业革命，我们成功地作为人类完全爆炸式增长。我不是说这是好是坏，只是暂时观察一下。但是，鉴于我们看到这样的历史，一个大问题是，我们正走向何方？太阳将在约 50 亿年后爆炸。宇宙的其余部分还有更多时间。这大约是我们历史的 17000 倍。所以，如果我们将这个绘制在同一张图表上，但 X 轴被扩展了，现在是从几乎看不见的零 30 万年到未来 50 亿年。当然，这是一个巨大的问号，它将走向何方。我们面前有 vast amounts of time。我们现在也经历着野蛮的指数增长，但我们将如何塑造未来？我想讨论三种可能的愿景，或者三种看待这个问题的方式。一种我认为是相当主流的，至少在我所在的圈子里，那就是一个绿色可持续的地球未来。那么，人口可能会增长一点，也许会达到联合国预测的约 100 亿，然后稳定在 60 亿左右，或者任何数字，也可能是 100 亿。但之后，它将大致保持不变，然后这种状态将持续数十亿年或更长时间。根据我听过讲座的安德·桑德伯格（Ander Sandberg）的说法，他将此描述为“永远的肥皂剧中的麦当劳”。我个人不太喜欢肥皂剧中的麦当劳。所以，也许更积极的说法是“永远的平等、和平、自然和瑜伽”。但或多或少与我们现在所处的世界相似，但持续非常长的时间。在这种情况下，未来也远大于过去。所以，我也认为记住这一点很重要。但是，问题是，这可能吗？因为我们已经观察到，到目前为止，增长是由科学和技术驱动的。而且我们还没有发明出所有的科学和技术。所以，在地平线上，我们可以看到人工智能通用智能（AGI），我们稍后会讨论它，纳米技术，生物技术，量子计算，以及可能还有我们仍然需要探索的许多其他事物，并且我们仍然可以，是的，也许可以利用它们。所以，是否可能，有了所有这些新技术，我们将拥有一个与我们现在所拥有的世界相当的世界，这是一个有效的问题。
愿景二，另一个愿景。这仍然不是规范性的。我并没有真正说我们是否应该想要这个，或者别的什么，只是观察。愿景二将是一个高科技乌托邦，在那里我们试图最大化价值。所以，如果我们说人类是有价值的，那么我们基本上就是在尝试拥有尽可能多的人类。所以，会发生什么呢？我们将继续发展技术。所以，我们将获得人工智能通用智能（AGI），它能够执行所有认知任务，达到人类水平，或者至少是最具经济相关性的任务。这将使我们能够开发自动化的科学家和工程师。例如，Anthropic 的 CEO 会将其描述为“数据中心里的天才国家”。这些自动化的科学家和工程师将继续发明事物。所以，他们可以发明殖民太空的技术，例如。我们已经可以稍微殖民太空了。所以，从长远来看，考虑到我们有时间，这并不是一个非常牵强的想法，我们能够以某种方式做到这一点。所以，在这种情况下，人口或价值（如果你这样称呼它的话）将继续呈指数级增长。我在这里尝试拟合一条曲线，右侧。你们仍然可以看到世界人口，但现在是从大约 1800 年工业革命开始到现在，接近 100 亿。然后我们拟合一条曲线，我们大致可以看到它的发展方向，当我们推断它时。所以，当我们推断它时，在右侧图表中，我确实很好地进行了推断，但它完全消失了，因为我们还有太多时间。所以，基本上，我们现在正在爆炸式增长，这种爆炸将持续下去，直到我们遇到某个限制。那么，你可能会遇到哪些相关的限制呢？当然，如果你不进入太空，那就是地球上的人口数量。如果你进入太空，那么也许是银河系能够支持的人口数量。有人称纽伯里（Newberry）实际上试图估计这个数字。我认为是 10 的 26 次方，10 的 26 次方亿人。所以，相当庞大的数量。或者甚至更具异国情调，最终达到长期主义者尼波斯特拉姆（Nepostram）估计的最多意识实体数量。这可能是人，但也可能是其他意识实体，例如宇宙中的意识人工智能。他试图给出一个数字，说明这可能达到多少，最终是 10 的 49 次方亿意识实体。所以，这可能是一个高科技乌托邦，最大化，或者我们还不知道它是否是乌托邦，但至少是最大化价值。或者，当然，我们可能会灭亡，这也是一种选择。所以，我们正在寻找的是，因为时间如此之长，你正在寻找一些能够长期稳定的东西。所以，这种最大价值的乌托邦可能是实现这一目标的一种方式。另一种方式当然是，是的，如果我们灭亡了，那也是一个稳定的状态，或者他们有时称之为吸引子状态。一旦你进入其中，你就无法摆脱。事实上，大多数物种都灭绝了。所以，认为我们也会在某个时候灭绝，这并不是非常牵强的。然而，事实上，大多数物种灭绝是因为自然灾害，某种灾难或竞争对手之类的。而如果我们灭绝了，那么我们自己灭绝的可能性似乎更大。所以，我认为这在自然界中是相当独特的。但如果我们灭亡了，那么它也将稳定数十亿年。所以，图表看起来会是，我们达到了大约 80 亿，然后我们降到零，然后一直保持在那里。所以，这三种愿景可能是未来可能展开的方式。而第三种当然是，如果我们灭亡了，那就是存在风险。
所以，存在风险，它实际上比人类灭绝的定义更广泛。长期主义者再次将其定义为威胁人类长期潜力的风险。这可能是人类灭绝，但也可能是一次不可逆转的崩溃或反乌托邦锁定。但这些崩溃和锁定，门槛真的很高，因为它需要长期稳定。而托比·奥尔特（Toby Ord），据我所知，是有效利他主义的两位创始人之一，也是牛津大学的研究员，他试图在一本名为《悬崖》（The Precipice）的书籍中估计和量化这些概率。右侧是这些概率的量化，其中一些量化相当科学，而另一些可能不太科学。例如，完全的自然风险，这实际上微乎其微，这也是例如一颗来自太空的陨石，就像杀死恐龙一样，或者超级火山爆发。这微乎其微，因为我们知道我们已经存在了 30 万年，而且这种情况从未发生在我们身上。所以，这是一个很好的估计这个机会有多小的代理。它比任何其他事情都小得多。但现在我们正在制造自己的机器，这变得更加危险。例如，核战争，在未来 100 年内发生核战争的概率是多少，因为这些数字是这样定义的。估计起来有点困难，但我们姑且说大约十分之一，然后从核战争中，我们实际灭绝的概率是多少？估计起来也很困难，但我们姑且说 1% 吧。有一些情景，这可能是合理的，至少看起来不太可能，但也许会发生。所以，这就是托比·奥尔特（Toby Ord）大致估算核战争导致我们灭绝概率为 0.1% 的方式。气候变化当然是另一个巨大的问题，我曾是一名气候变化活动家，我对这个问题的看法并没有太大改变，我仍然认为这是我们面临的最大问题之一。然而，我们也看到，要真正导致人类灭绝或不可逆转的崩溃或反乌托邦锁定，并且这种状态持续数十亿年，这似乎不太可能。我认为概率是千分之一。仍然，我的意思是，你仍然不希望有千分之一的存在风险。所以，这仍然相当糟糕。但气候变化主要是不利于存在风险的原因。我认为是不利于存在风险的原因。它们有流行病。所以，有自然流行病，但它们从未杀死我们。所以，它们现在杀死我们的概率似乎相当小。但你也可能有人为的流行病，有人实际上试图制造一种会杀死所有人的流行病。这似乎更危险。所以，奥尔特（Ord）估计在未来 100 年内，人类灭绝的概率约为 3%。然后是人工智能，我们稍后会多谈一些。其他也是一个有趣的类别，我目前不会深入探讨。但是，无论如何，我认为长期主义者提出的一个观点，我认为他们确实有一个合理的观点，那就是我们人类实际上可能会灭绝，而如果我们灭绝了，那么我们很可能会通过我们正在制造的某种技术来灭绝。所以，也许好消息是这是人为的。所以，原则上我们可以减少风险。但是，是的，这确实是一项艰巨的任务。所以，是的，未来是巨大的。这可以说是这些幻灯片的第一部分。再加上存在风险。所以，这导致了右侧由人工智能生成的亚当和夏娃骑着摩托车不戴头盔的图片。你可能会想对他大喊，好吧，亚当，你正处于瓶颈期。小心点。不要摔倒，因为我们冒着一切风险。所以，我们有点像，是的，像亚当骑摩托车一样。所以，我们可能正处于悬崖边缘，正如托比·奥尔特（Toby Ord）所说的，或者正如埃利亚斯·科夫斯基（Eliezer Yudkowsky）所说的，他也是一位 EA（有效利他主义）哲学家，这可能是最重要的一个世纪。如果亚当死了，就没有未来了。所以，你必须在这里小心。我本人不是一个长期主义者。到目前为止，这或多或少是长期主义者的演讲。但我实际上在某些方面与长期主义者有分歧。例如，一个典型的长期主义者可能会说，尝试最大化价值。所以我试图最大化未来的价值。然而，我个人认为最大化人类是愚蠢的。我不认为尝试制造尽可能多的人是有意义的。我也不认为尝试制造尽可能多的有价值的人工智能，即使它们是有意识的，也是有意义的。我不认为它们必然在道德上有价值，我也不认为将它们永恒地繁殖是有意义的。所以，作为一个思想实验，让我们假设意识是一行代码。然后我问了另一个人工智能模型，好吧，如果意识是一行代码，那么一个长期主义者的梦想会是什么？它提出了“永远的你好世界”。所以，用“你好世界”充斥宇宙等于最好的宇宙吗？我会说不是。但典型的长期主义者会说，是的，拥有大量快乐的意识是好的。在人口伦理学中，你可以将其视为让更多人快乐，而不是制造更多快乐的人。而长期主义者的错误在于，制造更多快乐的人实际上是好的，而制造更多快乐的人则不是。我认为这也是哲学家中更主流的观点。然而，灭绝是可怕的。所以，无论你的伦理观如何，我认为与其说长期主义，不如说我们应该关心人工智能，而不是“杀光所有人主义”，这是一种你可以查找的模因。
那么，为什么人工智能是一种存在风险呢？AGI，正如我们已经讨论过的那样，是人工智能，至少和我们一样有能力，在广泛的认知任务上，正如我们所定义的。这是研究人员、公司，现在甚至是国家明确的目标。它明确地出现在欧盟、中国以及我认为的美国的人工智能战略中，或者至少是其中一些文件。当然，还有像 OpenAI、Anthropic 和 Google DeepMind 这样主要的人工智能实验室。Facebook 这些天也在谈论超级智能，而且很明显，这就是他们想要的方向。还有许多学术研究人员，不是所有人，但绝对足够多。然而，到目前为止，人们还无法做到这一点。我认为右侧有一个清晰的原因。这张图表绘制了 100 万美元可以买到的计算能力，并与人脑进行比较。所以，你们可以看到虚线，可以看到实际数据是什么样的。而实线是最佳拟合。它呈指数级增长，基本上直到现在，它都远远低于人类的能力。我认为大约在 2025 年，它将跨越这条线，然后超越它，因为计算能力正在呈指数级增长，而我们却没有，也许不幸的是。所以，因此，人们已经尝试了很多年，但他们没有计算机，现在他们有了计算能力。而且未来他们将拥有比人脑所需更多的计算能力。然后，百万美元的问题是，好吧，人们是否会开发出真正实现人类水平人工智能所需的算法？当然，他们正在非常努力地研究它，使用 LLM 和你可以用 LLM 做到的各种技巧。我个人对这是否最终会导致 AGI，或者我们是否需要新的范式持中立态度。我不知道。但我确实认为，最终有人会想出办法，这很有可能。所以，这就是为什么我认为我们最终会拥有人类水平的人工智能，然后也许是超人类人工智能，这是这张幻灯片的议题。所以，右侧你们可以看到国际象棋计算机是如何发展的。国际象棋计算机越来越好，越来越好，它们也变得比人类特级大师更好，但它们并没有停留在人类特级大师的水平，而是继续前进。我认为，通用智能也会发生这种情况，这并非不可能。人工智能不会停留在人类水平，而是会在分析事物方面全面超越我们。所以，我认为这是合理的论据之一。当然也有反驳的论据，但我认为这些是支持的论据。大脑的空间和能量比我们的大脑多。我们相对渺小，只使用 10 瓦，所以至少应该可以做得比这更大。计算机也快了约 1000 万倍，所以仅仅因为速度，我们的表现，我们或 AGI 或另一个 AGI，就可以提高。所以，这可能是通过算法改进，硬件改进。所以，你可能会遇到递归的自我改进，一个更好的人工智能正在创造一个更好的人工智能。所以，我认为我们最终会拥有相当超人类的人工智能，但上限在哪里，这是一个大大的问号。有些人说它将远远高于人类水平。有些人说它将大致是人类水平，以及介于两者之间的任何可能性。什么是未对齐的 AGI？那么，这将是目标与我们大多数人不同的 AGI。有很多原因可能导致这种情况发生。你可能会在训练环境之外获得不同的人工智能行为。非常技术性的原因。我们可能无法很好地表述我们实际想要的东西。人工智能可能会尝试自己寻找目标但失败了。我们的目标可能会改变。所以，我们无法更新人工智能。当然，一个坏人可能会实施这些目标。所以，你可能会有一个恐怖分子或一个流氓国家，或者也许只是一个对手试图实施他们的目标，或者你社会内小精英的目标。所以，例如，我们当然有大量的经验，例如公司试图优化赚钱，但这实际上可能导致大多数人的糟糕局面。或者一个邪恶的敌对国家也可能这样做。或者，当然，我们可能会实施短期目标，我认为这有点像“利润高于气候”。我们有很多实施短期目标然后长期做傻事的经验。所以，这也许也可能发生在 AGI 上。所以，这些是，是的，我们可能最终拥有超级智能的方式，而超级智能的目标可能与我们的不同。
那么，问题是人工智能将如何获得权力？所以，有一篇由 Chef Lame 于 2023 年发表的有趣论文。右侧是合著者名单，它也是由地球上被引用次数最多的 AI 科学家 Yoshua Bengio 合著的，并且是由 DeepMind 和一些在实验室工作的人合著的。他们说，我们拥有一系列看起来很危险的能力。例如，网络攻击，入侵计算机。欺骗，说服，操纵。例如，你可能会说服管理员给你密码，即使你设法将人工智能限制在某个范围内，你无法黑入它，它也无法黑出它，你仍然可以劝说网络给你密码，从而仍然逃脱。人工智能可能会擅长政治策略，实际上它似乎已经相当擅长了。武器采购，这是目前还没有起作用的事情，幸运的是，但它可能在未来开始起作用。制造武器或说服军队发射核武器，或者任何其他可能的途径。长远规划。所以，到目前为止，我认为这是我们目前仍然相当安全地使用 LLM 的一个原因，因为它们在长远规划方面真的很糟糕，这我认为是个好消息。但这种情况会持续多久，这是一个问号。人工智能发展，这可能会导致递归的自我改进，情境意识，这对各种事情都有好处。理解你所处的情境，理解世界，理解你自己的处境，以及自我扩散。所以，这些是人们正在检查的危险能力。我们也在进行这种类型的研究，在人工智能评估方面。但有趣的是，人工智能科学家们真的很担心这些能力可能会出现，而且大多数领先的人工智能研究人员确实认为未来的人工智能将能够超越我们。即使他们是积极的，他们通常是积极的，因为他们认为它将是超级强大的。但别担心，我们可以对其进行对齐。我认为，是的，我并不确信我们最终会成功。
所以，一些关于制造 AGI 可能适得其反的直觉。所以，我们拥有对动物的控制权，这主要归功于我们的智力。所以，创造比我们更聪明的东西是个好主意吗？这是一个直觉。你也可以说，这就像与马格努斯·卡尔森（Magnus Carlsen）下国际象棋一样。我们不知道他会如何获胜，但我们知道他可能会获胜。我现在加快一点速度。我暂时跳过这个。我们如何实际减少存在风险？有人已经问过这个问题了，简而言之，这是一个棘手的问题，但更长的答案是。我认为可以从两个基本选项开始。你可以说某种技术解决方案。例如，在截止日期前进行人工智能对齐，或者某种监管社会解决方案协调。所以，在安全得到证明之前进行监管是一种实施的方法，一种预防原则。所以，关于人工智能对齐，我认为一个主要问题是，如果你有一个多极结果，也就是说，你有很多 AGI，而你只对其中几个进行对齐，那么那些未对齐的 AGI 可能仍然会获胜。所以，这是攻防平衡。如果你没有掌握好攻防平衡，而且这是你可能无法选择的事情，但它也是目前研究中的一个问号，那么即使你解决了人工智能对齐问题，你仍然会遇到问题。对齐什么这个巨大的问题也完全是开放的，而且技术对齐通常被认为是一个未解决的问题。或者监管，严格的监管似乎相当有希望。然而，我们认为有效的持久监管需要广泛的意识。所以，这与我们在存在风险天文台所做的工作有些联系，主要是提高意识，但也越来越多地进行研究，目标是减少人工智能存在风险。所以，我们利用传统媒体大规模提高意识。所以，右侧你们可以看到一些我们发表的文章，主要是在传统媒体上。其中四篇发表在《时代》杂志上。而且，我写的第一篇《时代》文章也是由我们发表的。在那之后，也许它为科夫斯基（Yudkowsky）和马克斯·泰格马克（Max Tegmark）等人的未来文章打开了这个渠道。我认为这是我们产生的一些不错的影响。我们还通过组织活动来提高意识。所以，右侧你们可以看到一次与两位荷兰议员的活动。总的来说，我们邀请政治家、记者和有想法的人，我们思考如何减少存在风险。例如，我们有一个由约书亚·本吉奥（Yoshua Bengio）主持的主旨演讲，他是地球上被引用次数最多的教授，还有记者，例如来自《时代》、《经济学人》和《月刊》的记者，以及美国国家安全局（NSA）也曾出席过。所以，这是我们提高意识的活动之一。我们还为政策制定者提供建议。我现在就快速跳过这一点。我们有一个主要的政策提案，即一项有条件的 AI 安全条约。它基本上说，如果能力超过某个点，我们建议与 AI 安全研究所进行检查，他们正在对领先的 AI 模型进行评估，然后他们确定能力是否已经超过某个 X。如果属实，那么签署条约的国家将承诺暂停。所以，我们也越来越多地进行研究。所以，今年我们正在研究的两个主题是“浮点数依赖的关闭开关”。基本上，我也会快速浏览一下，但基本上只是确保我们能够有效地关闭人工智能，因为现在，是的，这是我们实际上无法做到的事情。我们没有一个真正有效的暂停按钮，或者一个肯定有效的政策提案，能够将人工智能的能力保持在某个安全的水平。所以，我们试图开发这个。我们还在进行人工智能评估的研究，并且我们想回答更多关键问题。所以，例如，人工智能究竟会如何导致我们灭绝。这被称为威胁模型。有趣的是，许多科学家，不是所有科学家，但许多科学家都同意人工智能是一种存在风险，但这种风险的产生方式，对此存在一些分歧。所以，进一步研究这一点很有趣。还有非存在性的 AGI 未来。假设我们将拥有 AGI 未来，但我们实际上会以某种方式度过它。那么，是的，我们可能会陷入某种超稳定的未来，所有科学都已发明，所有技术都已发明，然后我们将利用这数十亿年的时间来做些什么。但是我们做什么呢？例如，是否会有超稳定的硬权力失衡，超稳定的经济权力失衡，大规模失业？那么，你想要什么样的重新分配，是 UBI 还是其他什么？但我们如何确保我们不会跨越我们的气候或行星边界？右侧是 Kayor 的甜甜圈经济学，我有点喜欢它。他说，好吧，我们应该想要生产足够的东西来达到社会基础，但我们不应该超过气候变化中的生态上限，还有化学污染和淡水等等。然后我认为 AGI，这个机器人应该适合其中。所以，这是我们可能感兴趣探索的事情之一。例如，你可以说，好吧，我们不应该越过红线，这样人工智能就无法控制，但我们可以利用人工智能来达到社会基础，这可能是包含它的方式之一。总的来说，我们对非对齐的存在风险解决方案或见解感兴趣，我们正试图研究，是的，我们应该如何着手，尝试导航到 AGI 的过渡，并希望我们拥有一个美好的未来。关于团队。所以，董事会是我和 Marco。团队现在是我在做研究。你们可以看到一位是荷兰的咖啡馆经理。Nick 和 Suen 正在担任活动家和政策研究员，Rebecca 也是政策研究员。关于你可以做什么，因为当然你是有道德抱负的，或者至少对此类节目感兴趣。所以，你个人可以做些什么来让这件事变得更好？我们也可以在问答环节中讨论这个问题。首先，当然是阅读相关主题。我推荐一些来源，除了我们在《时代》杂志上的工作和网站上的一些工作。从维基百科开始总是个好主意。但是，还有最近写的一本书《如果有人建造了它，所有人都死了》（If Anyone Builds It, Everyone Dies），由 Yuskowsky 撰写，我认为这是一本很好的入门读物。《超级智能》（Superintelligence）由 Bostrom 撰写，仍然相当不错，我认为已经有 15 年了，但仍然相当不错。《悬崖》（The Precipice）由 Toby Ord 撰写，还有一些 80,000 小时（80,000 Hours）的材料。这些是我会推荐的一些阅读材料。如果你想做些什么来解决这个问题，我认为提高意识仍然至关重要。社交媒体渠道、播客、活动、观点文章、纪录片，所有这些都非常好。我认为，进行活动。你可以加入 PAI。POSAI 实际上是由 Dash 创立的，他们有很大的能力吸收人们，他们可以做一些事情，比如抗议，还有公民游说。Stop AI 更激进，他们在美国也很活跃，也很有趣。所以，进行活动是一种可能性。游说政客。如果你有机会，你可以专业地这样做，但你也可以作为公民这样做。我已经提到了 Post AI，但 Control AI 在英国也做得相当成功，我认为。或者进行研究，我很乐意提供研究提案反馈或想法，如果这对你有帮助的话。这是一个相当混乱的领域，或者被称为一个巨大的混乱。所以，有很多低垂的果实。所以，也许这是一个积极的方面，如果你想做研究，有很多机会可以产生影响。或者，当然，你可以捐赠给资金受限的存在风险组织，我认为仍然有很多这样的组织，但最好做一些研究，因为一些组织可能实际上不是资金受限的，但大多数活动家想要，例如，Boss AI 停止，我们也可以扩大我们的研究，所以有很多事情可以做。
所以，作为一个最后的提问。非常感谢你们耐心听我讲完这个演讲。我希望它很有趣。我期待问答环节。作为一个最后的提问，我想再次问一下，列出三个你认为可能在未来 100 年内导致人类灭绝的事件，按可能性从高到低排序。投票刚刚启动。你们可以投票了，伙计们。好的。我们有，是的，所有的“是”投票。好的。这是一次非常成功的演讲，不是吗？这很有趣。好的。所以，感谢你们耐心听我讲。所以，所以，这有点像，嗯，一个额外的幻灯片。我们做了一些研究，关于公众对人工智能作为存在风险的意识有多高。当我们第一次这样做的时候，我在民意调查中问了 exactly 这个问题，针对大约 300 名具有代表性的人，我们得到了 7% 的公众意识，关于人工智能作为存在风险，在我们最近的研究中，这一比例上升到了 18%。所以，它肯定在上升，但它还没有接近气候变化，例如。我认为现在可能已经稍微高一点了，但我很好奇目前的确切情况。但我认为，看到意识确实在上升，并且我们也可能进入学术文献所说的临界点区域，这可能在 10% 到 25% 之间，这也很重要。所以，是的，我认为在提高意识方面还有很多工作要做。所以，再次感谢。那么，我想我们现在将进入问答环节。