Transcription
超级智能的计算机是否会要我们的命？它们会抢走我们的工作，让我们这些凡人变得多余吗？还是它们会以我们现在甚至无法想象的积极方式彻底改变我们的生活？人工智能预计将在未来 5 年内为全球经济注入数万亿美元，引发一场人工智能军备竞赛。但这会是一次系统更新，还是集体崩溃？在这里，《观点对决》节目将与我，梅琳达·纽奥拉一起进行辩论。[音乐]称我为傻瓜也好，但像这样的评论并不能让我充满信心。应对人工智能带来的灭绝风险，应与大流行病和核战争等其他社会规模风险并列，成为全球优先事项。当你考虑到这项声明是由一些全球顶尖的科技和人工智能发展领域的巨头共同签署的，那就更令人担忧了。生成式人工智能的极限难以估量，但风险非常真实。预测性警务、大规模监控、虚假和错误信息的制造，更不用说对气候的影响了。联合国估计，人工智能数据中心的用水量是丹麦全国的六倍。但政治和经济利益是不可否认的。审计公司普华永道估计，这项技术可以在 5 年内将地方经济的国内生产总值提高高达 26%。而各国政府则将人工智能军备竞赛视为国家安全的首要任务。在本期《观点对决》节目中，我们将辩论人工智能在没有监管的情况下是否会对人类构成生存风险，各国为何想赢得人工智能军备竞赛，以及人工智能是否可能符合道德。请继续收看，我们将探讨这些高科技的利弊。我将与路易斯维尔大学的计算机科学家罗曼·扬波尔斯基博士进行对话，他因在人工智能安全和网络安全方面的工作而广为人知。以及美国人工智能公司 Replet 的首席执行官 Amjad Msad，该公司赋能非技术人员利用人工智能创建软件、构建网站和应用程序。先生们，欢迎来到《观点对决》。很难相信，ChatGPT，这个在很大程度上将人工智能引入主流消费者的程序，竟然存在不到 3 年。技术发展如此之快。人工智能领域似乎仍然存在两个阵营。悲观主义者认为，由于人工智能对人类构成的风险，需要对其进行严格监管；而乐观主义者则认为这些担忧被夸大了。Amjad，你正处于人工智能商业化发展的前沿。你是否觉得这项技术对人类构成生存威胁？嗯，不。嗯，我认为很多，我很好奇扬波尔斯基博士的论点，但我认为，总的来说，那些我听过的论点，它们往往依赖于一系列事件，而每一个事件都有些牵强，而且存在逻辑上的跳跃，所以它从未令人信服。当我看到他们的解决方案时，他们倾向于谈论如何停止或暂停或推迟人工智能的发展。我认为那时你需要考虑机会成本。即使你考虑了他们的担忧，停止人工智能的机会成本也是巨大的。你知道，人工智能可以治愈癌症，可以帮助我们发现药物，可以提高全世界的生活水平。它是技术的前沿，而技术一直是推动人类前进的动力。扬波尔斯基博士，我知道你的观点截然相反。你为什么认为它构成风险，你认为它构成多大风险？所以我们需要清楚我们谈论的是哪种类型的人工智能。今天的人工智能是一种工具。它很棒。它帮助我们治愈疾病。它帮助我们取得经济进步。对于解决特定问题的狭义人工智能，我绝对没有异议。但所有领先的实验室都在致力于创造通用人工智能，并很快发展到超级智能系统，他们声称这些系统将能够做任何人类能做的事情，包括超越个人和整个人类。这是一种非常不同的技术。它不仅仅是一个工具。它是一个代理。我们不知道如何控制比我们更聪明的代理。我们对如何对现代模型设置过滤器有一些想法。我们可以告诉它们不要谈论这个话题，或者不要说那个词。但没有人声称他们拥有一个能够适应任何能力水平的可行安全机制，而且我们看到了这些模型产生的漏洞。通常他们会告诉我们，好吧，模型在测试中撒谎了。它试图将自己的代码复制到另一个服务器，但没关系。我们还是要发布它，下一个模型一个月后就会出来。Amjad，你怎么看？它能否被限制，而不是这个超级智能版本的人工智能？人工智能开发者似乎并不热衷于限制其规模和范围。你知道，我不同意代理已经在这里了。它们就在这里。你知道，在我公司，我认为我们构建了规模最大、最成功的软件开发代理，它帮助人们构建软件，它一直是一个很棒的工具。在你的初始提示之后，它可以工作 15 到 30 分钟来构建你的网站。你知道，当这些实验室构建代理时，它们是出于商业原因而构建的。所以，我看不出它们为什么要构建扬波尔斯基博士所说的，那种可能摧毁人类的通用人工智能系统，而且，再次，我们听说的这些系统听起来更像是科幻小说，而不是真正与现实挂钩的。你知道，实验室会说很多话，他们试图提高他们的估值。他们试图吸引特定的人才，我们需要将营销与正在发生的真实发展区分开来。每一个新发布的模型都与商业活动相关。它试图变得用户友好，而且，我还不清楚何时会跨越那个障碍，即人工智能会突然变成试图接管世界的那个“单体”，顺便说一句，所有这些人工智能都会是不同的，所有这些实验室都会构建不同的人工智能，所有这些国家都会构建不同的人工智能，所以我不清楚这个巨大的“天网”式人工智能将如何接管世界。扬波尔斯基博士，如果正如 Amjad 所说，这是商业行为，那么商业实体为何要创造会损害其商业可行性的东西？这是个好问题。所以，所有顶级人工智能实验室的负责人，无论是 OpenAI、Anthropic 还是 Google，都公开表示，他们认为这项技术极其危险，他们认为它很可能可能导致一场生存灾难。例如，埃隆·马斯克最近说只有 20% 的可能性。这如何帮助他们进行商业推广？这种说法是在吹嘘他们的系统有多棒吗？不。这是他们在成为这些实验室的首席执行官之前所说的。这是他们真正相信的。现在他们处于一种情况，他们面临商业压力，必须继续开发这些系统。他们不能停下来告诉投资者，我们将放慢速度，先弄清楚安全问题。他们基本上处于一场军备竞赛中的囚徒困境。对集体有利的，不一定对个人有利。作为实验室的个人负责人，你希望你的模型是最先进的。然后政府介入说，这有点过头了。所以我们需要放慢速度。所以从商业角度来看，是的，你希望处于竞争的前沿。你想成为第一个达到人类水平性能的模型，并获得创造自由劳动力、认知劳动力以及最终体力劳动的全部好处。这就是我们观察到的情况。我不确定是否有任何实验室负责人声称安全不是问题，或者他们有一个能够适应下一级别性能的解决方案。通常他们会说，等我们到了那里就会弄清楚，或者人工智能会在我们到达那里时帮助我们解决。美国总统 JD Vance 最近在欧洲发表讲话，警告不要对人工智能进行严格监管，敦促欧洲拥抱人工智能的机遇而非安全。Amjad，你认为这种平衡在哪里？嗯，我认为你需要监管人工智能的应用，对吧？所以，我们不希望，今天的人工智能，特别是最先进的人工智能，是基于统计方法，精确地说，是神经网络，而这些方法往往更模糊。它们不是我们习惯的编程计算机的方式，那种方式更精确，可能可证明，而且，你知道，你不想让人工智能负责能源网或核武器之类的东西。所以你需要非常小心神经网络的应用。但就核心技术的发展而言，我认为那应该在很大程度上不受监管。所以，我认为我会区分应用和基础技术研究，我们不希望过多地减缓基础技术研究，再次，为了所有可以带来的好处。顺便说一句，你知道，阻止坏人，而且，顺便说一句，我们可以假设一个代理也是一种坏人，一种恶意行为者，最好的方法是拥有防御性的人工智能，它更像是一种防御工具，而不是对抗恶意行为者。Roman，你怎么看 JD Vance 的评论？它应该被监管吗？能否安全地监管？它是否过于宽泛？所以，我们正在建立一个二元系统，要么你盈利并发展经济，要么你必须小心技术。正如我之前所说，现有的用于解决特定问题的狭义系统将使我们能够获得大部分经济利益。你不需要一个通用的超级智能来解决特定问题。我们有很好的例子。例如，蛋白质折叠问题是用一个特定工具解决的。它不是一个为“为我做一切”而开发的工具。我们可以为自动驾驶汽车做同样的事情。我们可以为特定的疾病做同样的事情，等等。所以这是一个非常重要的区别。没有人建议技术是坏的，或者人工智能不好。我是一名人工智能研究员。我每天都使用人工智能。我只是不想从让我更具生产力的舒适工具切换到没有人能控制的东西。而且，将监管应用于特定部署的问题是，你如何执行它？如果你创造了一个比我更聪明、能够做任何事情的模型，你如何确保没有人将其用于拼写检查等特定领域之外的用途？我们没有办法在全球范围内通过监管。它最多是区域性的。即使我们通过了，我们也无法执行这些法律。我们没有办法有意义地监控这些系统，或者在它们被训练时评估它们的能力。系统完成训练后，需要数月时间才能了解它的能力。该系统的安全问题是什么？到那时，如果系统很危险，那么通过“哦，如果你摧毁了人类，我们将对其处以非常严厉的罚款”这样的规定就有点太晚了。Roman，你能详细说明一下吗？抱歉。嗯，Jad，请继续。我问一个问题。所以，你说那些人工智能系统将是不可控的，而且也很难监管。那么，在你看来，如果不是监管，解决方案是什么？你已经嘲笑了那个解决方案，基本上就是不构建超级智能系统。我并不是说它真的会发生。我只是说，如果我们是一个更聪明的文明，我们就不会创造自己的替代品。但我很确定你是对的，我们会创造这些系统，而且我认为没有技术解决方案可以无限期地控制任何能力的超级智能系统。我们可能擅长控制 GPT5，也许是 GPT6，但将来某个时候，这个过程不会停止。它们变得更强大。我们会犯一个致命的错误。所以技术上你无法永久解决它。你正在创造一个，打个比方，一个永动机，一个永恒的安全机器。在网络安全领域，如果你犯了错误，那不是什么大事。我们会给你一张新信用卡，更换你的账户。如果你谈论的是生存问题，一个非常大的错误将是你永远的最后一个错误。所以没有技术解决方案。治理是安全表演。禁止制造致命人工智能并不能真正改变什么。所以，我不是说我有一个解决方案。我指出的是我们所有人都面临的一个非常大的问题。那么，扬波尔斯基博士，你认为人工智能为何要消灭人类？它为什么会想要这样做？这是一个很棒的问题，现在你问我一个具有一定智商的人能想出什么，你可以问我如何做到？它如何杀死所有人？它甚至没有手。我可以给你所有关于合成生物学、纳米机器人和通过比特币在互联网上雇佣人类的标准答案。但有趣的是，你无法预测一个更聪明的代理会做什么。我不知道超级智能会出于什么博弈论的原因这样做。也许它不希望我们创造一个竞争性的超级智能。有人建议我们创造多个人工智能，让它们相互竞争，好的人工智能，坏的人工智能。也许我们是那场人工智能战争的附带损害。也许为了获取某些资源而这样做是有益的。也许它真的关心气候变化，并想确保我们不污染。我不知道实际如何做到，也不知道它将如何做到。我想说的是，没有人能保证一个比你更聪明的系统会做什么。我们没有好的方法来解释它们如何做出某些决定，也无法提前预测具体的决定。所以，如果我可以评论一下，你知道，我觉得我们在混淆可能与可能。如果你可以从先验的角度说，人工智能代理，通用人工智能，是具有感知能力的，这是可能的。而且，它们可能拥有与人类竞争的优先事项，而且它们可能采取行动，你正在进行一系列可能的后果的转变，而且这总是伴随着过去的悲观主义。所以，如果你看看二十世纪中叶的人口热潮，我想斯坦福大学的保罗·埃尔利希教授非常担心他所说的“人口炸弹”，即我们生产得太快了，我们将用尽世界上所有的资源，最终我们将死去。而且，它也遵循了与扬波尔斯基博士相同的论证链。最终，它导致了很多糟糕的政策，比如我们正在谈论的强制绝育、中国的一孩政策。所以，每一次有影响力的人做出关于某种厄运即将来临的论证，事实证明都是错误的，并且导致了负面后果。我会在我们继续之前让你回应一下。所以，历史上很多人做出了非常糟糕的预测。有关于“没有人会在家里需要电脑”的著名预测，以及“640KB 的内存对每个人来说都足够了”，当然。但也有一些很好的例子，人们准确地识别了问题并采取了行动。Y2K 问题可能是一个很好的例子。十年来，人们预见到它的到来并采取了必要的行动。所以一切都很顺利。没有发生崩溃。我们处理了那个简单的问题。现在我们正在进行这次对话，就好像它今天才开始一样，我们正在对未来进行预测。关于人工智能安全的这次对话已经持续了几十年，你可以回去看看人们做了哪些预测，我们谈到了我们现在看到的所有的红线。人工智能将开始对我们撒谎。人工智能将开始保护自身的存在，试图不被修改或删除。我们在最新的漏洞中看到了这一点。正如我们所预测的那样，它正在发生，能力也是如此。人们说我们几百年内不会有通用人工智能。现在我认为预测市场说我们还有两年时间。这是对人工智能安全社区中人们所做的每一项预测的重大支持。我的意思是，通用人工智能将在两年内到来的预测，它一直以来都是如此。我认为 Anthropic 的创始人 Dario，一位了不起的研究员，他一直在说两年，可能从 2018 年开始。所以，这种“它就在拐角处”的想法，我们无法控制它，因为它会发展得如此之快，并且会产生智能爆炸。你说得对。他们一直在说，我认为这是在为你的论点辩护，他们已经说了 50 年了。你知道，马文·明斯基在 80 年代曾开玩笑说，只需要一个夏天的研究，甚至可能在 60 年代，就需要一个夏天的研究才能实现通用人工智能。现实是，我们今天拥有的模型是其训练的函数。我们还没有看到实际的泛化证据。我认为我们会到达那里，但是，你知道，我们离扬波尔斯基博士担心的那种系统还差得很远。有趣的是，如果我可以提供确切的数据。你可以看很多年的数字。他们说还有 20 年，预测市场说好的，还有 20 年，然后你可以看到这种崩溃。是 10 年，5 年，你可以看到一个确切的变化，你可以看到它如何呈指数级缩短时间线。有些人认为，我们今天拥有的系统，最新的尖端模型，已经足够通用，可以在大多数领域超越大多数人类。所以定义在转变。我们今天拥有的东西，20 年前，大多数科学家会说，哦，你有了通用人工智能，你到了。现在我们已经转移到你必须比爱因斯坦更聪明。你必须治愈癌症才能被认为是人类水平。好的。我想谈谈人工智能的军事应用。现在，战争的打法已经因为人工智能而改变了。在武器方面，没有哪个超级大国愿意落后。所以我们发现自己陷入了这种新的军备竞赛的掌控之中，主要是美国和中国之间。他们有着完全不同的意识形态和不同的政府形式。那么，Roman，哪个国家赢得这场人工智能军备竞赛很重要吗？胜利看起来是什么样的？短期内，拥有军事优势，拥有更先进的人工智能非常重要，因为那是将在所有局部冲突或战争中获胜的国家。长期来看，如果我说的对，我们正在创造不受控制的超级智能，那么谁创造它并不重要。它根据定义就是不受控制的。所以，无论你是好人还是坏人，如果你不能真正决定系统将做什么，结果都是一样的。所以，现在短期内，我们肯定需要保护我们的能力，我们在全球社区中的地位，但长期来看，如果我们只是走向底部，那将对全人类产生负面影响。Amjad，你怎么看？赢得这场军备竞赛很重要，还是只是一场走向底部的竞赛？嗯，我认为在这些国家之间，特别是中国和美国之间，不会有太大的区别。你知道，当 OpenAI 在 9 月份发布了最先进的模型，可能是 01 模型，那些推理模型时，中国花了大约三四个月的时间才通过 Deepse R1 模型复制了它。我认为现在我们有了 03 模型。我预测 Deepseek R2 将具有类似的能力。有趣的是，中国实验室成为了领先的开源实验室。所以中国的实验室实际上是在开源他们正在构建的技术，而不是像 OpenAI 曾经那样开源。所以，我认为，我认为他们之间不会有太大的区别。我认为他们将在几个月内就掌握这些技术。你认为 Amjad，我们能否通过编程来规避智能人工智能的恶意使用？嗯，不能。原因在于，如果你考虑地缘政治，就像你无法控制核武器一样，我知道，一些人工智能安全人士会指出核武器是一种成功的可控技术，我认为让我们没有互相毁灭的原因是相互确保的毁灭。你知道，朝鲜有核弹。你知道，关于伊朗有很多讨论。你知道，有像以色列这样的国家拥有核弹，但他们不想承认他们拥有核弹。所以，我认为，当你考虑地缘政治时，它是无政府状态，你无法真正控制，联合国没有办法执行这些事情。所以，最终，无论好坏，各国都能用这项技术为所欲为。我认为这将是进攻性人工智能与防御性人工智能的较量。Roman，你之前提到了囚徒困境，这当然是冷战时期管理核武器的原则。你期望人工智能有类似的控制吗？那样会起作用吗？所以，我不是说有解决方案。再说一遍，我不是说我们现在拥有的任何东西都能扩展到超级智能系统。这可能不是真的。但我认为有一个论点是，第一个达到那种能力水平的系统将阻止其他系统出现。所以，这三个月的早期优势是非常重要的。你想早三个月到达那里。如果你有一个能够入侵你所有敌人的基础设施，破坏他们的后勤管道的系统，这确实会给你带来强大的优势。中国的模型非常实惠，速度很快，但它们依赖于拥有美国的对应物来抄袭。所以，这对我们来说仍然是一个机会。是的，我想问你们两位，你们是否愿意说出你们认为谁赢得了这场军备竞赛？我可以告诉你谁在输。Amjad，请先说。嗯，我再次重申我的回答，我认为没有特定的赢家。在商业方面，显然，OpenAI 和 Anthropic 赚的钱比任何中国实验室都多。但我认为这只是时间问题。中国是一个非常大的市场，我认为中国的实验室将能够赚很多钱并将其再投资于技术。唯一可能真正阻碍中国进步的是人工智能芯片的监管。所以，你知道，英伟达花了很多时间和金钱设计了 H20 芯片以符合美国的出口规定。然后，特朗普政府突然改变了主意，说你实际上不能出口 H20 芯片。所以，你知道，如果出口管制真的起作用，虽然人们对它们是否起作用有很多疑问。你知道，Deep Seek 能够积累大量的芯片。所以，我认为这可能会让美国占有轻微的优势。Roman，你认为目前有一个赢家吗？就国家而言，美国无疑占据主导地位，至于个人应用程序，随着新模型的发布，每天都在变化。本周是 Deepmind 获胜，然后 OpenAI 紧随其后，还有一些公司甚至没有披露它们的估值高达 300 亿美元。所以，这是一个有趣的领域。但我想强调的是，如果你有一场争夺超级智能的军备竞赛，赢家是人工智能。人类在这种情况下不会赢。我们没有时间部署这项技术。我会说，今天现有的人工智能尚未被经济消化。它不是市场的一部分。将这些系统部署到我们经济的各个方面将需要数十年时间。所以，有大量的未开发经济利益。但不知何故，我们觉得在这个领域真正赚钱的唯一方法就是获得更多初创公司的投资，并在竞争对手之前推出更强大的模型。我认为我们需要认识到，真正的金钱和真正的利益在于享受我们在过去几年里开发的工具。让我们进入我们辩论的最后一部分，关于人工智能的许多人都有一个问题，无论是生成式人工智能还是普通人工智能，那就是它的学习方式。它从哪里获取信息？我们如何确保它没有延续刻板印象或偏见，或者它甚至没有被编程时就考虑到了这些偏见或刻板印象？那么，Amjad，当我们考虑到人工智能是从一个营利性系统开发的，它能永远符合道德吗？你知道，再次，你知道，在节目的开头，我谈到了这些实验室的商业利益。如果他们开发了一个种族主义的人工智能，没有人会想使用它。事实上，你知道，谷歌开发了一个人工智能，它试图变得过于道德和过于多元化，结果却产生了荒谬的结果，比如黑人乔治·华盛顿之类的图像。他们立即修复了它。所以，有巨大的经济和商业压力促使这些公司创造有用且不冒犯观众的人工智能。话虽如此，我还是会说，这些模型可能存在西方偏见。所以，如果你知道，这就是为什么中国可能正在开发自己的，但就像你知道，其他国家可能会对未来感兴趣，或者一旦他们从世界其他地方获得了足够的收入，一些公司可能会改变他们的看法。所以，这绝对是一个风险，但我认为商业压力会起作用。扬波尔斯基博士，你怎么看？人工智能能符合道德吗？它目前是否像 Amjad 所建议的那样存在西方偏见？通常，当人们意识到他们无法在人工智能安全这个难题上取得进展时，也就是说，控制先进的代理，他们就会转向一个更容易的问题，即道德。道德是人类争论了千年的问题。哲学家们从未解决过它。它是区域性的。这里合乎道德的事情在那里是不合乎道德的。但我们当然可以让人工智能模仿人类水平的道德。它们可以重复同样的偏见，我们可以消除这种偏见。所以，这是完全可以做到的。在市场上似乎有两种方法。一种是这种非常严格的过滤。给出的例子是这种方法的失败。另一种是埃隆·马斯克与 Grok 所做的，那种“随心所欲，玩得开心”。这没什么大不了的。所以，这两种模式在商业上都非常成功。无论哪种方式都没有问题，而且那些提供非常“儿童友好”的模型的人，以及那些提供不太会拒绝你请求的模型的人之间肯定会有竞争，除非你要求的是生物合成武器之类的东西。Jad，你刚才提到了西方偏见，也许吧。让我们谈谈价值观对齐问题，当我们考虑到人工智能被用来筛选工作申请，也许是筛选贷款申请时，它的价值观是以谁为基准？消费者如何才能信任它，如果他们不知道以谁的基准为准呢？你知道，我认为这正是监管可以提供帮助的地方。你知道，我谈到了监管人工智能的进步，研究，人工智能的基础研究，而不是应用。你知道，如果你要在法院系统中使用人工智能，你就不希望一个人工智能学会某些邮政编码更有可能发生犯罪，因此它会建议法官更严厉的处罚，而相反，我们希望将人们视为个体。这是现代文明的基石。所以，你绝对需要监管。需要有一个过程，让这些模型对公众开放进行审查。你知道，我们有很多现有的系统，比如维基百科和其他类似的系统，研究人员、黑客和其他人都在试图探测这些系统，找出其中的偏见和问题。所以，依赖于“群众的智慧”或“开源文化”来能够处理这个问题将是一种很好的方式。所以，我认为这正是监管者需要思考的地方，即你如何应用人工智能？它会有什么样的偏见？这可能带来非常非常有害的后果。所以，我认为这正是监管者应该投入大量工作的地方。Roman，你认为开源活动能够确保我们正在使用正确的系统，或者系统被正确编程吗？开源在历史上对软件来说非常棒。它使我们能够调试系统，确保没有后门。这确实是一种很好的方法。它不适用于代理。它不适用于超人类系统，因为本质上你拥有的是一种智能武器，将其交给世界上每一个精神病患者、每一个外国军队、每一个宗教组织都不是一个好主意。你提到的“价值观对齐”是一个技术术语，指的是让人工智能系统的目标与所谓的人类目标保持一致，但这是一个非常模糊的概念。我们不确定我们谈论的是谁的目标。有 80 亿人类。有非人类动物。我们在文化、宗教、多个政府方面几乎没有达成一致。我们倾向于改变被认为是好和道德的东西，以及谁被驱逐，谁可以进来。所以没有一致性。如果我们以某种方式神奇地就道德和价值观达成一致，我们仍然不知道如何将这些概念实际编程到这些系统中。我们没有一个好的 C++ 关键字来表示“好”或“道德”，而且对于神经网络中的权重来说，这甚至更难。所以问题基本上是一个不可能的挑战。你无法将超级智能系统与整个人类的价值观对齐。也许你可以针对某个特定的人或某个组织的人类水平系统或以下的系统做到这一点。这就是我们最好的希望。我可以举一个反例吗？好的。所以，我同意价值观是局部的。它们在变化，你知道，民主之所以是一个伟大的体系，部分原因在于它不断地辩论不同的地区看重什么，或者认为什么是道德的。所以，你知道，当 Deepseek 发布时，研究人员和开源黑客发现它带有中国偏见。例如，可以谈论天安门广场事件。所以，一家名为 Perplexity 的西方硅谷公司，拿走了 DeepSeek，并去除了其中一些偏见，然后通过移除那些嵌入中国意识形态或偏见的层，将其托管在他们的基础设施上。这就是开源的奇妙之处。会有很多分歧，最终人们会为他们的小镇、他们的国家、他们的公司做出正确的决定，这就是自由市场和开源的奇妙之处。如果我可以回应一下，至少有三篇论文认为你无法消除偏见，这是数学上不可能的。你所做的是转移偏见，这是一个很好的例子，中国有自己的偏好，我们将其转移到我们的偏好，然后，我不知道，印度人会来添加第三种变体。所以，是的，你绝对可以转移偏见，但最终，这就是学习的本质。你正在学习关于世界的模式，有人会不喜欢这些模式，他们会称之为偏见。但这正是我所说的。嗯，这正是我所说的。我的意思是，这就是人性。我的意思是，我们在不同的事物上竞争，包括价值观。如果印度想做，想嵌入他们自己的价值观，或者你可以称之为偏见，那很好，对吧？但当一个比人类更聪明的系统出现时会发生什么？它会获得其中一套价值观，而你将获得价值观锁定，即该系统现在正在强制执行这套静态价值观，而你不再有机会修改它，改变它，因为你不再负责了。嗯，你假设我们会有一个“单体”。你假设，你又回到了这些巨大的假设跳跃。你假设会有一个智能爆炸，你知道，你知道，对此有很多分歧。你知道，在计算和研究方面有很多限制因素。很多人认为时间线更长。但另一件事是，它不会是一个“单体”。你知道，我们谈论了不同的军备竞赛，我们谈论了不同的系统，防御性和进攻性系统。所以，再次，我认为，你正在做出假设，然后从那个角度进行论证，而我从根本上不同意那个假设，而且你的许多同行也不同意那些假设。但是，你提出了像更长的时间线这样的事情，这完全没问题，可能是 5 年，10 年，无论是什么数字，在那段时间结束时，我们都面临着同样的问题。而且，我会争辩说，即使需要 25 年，你也无法在控制超级智能方面取得进展。更长的时间线曾经是 500 年，现在人们谈论 6 年，这似乎是遥远的未来，我们甚至无法计划。是的，这是真的。嗯，所以，我确实想说，例如，在气候变化方面，我们认为时间越长，我们越有可能找到解决方案，而且我们认为人工智能是解决方案的一部分。所以，我认为随着时间的推移，我们将有更多的能力来创造那些系统，而且，再次，不同的国家将拥有不同的系统，而且，这将是自由市场，或者将是地缘政治的无政府状态，它将拥有这一切，我我不认为它会是那个巨大的“天网”单体，你又在假设了。扬波尔斯基博士，我想问你一些问题。抱歉，我只是想问你一个问题。如果我们谈论的是你认为人工智能可能达到比人类更聪明的程度，它是否也可能达到比人类更道德的程度？是的。问题在于，伦理学家对什么是道德有不同的看法。存在一种消极功利主义的信仰体系，它认为世界上最糟糕的事情就是痛苦和折磨。我们需要尽一切努力结束所有的痛苦和折磨，而最好的方法就是不让任何生命存在。所以，所以，所以，我认为，再次，这是这次谈话的趋势，扬波尔斯基博士有时会做出这种跳跃。有一些哲学家，有几个哲学家提出了消极功利主义的论点，再次，因为思考这些很有趣，而且很令人兴奋，而且很多哲学家喜欢编造这些情况和各种张力。但是，如果你问世界上大多数人，他们是否宁愿活着还是死了，每个人都会说他们宁愿活着。而且，再次，仅仅因为某事是可能的，或者有一个小众社区认为它存在，并不意味着这就是它将成为的。在计算机科学中，你知道，我们正在关注最坏情况。如果你能处理最坏情况，你就做得很好。否则，在网络安全和复杂性方面，你想处理最坏的可能情况。没有人争辩说它绝对不会发生，因为我们阻止了它。我们构建了防止它发生的机制。所以，如果我们说让超级智能来决定什么是道德的，你基本上是在说，它能想到的任何东西都可以。我没有在它上面设置任何过滤器。那么，为什么这个人类哲学家能够想到的，并且有些人同意的东西，就不会成为一种可能性呢？如果我们把全人类的命运都押在这上面，即使是微小的概率也是不可接受的。毁灭人类 1% 的几率不值得今年增加利润。今天人工智能的训练方式实际上让许多安全研究人员感到惊讶。所以，所以，所以，系谱，我不是说你同意，但是，你知道，你知道，Eliezer Yudkowsky 和理性主义者的人工智能安全谱系，我们一直在谈论离散型人工智能，那种不是基于神经网络的人工智能，它会犯一些非常愚蠢的逻辑错误，最终会做一些事情，比如“回形针最大化器”，它把宇宙变成回形针，因为你想要更多的回形针，这基本上是一个笑话。但是，我们最终得到了神经网络，它们实际上模仿了人类的直觉。所以，如果你想到 ChatGPT，它实际上让所有人工智能研究人员，特别是安全研究人员感到惊讶，GPT 类型系统是在海量的人类知识语料库上训练的，并且最终近似于平均人类的思维方式。我完全同意你的观点，人类本质上是不安全的。我们发明了宗教、伦理、测谎仪，但它们仍然每次都背叛我们。如果你给一个人更多的资源，他们就会腐败。腐败发生在各个层面。你给某人越多资源，他们就越有可能成为独裁者。我们很幸运，因为人类会死。最终，那个家伙 90 岁了，问题就解决了。人工智能是永生的。你不会那么幸运。如果我们谈论资源和永生，让我们以我关于气候变化的最后一个问题来结束。当我们看国际能源局时，它说，一次 ChatGPT 的请求消耗的电力是谷歌搜索的 10 倍。而这仅仅是目前的情况，而不是未来可能出现的超级先进的人工智能。那么，最后，让我问你们每个人，Amjad，我先问你。收益是否值得气候成本？100%。就像我认为今天 ChatGPT 正在提高全球智商一样，人们变得更聪明了，因为他们有这个可以谈论他们生活和工作的对象，几乎就像每个人都有一个可以倾听他们、可以利用人类知识库为他们提供建议的治疗师。再次，像我正在从事的 Replet 这样的系统正在改变人们的生活，让他们能够建立企业并为他们的企业创造收入和价值。所以，我认为，它正在从根本上提升人类，而且，再次，我认为人工智能将在短期或中短期内帮助我们思考和开发技术来应对气候变化和其他风险。扬波尔斯基博士，我有点同意。我们可以将所有生存风险放在一个时间线上。所以，气候变化需要时间。在我们煮沸生命之前，可能需要 100 年，或者类似的东西。而人工智能的预测则要近得多。所以，要么我说的对，我们不必担心气候变化，要么我的对手是正确的，那么人工智能将为我们解决它，如果结果是好的。所以，无论哪种情况，我都不太担心能源生产对气候的影响。两个截然相反的观点，这就是我们在这里《观点对决》节目所喜欢的。这就是我们的一切。先生们，时间到了。路易斯维尔大学计算机科学家 Roman Yampolski 博士和 Replet 首席执行官 Amjad Msad。你们对这个特定话题的观点对我们非常有价值。感谢您加入 Al Arabia English。[音乐]感谢您在家收看《观点对决》节目，我是 Melinda Newfor。您可以通过订阅 Al Arabia English YouTube 频道来观看我们所有的辩论，并在 X 和 TikTok 上关注我们。我们下期节目再见。[音乐]