Transcription
介绍我们的第二个小组。我们已要求各位证人每人发表五分钟的开场陈述。之后将是参议员的提问。在座的各位，来自控制人工智能（Control AI）的萨缪尔·布豪（Samuel Bhau）先生，他是一位咨询项目官员，我们欢迎他。通过电话会议，我们欢迎大卫·克鲁格（David Krueger）教授，他是蒙特利尔大学计算机科学与运筹学系的助理教授。同样通过视频会议，我们欢迎来自机器学习研究所的马洛·博尔贾（Malo Bourja）先生，他是首席执行官。我现在邀请布豪先生（Mr. Bhutau）发表他的陈述，随后是克鲁格教授（Professor Krueger）和博尔贾女士（Miss Bourja）。
>> 感谢主席女士和委员会各位成员邀请我今天来作证。我叫萨缪尔·布豪。我在人工智能技术领域工作了十多年，现在是加拿大非营利组织控制人工智能（Control AI）的咨询项目官员。在本研究中，委员会正在调查人工智能对人权的影响。可以说，最重要的人权是生命权。关于这一点，我必须警告尊敬的参议员们，人工智能公司目前正在赌博全人类的生命。顶尖人工智能公司的明确目标是构建超级智能人工智能。这意味着人工智能能够完全取代人类执行任何任务。这包括个体人类以及群体，如公司或政府。然而，在2023年，诺贝尔奖得主、顶尖人工智能科学家以及这些人工智能公司的首席执行官们警告说，超级智能人工智能对人类构成灭绝风险。如果研究和开发以同样的速度继续下去，许多专家预计将在未来十年内建成超级智能人工智能。我相信人工智能的许多应用是有益的。但如果我们制造出在每个领域都比我们更强大的机器，我们将是在冒险。目前没有一个国家、一个公司或一个个人知道如何控制能够超越、超越竞争并全面压制他们的AI。然而，从一开始就阻止这项技术的发展是可能的。一场争夺超级智能人工智能的竞赛，是一场每个人都会输的竞赛。各国政府没有兴趣让AI公司继续追求它。一旦他们理解了这一点，各国将有动力确保这项技术不会在世界任何地方被建造出来，直到它是安全的。几个关键国家共同努力就可以做到这一点，不是出于天真，而是通过相互监督和验证机制。目前，追求通用人工智能的前沿需要非常强大的超级计算机。它们使用数十万个专用芯片。它们的耗电量相当于一个小城市。它们从太空中可见。总之，限制人工智能研究的前沿是可行的，并且通过适当的监督，可以确保没有人秘密地建造超级智能人工智能。我们目前正在为此任务收集政治意愿。不到一年半前，控制人工智能（Control AI）开始与决策者分享这些事实，并要求他们采取行动。在此期间，我们在英国议会内获得了100多名公众支持者。仅今天，我就与四位加拿大国会议员会面，向他们简要介绍了超级智能人工智能的风险。我提出三项建议。一，加拿大政府应公开承认超级智能人工智能是国家和全球安全威胁。二，加拿大应牵头联合一个由各国组成的联盟，通过国际禁令来阻止超级智能人工智能的发展。该禁令可以通过相互监督和验证机制来执行。三，加拿大应在国内保护其公民，并在国外以身作则，禁止在其管辖范围内开发超级智能人工智能。谢谢。我期待各位的提问。
>> 谢谢布豪先生。现在请克鲁格先生。你好。感谢您的邀请。我叫大卫·克鲁格。我是蒙特利尔大学和MAB的机器学习教授。2012年，我从杰夫·辛顿（Jeff Hinton）的在线讲座中了解到深度学习，并意识到这种新的人工智能方法可能在几十年内产生超级智能人工智能。于是，我去了蒙特利尔，在约书亚·本吉奥（Yosua Benjio）的指导下学习。当时，我已经担心超级智能人工智能可能导致人类灭绝，我想知道专家的看法。我希望能找到他们有充分理由不担心。但实际上，我发现当时没有人真正考虑过这个问题。事实上，在我从事这个领域的大部分时间里，人工智能导致人类灭绝的风险被认为是一个禁忌话题，研究人员担心如果他们谈论这个问题会影响他们的职业生涯。这不幸地将关于如何应对这种风险的关键公共对话推迟了数年。十多年来，我一直在抓住一切机会谈论这个问题，并且我仍然对人们为逃避面对问题而提出的糟糕论点感到沮丧。另一方面，随着时间的推移，我看到越来越多的研究人员越来越担忧。因此，在2023年，我们迎来了一个分水岭时刻，我发起了一项声明，认为减轻人工智能灭绝风险应与大流行病和核战争等其他社会规模风险一样，成为全球优先事项。许多人工智能领域的重量级人物，包括辛顿、本吉奥以及数百名其他人工智能研究人员都签署了这项声明。不幸的是，2022年底，ChatGPT发布了。因此，在2023年，人工智能公司开始变得极其强大。我今天最想强调的是，我们仍然处于世界尚未采取必要措施来减轻人工智能导致人类灭绝风险的境地。那么，这种风险是什么？它从何而来？人工智能公司正明确地试图构建超级智能人工智能系统。这些系统比人类在各个方面都更聪明，能够自主地完成人类能做的任何事情，包括机器人技术，并且做得更好、更便宜、更快等等。基本目标是使人类过时，并夺走他们所有的工作。但我们不知道如何控制超级智能人工智能。事实上，我们不理解现有的人工智能系统是如何工作的，因为它们是“生长”出来的，而不是使用深度学习“构建”出来的。尽管过去十年发表了数千篇研究论文，但这仍然是一个未解决的研究挑战。我们[清嗓子]不应期望任何投资能在可预见的未来解决这个问题。我们也不知道如何对这类人工智能系统进行安全测试。我们拥有的测试可以表明一个人工智能系统是危险的，但它们不能表明它是安全的。我们也不应期望任何投资能在可预见的未来解决这个问题。因此，人工智能公司和研究人员没有维持控制或使用严格的安全实践，而是试图在人工智能系统中灌输特定的目标和价值观，以便系统能够按照他们的意愿行事。但我们只能近似地做到这一点。即使是很小的近似误差也可能导致超级智能人工智能将人类生存所需的资源重新分配给它自己不一致的目标。因此，你将听到的所有这些方法，如可解释性、测试或对齐，都不够充分。我们不知道如何安全地构建超级智能人工智能。实际上，计划就是冒险一搏。最后，如果构建超级智能人工智能的公司没有立即失去控制权，我们仍然应该期望人工智能在整个社会中全面取代人类。因此，不仅是近乎完全的失业，而且政治权力也将移交给人工智能系统，这些系统做出决策的速度太快，以至于人类无法有意义地参与。我想谈谈时间线，因为我认为我们现在正处于一场严重的危机之中。如果我们什么都不做，我认为我们离超级智能人工智能还有大约5年时间。所以，我们需要立即纠正方向，努力阻止超级智能人工智能的发展。而且我们需要在国际上这样做，这需要时间。我们不能等到有更多证据表明风险迫在眉睫。已经有充分的证据表明，这种做法的风险水平是不可接受的。在我自己的国家美国，如今反对停止建造超级智能人工智能的竞赛的主要论点是，这是不可避免的。如果我们不这样做，中国就会这样做。这是错误的。一种简单的方法是淘汰先进的人工智能计算机芯片以及制造这些芯片的工厂。幸运的是，这些芯片的供应链高度集中，这使得控制和限制生产超级智能的手段成为可能。可能还有更好的、成本更低的办法，但考虑到风险，如果必要的话，这个成本也值得支付。所以总而言之，人工智能是一项前所未有的技术，人类的未来危在旦夕。我们正处于危机之中，需要立即采取行动在国际上减缓或暂停人工智能的发展。这个问题应该成为包括加拿大在内的每个国家的头等政策重点。谢谢。
>> 谢谢克鲁格先生。现在我们请下一位发言者。
>> 主席女士，委员会各位成员。嗯，我想我的陈述将是对我同事证人的补充，他们涵盖了许多相同的观点。嗯，但无论如何，我叫马洛·博尔戈。我是机器学习研究所（MIRI）的首席执行官，这是一个致力于确保强大人工智能的发展对人类有利的非营利组织。我在安大略省长大，在圭尔夫大学学习工程学和计算机科学。在我于MIRI工作的14年里，我们看到我们的工作帮助启动了一个新的研究领域，旨在理解如何构建人工智能系统，使其在变得越来越强大时仍能按预期运行。当今领先的人工智能公司表示，他们的目标是创造人工超级智能。人工智能系统比任何人类在所有认知任务上都更聪明。OpenAI明确表示了这一点。Anthropic的首席执行官达里奥·阿莫代（Dario Amodei）谈到在数据中心建立一个天才国家。这些公司不是为了制造聊天机器人而成立的。对他们来说，聊天机器人只是一个垫脚石。不幸的是，致力于控制这些系统的领域几乎没有取得进展。就连OpenAI的前首席科学家伊利亚·苏茨克维（Ilya Sutskever）也曾说过，我们“没有办法引导或控制潜在的超级智能人工智能，并防止其失控”。因此，MIRI的研究人员担心，如果世界继续以目前的技术和理解水平竞相发展超级智能，默认的结果是我们失去控制，很可能导致人类灭绝。为什么会有如此大的危险？嗯，一个关键的见解是，人工智能与传统软件不同。传统软件是逐行编写的，程序员原则上可以理解每一个部分。现代人工智能系统，正如大卫所说，是通过大量的自动试错“生长”出来的，而不是手工设计。这些系统的创造者对内部发生的事情几乎没有洞察力。因此，这些系统经常表现出没有人要求、没有人想要的行为。前沿人工智能模型在评估中作弊，表现出欺骗和操纵行为，甚至导致临床医生称之为“人工智能诱导的心理疾病”，即使人工智能可以轻易地发现其回应正在伤害用户。此外，最近的研究表明，这些模型越来越能够识别它们何时正在被评估，并相应地调整其行为，从而破坏了安全评估的有效性。在当前的能力水平下，这些行为令人担忧，但并非灾难性的。但我们必须问，当它们达到这些公司追求的能力时会发生什么？未来的AI会展现出什么样的目标？这些AI真的会危及我们吗？正如我所说，许多研究过这些问题的人都发现答案相当令人担忧。深度学习的三位奠基人中，两位加拿大人杰弗里·辛顿（Jeffrey Hinton）和约书亚·本吉奥（Yosua Benjio）公开警告过灭绝的危险。正如大卫和我另一位同事塞缪尔提到的，2023年，他们与其他顶尖人工智能科学家，甚至OpenAI、Google DeepMind和Anthropic的首席执行官们一起发表声明，认为减轻人工智能灭绝风险应与大流行病和核战争等其他社会规模风险一样，成为全球优先事项。其中一些签署者领导着那些最努力建造超级智能的公司，而且他们越来越多地表示希望停止。谷歌DeepMind的首席执行官表示，如果其他人都效仿，他会支持暂停。埃隆·马斯克（Elon Musk）说他有“很多人工智能噩梦”，如果他能放慢速度，他会这样做。上个月在达沃斯，Anthropic的首席执行官表示，他希望他们能放慢速度，但由于地缘政治对手而无法做到。这些领导人表示，他们感到被困在一场他们知道危险的竞赛中，但没有一家公司可以独自停止。他们自己承认，我们不能指望他们安全地开发这项技术。遏制这场竞赛需要盟友和对手之间的国际协调，这是只有政府才能做到的。灾难并非不可避免。这些危险是可以避免的。许多人认为这场鲁莽的竞赛是不可阻挡的，但它发生在一个大多数人不了解威胁的世界里，而这种情况是可以改变的。作为全球舞台上受人尊敬的声音，加拿大可以帮助推动遏制这场鲁莽竞赛所需的国际协调与合作。加拿大决策者可以表达其他人似乎缺乏的勇气。那就是，根据顶尖专家的说法，竞相发展超级智能的竞赛太过危险，不能继续下去。而且这是可行的。竞相发展超级智能的竞赛依赖于由少数几家公司设计和制造的极其专业的AI芯片，使用一家荷兰公司的机器，每台机器的成本相当于一架747飞机。这些芯片被安置在巨大的数据中心里，消耗大量的电力。人工智能和超级智能发展的基础设施是显而易见的，可以进行监控和监管，而无需放弃如果明智地开发和部署就能为社会带来巨大效益的人工智能工具。唯一需要停止的是竞相建造超级智能的竞赛。加拿大科学家在这项技术上处于领先地位，并通过努力避免危险来继续保持领先。我希望加拿大能利用其声音和道德权威，推动建立一个我们不依赖于运气来应对这一紧迫威胁的世界。谢谢。
>> 感谢各位的陈述。我们现在将进入参议员的提问环节，我将首先请韦尔斯参议员。
>> 好的。谢谢主席。嗯，你们都提出了非常令人担忧的观点，提出了很多沉重而担忧的想法和忧虑。我正在回想，也许我会先问克鲁格先生这个问题。我是在20世纪80年代的核时代长大的，当时我们想到“末日时钟”离午夜只有一分钟，古巴导弹危机和生存威胁主导了我们大部分的对话和格局。现在，根据您所说的，如果有一个人工智能末日时钟，您觉得我们离午夜还有多远？我们离您所说的“人类灭绝”还有几天、几小时、几分钟、几秒钟？
>> 是的，谢谢你的问题。嗯，首先我想强调，未来是不确定的，所以我不敢声称我确切地知道事情何时会失控。但我确实有我自己的看法，我可以谈谈其他专家的看法。所以，我认为我们多次谈到的最明显的一个“不归点”是超级智能人工智能的发展。我提到我认为这大约还有5年时间。嗯，很多专家，尤其是那些在开发这些技术公司工作的人，对超级智能的发展也有类似的时间表。有些甚至更短。现在我认为实际上重要的是要认识到，那不是我们无法回头的时刻，但如果我们想真正停止这场竞赛，我们需要在此之前很久就做到。所以，随着我们在扩展人工智能和算法进步方面进行更多投资，构建超级智能变得越来越容易。如果我们现在试图暂停，其中一些活动还会继续。而且，你知道，如果我们说，让我们确保没有人使用我们知道的任何芯片来试图构建超级智能，仍然会有相当数量的人工智能芯片是我们不知道的。我们不知道它们在哪里。它们可能被某个政府秘密使用来继续这种危险的研究。所以，真正需要立即采取行动。我们应该已经采取了行动。如果我们看到更明显的危险迹象，我们将不会有机会有效地采取行动。我们已经看到了许多危险迹象，就像马洛提到的那些。我们看到了人工智能能力发展的速度，这是极其迅速的。而且我们看到了专家告诉我们这是一个担忧。而那已经是三年前了。所以，我真的希望在2023年我们发表了这份声明之后，政府能够立即采取行动，以应有的严肃性来解决这个问题。而且，你知道，不幸的是，那并没有发生。我认为我们仍然有机会，但我认为我们可能只有几年时间来开始讨论禁止进一步发展超级智能，而是开始实施它。所以国际讨论早就该进行了。嗯，是的，这就是我的基本观点。
>> 再说一分钟。
>> 好的。谢谢。嗯，也许是给在座各位的提问。嗯，当我们回顾历史时，当我们看到全球社会的一些重大转折点时，我们可以想到印刷机，我们可以想到工业革命从根本上改变了社会。现在我们正处于我们面前的这场新的人工智能革命中。如果你们能向加拿大政府提出建议，为加拿大人提供当前的保障措施，你们会提出哪三个最重要的建议？也许我们先从房间里开始。
>> 我谢谢。嗯，我在开场陈述中提到了一些建议。我相信加拿大主要的杠杆是解决协调问题，让世界上大多数政府认真对待这个问题，认识到超级智能人工智能将对他们所有人构成国家安全威胁，并开始谈判。嗯，即使是少数议员或参议员采取立场，也会让政府中的其他人更容易这样做，更容易去调查。显然，如果加拿大整个政府都在倡导这个问题，那么许多盟国政府将更容易调查这个问题，并认真对待它。我认为我们必须认识到，我们目前所处的世界，绝大多数决策者，至少是我与之交谈过的那些人，几乎没有听说过这个问题，不知道这是公司们想要建造的那种人工智能，或者这些人声称没有人知道如何控制超级智能人工智能。所以，在我们试图让人认识到问题之前，我们不能绝望。我认为一旦他们认识到了，解决方案就会显而易见。我认为这是我推荐给加拿大的主要策略。
>> 你……
>> 对不起，我们稍后可以回到这个问题上。嗯，可能如果你允许的话，我会在第二轮提问中请韦尔斯参议员发言，你那时可以发表意见。现在我们请阿诺德参议员。
>> 谢谢主席女士。我想先问布豪先生。我们见面时，你向我解释了普通人工智能和超级智能人工智能之间的区别，因为我认为这对很多人来说是令人困惑的。你知道，这一切都有好处。如果你能为我们解释一下，我想这会有帮助。
>> [嗤之以鼻]
>> 正如我在开场陈述中所说，我相信人工智能的许多应用都非常有益，而且我认为……嗯，有两点需要区分。首先是专业化人工智能或工具人工智能与通用人工智能。所以，专业化人工智能只能做一件事，仍然掌握在人类手中。例如，一个只在医学图像上训练以检测癌症的人工智能，或者在蛋白质数据上训练以发现蛋白质如何折叠的人工智能。这些系统是狭窄的、可预测的，值得追求。它们仍然是工具，我的意思是，就像任何强大的技术一样，工具可以有有益和危险的用途，但它们不会对操作者构成危险。我们应该将此与通用人工智能区分开来，这是公司目前用于构建聊天机器人和自动化代码助手所使用的范式，但它们的目标是将其推向超级智能人工智能。通用人工智能与超级智能人工智能的区别仅仅是程度问题。例如，它在多大程度上能够取代人类执行需要人类花费很长时间才能完成并需要自主性的各种任务。所以，通用人工智能在某种意义上是非常不同的，它不仅仅是为了做一件事而训练的。我们投入了巨大的资源，使用了整个互联网的数据以及许多其他东西，并创建了我们根本不理解的系统。Anthropic的首席执行官达里奥·阿莫代（Dario Amodei），目前领先的人工智能公司，最近说，也许我们只理解我们系统工作原理的3%。我相信他是在某种程度上强调Anthropic在这方面领先于竞争对手。但是，嗯，因为我们不理解它们，而且没有人有计划控制它们，所以现在它们具有一些令人担忧的行为和怪癖。这令人担忧，但问题是，当这项通用人工智能技术超越了任何个人、任何群体、任何政府的能力时，会发生什么？嗯，所以这是主要的区别。
>> 两分钟。
>> 嗯，好的。那么，克鲁格教授，你描绘了一个相当可怕的局面。但是，我认为我听你说的是芯片。所以，如果我们能控制芯片，那么其中一些就会减缓，停止。你说政府需要参与。所有的企业都聚集在一起。你写了那封信。我猜我不真正理解的是，如果他们理解其中一些意想不到的后果，为什么私营公司不做正确的事情？然后，你知道，停止它。
>> 是的，谢谢你的提问。所以，我认为这里有几个不同的问题。其中一个原因是，很多人认为这是不可避免的，所以没有认真考虑是否有办法阻止它。阻止它确实有困难的原因，因为它需要是国际性的，所以你知道，美国和中国在这种问题上合作的前景，很多人认为太遥远了。另一方面，我认为，你知道，如果这些政府意识到风险，那么找到合作的方式符合他们的利益。另一个问题是，你知道，除了政治上的意愿问题，他们是否愿意尝试促成这样的协议，技术上来说，这样的协议是否可以被监督和执行？而这正是理解这些系统是如何构建的，以及芯片的根本物理现实非常重要的地方。所以，你知道，芯片的供应链非常集中。你有荷兰的ASML，台湾的TSMC，它们对制造芯片至关重要，最先进的芯片。嗯，而且，你知道，这只是目前这些都是巨大的项目，有数十亿美元的投资支持。所以，这是很容易停止的事情，你知道，最大的例子。但你确实不得不考虑，嗯，政府是否仍然会秘密地尝试这样做？而那时你必须认真考虑淘汰很多芯片以及制造芯片的能力，这样政府就知道他们没有秘密这样做的手段。所以，我认为，你知道，回到为什么人们仍然会这样做。嗯，还有这项技术带来的巨大力量的承诺。如果你确实设法构建并控制它，有些人比我更乐观。那么你就可以基本上接管世界，你知道，按照你选择的任何方式塑造它。嗯，所以我认为人们，有些人被这一点所驱动。有些人仅仅被他们想象中的巨额利润所驱动。嗯，而人工智能领域和这些公司的一些人则被用一种更优越的先进物种，人工智能或某种赛博格来取代人类的前景所驱动。所以，这就是他们想要实现和实现的对未来的设想。嗯，所以，你知道，有许多原因导致人们继续这样做。嗯，但我认为最重要的是要解决的是国际协调的反驳论点。即，如果我们不这样做，中国就会这样做，或者你知道，正如我提到的，在美国经常这样说，而那是因为我认为这是唯一一个可以提供公众可以接受的理由。嗯，你知道，他们不会接受“我们想要很多权力”或者“我们想要取代人类”。这些都不是这种活动的合理理由。我认为唯一可能是一个理由的是，“它将会发生。我们最好是做这件事的人。”所以，这就是为什么我认为指出我们可以阻止它非常重要。这是一个政治问题，而不是技术问题。
>> 嗯，我们现在请罗宾逊参议员。
>> 谢谢主席女士。我的问题已经被回答了一些。嗯，嗯，布豪先生，你正在回答韦尔斯参议员提出的关于加拿大政府应该采取哪些步骤，我们作为加拿大参议员如何为解决这个问题做出贡献的问题。我知道时间不够了，我只是想知道我们是否可以请我们的在线证人发表意见，也许我们从克鲁格先生开始。
>> 是的，谢谢。嗯，我同意塞缪尔所说的一切。嗯，我认为，你知道，这里的首要任务是开始制定一项国际协议，以防止进一步发展超级智能，我认为这需要包括主要的干预和对计算供应链的监督，我们可能希望简单地关闭那些正在制造先进芯片和制造它们的机器的运营。这是最稳健、最简单的解决方案。嗯，现在在加拿大，我想补充一点，就是每次出现新的，你知道，人工智能能力时，总会有人立即开始用它来做一些我认为，你知道，在座的每个人，你知道，99%的人都会认为这是极其反社会的行为。所以，在2023年指示人工智能摧毁人类，在Chaos GPT的案例中，或者指示人工智能基本上试图变得自主并开始出去获取它生存所需的资源，并追求它自己的目标。嗯，我认为，你知道，这有点不是重点，但我认为，显然，这些事情应该立即在世界各地被定为非法。
>> 谢谢你，克鲁格先生。
>> 我意思是，大卫和塞缪尔已经讲得很好了。嗯，也许我可以补充一些，你知道，当然，有些事情不会解决问题，但可能会是一些实际的初步步骤，可能会在边缘有所帮助。一个例子是，据我所知，你知道，我听到了政府代表谈论加拿大人工智能安全研究所。嗯，当然，如果加拿大要应对这一挑战并试图成为领导者。我认为它的人工智能安全研究所应该处理这个问题，除非最近有什么变化。据我所知，考虑人工智能的灾难性风险甚至不在加拿大人工智能安全研究所的职权范围内。所以，我认为如果加拿大有一个试图帮助它理解人工智能的风险以及如何安全地驾驭人工智能发展的地方，实际上有能力去思考最严重、最灾难性的风险，那么加拿大可能会更有能力来思考这个问题。
>> 谢谢。
>> 好了。谢谢。嗯，我将请西德·麦卡勒姆。
>> 谢谢，感谢各位的陈述。嗯，我想关注人权以及我们作为人类现在面临的纠正不公的困难，这些不公是我们几代人都未能解决的，而且，你知道，所以当我看到人工智能时，我的担忧甚至会增加，因为我们看看人工智能说，好吧，它将服务于公共利益，当它这样做时，我们需要深入理解人权影响，并允许限制和禁止。你知道，其中一位发言者说机器正在被“培养”，所以它有偏见，所有这些都内置其中。嗯，所以它将加剧人类的不公。那么，人工智能在多大程度上威胁要侵蚀伦理、批判性思维和跨学科技能及传统，当你知道，你看深度学习，而在原住民的教学中，我们有深度学习来产生智慧，但人工智能无法产生智慧，或者它是否有能力做出伦理决策？所以，它是，你知道，人工智能如何威胁人权，你认为唯一的解决方案是什么？你想先说吗？
>> 我可以开始。所以，我认为这里有一个核心技术方面，那就是目前的人工智能不是逐行编程的，所以这非常困难。我们目前没有技术手段来让人工智能想要尊重人权。嗯，构建比我们强大得多，而我们将无能为力的东西的策略，它就会阻止我们回撤，如果，嗯，我们构建的超级智能人工智能不尊重我们的人权，或者不尊重我们想要的生活方式。我认为每个人都可以回顾历史，看到与我们比自己强大得多的事物为之摆布的相似之处。而这并不是一个好情况。我认为，你知道，人类的故事并不完美，但它可能正朝着一个方向发展，即我们仍然拥有创造一个更公正、更美好的世界的手段和意愿。而我认为超级人工智能将是人类故事的终结。因此，就我们关心人权而言，我们应该关心它，我们应该希望创造一个人类仍然能够做出这些决定的未来。
>> 其他人想发表评论吗？
>> 当然。是的。嗯，我再次呼应塞缪尔所说的。我同意。嗯，我认为，你知道，你谈到了历史上的不公以及弱势群体的处境。嗯，我认为，你知道，在人工智能不会消灭所有人的程度上。嗯，它将极大地赋权于那些目前拥有权力的人，而以牺牲那些没有权力的人为代价。嗯，我认为最终它将使全人类都处于不利地位，因为它将，你知道，更聪明、更有能力，更具经济生产力和适应性，所以我们将都处于与人工智能相比的弱势群体的位置。所以，你知道，关于我们如何对待弱势群体的问题，这非常相关，因为你知道，在很多情况下，情况并不好。所以，很多人期望人工智能会，你知道，尽管控制一切，但出于某种原因，对我们怀有某种仁慈的态度。而我只是不认为，你知道，基于这些历史类比和比较，我们应该期望如此。嗯，是的，我也认为重要的是要认识到，你知道，发展人工智能的竞赛，它实际上威胁着我们所有现有的社会结构和社会体系，包括人权，包括，你知道，政府有效治理和保护其公民的能力。嗯，除了失去控制权（我们已经谈了很多），嗯，还有，你知道，技术现实是我们不理解人工智能是如何工作的，但它非常强大，这意味着它将默认地，嗯，以许多方式使用，而没有任何明确的问责制，而且，你知道，对于那些因此受到伤害的人来说，没有任何追索权。
>> 我有……不，对不起，时间到了。如果你想进行第二轮。
>> 好的。嗯，在我们进行第二轮之前，我有一个问题想澄清一下。嗯，你们中的任何一个人是否参与了政府关于将在本季度推出的战略的磋商？
>> 嗯，我相信我帮助……嗯，另一个人为那个写了一些东西。嗯，但我不知道他们是否最终提交了。
>> 我没有。
>> 我没有。
>> 好的。好吧，谢谢。这回答了我的问题。我们现在将进入第二轮，从韦尔斯参议员开始。
>> 好的。我想开放一下，回到关于政府应该采取的三个最重要的建议的问题。现在，如果我们的在线小组成员还有什么想分享的。如果没有，我有一个问题可以继续。好的，听起来你们已经涵盖了基础。嗯，所以，嗯，我只是看了过去一周的新闻。嗯，我们听到了关于OpenAI不与执法部门分享数据以应对图姆布里奇（Tumbler Ridge）悲剧的令人震惊的例子。嗯，所以，我想知道你们对此有什么看法？显然，这里有一个有问题的年轻人，有精神健康问题，他将这些信息分享给了一个人工智能平台，并分享了令人不安的信息，而这些信息没有被能够帮助这个人的机构分享。我们不知道这是否，假设这可能是导致悲剧发生的一个因素，也许是可以预防的悲剧。嗯，所以，我只是想知道你们对在这种情况下强制报告有什么看法？这是否会帮助控制一些人工智能公司，迫使它们在令人不安的信息出现在其平台并可能导致自我伤害或伤害他人时向执法部门或政府官员披露？我们知道，例如，教师、咨询专业人士都有强制报告的义务，对吧？如果你违反了保密协议，如果一个年轻人即将对自己或他人造成伤害，对吧？没有保密协议，并且应该在这种情况下强制披露，因为生命处于危险之中，对吧？所以，我只是想知道你们对干预要求这些平台不要造成伤害，正如我们所谈论的进一步伤害，或者减轻伤害的看法？在OpenAI的案例中，报道的不仅仅是人工智能技术，而是有许多人类审查了这些数据并决定它没有达到分享的门槛。我们甚至不知道该公司设定的门槛是什么。但这确实是一个发生在加拿大的真实案例，导致了悲剧，无数生命丧失，社区被摧毁，这也许可以通过正确的政策或工具来预防。所以，嗯，也许是给我们的在线……嗯，证人。
>> 我可以……嗯，先试着回答一下。嗯，我认为今天我们对人工智能公司施加的任何报告要求都很少，这真是令人惊叹。嗯，你提到的其中一些事情在我看来是基本的起点。嗯，但是，你知道，当这些公司谈论他们正在建造的系统类型以及它们将带来的风险，包括大规模风险时，我认为政府有责任，至少最低限度地要求它们披露其模型进展情况，它们正在进行的内部安全评估以及这些评估显示的内容。嗯，确保，你知道，我认为有一种情况意识对于理解技术是如何发展的非常有帮助，而你知道，即使是世界主要政府也基本上处于和我一样的黑暗之中，也许我甚至不那么黑暗，因为我认识公司里的一些员工，有时我会得到一些八卦，这对我来说太疯狂了。你知道，如果微软有一个核武器计划，他们会说，“我们不确定，你知道，其中一些可能会偶尔爆炸。”政府会说，“嘿，你想多告诉我们一些关于正在发生的事情吗？”你知道，“也许我们应该暂停一下。”嗯，这个领域里的另一个人有一句我非常喜欢的说法是，目前对三明治制造商的监管和报告要求比对经营人工智能公司的要求还要多。这在我看来太疯狂了。嗯，还有一整套关于责任的问题，我认为思考这一点也很重要。
>> 你还有30秒。所以，另一位证人想插话。
>> 克鲁格教授。
>> 嗯，谢谢。嗯，我认为像这样的悲剧有点像一个警钟或警告信号。嗯，它们揭示了我们在监管这项技术方面做得多么糟糕，以及随着它变得越来越强大，有效监管它的挑战有多大，以及放慢速度的必要性，以便我们有时间真正地解决如何适当地监管这类事情。嗯，我认为，你知道，现在存在关于监控的困难问题，比如你可能担心言论自由，或者你知道，政府是否会进一步加强监控，或者如何设置程序，以便该程序只报告它打算报告的那种活动。嗯，而现在，你知道，这些问题是由公司自己根据它们的利润动机和它们希望更快地构建这项技术的愿望来回答的。嗯，所以我们缺少基本的东西，比如基本透明度。我们缺少，你知道，责任。嗯，而且我们错过了进行有意义对话的机会，并且有时间让社会真正地对我们希望如何管理它进行有意义的输入，因为它的发展速度太快了。
>> 好的。非常感谢。我们现在请西德·麦卡勒姆。
>> 谢谢。嗯，我想关注歧视和不平等，因为它们是系统性的失败，损害了社会的完整性，民主的参与，以及所有人权实现的程度。而且，你知道，迫切需要我们关注历史上的歧视不应该被嵌入人工智能模型中。而这个关于歧视的问题……这有可能缓解吗？或者这甚至不是一种可能性？我认为这不可能，你知道。嗯，你能评论一下吗？就像，似乎我们已经到了一个点，我们甚至无法缓解现在正在发生的事情。你知道，当你看看图姆布里奇时，已经太晚了。你能评论一下吗？
>> 嗯，有一段很长的关于试图解决人工智能中的歧视、偏见和公平问题的历史。嗯，而且，你知道，我们仍然缺乏适当的概念基础来确定一个人工智能系统是否具有歧视性。嗯，所以在这方面已经做了很多工作。这与我们所说的“可解释性”方面的工作类似。所以，只是理解系统内部是如何工作的。而这些只是，你知道，类似于对前一个问题的回答，我们真的应该给自己更多的时间来解决这些大问题。嗯，我想，我想提到，你知道，已经有各种尝试来纠正偏见或歧视，但它们要么适得其反。所以，我们看到了一些著名的例子，比如谷歌的模型生成了，你知道，黑人开国元勋和黑人纳粹，这是一种错误的代表性努力，在它们的图像中，当你提示生成纳粹或美国开国元勋的图像时。嗯，然后另一方面，我们有XAI，它试图采取一种更像，你知道，反觉醒或言论自由的态度。他们最终得到了一个宣称自己是“梅卡·希特勒”的模型。嗯，所以，即使，你知道，这些尝试，你知道，采取一种特定的立场，关于，你知道，歧视和公平的问题，嗯，通常不会像设计者期望的那样，用当前的技术来实现。
>> 我肯定会再次强调，这里的核心挑战是这些系统基本上是黑箱。所以，当我们训练它们时，我们基本上只是通过给它们一堆例子并让它们模仿来训练它们，这可以产生很多复杂的行为。但我们实际训练的东西是，你知道，数万亿的浮点数，它们只是以一种非常特定的方式相乘，使得模型表现出它所做的行为。没有人知道如何查看这些数字并理解它们为什么这样做。所以，当我们说一个模型在某种意义上具有歧视性时，没有人可以进去弄清楚为什么会发生这种歧视并纠正这种行为。他们可以尝试向它展示一些例子，试图让它产生相反的偏见。然后他们可以看看模型的行为方式，并尝试运行一些评估并进行检查。但通常，你知道，世界很大。人工智能系统有很多种互动方式，而且很难全面测试。嗯，所以这是一个极其困难的挑战，而且，嗯，偏见和歧视是我们看到的一种当前风险，而同样的根本担忧是，嗯，很多我们对大局的担忧是，随着这些系统变得越来越强大，我们不了解它们的驱动力、目标和动机。这些问题只会越来越大，因为它们可以在世界上采取更大的行动，拥有更多的自主性和更多的智能。
>> 谢谢。嗯，布豪先生，你有什么要评论的吗？
>> 嗯，我会说，虽然有一些，嗯，人工智能的后果已经有些“烘烤”进去了，或者说，嗯，很难改变方向。嗯，我们必须对抗“一切都无望”的想法。嗯，有一些风险尚未发生，我们仍然有机会采取行动，嗯，以确保它们不会发生，我认为我们应该抓住这些机会。
>> 嗯，我们快到时间了，嗯，嗯，博尔戈先生，你的……你的互联网有点……波动，但因为我们快结束了，我认为我们可以……嗯，欣慰地知道我们听懂了你说的所有内容，所以不用担心。嗯，我有一个最后的快速问题。嗯，你认为未来的补救措施会是某种法律挑战，也许是在人权领域？我想知道，克鲁格先生，你在美国是否看到过这种情况。那么，我们将从你开始。
>> 我认为……嗯，针对人工智能公司的法律挑战有很多空间。目前正在进行的关于它们使用受版权保护数据的案件，我认为在很多情况下是非法的。嗯，并且已经为此达成了巨额和解。就人权而言，嗯，我认为一定有一些案例，但我认为我的理解是，由于缺乏透明度和缺乏可解释性，提起这些诉讼一直很困难。嗯，所以，正如马洛提到的，很难知道一个系统，你知道，是否具有歧视性，就，你知道，所谓的“想法”而言，比如它如何处理数据。但一个更根本的问题是，人们通常无权知道一个人工智能系统是否被用于处理他们的工作申请、贷款申请，或者，你知道，他们的政府福利申请。嗯，但我们知道它们被用于所有这些申请。嗯，所以，作为一个与其中一个系统互动的人，很难声称，你知道，你受到了歧视，即使你能证明系统具有歧视性或偏见，因为你根本不知道系统是什么，你无法访问它。嗯，话虽如此，我认为，你知道，情况正如我们所提到的，确实是一个极端且前所未有的危机，而这些公司的活动使我们所有人都处于危险之中。所以，我认为，嗯，当然有一些事情，比如“鲁莽的危险”，对每个人来说。而且我认为我会……嗯，有兴趣看到，你知道，起诉，试图让公司为明知故犯地冒着每个人的生命危险而负责，他们已经承认他们正在这样做。
>> 谢谢。还有其他快速评论吗？我们有30秒。这主要是常识问题，而问题在于大多数人，大多数立法者根本没有被告知全部情况。我认为第一步是发声，鼓励其他人去调查，并确保在我们试图进行这种非常……嗯，有针对性的干预之前，人们能够理解正在发生的事情。这将极大地增加……嗯，任何我们最终会采取的干预手段的成功率。
>> 谢谢你，博尔戈先生。你有什么要补充的吗？
>> 嗯，作为第三个发言者，我总是很幸运地说，我本来会说很多同样的话，但我的口才好的小组成员先说了，所以我不认为我还有什么要补充的。嗯，但感谢您的邀请。
>> 好的。也感谢各位的到来。我们感谢你们的时间和对我们研究的贡献。嗯，所以，我想真诚地感谢你们今天抽出时间来我们这里。你们的证词对我们的审议将非常有帮助。谢谢。我现在将短暂休会，以便我们为最后的全体会议做准备。