Transcription
人工智能将接管许多任务，这方面一方面是机遇，另一方面是好事，尤其是在处理繁琐或我们不擅长的任务时。但人们也越来越清楚地认识到，许多专业职业，甚至包括创意工作，在未来可能会消失。人们会失业，许多其他任务也可能被人工智能取代。因此，一个大问题——我们再次认为这个问题被严重低估或未被充分思考——是我们届时将如何利用我们拥有的所有时间，以及我们将如何度过每一天。
过去，人类常常对新技术持怀疑态度，但最终他们还是调整了自己的行为。如果你看看我们几代人之前的人，他们是无法想象我们现在会在智能手机上花费如此多的时间，并且我们仍然乐在其中。所以，很有可能我们现在认为研究中的某些东西是反乌托邦的，但它们可能会变成常态。
可解释性是一个巨大的问题。我的合著者罗马尼亚·波利（Romanian Poly）曾出版过一本关于人工智能不可解释性的书。这是一个巨大的问题，我们拥有的人工智能，我们甚至无法解释它在做什么。这也是可以理解的，因为这是另一件前所未有的事情，人工智能最终比我们更聪明，它要聪明得多，所以我们不应该惊讶于我们无法解释它。而且，从某种意义上说，我们试图治理人工智能，而历史上从未发生过，即智力较低的生物能够治理比它们聪明得多的东西。我的意思是，世界上的猴子和狗不会统治我们，因为它们做不到。
感谢您加入印度首个未来科技与可持续发展播客。我是主持人艾迪·阿布（Eddie Abu），今天我非常荣幸能邀请到祖纳·齐什克博士（Dr. Zuna Zishk）。他拥有汉堡大学计算机科学博士学位，并在联合国人道主义和恢复部门工作了二十多年。他是孟加拉国、马尔代夫和印度人工智能准备情况评估的首席专家，并曾在马尔代夫国立大学担任人工智能高级研究员。他曾担任联合国减少灾害风险2024年阿拉伯地区减少灾害风险区域评估报告的首席技术顾问，并且是《人工智能博弈伦理风险与计算框架考量》一书的合著者。
博士，我非常感谢您抽出宝贵时间参加播客。如果您能从您的人工智能准备情况评估方法论开始，那就太好了。如果您能解释和阐述一下，以及这如何帮助成员国发展人工智能监管和机构能力建设，那就更好了。
是的，非常感谢您的邀请，艾迪，也感谢您的介绍。我必须说一件事，我并没有创造这个准备情况评估方法论。所以，也许是为了澄清，我在联合国工作，我认为今天我们主要谈论的是我在联合国教科文组织的工作，但同时我也是一名独立研究员。所以，我们稍后将要谈论的这本书是完全独立的。人工智能这个话题，显然在过去几年里，对联合国来说已经成为一个重要的问题，因为人工智能正在影响我们所有人。因此，联合国也一直在关注这个问题一段时间了，特别是他们关注人工智能的伦理问题，这是一个关键话题。早在2021年，联合国教科文组织的所有193个成员国就批准了所谓的《人工智能伦理建议书》。这是一个重要的里程碑，因为实际上世界上每个国家，我是说联合国教科文组织的所有成员国都批准了这项建议。所以，我们不能低估它的重要性，这是一个全球性框架，旨在确保人工智能的开发能够最大化其益处并最小化其风险，这是一个巨大的挑战。
然后，第二步，或者之后的步骤是，联合国教科文组织开发了一个准备情况评估方法论。这就是您提到的。这个方法论是一个工具，旨在帮助各国评估其为实施所有成员国批准的《人工智能伦理建议书》所做的准备。这是一个标准化的工具，基本上可以检查每个国家在人工智能发展方面的情况，是否存在任何差距，它们可能需要做些什么来赶上其他国家，以及这些国家的人工智能发展如何符合伦理原则和人权。正如您正确指出的，我正在为三个国家工作，因为这将在所有国家进行，我专注于孟加拉国、马尔代夫和印度。正如您可以想象的，这已经显示出巨大的差异。您来自印度，人工智能在印度是一个巨大的话题，而马尔代夫当然是一个邻国，但它很小，显然在那里发生的事情少得多，因为它人口也少得多。但我想，关于这个项目以及关于联合国总体而言，这一点非常重要。有一个口号是“不让一个人掉队”，因为我们知道，实际上，在很多方面，你无法真正比较印度和马尔代夫，而孟加拉国则介于两者之间。但重要的是，这些较小的国家也要为使用人工智能做好准备。所谓的数字鸿沟已经存在了很长时间，在人工智能出现之前，国家之间以及国家内部就存在鸿沟。重要的是，由于人工智能如此关键，较小的国家也要尽早做好准备，认识到存在哪些差距，也许它们需要弥补。根据标准化方法论，我正在为这三个国家进行这项工作，其他国家也在进行。您可以在联合国教科文组织网站上查找。我想也许已经完成了大约12个国家的工作，并且越来越多。所以，最终，这个网站上应该有所有国家的报告，您可以看到它们的情况，然后有建议以及它们还可以做些什么，希望每个人都能步调一致。最后，还有一个所谓的联合国教科文组织人工智能伦理专家无国界网络，我是这个网络的一员，这也与这个旨在研究人工智能伦理的整个项目努力相关，关于联合国正在做什么。
我认为我们正处在一个绝佳的时代，就像您提到的您的座右铭“不让一个人掉队”一样。我认为这对于人类作为一个物种的未来至关重要，因为这是人类历史上第一次我们创造了这种自学习技术，而且它正在以光速加速。所以，如果您能给我们一个关于人工智能、大型语言模型、推理模型以及通过这种思维链的下一步演进，即我们正在构建的这种代理式人工智能的概述，那就太好了。如果您能让我们了解通用人工智能的现状以及它将如何影响社会和世界，那就更好了。
是的，非常感谢。也许我不会深入太多细节，因为我相信您的许多观众都熟悉最新的发展。我是说，人工智能已经是一个几十年的话题了，有过起伏，在过去的十年里，由于神经网络、深度学习过程等新技术，取得了重大进展。大型语言模型（LLM）是目前最新的。我们已经有了它们，并且已经有了好几年了，这当然可能是它真正为广大公众所熟知的第一步，也是最后一步。现在许多人已经使用过它，并且人们也越来越熟悉它。但事情还在发展。现在最新的热门词汇之一是“代理式人工智能”（agentic AI）。这是正在开发中的东西。还有一个热门词汇是“通用人工智能”（AGI），这令人兴奋，但也可能令人恐惧。我稍后也会谈论风险，而且我确信在这次播客中会更多地谈论。通用人工智能意味着，因为现在我们有，它始于非常非常狭窄的人工智能应用。如果你回顾一下，有下棋的人工智能，那些人工智能在下棋方面非常出色，它们击败了世界冠军，但它们除了下棋什么也做不了。所以，这是一个狭窄的应用，但应用范围越来越广。有一种目标或想法是，可能存在所谓的通用人工智能（AGI），它在所有任务上都达到惊人或超人的水平。这是正在开发中的东西。我理解，我不是为那些公司工作的，我不知道幕后到底发生了什么。我确定它确实存在，至少它还没有公开。是的。所以，我们已经处于一个几年前我们无法想象的相当先进的阶段。但是，除非我们遇到某种障碍或我们停止这一切，否则也有理由感到乐观，认为这种情况将继续下去，并且每年都会变得更加惊人，甚至更快。我说乐观，但也有悲观的理由，因为重要的是要注意，有惊人的机会，如果它们被明智地用于医疗保健、教育、气候变化，希望会有提供惊人机会的人工智能工具。另一方面，也有相当多的风险。我看了您之前的一些节目，我认为您和其他嘉宾在谈论那些机会时，也相当关注那些风险。但我想谈谈风险是很重要的。这就是我在我的书中做的。但同样，相当多的风险已经广为人知并被谈论，但也许仍然没有得到充分解决，而且有时非常难以解决。像偏见和公平性、错误信息、虚假信息、深度伪造、网络犯罪以及数字鸿沟（这是一个巨大的风险）、军备竞赛，而且对环境的风险也不能忽视，因为目前这些数据中心需要大量的能源。这绝对不环保。它甚至可能上升到生存风险。存在大量的风险，许多风险公众已经或多或少地知道了，但这本书的重点，我与罗曼·扬波尔斯基教授合著的书，这本书实际上在录制当天是正式出版日期，这是一个巧合，除了已知的风险之外，我们还确定了几个额外的问题和风险，因为这是一个巨大的领域，我们在书中介绍了这些进一步的风险和问题。总而言之，是的，我们取得了惊人的发展，这是我们以前无法预见的。可能存在重要且巨大的机会，但我们也必须关注风险。这回到了我之前谈到的与联合国相关的内容。人工智能治理、人工智能伦理非常关键。必须解决这些风险。是的，我希望我能有机会谈谈。
是的，我认为我们正处在人类历史上的一个绝佳时刻。如果我们合作，我认为世界将变得非常非常棒。然而，另一方面是多方面的风险。它不仅仅是一个特定的风险。我们正面临一系列生存危机。其中最大的是气候危机，今天世界上有如此多的消费，因为我认为世界在经济上在增长，因此我们消费得更多而没有节约，导致了如此多的污染，资源枯竭。所以，气候危机是其一，小行星是其二。第三是地缘政治不稳定，因为世界已经变得像是在冲突而不是合作。美国和中国这两个大国试图获取这些新兴技术，因为获取这些技术栈将使它们获得不公平的优势，这就是为什么有美中关系，然后有俄乌战争，有以色列巴勒斯坦冲突。而且，不仅仅是人工智能，我认为这些技术正在融合。生物技术与基因编辑，如CRISPR-Cas9，学生现在可以操纵DNA的源代码，我们甚至可能设计出新型病毒。所以，我们正面临着多方面的生存风险。但是的，另一方面是，只有当它落入坏人之手时才会发生。另一方面是，我们可以通过我们获得的技术工具创造富足，我们可以增强人类。所以，我认为选择真的取决于人类，我们去哪里，我们选择什么，是选择冲突还是选择合作。
如果您能详细介绍一下这本书，那就太好了。这本书的标题是《人工智能博弈考量》，它本身就有点像人工智能的终局，听起来真的很吓人。所以，也许如果您能详细介绍一下人工智能的终局以及这本书，以及它能为读者提供什么，那就太好了。
是的，谢谢。首先，我非常同意您所说的。再次，我们拥有惊人的机会，但另一方面，也有很多问题需要解决。您提到了战争，您提到了几个，但这也是非常重要的，要看看媒体报道了很多什么，什么没有被报道。我是说，俄乌战争、加沙战争在媒体上很大，但例如，苏丹战争几乎没有人谈论，而且受害者更多，流离失所的人更多。所以，这也是一个问题，只是一个题外话，有些事情被媒体报道了，而有些非常糟糕的事情却很少被媒体报道。
非常感谢您给我机会谈论这本书。我们称之为“人工智能终局”，因为通常“终局”是在国际象棋中，它是某个行动或过程的最后阶段，而且在终局中，你通常会做出一些不可逆转的、真正决定性的举动。这就是我们所相信的，因为您说我们正处在一个非常重要的时刻，我猜想我们也在做出与人工智能相关的举动，它们可能是不可逆转的，我们必须决定我们是真正走向一个乌托邦还是反乌托邦的场景。正如我所说，人工智能的许多风险已经被识别出来，并在一定程度上被关注，但还没有得到充分的关注，有时仍然被忽视，比如偏见和数字鸿沟，安全、保障、问责制、透明度，所有这些。可解释性是一个巨大的问题。我的合著者曾出版过一本关于人工智能不可解释性的书。这是一个巨大的问题，我们拥有的人工智能是我们强大的工具，但我们甚至无法解释它在做什么。这也是可以理解的，因为这是另一件前所未有的事情，人工智能最终比我们更聪明，它要聪明得多，所以我们不应该惊讶于我们无法解释它。而且，从某种意义上说，人们认为我们试图治理人工智能，而历史上从未发生过，即智力较低的生物能够治理比它们聪明得多的东西。我的意思是，世界上的猴子和狗不会统治我们，因为它们做不到。
所以，再说回这本书。正如我之前所说，除了所有这些问题之外，我们认为还有更多的问题，我们已经识别出来并且被忽视了，我很乐意有机会一一谈论。有一个问题是我们称之为“I风险”，即我们失去生命的意义。还有人工智能身份、人工智能宗教、人工智能对齐问题。我是说，这是一个众所周知的问题，但我们识别或研究了它的一些其他方面。还有一个话题是数字新殖民主义，这与数字鸿沟有关。这些都是书中的独立章节，我们认为它们非常重要且有必要。
是的。我认为，如果您能，也许定义一下数字新殖民主义以及为什么这个话题很重要，那就太好了。
是的，我认为有一个国家扮演着某种霸主的角色，某种人工智能霸主。我是说，我指的是美国政府，它实际上阻止了英伟达向中国出口芯片。还有美国政府的……扩散和出口管制政策，将世界分为三个不同的部分，盟国等等。所以，是的，我认为，如果您能定义数字新殖民主义，以及为什么它在这个时候很重要，那就太好了。
是的，谢谢。我完全同意您刚才所说的。这是一个大问题。是的，所以正如我们之前所说，人工智能伦理至关重要，但就伦理而言，目前它们主要是西方伦理。这是一个问题，因为如果西方国家致力于人工智能伦理，那么这些方法通常会反映这些地区的价值观，而不是世界其他地区的价值观。但然后我们遇到了这个问题，并非所有价值观，并非所有伦理都是普世的。我们很高兴生活在一个拥有广泛价值观和许多文化的多元化世界中。所以，这是一个大问题，风险在于，如果西方价值观……在人工智能出现之前，至少在一定程度上存在西方主导。但如果人工智能被主导，如果人工智能系统只从西方国家获取训练数据，如果人工智能……内部认为这就是世界，这是一个大问题。因为如果我们看看，这是书中一个章节的内容，目前全球伦理指南的格局，或者欧盟关于可信赖人工智能的伦理指南，它们基本上都关注西方价值观。我是说，这很好，只要它们是普世价值观，但情况并非总是如此。例如，我可以举一个与您来自的印度有关的例子。就偏见而言，这个问题现在已经得到了识别，但在西方，我们通常谈论三个维度的偏见：性别偏见、种族偏见，以及在一定程度上可能是残疾偏见，也许还有年龄、性取向。但然后，有一份非常有趣的报告，我用在了这一章中。例如，在印度，有几个其他维度的歧视可能对人工智能非常关键，比如种姓制度、阶级、宗教。这也适用于其他国家和文化。所以，存在不同的歧视维度，而这些维度没有得到反映。这只是一个例子，而且正如我所说的，世界上还有许多其他……不同的文化。对于这一章，我们研究了佛教、印度教、伊斯兰教、非洲文化、乌本图方法，这些在当前的人工智能伦理方法中通常都没有得到反映。现在，关键在于，这与价值对齐系统有关，要检查这些价值观是否兼容。例如，只是一个极端的例子，如果我们拥有西方价值观，然后我们看看阿富汗塔利班的价值观，当然，这并不真正兼容。存在价值观的冲突。所以，我们不能将其与人工智能结合，而且无论如何也不希望如此，但我们不能将其与人工智能系统结合。但我们发现了一些方法，比如那些其他文化，比如我刚才提到的佛教，它们可以很好地兼容，并且可以被纳入人工智能伦理中，而这却被忽略了。这就是我们所说的数字新殖民主义，因为……是的，再次，我是说，在殖民时代，西方国家试图在一定程度上主导世界，而现在，我们又回到了这个阶段，只是在不同的时间，通过其他方式。我们希望还有时间来扭转这一点，来看待这一点，因为……数字鸿沟是我们不希望在人工智能中看到的，我们希望避免文化鸿沟。所以，人工智能理想情况下应该反映所有文化的价值观，如果可能且兼容的话。
博士，我希望，当人类获得这种自学习技术时，我们会放弃分歧，团结起来。因为团结就是力量。我希望，我们会放弃贪婪，就像您提到的联合国座右铭一样，努力让每个人都跟上，不让一个人掉队。但我认为正在发生相反的事情，因为每个国家都在努力……某种程度上，都在争夺获取这些指数级技术栈。您也指出，我们正在努力理解人工智能，因为……它仍然是一个黑箱，有许多人正在努力实现人工智能的可解释性，但我们仍然无法理解……这些大型语言模型的统计模型内部到底发生了什么。而且，有一些奇怪的事情正在发生。这些仍然是统计模型，它们基本上是输入数据，输出数据。它们离我们大脑的功能还差得很远。但仍然有一些非常独特的事情正在发生，这些大型语言模型已经展现出这些涌现属性。最近，Anthropic AI Claude，你知道，谈到了……这些人工智能正在表现出故意欺骗的行为，以及伪装对齐。您谈到了人工智能安全和人工智能对齐。人工智能安全和人工智能对齐方面的当前研究进展如何？如果您能谈谈，那就太好了。
是的，非常感谢。实际上，也许我先做一个简短的介绍，然后我们提出了两个想法，因为这是一个复杂而棘手的领域，也许根本没有解决方案，这回到了我之前谈到的。所以，人工智能对齐问题在于，我们需要一个与人类价值观、人类目标相符的人工智能。它们不……人工智能首先必须理解我们的价值观，并且必须以某种方式行事。这是一个大问题。有很多方面，远非只有我们在这方面工作，还有许多其他人也在解决这个问题。而且，如果我们达到通用人工智能或任何比我们聪明得多的人工智能的水平，这个问题就会变得更大，因为那时至关重要，但我们不知道是否有可能让这样的人工智能与我们的价值观保持一致。这个问题可以分解成三个子问题：第一个是提取价值观，第二个是聚合它们，第三个是将它们灌输到这些系统中。那么，第一个意味着什么？第一个问题意味着我们必须首先确定，或者识别出，我们到底有什么价值观。这是一个有趣的问题。我是说，哲学已经存在了几个世纪，也有研究人类价值观的领域，但当涉及到精确地定义人类价值观时，这是一个问题。我之前谈到的关于不同文化和不同价值观的问题。所以，有如此多的人类价值观，我们到底想教人工智能什么价值观？所以，这已经是第一个，也是非常困难的问题。然后，其次，我们必须聚合它们，以便我们能够形成一个一致的价值体系。我提到了阿富汗塔利班的极端例子，如果我们包含他们的价值观，那么就基本上不可能……再次只是一个例子，基本上不可能形成一个兼容的、一致的体系，因为那时这些价值观会发生冲突。然后，第三步是将所有这些放入人工智能系统中，并告诉……并让人工智能系统学习这一点。这是一个技术问题，也非常非常困难。我们在书中提出的两个方法或想法，它们有些不同，而且这与我的工作有关，因为我在联合国工作。所以我是一个忠实的粉丝，也是联合国的一员。所以，我希望这可能广为人知。我不确定，否则我将简要提及。有所谓的联合国可持续发展目标（SDGs）。这是联合国2015-2030年可持续发展议程。所以，我们已经进入了这个议程的十年了。2015年，所有联合国成员国都提出了17个可持续发展目标，细分为169个目标。这是世界希望在2030年之前实现的，在所有领域都非常雄心勃勃的目标，从食物、教育、健康、气候、就业，等等。这是一个非常雄心勃勃的目标。这是一个不同的问题，我们是否成功了，我们只剩下五年时间了，而且中间还有新冠疫情，还有战争，所以不清楚我们是否能实现。但我的观点是，如果我们看看普世人类价值观，为什么我们不写下，因为我们采用……这些联合国可持续发展目标，因为这是所有193个成员国都同意的。也许我们应该教人工智能，这就是我们目前想要的，因为正如我们之前所说，这些价值观需要是普世的，但它们也需要是具体的，并且在一定程度上是具体的，因为我可以举一个例子，因为这169个目标有232个指标来量化、具体化和监测进展。如果你看一个非常具体的例子，那就是……一个目标是使全球交通事故造成的死亡和伤害人数减少一半。这意味着，我们可以就此达成一致。交通事故是坏事。我们要把人数减半。所以，这是一个非常具体的目标。所以，我们可以教人工智能，但同样，有169个。但我们可以告诉人工智能系统，这就是我们的价值观。这就是我们想要实现的。但同样，这个方法或这个例子已经显示出，即使我们同意这个价值观，教人工智能这个价值观有多么复杂。因为，如果你看看这个，有一个具体的例子，叫做……所谓的“恶劣的实现”，因为我们认为这是非常……非常具体，我们希望……死于交通事故的人更少，但理论上，人工智能可以追求的目标是摧毁所有机动车，因为……这将实现这一目标，如果不再有机动车，就不会再发生交通事故了。所以，我们用这个例子来表明，即使我们认为这是一个非常具体的目标，我们不希望死于交通事故，但教人工智能该做什么仍然是另一项任务。此外，还有一个问题。如果我们现在将这些输入到人工智能系统中，那么人类价值观可能会改变。当然，就代码而言，交通事故可能永远是我们的目标，我们不希望发生。但如果你看看联合国名单中的另一个目标：实现所有妇女和男子的充分和生产性就业以及体面工作。所以，我们不知道这是否将永远是我们的价值观，因为在先进技术的时代，也许这在未来已经不现实了，而且……不值得每个人都工作。所以，可能有一些人类价值观会随着时间而改变。人类价值观经常改变，有时是几个世纪。曾经有过奴隶制，曾经有过许多问题。同样重要的是，如果我们现在教人工智能系统我们的价值观，那么必须有机会进行调整，并且它们不会被字面上写在石头上，我们再也无法改变它们。所以，这是另一个问题。然后，还有一个所谓的“危险的转折”，即使我们找到了一个方法，我们精确地定义了我们的价值观，我们将它们全部教给人工智能系统，人工智能系统也学会了它们，那么我们也不能保证，一段时间后，这个人工智能系统理论上是否仍然会变坏，放弃所有这些价值观，并提出自己的议程，而这是我们无法控制的。这是一个想法，因为我们认为这是一个……联合国汇编的当前价值观或当前普世价值观的列表。但同样，这个对齐问题……我们处于一个如此棘手的境地，因为正如您正确指出的，我认为我们的人类价值观一直在演变，而且有很多错误而不是正确。我是说，看看我们整个人类历史，我们有宗教，它一直分裂人类。您谈到了印度的种姓问题，种姓和信仰问题。那太糟糕了，它完全分裂了我们，而不是团结了我们。所以，我认为我们需要灌输和理解很多新事物，因为我认为我们人类仍在……朝着进化的方向，去理解我们的空间，我们是谁，我们是什么。我唯一看到的一个干净的东西是灵性。因为即使是机构……它们都是中心化的。我相信，未来需要我们更加去中心化。在一个去中心化的世界里。所以，是的，我认为我们面临着多方面的问题。我们如何建模这些一直在变化的人类价值观？我们正处于变革的边缘，技术正以光速发展，而我们却无法跟上。如果您能谈谈“ikigai”与人工智能伦理的交叉点，那就太好了。
非常感谢您提出这个问题。也许在书中所有的话题中，这是我最热衷的一个话题，而且这也是我们看到的风险，我们认为它被严重低估或忽视了，那就是人类在人工智能进一步发展的时候，可能会失去生活的意义。我们使用了日本的概念“ikigai”，可能不是每个人都知道。我们不必详细介绍，但它基本上是……它是日语，意思是生活的理由或目的。但我想，大多数文化，大多数人都有类似的东西。我们只是用了一个词“ikigai”，但你可以把它翻译成“生活的理由和目的”。而这基本上是每个人在生活中都在努力寻找的。目的，我们为什么而活，我们热爱的东西，我们所做的事情。人们有不同的“ikigai”，这是一个问题或一个困扰了几个世纪的问题，人类一直在寻找我们应该做什么，以及我们为什么活着。我相信，或者我们认为，调查也显示了这一点，许多人已经找到了他们的“ikigai”，而且它们可以是多种多样的。对许多人来说，他们的工作和职业就是他们的“ikigai”，他们生活的理由。他们热爱自己的工作。其他人有爱好。可能是他们的家庭。我们可以看到并预见到，随着人工智能的发展，存在着“ikigai”丧失的重大风险。因为人工智能将接管如此多的任务，这方面一方面是机遇，另一方面是好事，尤其是在处理繁琐或我们不擅长的任务时。但……现在越来越清楚的是，许多专业职业，甚至包括越来越多的创意工作，在未来可能会消失。人们会失业，许多其他任务也可能被人工智能取代。因此，一个大问题——我们再次认为这个问题被严重低估或未被充分思考——是我们届时将如何利用我们拥有的所有时间，以及我们将如何度过每一天。因为我们现在花费大量时间进行的许多活动，在未来可能会被人工智能接管。此外，我们因此有了更多的时间。但此外，如果人工智能在医疗保健领域取得成功，我们也将活得更长、更健康，这意味着我们会有更多的时间。那么，我们将如何度过所有这些时间？这就是我们所说的“ikigai”风险，即我们可能会失去生活的意义。很棒的是拥有人工智能，但然后我们早上醒来，前面是一整天，我们许多通常的活动可能不再可用，包括我们的工作。那么，我们将做什么？我们认为这是一个巨大的、可能是一个巨大的问题。还有一个有趣的时间利用研究领域。这是一个小众领域，但我认为它也相当适用于这个话题。因为时间利用研究，除了人们如何在不同国家度过他们的一天（除了睡眠时间），还有个人卫生时间、准备食物时间、吃饭时间。但然后还有工作时间，我们必须做某些任务。如果我们看看时间利用研究，可能会出现更多……自由时间。再次，这就是我们所说的“ikigai”风险。在另一章中，我们提供了一个方法，一个想法，该做什么。这可能听起来对许多人来说是反乌托邦的，可能听起来像科幻小说。但一个选择可能是，我们可以在虚拟环境中找到新的“ikigai”，新的生活目的。因为得益于人工智能，虚拟环境越来越好。而且很有可能我们会花更多的时间在虚拟环境中，它们不仅是虚拟的，而且是超个性化的，内容是为我们量身定制的，根据我们的偏好。而且有反馈循环。所以，如果我们花时间在虚拟环境中，我们可能会在那里找到“ikigai”。我们必须非常清楚，这并不是为了娱乐。娱乐是另一回事，娱乐不一定是一个“ikigai”。娱乐也是一种消磨时间的方式，但我们想找到一个目的。所以，问题是我们是否能在这些虚拟世界中找到一个目的。如果你看看我们过去的一些“ikigai”的例子。我是说，如果我们有一个“ikigai”去学习，去理解世界，那么可能存在巨大的虚拟世界，拥有不同的历史、生物学、物理定律，我们试图学习和理解。还有……“ikigai”照顾宠物或社交。我们也可以在虚拟世界中与……人工智能生物社交。再次，这只是一个想法，而且很多人可能会拒绝这个想法。但我们也必须强调，过去人类常常对新技术持怀疑态度，然后最终他们调整了自己的行为。如果你看看我们几代人之前的人，他们是无法想象我们现在会在智能手机上花费如此多的时间，并且我们仍然乐在其中。所以，很有可能我们现在认为反乌托邦的事情，它们可能会很快变成常态。我们试图识别的是，我们认为真正严重且我非常热衷的问题，即我们可能不知道如何在人工智能环境中做什么，并至少识别出一种方法，可能是一个解决方案，或者我们可能必须……我们会在虚拟世界中找到新的“ikigai”。有一些优势，因为那些……人工智能系统可能确切地理解我们想要什么类型的东西，基于我们的偏好，当它们了解我们时，它们会确切地理解我们正在追求什么。人们可能会迷失，但现在有很多人迷失，找不到生活的目的。但人工智能系统可能会单独建议那些……在虚拟世界中特定的“ikigai”。它们很聪明，这可能是一个想法，以不同的方式找到目的。我们甚至建议这可以成为一种数字公共产品，再次避免数字鸿沟，而不仅仅是富人有机会享受自己或在虚拟世界中找到自己。当然，这必须……因为穷人或弱势群体也可能失去生活的意义，因为他们失业了，他们不知道该做什么。所以，如果这样的话，那么它也应该被平等地分配，也许作为一种数字公共产品，每个人都可以从中受益。我们不认为这是一个完美的解决方案。主要是我们想指出这个问题，这个问题没有真正被谈论。我们相信，因为……是的，存在极端情况，人工智能会杀死我们所有人。在两者之间存在许多不同的场景，但也有一个场景是人工智能为我们提供所有这些机会，它们将被实现。
感谢您分享这些见解和远见。是的，我认为没有人谈论我们正在面临的这个问题，全人类正在面临的这个问题，因为您所说的“ikigai”概念，人工智能自动化。我是说，即使在现在，也有如此多的失业。有这些代理式人工智能，它们可以进行人工智能编码，有我们正在努力的人工智能科学家。还有生成式人工智能堆栈，可以进行文本到图像、文本到视频、文本到世界构建等等。所以，是的，我认为在接下来的几年里，当这些人工智能模型变得更强大时，将会出现数百万个可能的失业，这肯定会导致我们失去意义和目的，因为人类一直以来……我是说，我们的目的就是我们所做的，它给我们带来快乐，也给我们带来生活的美好和组建家庭的资金。一旦那种目的消失了，当人工智能在做所有工作时，我们就失去了意义。而您所说的解决方案可能非常深刻，因为是的，我认为我们正处于构建某种虚拟世界的边缘。Meta已经开创了元宇宙。我个人自2016年以来一直投资于虚拟现实，我们正在构建这些虚拟世界，我认为这些虚拟世界将变得越来越强大。它们可能……可能与现实世界无法区分，通过AR/VR眼镜、脑机接口等技术融合。而且，这些虚拟世界可能拥有这些人工智能代理，这些人工智能生物，可能代理式人工智能正在做我们所有的工作。所以，是的，虚拟世界可能是一个解决方案，因为是的，即使现在这些虚拟世界也解决了许多问题。我是说，即使我们工作本身，我们从一个地方到另一个地方，有如此大的个人碳足迹。如果我们可以在虚拟环境中工作，或者在虚拟环境中进行医疗保健或教育，这些也将被消除。所以，是的，我认为这是一个相当深刻的解决方案，因为没有人谈论这个问题，您所说的“ikigai”概念，或人工智能自动化。
您能否也详细介绍一下“qualia”的研究？为什么意识在人工智能对齐研究中很重要？
是的。再次感谢您提出这个问题。是的。所以，这是我们为人工智能对齐问题提出的另一个方法。正如我之前提到的，棘手或也许不可能的部分是识别人类价值观并精确地定义它们。但然后我们想，但我们可以都同意的是，人类的目标是……我是说，首先，也许我应该定义一下，如果人们不知道的话。所以，“qualia”是……有意识体验的实例。看到红色是什么感觉？听到特定的音乐是什么感觉？体验幸福是什么感觉？这是某种东西，我们可以都同意，人类，我们致力于体验积极的“qualia”，比如快乐，我们试图避免消极的“qualia”，比如痛苦和折磨。世界上所有的人都试图避免消极的“qualia”，然后努力追求积极的“qualia”。问题是，正如我们也都意识到的，当涉及到意识研究或科学方法时，这是一个极其困难的问题。这是一个非常困难的科学方法来处理这个话题，并且已经取得了一些进展，但仍然很早。但就目前而言，要……科学地处理我看到红色时我的感受，这真的很难。我甚至不知道你看到红色时是否也有同样的感受。你的“qualia”可能完全不同，但我们……
我们将无法得知。然而，神经技术方面已经取得了项目进展，我认为嗯，这可以被利用。所以，嗯，神经科学和神经技术他们已经取得了进展，现在嗯，有很多方法可以识别，真正地将某些大脑活动转化为嗯，我们正在感受、看见、想象、思考的内容。再次强调，这也有一个阴暗面，因为当然会有应用，因为我们脑海中的想法是我们最终的自由，当然，如果人们能够读取我们所想的内容，那将是一个黑暗而危险的一面。但除了这个风险之外，如果通过神经技术能够识别出什么让我们快乐，什么让我们痛苦，那么也许人工智能系统就可以通过这些神经技术方法来学习，什么活动会带来快乐，什么会带来痛苦。这将是一个与人类价值观不同的层面。它是在这个，在这个感受层面。如果人工智能能够被教导不要进行，不要做任何会导致人类痛苦的活动，而只做那些会给他们带来快乐的活动。这将是一种普遍的方法，并假设嗯，神经科学和神经技术正在进一步发展，人工智能通过这些知识可以识别出什么对我们有益，什么让我们快乐。这是我们提出的另一个想法，嗯，意识的神经科学，虽然还处于早期阶段，但多年来一直在取得进展，可以帮助解决人工智能价值观对齐问题。博士，在您的书中，您也谈到了智能的数学。这些大型语言模型，你知道，即使是这些，这些都是输入数据，输出数据模型。它们被认为是下一个单词生成器或某种意义上的下一个标记生成器，你知道。您能否解释一下什么是智能，以及我们能否创建一个数学模型来捕捉其本质智能？有许多不同的定义。所以我们采用了一个被广泛使用的定义。这个定义说，智能衡量一个代理在广泛环境中实现目标的能。这是 Hutter 和 Black 的定义。再次，有非常不同的定义。但我们将智能数学这个话题与另一个我们认为至关重要但实际上没有人谈论过的话题联系起来，那就是人工智能身份。所以，嗯，我们有一个非常古老的哲学问题，涉及到个人身份，几个世纪以来，我相信可能在许多文化中，哲学家们一直在争论这个问题。那么，是什么定义了一个人随时间的连续性呢？是什么让我觉得自己仍然与多年前的这个六岁的孩子，与我十几岁的自己，多年来保持着连续性？怎么会有这种个人，这种个人连续性或个人身份，考虑到，例如，我身体里的所有原子多年来都发生了变化？所以，这与物质无关，但有一些东西让我感觉到这种连续性，这种身份，与此相关，我们确定了人工智能身份的问题。那么，人工智能系统的身份随时间是什么？我们认为这非常关键，尤其是在所有权和专利方面。如果有人拥有一个人工智能系统，或者对一个人工智能系统拥有某种专利，这个人如何知道，一年后，这仍然是同一个人工智能系统？此外，在人工智能的个人身份这一有争议的法律问题上，当我们为人工智能系统分配责任时，将来可能会有业务。即使人工智能拥有个人身份，也可能与人工智能存在业务关系，但我们不知道。与个人身份问题类似，人工智能身份问题，我们如何衡量在一年和五年后，这仍然是同一个人工智能系统？这对于即将到来的伴侣人工智能这个另一个巨大话题也变得相关。人们，这还处于早期阶段，但越来越相关，人们拥有伴侣人工智能，但他们怎么知道它们随时间保持不变呢？所以我们将个人身份问题与此联系起来，我稍后会回到关于数学的问题。所以我们将个人身份问题与人工智能身份问题联系起来，我们认为这个问题还没有被讨论过。所以我们提供的一个解决方案可能是多因素认证，因为这也用于人类来识别他们是否相同，或者我们每天使用它，当我们输入密码或PIN码，或者我们的生物特征也可能被使用。因为曾经只有一种因素认证，比如只有一个PIN码，只有一个密码，但出于安全原因，已经添加了其他维度，这很有意义。所以我们提出的一种方法是我们称之为多因素认证，我们有几个因素来比较一个人工智能系统是否仍然是它一小时前或一周前或一个月前的那一个，这很关键，因为与人类不同，有些情况根本不适用于人类，但对于人工智能系统来说，一个或多个人工智能系统可以合并，它们可以被关闭再重新打开，硬件可能会完全改变，可以设想非常不同的场景，甚至在未来，识别这是否仍然是同一个人工智能系统就变得相关了。人工智能的数学，这将适用于我们合并人工智能系统的情况。那么，合并几个智能意味着什么，或者当我们分离它们时，它被称为，或者只取一个人工智能系统的一部分。这与，存在巨大的挑战，尤其是当我们再次审视人工智能的个人身份、所有权等问题时。可以设想许多场景，这些场景需要明确这些数学和身份问题。再次，这仍然处于早期阶段，我们希望我们做出了一个小贡献，或者至少引起了关注。谈谈一些引起您注意的，特别是针对联合国可持续发展目标的人工智能应用。三年前，我在印度联合国教科文组织工作，在那里我们发布了印度国家教育报告。这是联合国教科文组织的一份年度产品，对于2022年，我们的主题是人工智能。在教育方面，也有巨大的机遇，这主要是由于个性化学习系统，也由于，我的意思是，在线学习系统，再次非常关键的是数字鸿沟，对于像印度这样的国家，也对于世界上其他国家。只有当每个人都有接入，每个人都有快速互联网时，这才是可能的。这是一个非常重要的先决条件。但一旦这个得到保障，那么，可能会有，个人教育人工智能教育系统，这些系统基本上可以在一个偏远村庄启动，只要有互联网，并且有一个个性化的老师，他确切地知道某个学生的弱点和长处，并能适应这一点。不像有一个教室里有很多学生，他们都在不同的水平。所以个性化系统是关键。再次，这回到了之前的话题，数字新殖民主义，这些系统的内容与，与美国产品基于，基于，但这些系统必须基于，我的意思是，内容必须与特定国家相关，培训数据也是如此，因为这些系统需要培训数据来识别长处和短处，然后提出新的任务和活动。所以这必须适应某个国家。但是，在教育方面，当我三年前准备这份报告时，而且现在已经过去三年了，三年后，已经有更多的进展，有惊人的机遇，可以帮助实现，至少是那些，可持续发展目标，在健康和教育方面，以及其他一些方面。我的意思是，气候变化是另一个。在这个谈话中，我不想只持悲观态度。我想指出，存在一些风险，确实需要认真对待，但如果我们做对了，我非常乐观。我的最后一个问题，您认为现在是2035年，也就是10年后，您想生活在一个什么样的世界里？您认为人工智能会是什么样子？它将如何融入社会？它将如何改变整个世界和社会？如果您能描绘一幅图景，那就太好了。是的，谢谢。不，我希望，我希望乐观。有悲观的理由，但我希望乐观。这意味着，那些，人工智能应用将帮助全人类，而不仅仅是少数特权国家或人民，应该如此。是的，应该有有益的人工智能应用，但对每个人来说，我们应该仍然能够找到我们的“ikigai”，我们的生活目标，而不是早上醒来，让人工智能做一切，但不知道如何度过一天。那将是可怕的。为了达到这个状态，我们必须解决我们谈到的所有这些挑战。我不确定这是否能在10年内实现。我的意思是，您已经概述了其中一些。我谈到了其中一些。有很多很多挑战。我们必须解决它们。但我希望最终机会将惠及所有人，再次，我们拥有生活的目标。非常感谢您。非常感谢您抽出时间参加播客。是的，我认为我们正处于人类历史上最美好的时刻，如果我们走正确的道路，我认为我们将真正增强人类，我们将带领全人类，而不是像我们迄今为止的生活方式，只有可能一千人或这些亿万富翁和万亿富翁，他们真正统治着世界，而世界上的其他人只是勉强维持。但是，是的，我认为随着我们现在正在诞生的这种新的物种，你知道，我认为如果我们能够对齐并灌输正确的人类价值观，我认为未来将会非常非常令人兴奋。祝您的新书《人工智能博弈的思考》一切顺利。再次感谢您抽出时间参加播客。我的听众们，如果您喜欢您在这里看到的内容，请按下订阅按钮，下次再见，各位。谢谢您，博士。非常感谢。谢谢。非常感谢。是的。