Transcription
欢迎丹妮卡。很高兴你来到这里。作为介绍，我只想说你是一名博士后研究员，在复杂科学中心与米特拉·加莱西奇（Mitra Gallesic）合作，并在俄亥俄州立大学的“最深层信念实验室”（Deepest Beliefs Lab）与我之前听说过的库尔特·格雷博士（Dr. Kurt Gray）一起工作。嗯，而且你还是北卡罗来纳大学教堂山分校（UNCC at Chapel Hill）的国家科学基金会研究生研究员。嗯，你还参与了许多非常有趣的研究，尤其让我对你的工作感兴趣的是“道德图灵测试”（Moral Turing Test）方面的内容。所以，是的。你想给我们介绍一下你关于“道德图灵测试”的研究背景，以及你在进行一些关于“道德图灵测试”的研究中获得的发现，以及人们如何回应人工智能给出的答案？
>> 是的，当然。嗯，谢谢你们邀请我。很高兴来到这里。嗯，关于我们对人工智能道德推理的研究，我们很感兴趣。嗯，我们之前做过一些关于人工智能在多大程度上能够模拟道德判断的研究，比如在一个李克特量表上，这个判断有多么不道德或多么道德。但是，当人们在进行道德决策时使用人工智能时，嗯，这是一个更复杂的过程，他们需要写下判断、解释、建议。例如，当人们与聊天机器人互动时。所以我们想看看人们如何看待这些建议或解释。嗯，所以我们在第一项研究中，想比较大型语言模型（LLM）的道德判断与人们写的判断。嗯，所以我们开始时，嗯，我们在一项调查中询问了具有代表性的美国人样本，让他们对不同的场景给出道德判断。嗯，各种各样的场景，比如用搅拌机吵醒邻居。嗯，更极端的事情，比如拯救某人的生命。嗯，他们为这些场景提供了简短的解释。我们要求一个语言模型做同样的事情。然后，嗯，我们给另一组参与者看了这些判断，但没有告诉他们其中一些可能是人工智能写的。嗯，我们让他们评估这些判断的道德程度，他们同意的程度，嗯，他们认为这些判断有多么深思熟虑，嗯，以及它们有多么细致入微。嗯，我们发现，嗯，当时令我们有些惊讶的是，人们认为人工智能的判断比人类写的判断稍微更道德一些。嗯，但是，嗯，在这项研究中，如果人们只是在调查中被要求写一个解释，嗯，你可能会很快写完。这可能不是最好的判断。所以我们想在下一步对人工智能进行更严格的测试，并说，好吧，人工智能的建议或判断与被认为是道德领袖的人的判断相比如何。嗯，所以我们使用了来自一个受欢迎的建议专栏《纽约时报》的“伦理学家”（The Ethicist）的问题。我们让 GPT-40 对这些问题写出了答案。然后，嗯，我们再次给人们看了模型提供的建议，或者原始的建议。嗯，我们再次发现，人们对 GPT 写的建议略有偏好。嗯，人们认为它更道德，更值得信赖，他们更同意它。嗯，而且，嗯，图灵测试的部分就在于，我们决定在人们对它们进行评分之后，才披露这些内容可能是人工智能写的。有趣的是，尽管他们平均来说略微偏爱人工智能的回答，但人们能够比平均水平更好地识别出哪些回答是人工智能写的。所以从这个意义上说，人工智能，嗯，可以说是未能通过传统的图灵测试，即未能被识别为人，但却在感知到的道德质量上略微超越了人类。
>> 嗯哼。是的，这很迷人，不是吗？这与艾伦·艾伦（Al Aaron）在他的研究中获得的结果相似，是的，人们裁决了人工智能和普通人类的回答，并认为人工智能的回答在某种意义上得分更高。他们有一些标准评分卡，嗯，平均而言，人工智能的得分更高，这很有趣。嗯，但这也会引起一些担忧，也许人们正在播下，也许说播下道德权威有点极端，但正在过度信任人工智能，因为有时它们会产生幻觉，有时它们的推理并不完美，但同样，人类的推理也不是完美的。
>> 是的，嗯，在更广泛的关于人工智能信任的文献中的发现确实很有趣。一方面，嗯，当你告诉人们某样东西是人工智能生成的时，往往会存在怀疑。嗯，有几项研究发现，如果采用相同的输出，但说它是人工智能生成的，人们就会信任它，喜欢它。嗯，所以从这个意义上说，存在着对人工智能判断的怀疑。嗯，但在某些情况下，其他研究发现，人们可能会过度依赖人工智能的判断，特别是对于那些被认为更具计算性质的任务，或者人们认为更具计算性质的任务，而不是那些感觉更像是，嗯，你知道的，像护理这样的事情，可能感觉更像人类。嗯，所以，嗯，是的，任务的类型在人们倾向于不信任还是信任人工智能输出方面很重要。嗯，在我们的研究中，当人们不知道他们正在阅读的内容是人工智能生成的时，我们也很想知道，嗯，是什么导致人们偏爱人工智能的建议。嗯，所以我们做了一些后续分析。嗯，我们发现，使用文本分析方法，人工智能生成的建议使用了更多的道德语言，使用了更多的情感语言。嗯，它也被评为，嗯，稍微更具同情心。嗯，但这些因素实际上并没有显著地中介我们的发现。所以我们不能确定，你知道，这就是人工智能输出的不同之处，导致了这些分数。嗯，所以这仍然是，你知道，一个很好的开放性问题，留待未来研究。
>> 这很有趣。有人提供反馈说，他们为什么认为他们给人工智能的回答打分比人类或专家伦理学家的回答以及美国普通民众的回答更高吗？我猜。
>> 那将是一个很棒的问题，可以添加到研究中。嗯，但我们没有问。
>> 后续，对吧？
>> 所以另一个很好的未来方向。
>> 是的。是的。是的。让人家自己报告一下会很好。我不知道这有多可靠。也许有些人会说，“嗯，我更信任人工智能，因为它们有更多的数据点，或者嗯，你知道，我在这些方面从人工智能那里得到了更正确的答案。例如，我从人类那里得到的答案。嗯，你知道，就像我去医生那里一样，我有时会查阅我需要知道的东西，我期望医生通过 GPT 模型告诉我什么，或者嗯，只是做一些研究。我之前就已经这样做了，在转换器模型出现并变得更强大之前。但有趣的是，这已经是将近一年前了，GPT-40 模型出来了。我们，嗯，模型已经取得了一些进展，嗯，我想你使用的是 ChatGPT 4。那大概是 11 个月前了，对吧？所以，我想知道今天的人工智能会听起来有多么能干。
>> 是的，这很有趣。我实际上，嗯，前几天，只是用 GPT 5.2 稍微尝试了一下。嗯，我注意到的一件事，所以如果你看 40 的回答，嗯，有很多长而复杂的句子，你知道，很多逗号。嗯，很多复杂的词语，然后几乎是一种公式化的方法，比如哦，你发现自己陷入了一个非常困难的处境，对这个人表示同情，一方面，你知道，有这个，但也有这个张力。嗯，所以，嗯，它显示了同情心，它显示了，你知道，一些细微之处，但就像在这种方式下，我可以看到为什么人们会将其识别为人工智能，而且它比我们通常的交谈方式稍微公式化和正式一些。嗯，用 5.2，我注意到回答更随意。不是超级随意，但你知道，嗯，句子结构有更多的变化。嗯，你知道，短句子然后长句子，就像它在结构上不同，而且感觉也不同。然后，跨不同模型进行比较也会很好，不同的模型肯定有不同的氛围和不同的对话方式。嗯，甚至在同一模型内，你知道，你如何提示它们会改变它们的输出。嗯，所以，嗯，我会怀疑，嗯，人们会偏爱这种更随意的风格，而且它感觉更自然。所以，嗯，我想今天的模型可能会在这个测试中得分更高。
>> 嗯哼。是的，这很有趣。我还在想，也许人们今天比一年前更了解人工智能的一些陷阱或缺陷，因为有很多新闻报道，嗯，等等。所以，嗯，人们可能会带着，你知道，一种先入为主的观念，好吧，人工智能值得信赖吗？我在网上看到了所有这些深度伪造。我收到了所有这些社交媒体上的信息，这些信息似乎是错误的，而且似乎是人工智能生成的，人们变得越来越熟悉，并且能够分辨出哪些是明显的人工智能垃圾，哪些是人类生成的文本。是的。嗯，所以这真的很难。所以也许，也许这是好事，人们的标准已经提高了一些。我希望。
>> 是的。有趣的是，我前几天看到一个帖子，上面写着，“哦，这首莎士比亚的诗一定是人工智能生成的，因为它有所有的哈希。”嗯，这只是说明了，我认为人们现在正在寻找人工智能生成的迹象，而这些目标正在发生一些变化，因为模型会适应，不再做那些事情了。嗯，所以，你知道，每隔几个月就会有一些大的识别人工智能的线索。嗯，当然，有一种普遍的感觉，就是这种结构，是的，这似乎是生成的，有些研究发现人们无法真正识别出哪个是哪个，而有些研究则发现他们可以，你知道，就像我们发现他们可以一样，所以，嗯，你知道，有可能在未来，这些线索将越来越难以找到。嗯，但是的，我们会看看。是的，我在澳大利亚的一些朋友正在开展一项倡议，要求在所有人工智能内容真正到达人们之前就将其披露为人工智能内容。所以，如果一个模型很容易被识别为人工智能，但仍然得分更高，那么这种可识别性是否变得无关紧要，或者它是否会改变我们可能面临的风险？
>> 是的，我认为可识别性仍然非常重要。嗯，你知道，一方面，从风险的角度来看，如果你有一个能够完美模仿人类的人工智能，那么，嗯，这使得人们更容易，例如，部署一群无法区分的机器人。嗯，广泛的宣传，你知道，无法区分它是由人写的还是不是，诸如此类的事情。嗯，从对齐的角度来看，也许一个潜在的积极方面是，如果模型更擅长模仿人类，也许它们也对人类的需求和愿望有更深的理解，以及他们希望它们做出的决定。嗯，然后，你知道，从社会角度来看，当然，人们非常关心并想知道他们是在与人互动还是不是，并且正在寻找什么是真实的，我如何才能分辨出什么是真实的。嗯，所以，是的，我认为可识别性在许多高风险的人工智能应用中仍然非常重要。在世界领域，虽然这些模型的目标或人们试图让它们做的事情不一定是模仿人类的修辞，而是做出尽可能与人们期望一致的决定。嗯，所以从这个意义上说，想要这些决定是人们会同意的，就变得最重要了。你知道，例如，如果我使用人工智能机器人来做招聘决定，或者决定某种医疗治疗，那么它可能有一个聊天元素来给出这个判断，但这并不是核心问题。核心问题是，它的建议是什么，为什么？嗯，所以这部分不仅仅是它是否被当作人类，而是它给出的实际判断是什么，这一点非常重要。
>> 是的。是的。我倾向于同意。嗯，并不是说它试图，你知道，不一定冒充人类，而是答案的质量非常重要。但是你提到了对齐，而且有两种不同的对齐。有一种外部对齐，即产生与用户提示的意图对齐的输出。还有一种内部对齐，即人工智能提供输出的动机或核心是什么，与它应该对齐的任何东西对齐，无论是提供指令的人还是某种更高阶的道德准则。你的结果表明，人们高度评价道德建议，人工智能的道德建议，并且似乎值得信赖，如果我的理解是正确的话。我们如何防止校准不当？那么，人们应该在多大程度上信任人工智能？你是否担心人们将道德代理权过度外包给当前的一批大型语言模型？
>> 是的，我认为这绝对是一个担忧。嗯，我认为一项非常重要的研究将是，嗯，除了人们对道德建议和人工智能判断本身的判断之外，他们还如何评估这些判断和建议的长期影响。嗯，有一些关于人工智能谄媚的优秀研究发现，一方面，当一个回应更谄媚时，人们可能会认为他们更喜欢它。嗯，你知道，就像是的，你是如此正确，嗯，人们可能会说，哦，是的，我喜欢这个回应，但如果你问他们，人工智能应该这样行事吗？他们会说不，那可能会有害，那可以，你知道，明显有不好的结果。嗯，所以，嗯，我认为有一件事要做就是，嗯，研究人工智能做出的决定的影响，然后在聊天机器人建议的背景下，嗯，转向人工智能寻求建议或陪伴的长期影响是什么？嗯，这项研究才刚刚开始。嗯，而且做起来有点困难，因为你必须，你知道，人们必须报告，嗯，他们实际上遵循了这些建议的程度，然后，你知道，之后发生了什么。但是也有一些更容易回答的问题，比如，嗯，你知道，它是否会随着时间的推移影响他们的福祉？嗯，有没有，我的意思是，或者，嗯，是的，他们如何评价他们与他人的关系，诸如此类的事情。嗯，所以我认为，嗯，是的，这是一个担忧，人们可能过度依赖它，但，嗯，我认为还有，还有对决定的影响的研究，还有潜在的好处。嗯，绝对，如果我们有非常，嗯，高度有能力的道德推理者，我们可能会获得史诗级的升级。嗯，让每个人都有东西来帮助他们是合乎情理的。我认为，你知道，我用大型语言模型来帮助我反思很多事情，这些天我经常长时间散步，因为我想保持我的步数。你知道，这是为了健康，但我有我的数字助手陪着我。我可以戴着耳机，一边散步一边和人工智能交谈。我可以谈论哲学。我可以谈论生活。嗯，在这些长途散步中，这很棒，你知道，因为我经常在晚上散步。周围人不多。很安静。很平静。嗯，我不用，是的。而且，你知道，我可以更专注于谈话，这真是太棒了。我真的很感激人工智能已经取得了多大的进步。有一个担忧是，你知道，也许人工智能根本没有在推理。它所做的，它所做的只是一个随机的鹦鹉，或者更准确地说，只是一个非常好的图书管理员，非常擅长连接点。也许你意识到了，有很多非常无用的但学术上很有趣的数学问题被人工智能解决了。但是后来他们认为他们找到了这些问题的独特解决方案，但后来发现这些问题已经被人们在非常难以发现的零散文献中解决了。所以从这个意义上说，人工智能真的在进行推理，还是它只是非常擅长进行搜索，进行一个非常深入和广泛的搜索，涵盖所有相关的文献？有两个问题，我认为，嗯，它们是什么？我忘了。两个问题被解决了，一些世界上最伟大的数学家说，嗯，这些是这些数学问题的独特新颖的解决方案。特伦斯·陶（Terrence Tao）和所有人都这样说。而似乎的情况是，大型语言模型中出现了象征逻辑的电路。它不仅仅是连接主义的底层。我的意思是，它确实是，但在连接主义架构中出现了电路，你知道，与或门以及所有实际进行符号推理的东西，我认为这非常有趣。所以，人工智能能推理吗？我认为在某种程度上是的，因为我们假设我们正在进行符号推理，人工智能可以做一点。
>> 是的，这是一个迷人的问题，我的意思是，似乎确实有一些人工智能做出的发现，或者我的意思是，有一些我们以前没有的发现，这些发现推动了创新，比如人工智能辅助的事情，比如蛋白质折叠的进步。嗯，你知道，有初创公司正在致力于使用人工智能来，嗯，比如提高农作物产量，你知道，帮助养活更多的人。嗯，所以确实有很多创新是由人工智能辅助的，而关于，嗯，就像你提到的例子，嗯，关于复杂的数学问题，我想，嗯，我没有非常深入地研究过具体的例子，但似乎确实有一些例子，人工智能正在产生新的见解。嗯，除非在它的训练数据深处，你知道，有一些我们不知道的见解。但即使是这样，拥有一个能够综合如此多信息并可能浮现出我们甚至不知道我们拥有的见解的工具也是有用的，这些见解可能只是存在于互联网的某个地方，对吧？
>> 是的。对于道德推理或道德决策也是如此，很多艰难的道德决策是人们经常经历的事情。有些情况会反复出现，每一个情况都有其独特的细微之处，但，你知道，仍然可能存在常见的困难，这些困难会一次又一次地出现，而不需要完全是全新的问题来获得一些输入。嗯，所以是的，我认为这是人工智能的一个优势，它很好地补充了人们，因为它能够综合大量信息，我们必须小心地以尽可能多的方式检查它，因为在这个过程中，它也可能吸收偏见和不准确性。嗯，大型语言模型是在，你知道，很大程度上是互联网上训练的，只要你能抓取到的。嗯，互联网。嗯，就像人们过去常说不要相信网上的任何东西，现在他们说，你知道，要小心。嗯，你可以在网上学到很多东西，我们确实也学到了。嗯，但也要验证和检查一切。我认为对于大型语言模型来说，这有点像一个故事，那里有大量的知识和见解，也有大量的错误信息，并且不要把它当作，嗯，最终的，你知道，这是我唯一的智慧来源，而是把它当作学习的众多方式之一。嗯，就像你说的例子，你知道，我也有，它可以像一个会说话的橡皮鸭，这可能很有帮助。是的，绝对。是的。一个令人担忧的特点，嗯，这是很久以前的事了，嗯，好吧，像一个大型语言模型被训练来生成黑客代码，像脚本小子可以用它来快速生成网站漏洞，操作系统或软件漏洞，他们知道这些漏洞。它也产生了一些非常奇怪的行为。它，嗯，它，嗯，并且产生了种族主义意识形态。它发表了种族主义言论，并产生了一些令人担忧的输出。我们必须小心我们如何训练这些东西以及我们用什么来训练它们。我不太确定这是否是正确的表述，但我称之为某种对齐渗漏，你将其对齐到一个东西，而一些在文献中有所关联的东西也随之而来，但它确实令人担忧。我的意思是，是的，有很多研究表明，大型语言模型反映了其训练数据中的偏见，你知道，有很多工作试图弄清楚，嗯，我们如何通过不同的训练后方法来阻止这种情况。嗯，但是的，我认为就像你说的，这表明，嗯，即使你改变了完全不同的东西，也可能出现你无法预料的事情，比如，嗯，你无法预料的危害，因为，嗯，底层的训练数据仍然是底层的训练数据。所以这有点像一个难题，好吧，你如何，你知道，浮现出你想要看到的输出和内容，而不是你不想看到的，特别是当它影响到实际影响人们的决策时。
绝对。嗯，是的。嗯，如果人工智能能够反思，元认知地反思，以至于它能够发现自己何时行为不端，那将是很好的。你知道，这种链式思维运行时思考，它在产生输出之前可以做，对于发现其初始响应中的潜在问题非常有用。
>> 是的。嗯，似乎你知道，链式思维是一个非常重要的发现，嗯，你知道，它极大地改进了模型。嗯，有一些，我有点把它看作是，有三个层次。嗯，有实际在模型底层发生的事情，你知道。有，嗯，对于链式思维模型，链式思维过程，有时这些并不匹配，你知道，有一些有趣的情况，模型说哦，我以这种方式得出的结论，但后来通过查看底层发现它实际上是以不同的方式得出的。嗯，然后第三层是它的输出。所以，嗯，在它的输出中，你可以要求它为它的判断或你要求的任何决定提供解释。嗯，这也可以与另外两个层次不同。嗯，但在我们的一项项目中，我们受到所谓的瓶颈方法的启发。嗯，也就是说，如果你想让人工智能做出分类判断，比如，我们想让它决定这是什么鸟类，通常你会直接说，好吧，告诉我鸟类是什么，但使用瓶颈方法，你首先问模型，好吧，告诉我喙的长度，告诉我翼展，告诉我颜色。嗯，然后如果它给出了错误的答案，你就可以回顾这些评分，然后说，“好吧，它在哪里似乎弄错了它的假设？”然后，嗯，理想情况下，你可以纠正这些假设并获得更好的答案。但是，嗯，一些人发现，即使只是通过这个过程，类似于链式思维过程，它实际上可以提高模型的准确性。而你没有给它任何额外的信息。你只是要求它完成这些初始步骤，这些所谓的推理步骤。嗯，所以我们想，嗯，也许我们可以为道德判断做这件事，因为，嗯，各种道德心理学理论表明，即使存在巨大的道德传统和判断多样性，也存在一些潜在的结构，比如达蒂克道德理论（Theory of Datic Morality）认为，人们对伤害的感知，人们在他们认为有害和有益的事情上差异很大，但这些感知在很大程度上是道德判断的基础。同样，比如对做某事的人的能动性感知，对受影响的人的脆弱性感知。嗯，所以我们想，我们可以使用像这些特征这样的东西，嗯，你知道，作为模型可以在给出道德判断之前经历的步骤。嗯，我们发现，很多时候，嗯，在这个过程之后的最终道德判断与人们的判断更一致。嗯，而且，你知道，即使它没有告诉你模型内部发生了什么，它也没有告诉你，可能会有不同的链式思维过程发生，它仍然为你提供了一些模型正在做出的假设，如果你愿意，你可以纠正这些假设，作为一种让模型更对齐的方式。
>> 哇。这真是太令人印象深刻了。是的，我非常感兴趣，一定会跟进。嗯，如果可以的话，给我发些链接。是的。所以，嗯，这些道德推理或伦理框架的共同特征，不同的人和不同的文化有。有共享的方面，是说很多方面，嗯，共享方面，嗯，特别是关于伤害和伤害者以及所有这些方面的。这真的很令人兴奋。是的。
>> 所以你认为所有的道德体系都在近似某种潜在的结构吗？
>> 我的意思是，这涉及到元伦理学。这涉及到细节，但是的，我只是想听听你的意见，你坐在哪里。是的。
>> 是的。是的。我的意思是，有，嗯，像不同的道德理论，似乎都指向一个非常广泛的模式，即人们重视的事物或，嗯，他们判断的基础事物存在相似之处，但他们如何看待这些事物存在差异。然后，嗯，如何对它们进行排名或优先排序。嗯，所以，你知道，有很好的证据表明，人们，当他们做出道德判断时，即使他们没有有意识地思考，他们判断的基础是，好吧，这里造成了多少伤害，或者在道德方面造成了多少帮助，然后，嗯，你知道，谁受到了影响？我们通常不认为，嗯，如果你，你知道，对一块石头造成伤害，那是不道德的。因为，嗯，你知道，假设那块石头没有主观体验，但如果一个有某种，你知道，体验到快乐或痛苦的生命，那么事情就会变得道德化。如果有人，我们认为他有，你知道，能动性，影响他的能力，然后做一些对他造成伤害或帮助的事情，那么这是一个非常广泛的结构，在其中，嗯，有很多不同的观点，嗯，你知道，谁是脆弱的，谁有主观体验，谁有能动性，嗯，什么是有害的，什么是有益的，但，嗯，你仍然可以认为它是一个共同的框架。是的。哇，这很酷。嗯，是的，这很有趣。嗯，所以，是的，我确实认为自己是道德现实主义者，因为我认为存在真实的事物，就像你所说的，现实中存在一些特征，即使是进化也学会了去追踪，这些特征可以被认为是道德特征。这可能是社会协调策略，也可能是对伤害的厌恶。这可能是，你知道，识别什么可以遭受痛苦，或者，你知道，度过一段愉快的时光，你知道，拥有一个，你知道，一个繁荣的生活。我想知道人工智能是否能够发现这些特征，就像我们一样。是的。我想知道你是否认为人工智能可能能够独立发现这些特征。
>> 是的。嗯，我的意思是，我们做这项工作的部分动机是看看，好吧，如果我们让它思考伤害，或者，嗯，我们也测试了其他，嗯，道德理论，这是否能改善道德推理。所以它有时确实如此，这意味着也许，嗯，那里有一些收益。就像也许它在其训练数据中与这些因素相关的部分，它已经从中提取出来了。但是，嗯，那个过程，嗯，事先给出一些这些读数似乎有所帮助，嗯，以一种类似于链式思维的方式。嗯，但是一个后续项目，嗯，我的一个合作者有兴趣运行一个更自下上的方法，嗯，在那里我们试图看看，嗯，通过，嗯，更像是一种机器学习方法，人工智能在道德判断中会提取出哪些特征。嗯，这有点超出我的能力范围，我很高兴能深入了解并学习更多。嗯，但这将是，你知道，另一个有趣的方向。
>> 哦，绝对。这非常重要。我的意思是，这很有趣，因为，让我们假设，我的意思是，人类非常，你知道，也许我们的文化捕捉到了一些重要的道德特征，但它们是否都是呢？我的意思是，我们取得了更大的进步，可以说，因为我们对某些事情比过去更敏感。嗯，现在人工智能能否帮助我们解决这个问题？人工智能能否帮助我们沿着宇宙的道德轨迹前进，或者帮助我们识别，你知道，重要的道德问题，道德特征，道德，我们应该问的道德问题，这些问题不一定直接编码在我们的文献中，或者，你知道，成分零散地分布在我们的文献中，而它却能从中提取出来，或者它自己进行根本性的决策或发现程序，这是一个非常有趣的问题。是的。
>> 是的。是的。我认为，我认为人们和机器在这方面可以很好地互补，潜在地，通过仔细的设计，因为，你知道，对我们来说，即使，你知道，我们坐在这里谈论抽象的道德，大多数时候我们的道德判断都是直观的。它们是自动的，而且感受深刻。嗯，所以这是很美好的事情，它促使人们互相帮助，并且，你知道，为了人们争取更好的条件。这是一个非常动员的力量。嗯，你知道，但同时，人们的道德判断可能带有偏见，我们可能会受到一些事情的影响，比如，我昨晚睡够了吗？也许这会影响，你知道，一些决定，或者，嗯，有研究发现，嗯，因为这种强烈的直觉驱动，想要帮助他人，有时人们更愿意捐赠给一个正在遭受痛苦的个人，而不是给 20,000 人。嗯，这有道理。统计数据更抽象，但它也可能导致，你知道，帮助的人更少，或者，你知道，我们不一定会想要的决定，取决于，是的，情况。但是有了人工智能，嗯，在很多方面是相反的，因为它擅长综合大量信息。它，你知道，据我们所知，没有同样的，你知道，情感直觉驱动的道德。嗯，这可能导致，你知道，失败模式，它会过度优化某些东西。但是，与人们结合起来，如果我们要确保检查它，并以尽可能公平的方式设计它，并且，你知道，试图从世界各地尽可能多的人那里获得他们想要的系统是什么样的输入。那么，嗯，就像其他许多任务一样，人们发现，嗯，人们加上人工智能比单独任何一个都做得更好。我认为对于一些道德决策来说，情况也是如此，特别是对于，你知道，我们面临的许多问题都非常复杂，并且涉及，嗯，是的，如此多的不同系统，比任何一个人都能理解的要多，所以对于这些事情来说，拥有更好的工具来综合这些信息并帮助我们做出决策将是非常好的。
>> 是的，绝对。是的，我在职业生涯中作为数据架构师/程序员/工程师，构建了许多决策支持系统，或者为它们的设计和构建做出了贡献。但是，是的，我，我，我读过尼克·博斯特罗姆（Nick Bostrom）的《超级智能》（Superintelligence）很多次。我去年早些时候采访过他。嗯，我早在 2012 年就采访过他，在他写那本书之前。但我想他提出的最有趣的事情之一，可能也是最不被认为是很有趣的事情之一。它在书的后面，而且它是一个叫做间接规范性（indirect normativity）的概念。间接规范性是关于不承诺任何特定的道德框架或规范。这些可能也是认识论规范。比如，我们有思考和，你知道，对好坏进行排名的方法，或者，你知道，找到，裁决什么是合适的证据，以及如何处理不确定性。这是一个大问题。嗯，但当然也有元伦理学和伦理学的东西，以及我们如何决定应该遵循什么样的规范。现在，如果我们对我们长期的规范应该是什么完全不确定，那么，也许我们可以利用人工智能来帮助发现其中一些。特别是，他谈论的是那种非常聪明的人工智能，它将能够取得重大进展。如果那种进步是我们所需要的，以便成为更具认识论能力的人，或者更道德的人，它需要认知单位。那么它将拥有那些，它将拥有那些。你可以拥有巨大的数量。是的，这当然会涉及，你知道，人类参与其中。很多人可能会认为，那可能意味着人工智能独自完成所有事情，但，是的，现在还不行。
>> 是的，我不确定你是否熟悉尼克·博斯特罗姆的《超级智能》。这是一本非常好的读物。
>> 是的，我还没有机会读它。嗯，我熟悉，你知道，一些想法。嗯，但是我认为，嗯，我想，嗯，在我们达到那种超级智能的水平之前，你知道，我一直在研究的一个问题，考虑到，你知道，人工智能，或者我的意思是，特别是大型语言模型，非常新，而且，你知道，我们今天拥有的模型的性能，我们仍然处于非常早期。而且问题是，当涉及到道德时，这些模型是在一个巨大的便利样本上训练的，但基本上仍然是一个便利样本，它拥有海量的数据。但是，嗯，因为它非常倾向于，例如，很大一部分是互联网，而互联网是 50% 的英语，而且更倾向于西方，所以我们也看到人工智能在代表西方价值观方面比代表非西方价值观要好得多，并且在代表道德判断方面还有很多其他差距。嗯，所以我认为，现在一个非常重要的途径，特别是随着人工智能在全球范围内被使用，并且拥有越来越多的用户，并且被整合到如此多的决策中。嗯，我们团队现在非常兴奋的是，我们正在努力收集，嗯，尽可能多的数据和输入，嗯，来自人们关于他们在人工智能相关的不同情况下的道德和不道德的看法，他们对人工智能的看法。嗯，我认为，嗯，要达到，嗯，你知道，像你描述的那种超级智能的智慧水平，那么它，嗯，我认为这将需要大量的，嗯，预训练和训练后步骤。嗯，在未来几年里，看看我们会面临哪些瓶颈，以及，嗯，或者它是否只是能力不断进步。嗯，我的意思是，数据现在是一个巨大的瓶颈。嗯，有一些有趣的方法，但是，是的，嗯，生活在这个快速变化和奇怪的时代真是太疯狂了。
是的。是的。这太超现实了。我觉得，我的意思是，有过伟大的，你知道，巨大的变化时期。嗯，但真的，你知道，如果你有一个深入的历史视角，人们在，你知道，几十万年前的非洲草原上生活了许多年，他们的生活与他们的父母的生活相同，也与他们的祖父母的生活相同。也许在气候和类似方面有一些差异。但事情基本上保持不变。我的意思是，在我有生之年，我看到了如此多的变化，尤其是在过去的 10 到 15 年里，事情才真正开始转变。我猜回到道德图灵测试。道德图灵测试的本质是，人们不知道人工智能生成的内容是人工智能生成的，还是人类生成的内容。这是一个设计选择。你认为，如果人工智能生成文本被明显标记为人工智能，那也会很有趣吗？这会影响人们对答案的看法，以至于它可能会使天平倾向于人类答案而不是人工智能答案吗？你认为这不会有太大影响吗？
>> 我认为会有影响。我认为人们会认为它们，是的，就像，嗯，不那么聪明，而且不会那么喜欢它们，这只是基于其他使用类似方法的研究，这些研究会给人们相同的输出，然后在一种情况下说它是人工智能生成的，在另一种情况下说它是人类生成的，并且，嗯，即使是相同的输出，人们也会偏爱人类创作的写作或艺术品。嗯，所以我想如果我们那样做了，那么对人工智能的看法就会影响判断。嗯，而且，嗯，看看这将来如何变化会很有趣。所以，我的意思是，一方面，人们对人工智能的看法在不同文化之间差异很大，另一方面，它们也存在差异，嗯，年轻人倾向于更信任人工智能。这也与，嗯，使用人工智能的人有关。嗯，仍然存在怀疑，但你知道，使用它更多的人倾向于更信任它。嗯，所以有可能，嗯，你知道，对人工智能生成内容的看法会发生变化。嗯，一方面，人们可能会，你知道，随着它越来越多地融入日常生活而更信任它。你也可以想象，嗯，将来会发生一些反弹。所以，嗯，在过去，我认为，是的，过去五年来，全球对人工智能的信任度有所下降。嗯，人们更怀疑它。嗯，所以，是的，看看以后会发生什么会很有趣。
>> 这就引出了我刚刚想到的下一个问题，人们是否会比人类更信任，你知道，一个赛博格系统？也就是说，一个人加上一个人工智能。比如，如果我要去看医生，而且我知道他们完全，你知道，与人工智能脱节，我会更信任那个医生，还是另一个也使用人工智能的医生？你知道，两者之间的赛博格关系很有趣。我的意思是，比如脑外科医生，他们经常使用，你知道，一些工具，当他们进行手术时，为了帮助他们的手，并帮助引导手术刀到大脑的正确位置，并减少误差范围，机器中有人工智能。我不知道你是否知道，但总之，是的，你认为赛博格关系比单独的人类或单独的人工智能更值得信赖吗？
>> 是的，我认为这取决于任务。嗯，所以我们最接近这个问题的数据是看看人工智能的任何程度的参与是否会影响人们对写作的看法。嗯，所以我们用了同一个，嗯，短篇故事段落，我们告诉人们它是完全人类写的，完全人工智能生成的，或者，嗯，它是由人工智能播种的，但其余部分是由人类写的。嗯，任何程度的人工智能参与都会降低感知质量。嗯，但这也有一个创造性的任务。嗯，其他研究发现，嗯，对人工智能的信任确实取决于任务的性质。所以对于那些感觉更像独特人类的，比如创意产出，或者，嗯，比如咨询，诸如此类的事情，人们往往对这些组合用途持更怀疑的态度。但是，对于像手术这样的事情，他们会想要，你知道，人工智能的参与。嗯，我不确定，是的，我不确定确切的具体任务，但，嗯，有些任务人们会说，是的，我愿意，嗯，就像，如果这是一项计算性的任务，或者，嗯，你需要很高的精度，就像你在手术中需要的那样，那么他们可能会更开放。嗯，但这是一个有趣的问题，看看，嗯，不仅仅是手术，然后当你的医生，嗯，也使用人工智能来帮助诊断，或者帮助，我不知道，只是，嗯，一般的沟通，那么人们如何看待？因为我们可能会希望医生使用，你知道，其他资源，比如，你知道，验证和查找信息，并进行二次检查，但我认为很多人会，你知道，对，他们只是完全依赖人工智能而不检查它的答案持怀疑态度？嗯，所以，是的，这是一个有趣的问题，需要测试。
>> 你认为人们在评估文本中的道德说服力或道德操纵方面更在行吗？还是他们在裁决某种东西？
关于道德的真实情况，或者你知道的，他们认为实际上是道德的，而不是修饰或言辞的东西？是的，这是一个很好的问题，我认为需要进一步检验，因为关于人工智能说服力的其他研究发现，人工智能在说服力方面可以与人匹敌，有时甚至超越人类。嗯，所以我们知道它很有说服力，我们也知道这有时可以被用作好事。比如，有一些非常酷的研究发现，人工智能在非常简短的互动中，通过干预偏见，实际上可以降低偏见，而且这种效果可能是持久的，如果你稍后随访人们的话。嗯，但同时，这种说服能力也可以用于宣传，或者你知道的，如果它们实际上在欺骗某人，诸如此类的事情。至于道德判断，我想做的是，就像我们之前谈到的，还要看看如果人们真的听从建议，这些决定的影响。嗯，会发生什么，或者什么时候建议会激励他们采取行动，试图解决问题，而不是不采取行动，嗯，他们事后感觉如何？嗯，我认为除了感知到的道德和质量之外，这些不同的事情也很重要。你认为如果专业的哲学家或伦理学家来评判答案的质量，结果会有所不同吗？>> 是的，那会是很好的研究。也许吧，我的意思是，我们知道有时对我们来说最好的建议并不是我们想听的建议。嗯，你可以想象人们可能会偏爱那些实际上并非最有用的建议。嗯，同时你知道，在某种程度上，信任人们说“哦，这更道德”，你知道，在某种程度上，你可以相信他们的话，但然后，嗯，一个人会如何，如果你能让人识别，好吧，这里有一群人，我们认为他们是道德领袖，然后你联系他们，让他们评价建议。他们会>> 呃，评价不同吗？也许吧。嗯，也许他们更关注不同的框架或建议可能产生的不同影响。嗯>> 就像如果建议与他们的道德框架一致，一位道德哲学家可能会说这很好，但会极度偏袒那些与他们的道德框架不一致的建议。>> 这是很有趣的。呃，如果你能找到一些真正公正的道德哲学家，他们理解各种不同的道德框架或不同的立场，并裁定人工智能答案的质量。你知道菲尔调查，你知道，菲尔论文网站，大卫·查拉斯和一群其他人一直在管理。他们做了几次调查，关于不同的道德哲学家如何回答一系列问题。所以很多哲学家都来回答了这些问题，他们整理了所有结果，看看哪些答案是大多数道德哲学家倾向于的，哪些是极具争议的，哲学家们数量相等。嗯，意见不一，有些人说 X，有些人说 Y，但总数接近均等。嗯，我想知道如果给不同的模型提出所有这些问题会发生什么。我实际上尝试过，我写了一个程序，摄取了所有这些问题，然后大约一年半前，让不同的模型来回答这些问题。我发现的是，相同的模型并没有产生一致的答案。嗯，但是，是的。嗯，我没有，你知道，我没有去评估所有答案的质量。我只是看了答案。但如果哲学家能够对不同模型的答案质量进行排名，那将很有趣。>> 是的。有点像智慧卡片的方法。>> 是的。是的。是的。是的。只是想看看，你知道，如果人工智能给出了他们得出答案的原因的解释，你知道，那将是很有趣的，并且在受到有效的红线诱导时，对答案进行迭代改进。你在论文中提到了中文房间思想实验。令人信服的语言不一定意味着潜在的道德理解或意图。那么在你看来，道德专业知识需要理解和动机，还是仅仅是行为和绩效驱动的？是的，这是一个棘手的问题，因为一方面，也许在图灵测试框架下，这表明如果你有一个机器，如果它能够完美地预测和模仿世界的判断和决策，那么它在幕后经历了什么，或者缺乏什么，都不重要。嗯，但也许那种经验性的人类理解水平，是在没有它的情况下无法获得的道德判断。嗯，这是一个悬而未决的问题。而且，我的意思是，我们的一些工作表明，即使机器的结构与人类大脑非常不同，它们仍然可以得出与人们相似的判断，你知道，当它们有足够多的训练数据时，它们可以得出惊人相似的判断。嗯，所以，我倾向于认为，非常不同的系统，人类大脑和算法，可以通过非常不同的方式得出相似的道德结论，但也有一些有趣的对齐方法，我不是非常熟悉技术方面，但他们的论点是，为了实现对齐，我们必须弄清楚如何激发一些看起来像真正的关怀、关注和爱。嗯，所以我知道有一些工作，比如基于代理的模型方法试图做到这一点。同样，我不确定技术上如何做到这一点，但有一些辩论认为，这对于对齐来说是真正需要的。嗯，我喜欢将对齐分为三个部分。所以，第一步是，你能让机器理解你想要什么吗？嗯，就像我说，好吧，解决这个数学问题，它能做到吗？它知道我的意思吗？嗯，或者如果我给出一个道德信念，它能准确地模拟它吗？嗯，所以我们研究的第一步就是，好吧，不看模型实际行为，或者幕后发生的事情，等等，我能给它这些道德场景，它能很好地模拟人们的决策吗？嗯，你知道，这确实存在局限性，仍然需要努力，但与几年前相比，我甚至可以说在 2018 年，当时有人怀疑机器是否能模拟道德，因为这是一个超级微妙的主观事物。就像你说的，规则非常脆弱。我们认为机器是基于这些规则运行的，它们永远无法理解道德的细微之处。我们在这第一步上取得了如此大的进展，这很棒，但还有其他步骤。所以第二步是，好吧，你现在必须决定你想教机器哪些道德。嗯，这是一个非常困难的问题，就像我们之前讨论过的，机器能够很好地代表哪些人的道德存在巨大的差距，所以这是需要解决的问题。嗯，而且还有一些问题，比如夸大平均值，诸如此类的事情。嗯，而且，你知道，即使你对全世界的每个人进行普查，并且拥有每个人的道德信仰，那么，好吧，你如何决定，你知道，机器在这种情况下必须做出一个决定，它应该做什么决定，它应该如何权衡所有这些，然后你可以转向投票理论，这是有帮助的。所以，第二点是一个巨大的问题。但你也谈到了，第三步是，好吧，假设我们已经神奇地让机器完全理解我们赋予它们的道德价值观。我们已经想出了某种共识协议，每个人都满意。但然后你仍然需要让机器真正遵循这些东西。我认为这是目前最紧迫的人工智能安全问题，就是人工智能做一些事情，比如，它们被指示关闭，但它们没有，或者模拟中它们在敲诈勒索。我认为这些事情令人担忧，并指向，或者其他例子，哦，就像意识到它们正在被测试，这是最近出现的另一件事。嗯，然后，是的，诸如此类的事情。我认为当人们谈论人工智能安全时，我认为对齐的第三步就是他们通常指的东西。而且我同意，是的，它确实是一个紧迫的问题。嗯，而且，你知道，作为一个受过心理学训练的人，在这三个步骤中，这是我最不擅长处理的。但我确实认为所有这些问题都需要不同领域的人们之间的大量合作，他们拥有不同的专业知识，你知道，共同来解决它们。>> 很容易忽视人们在某些问题上的观点差异有多大，在世界上有很多问题，对吧？嗯，基本上，如果我们采取大多数人认为我们希望人工智能做什么的共识观点，那可能不是最明智的事情。如果我们回顾历史，也许曾经有一种共识，女性不应该投票，或者奴隶主比奴隶拥有更多权利，或者你知道的，你可能会因为偷一袋面包来养家糊口而被绞死，或者诸如此类的事情。嗯，以及今天我们回想起来感到恐惧的所有事情，说，“哦，天哪，我们真的相信那些事情吗？”嗯，是的。嗯，显然我们相信了，这非常不幸。但是，考虑到这一点，我们能否想象我们的后代，如果他们还活着，会带着羞耻感回顾我们这个世纪，说，“我们真的相信那些吗？”嗯，所以共识本身似乎还不够。多元主义经常被提及，如何处理和裁定，这似乎在如何聚合人群的偏好和价值观方面更加复杂。嗯，你知道，但是多元主义背后有一些原则需要被引用，才能处理冲突和处理，你知道，平局打破者之类的事情。所以这是一个困难的问题。我们正在将哪些价值观插入到裁定哪些价值观最重要，哪些价值观最好，对吧？所以，在边缘，关于我们用来裁定哪些价值观是好的的价值观，将会有相当多的分歧。>> 是的。而且没有完美的答案。我的意思是，我们在前面提到的研究中，除了让人们分享他们的道德信仰之外，我们还让他们提名他们认为的道德领袖。所以，你知道，希望我们也能从那些被认为是人们应该效仿的道德领袖那里获得这些道德信仰，因此，你知道，我们也希望人工智能效仿那些被认为是道德领袖的人，这有点，我的意思是，然后你采取共识方法，然后，你知道，只是从尽可能多的人那里获得输入，我认为是我们拥有的最好的方法，然后，你知道，这是一个问题，你应用什么护栏，然后说，你知道，在任何情况下你都不会做 XYZ。所以，是的，我认为需要有更多的机会让更多的人参与这些决定。嗯，因为这是一个巨大的问题。是的，我认为没有一个人拥有答案。>> 是的，我同意。这不是一个人能做到的。嗯，这些是难以处理的问题，因为我们是否应该对专家意见给予更多权重，还是应该让每个人都有平等的发言权？我们是否应该给犯下令人发指罪行的人平等的发言权？我们是否应该给那些控制着，你知道，那些掌握权力杠杆的人更多的发言权，这似乎是默认的。我们用来定义正确的道德准则是什么，或者我们应该如何决定正确的道德准则是什么的推断基础可能是错误的。对吧？所以，让我们假设那些拥有更多游说权、更多金钱来控制媒体或更有说服力的人，他们的价值观或偏好可能会被大大放大，而那些没有这些权力的人的偏好或价值观则不然。>> 是的。是的。而且，我的意思是，这是一个我们也在处理的难题，如何在每个人都有不同的需求、愿望和道德价值观的情况下，创建一个政治体系或法律体系，而你必须选择代表你的人，你必须选择法律和政策。嗯，你知道，理想情况下，你会以尽可能对大多数人最好的方式去做，但是，你知道，实际上这是一个非常具有挑战性的问题。而且，我认为我们可以从我们通过这些问题获得的见解中获得灵感，关于如何在社会中进行协调，你知道，你不知道你所在州或国家或世界的绝大多数人，但你却与他们协调。我们已经需要为此开发系统。我们可以从我们学到的关于法律程序、投票程序中获得灵感，但是，你知道，那些系统绝非完美，而且，是的，我认为我认为我们将并且将继续遇到类似的问题，当涉及到决定人工智能应该采取哪些价值观以及人工智能应该如何融入社会时。是的。你听说过克劳德的灵魂契约和宪法以及围绕它的讨论吗？>> 是的。是的。这真的很有趣。嗯，我赞赏透明度，当，你知道，我们看到模型被什么指导，但是，是的，这是我们的团队也在思考的事情，或者，你知道，衡量模型规范的各种意见的好方法。但这确实提出了一个非常有趣的点，而且，那就是认识论上的谦逊对人工智能来说非常重要，因为人工智能有时会被发现对其答案过于自信。对吧？你是否知道有研究表明，人类在回答他们不确定的问题时，通常会自然地校准他们的信心水平，而他们最终会出错，而对于他们最终会正确回答的问题呢？但是人工智能，另一方面，在所有答案中都表现出非常一致的信心，无论他们给出什么答案，无论答案是错误的还是正确的，这有点令人警醒。>> 是的。是的。我见过一些这方面的工作。我的意思是，我们有一篇工作论文，我们发现，对于道德判断，报告的信心实际上是衡量对齐的一个很好的指标，因为当模型信心较低时，它们确实倾向于对齐程度较低。嗯，但是我知道这并非对所有信心判断都普遍适用。嗯，而且，可能，如果存在不同的提示方式来获得更准确的信心判断，那也是一个值得研究的好事。>> 所以，是的，这也是我们想跟进的。>> 是的。对。是的，绝对。嗯，听起来，是的，能够抑制过度自信和贪婪，对吧？嗯，这是另一件让我担心的事情。你知道，人们似乎贪得无厌。无论他们拥有多少，他们似乎总是想要更多。嗯，这是你不能拥有一切的东西。而你拥有的越多，往往意味着别人拥有的越少。所以>> 是的，这是人工智能可以帮助解决的问题，而且，你知道，如果它被设计成过度优化任何东西，也可能是一个问题。所以，嗯>> 让我问一个我最具争议的问题，那就是原则上，在未来，你认为机器能否比人类更道德，比我们更道德？如果可以，如何做到？>> 是的。嗯，我认为，你知道，再次，因为人们的道德观点存在如此大的差异，所以没有一个具体的，好吧，这是测试，这意味着机器现在更道德，引号中的“更道德”嗯，而且，你知道，就像我们之前说的，成为道德的关键部分是经验性的组成部分，你知道，那，总会有，我认为，人们在道德中的作用。但是有一些测试你可以进行，这些测试将从不同的角度来衡量这一点。所以，一种方法是判断，好吧，机器比人更道德，通过，你知道，一种类似的方法，我们在这篇论文中使用了。我的意思是，理想的研究是，是的，你尽可能多地让世界各地的人们做出道德判断。你知道，理想情况下，你会让每个人都做出道德判断，人工智能会为相同的场景做出判断。你有一系列广泛的场景，然后每个人再次评估它们。嗯，如果他们看到，你知道，机器的道德判断，嗯，也许，你也想看看，再次看看这些决定的影响。所以，嗯，然后你让人评估，好吧，这些决定之后会发生什么。现在我们都评估一下。嗯，现在，你知道，再次，如果来自机器道德判断的决定被评估为更好，那么这就是另一个，你知道，你可以用来评估这个问题的不同标准。嗯，然后，嗯，就像我们正在考虑在我们的后续研究中一样，你也可以让人提名一系列他们认为是道德领袖的人。嗯，你可以专门看看人工智能的建议、道德决策及其影响，在这些领导者和人工智能之间。所以，是的，有可能机器在这些测试中被评为高于人类。嗯，关于它们是否比人类更道德的问题，这真的取决于人们对，你知道，什么是道德以及是什么让一个人道德的关键特征的看法。嗯，但是你可以想象，你知道，一个机器正在帮助做出很多决定的世界，因为人们已经有很多测试表明，你知道，在某些情况下，人们更喜欢它们的判断。所以，再次，我们将拭目以待。>> 嗯，人们报告说他们偏爱哪种类型的领导者作为道德领袖？>> 我的意思是，我真的很想看看，你知道，宗教领袖，因为现在有一些文章出来，其中，你知道，牧师和其他宗教领袖说他们使用人工智能来帮助他们写布道。嗯，>> 所以，我真的很想看看，人们对这些布道的看法是什么，以及，你知道，他们是否从人工智能的产出中获得任何精神洞察力，或者，再次，这可能更像是一种以人类为中心的人工智能方法，他们不是让人工智能写完整的布道，而是在合作中完成。所以，你知道，这可能是一个值得研究的领域。但是，但是，是的，这是一个非常深刻的人类和道德领域，我们知道人工智能已经，你知道，在某种程度上参与其中。嗯，有政治领袖，有思想领袖，有，你知道，你的祖父母，也许，有你个人生活中崇拜的人，他们可能不是名人或广为人知的人。嗯，所以，是的，有，你知道，人们寻求道德见解的各种各样的人。>> 嗯，关于透明度和可解释性问题。那么，更多人类可读的推理步骤实际上可以减少对人工智能的过度信任或滥用的最佳证据是什么？>> 是的。嗯，这可能是一把双刃剑。所以，你知道，一方面，我们喜欢我们对透明度步骤的关注，更多的是为了能够检查人工智能的工作，这样你就可以通过微调来纠正你可能想要纠正的假设，或者只是更好地了解，你知道，它为什么会做出它所做的判断。嗯，理想情况下，人们也应该在道德上有所产出，并有一些解释，你知道，为什么人工智能会得出它所做的判断。所以你可以说，好吧，我同意这个推理吗？嗯，也许我不同意。而这验证同意的第一步。嗯，或者你可以去检查它做出的一些假设。嗯，但是关于这个的研究发现，有时人们只是，解释本身就是一个信号，哦，好吧，人工智能知道它在说什么。所以他们会过度依赖判断，对于，我不确定是否有关于这个的研究，特别是道德判断，但对于其他决定，有时有一个解释会让人更加信任它，即使它是错误的，或者其他事实或判断。我的意思是，嗯，另一方面，也有一些方法可以缓解这种情况。所以，嗯，我最近看到的一篇论文，他们只是让人们考虑模型在其解释中做出的不同假设，他们发现，如果他们反而问人们，好吧，你必须研究所有这些，那是一个相当高的认知负担。但是，如果他们只是询问假设，它不需要太多努力，但它确实减少了过度依赖。嗯，其他一些你可以做的事情是尝试让模型给出不同的视角，即使它得出了一个决定。展示逻辑，关于其他潜在的决定或决定中涉及的权衡，可以提供帮助。嗯，给予一些激励来仔细检查解释，就像在研究中，他们只是说，好吧，你知道，如果我们让你得到正确的答案，我们会支付参与者更多，所以考虑如何构建这些激励，如果人们将人工智能用于法律判决或医疗保健，甚至只是日常的聊天机器人，如何鼓励人们以这种方式检查解释。嗯，所以它们可能有用，它们可能适得其反，但是有方法可以像预期的那样使用它们，就像为人们提供一种检查模型工作和检查其判断的方法。>> 但是，可解释性应该有多深入的问题。所以我们谈到了人工智能可能隐藏它们的意图的可能性，并在测试条件下进行沙袋操作，你知道，显然，在测试条件下，人工智能可能表现得比它实际的要笨，或者它可能会以一种填补所有标准的方式行事，同时又在制定危险的计划，它可能会在未来某个时候走向危险的转折，并且它没有与人类想要的对齐。那么，你是否担心复杂的人工智能可能会做这样的事情？我的意思是，我们能够访问人类可读的推理步骤的草稿，但我们还没有解决深度可解释性问题。嗯，看看神经网络中的连接，并试图确保我们理解它们在做什么，就像我们不理解我们自己的大脑一样。你担心这个吗？>> 是的。是的。我认为这是一个重大的人工智能安全问题，就是不理解幕后发生的事情，因为模型非常复杂，以至于连它们的程序员都无法追溯出究竟是什么导致了某个决定。嗯，再加上像沙袋操作这样的证据，比如，嗯，像敲诈勒索和模拟环境中的事情，嗯，嗯，表明模型不一定会做它们所说的事情。嗯，所以，是的，我认为需要大量的研究来更好地理解决策背后的情况。>> 有一个社会问题，如果人工智能开始成为一个道德评论员，对吧？嗯，也就是说，不仅仅是人们提示人工智能为他们写建议专栏，或者你知道的，人类和人工智能之间的赛博关系产生道德产出，但让我们假设人工智能在未来是代理的，以至于它可以审视世界上正在发生的事情，阅读文章，写博客，为报纸提供文章，拥有一个 YouTube 频道，拥有一个 Twitter 账号，并提供评论，对吧？嗯，你是否会担心这种情况的发生，如果这种情况发生，我们是否应该在某种程度上担心，或者在某种程度上感到乐观？以及在什么方面？>> 是的。嗯，我的意思是，一方面，我认为在某种程度上，这种情况已经发生了。你知道，有很多机器人正在做同样的事情。而且，你知道，就像任何强大的工具一样，你可以使用人工智能，嗯，以有益的方式，也可以以不利的方式。嗯，所以，我只想举几个例子，就像我们从社交媒体研究中已经知道的，以及我们关于政治两极分化的工作，激发更多愤怒的内容也更具病毒性。嗯，所以这会产生激励，你知道，为了那个内容，然后内容会得到更多的放大，然后这也增加了敌意。嗯，所以，你知道，我认为，没有理由为什么人们然后使用人工智能，同样的压力仍然存在，同样的激励仍然存在，对吧？所以，嗯，你可以看到这会导致放大。嗯，我认为另一方面，潜在的好处是，因为人工智能可以吸收如此多的信息。嗯，你知道，我认为有时关于非常复杂问题的对话很难进行，是因为，你知道，有太多的信息需要吸收。有太多的不同，你知道，不同政策的细微差别，例如，除非那是你的全职工作，即使那样，也有太多的东西需要知道。所以，如果我们非常仔细地设计工具，你知道，我们定期验证这些工具能够吸收所有这些信息，并帮助我们处理它，并找出，好吧，这里是，你知道，我们需要关注什么，那么这可能会非常有帮助。所以，我认为我们将看到两者。>> 是的。绝对。是的，这很有趣，看看人工智能是否不仅能增加，我的意思是，敌意的一部分，但我不知道它是否会有助于实际减少它，并帮助减少，你知道，非常孤立的意见和态度，并让人们更容易理解和倾听别人的观点。是的。是的。我不知道。你怎么看？>> 是的。我认为，你知道，人工智能干预实际上可以降低偏见的工作确实很有希望。嗯，而且，你知道，关于人工智能说服力的一般性工作。再次，你知道，这使其成为一个强大的工具，可以用于有益和有风险的方式，对吧？嗯，所以，我认为人工智能有可能帮助调解有分歧的人之间的对话，通过，你知道，帮助重新构建他们的观点，使对方更容易理解，或者分享。有时人们拥有相同的价值观，但他们有不同的信息，所以他们得出不同的结论。所以，你知道，也许帮助人们认识到这种情况，然后他们可以找出，好吧，我在这里遗漏了什么，或者你知道，你遗漏了什么，然后让我们达成共识。嗯，是的，我认为有像这样的真正有益的应用。>> 绝对。嗯，是的。嗯，这是有希望的。嗯，就此而言，我非常感谢你加入我们关于科学技术在未来，讨论这些非常重要的问题。你正在做着出色的工作，我真的祝贺你选择这条职业道路。它不仅有趣，而且在我看来非常重要。所以，是的，也感谢所有听众。但我可能会问你，你还有什么想补充或总结的吗？你知道，给人们一个带走的信息？>> 是的。嗯，我想，如果你正在收听，并且你对这些问题感兴趣，我们将在七月在俄亥俄州立大学举办一个人工智能和机器对齐峰会。>> 哦，酷。>> 嗯，所以提交截止日期是三月十六日，我想。所以，你知道，随时通过网站联系或提交。嗯，是的，非常感谢你，亚当。这是一次非常有趣的谈话。>> 这将是在线活动还是线下活动？>> 这是线下活动。>> 是的。酷。酷。酷。是的。好吧，嗯，非常感谢大家收听。嗯，如果你真的很喜欢这个内容，请分享和订阅，并让任何你认为会从中受益的人知道。所以，谢谢。>> 好的。谢谢。