Transcription
今天我和乔·卡尔史密斯（Joe Carlsmith）聊天。他是一位哲学家，在我看来，他是一位伟大的哲学家。你可以在 joecarlsmith.com 上找到他的文章。
我们有 GPT-4，它似乎不像一个“回形针制造者”那样。它理解人类的价值观。事实上，你可以让它解释为什么成为一个回形针制造者是坏的，或者要求它解释为什么不应该把整个银河系变成回形针。
要发生什么才能最终让我们拥有一个接管并把世界变成毫无价值的东西的系统呢？当我想到不符合我们期望的人工智能时——或者我担心的那种——我想到的是那些具有与能动性、规划、意识和世界理解相关的相对特定属性的人工智能。一个关键方面是规划能力，以及基于对世界的模型制定相对复杂的计划，并根据标准评估这些计划。这种规划能力需要驱动模型的行为。
有些模型在某种意义上能够规划。但当它们输出结果时，并不像是那种输出是由某种规划过程决定的，比如，“如果我输出这个，会发生什么，我想要发生吗？”模型需要真正理解世界。它需要真正像这样：“好吧，会发生什么。我在这里。这是情况的政治。”它需要有这种情境意识来评估不同计划的后果。
另一件需要考虑的事情是这些模型的语言行为。当我谈论模型的价值观时，我指的是最终决定模型追求哪些计划的标准。模型的语言行为——即使它有规划过程（我认为 GPT-4 在很多情况下并没有）——并不一定反映这些标准。我们知道，我们可以让模型说出我们想听的话。这就是梯度下降的神奇之处。在某些困难的情况下，你可以让模型输出你想要的行为。如果不行，你就调整它，直到它做到为止。
我认为每个人都承认，对于足够复杂的模型，它们将对人类道德有非常详细的理解。问题是，模型的语言行为——你基本上已经固定了它，你强迫模型说出某些话——与最终影响它在各种计划之间选择的标准之间有什么关系？我非常谨慎地假设，当它说出我强迫它说的话时——或者当梯度下降已经塑造了它说出某些话时——这就能充分证明它在各种不同场景下的选择方式。
即使是人类，他们的语言行为也不一定反映决定他们选择的实际因素。他们会撒谎。他们甚至可能不知道自己在特定情况下会怎么做，等等。
在人类的背景下思考这一点很有趣。有句名言：“小心你假装成为什么人，因为你就是你假装成为的那个人。”你注意到文化如何塑造孩子。如果你开始说出与你文化价值观不符的话，父母会惩罚你，随着时间的推移，你会变得像你的父母一样，对吧？默认情况下，这似乎有点奏效。即使是这些模型，似乎也奏效。它们不会真的密谋对付我们。
为什么会这样呢？对于不熟悉基本情况的人来说，他们可能会想，“人工智能为什么会接管呢？它们为什么要这样做？”普遍的担忧是，你是在给予某人权力，尤其是如果你是免费给予的话。权力，几乎是按定义来说，对许多价值观都有用。我们谈论的是一个真正有机会掌控事物的 AI。
假设它的价值观中的某个组成部分专注于某个结果，比如世界以某种方式存在，尤其是在更长远的意义上，以至于它的担忧超出了接管计划所涵盖的时间范围。想法是，如果你控制一切，世界往往会更符合你的意愿，而不是如果你仍然是人类意志或其他行为者的工具，而这正是我们希望这些人工智能能做到的。
这是一个非常具体的情景。如果我们处于一个权力更加分散的情景中——尤其是在我们对齐方面做得不错，并且我们对 AI 的某些行为有所抑制，也许我们在塑造它们的价值观方面取得了一些成功——那么计算就复杂得多了。你必须问，“对 AI 来说，有什么好处？这个接管路径的成功概率是多少？它的替代方案有多好？”
也许现在是时候谈谈你期望的对齐困难在未来会如何变化了。我们开始时拥有一个对人类价值观有着错综复杂表述的东西，并且似乎不难将其锁定在一个我们感到舒适的个性中。我不知道会发生什么变化。为什么对齐通常很难？
假设我们有一个 AI。让我们暂时搁置它到底有多强大的问题，来谈谈这种极端情况，即它真的有机会接管。我认为我们可能只想避免构建一个我们愿意让它处于那种位置的 AI。但为了简单起见，让我们专注于这一点，然后我们可以放宽这个假设。
一个问题是，你不能仅仅测试它。你不能给 AI 这个字面上的情境，让它接管并杀死所有人，然后说，“哎呀，更新权重。”这是埃里泽（Eliezer）谈论的。你关心它在那个你无法直接测试的特定情境下的行为。我们可以讨论这是否是个问题，但这是一个问题。
在某种意义上，这必须是“分布外”的。你必须通过训练 AI 处理大量其他情境来获得某种泛化。然后就有它如何泛化到它真的有这个选项的情境的问题。这真的对吗？因为当你训练它时，你可以说，“嘿，这是梯度更新。如果你有机会接管，就不要抓住它。”然后，在红队测试情境中，当它认为自己有机会接管时，你训练它不要抓住它。它可能会失败，但我感觉如果你对一个孩子这样做，“不要打你的兄弟姐妹，”孩子会泛化到，“如果我长大了，手里拿着步枪，我不会开始随便射杀陌生人。”
你提到了“你就是你假装成为的那个人”的想法。这些 AI，如果你训练它们看起来很好，它们会“假装直到成功”吗？你说我们对孩子这样做。我认为最好想象孩子对我们这样做。
这里有一个关于 AI 训练的愚蠢类比。假设你醒来，你正在被纳粹儿童通过类似于当代机器学习的方法训练，成为一个好的纳粹士兵或管家之类的。这些孩子有一个模型规范，一个好的纳粹模型规范。就像，“为纳粹党争光，使纳粹党受益”等等。你可以读懂它。你理解它。这就是为什么我说，当你像这样说，“模型真正理解人类价值观……”在这个类比中，我一开始比训练我的东西更聪明，一开始就有不同的价值观。智力和价值观一开始就根深蒂固。而一个更相似的情境是，“我是一个蹒跚学步的孩子，一开始，我比孩子们笨。”顺便说一句，如果我一开始是一个更聪明的模型，这也会是真的。那个更聪明的模型是愚蠢的，对吧？然后你训练我时，我变得更聪明了。所以就像一个蹒跚学步的孩子，孩子们就像，“嘿，如果你不是纳粹，我们会欺负你。”随着你长大，你达到了孩子们的水平，然后最终你成为一个成年人。通过那个过程，他们一直在欺负你，训练你成为一个纳粹。我认为在这种情况下，我可能会变成一个纳粹。
基本上，这里的希望很大一部分在于，我们永远不会处于 AI 拥有非常不同的价值观，已经非常聪明并且真正了解情况，并且现在处于与我们的训练过程的对抗关系中的情况。我们想避免这种情况。我认为这是可能的，通过你所说的那些事情。所以我不说这永远不会奏效。我只是想强调的是，如果你陷入了 AI 确实比你先进得多，并且出于任何原因不想暴露其真实价值观的情况。那么当孩子们展示一些明显虚假的投降盟友的机会时，这不一定能很好地测试出它在真实情况下的行为，因为它能够区分。
你也可以给出另一种方式，这个类比可能会产生误导。想象一下，你不仅仅是在一个正常的监狱里，你完全清楚正在发生的一切。有时他们会给你下药，给你奇怪的致幻剂，彻底扰乱你的大脑运作方式。作为一个在监狱里的人类成年人，我知道我是一个什么样的人。没有人真的在以一种大的方式惹我。而一个 AI，即使是一个在训练情境中更聪明的 AI，也更接近于不断被奇怪的药物和不同的训练协议淹没。你感到筋疲力尽，因为每一刻都更接近某种中国水刑技术。
我很高兴我们稍后会谈论道德主体性。有机会退后一步问，“发生了什么？”一个成年人在监狱里有这种能力，而我不知道这些模型是否一定有。这是那种连贯性和从正在发生的训练过程中退后一步的能力。是的，我不知道。我犹豫是否要说这就像给模型吃药。
总的来说，我基本上同意我们有很多工具和选择来训练人工智能，即使是比人类聪明一些的人工智能。我确实认为你必须真正去做。你请了埃里泽来。我对我们解决这个问题的能力更加乐观，特别是对于那些我认为是“人工智能安全最佳切入点”的人工智能。这是一个能力范围，它们足够强大，可以真正有助于加强我们文明中各种使我们安全的因素。比如我们的对齐工作、控制、网络安全、一般认识论，也许还有一些协调应用。你可以用人工智能做很多事情，原则上，可以差异化地加速我们应对我们正在谈论的这些考虑的安全。
假设你拥有那些人工智能。你可以成功地激发这种能力，而不会被破坏或以其他方式干扰你。它们还不能接管世界或做其他真正有问题权力寻求的事情。如果我们真的致力于此，我们就可以全力以赴，投入大量资源，并将这种人工智能生产力的过剩差异化地导向这些安全因素。我们可以希望控制和理解，做你所说的很多事情，以确保我们的人工智能不会接管或干扰我们。我们有很多工具。你必须真正努力。
有可能这些措施根本不会发生，或者它们不会以你所需要的承诺、勤奋和严肃的程度发生。特别是如果事情发展得非常快，并且存在其他竞争压力：“这需要计算能力来对人工智能进行这些密集的实验。我们可以将这些计算能力用于下一个扩展阶段的实验。”诸如此类的事情。我不是在这里说这不可能，特别是对于那一类人工智能。只是你必须非常努力地去尝试。
我同意以谨慎的态度对待这种情况的观点，但我确实想指出我们一直在使用的分析方法是最大程度的对抗性。例如，让我们回到那个被纳粹儿童训练的成年人。也许我没有提到的一点是，这种情况下的区别，这可能就是我们试图通过药物隐喻来表达的。当你得到一个更新时，它比人类得到的奖励或惩罚更直接地连接到你的大脑。它实际上是梯度更新到参数，关于这将在多大程度上促使你输出这个而不是那个。我们将调整每一个不同的参数，精确到浮点数，以校准它以获得我们想要的结果。
我只是想指出，我们在这个情况下的开局相当不错。当然，如果你在和一个实验室的人说话，说“嘿，真的要小心。”是可以理解的。但对于普通观众来说，我应该吓得要死吗？在某种程度上，你应该害怕那些有可能发生的事情。例如，你应该害怕核战争。但你应该害怕到你注定要失败的程度吗？不，你在人工智能如何与世界互动、如何训练它们以及它们开始时的默认价值观方面，获得了巨大的杠杆作用。
我认为，到我们构建超级智能时，我们将拥有更好的……即使是现在——当你看看那些谈论他们如何计划对齐人工智能的实验室时——没有人说我们将只做 RLHF。至少，你谈论的是可扩展的监督。你对可解释性有一些希望。你有自动化的红队测试。希望人类能做更多对齐方面的工作。我个人也希望我们能成功地从各种人工智能那里获得大量的对齐工作进展。
有很多种方式可以发展。我不是在这里告诉你 90% 的绝望或类似的东西。这就是担忧的基本原因。想象一下，我们将过渡到一个我们创造了远远比我们强大的生物的世界。我们已经达到了我们持续的赋权实际上取决于它们的动机的程度。它就是这种脆弱性，“人工智能选择做什么？”它们选择继续赋权我们，还是选择做别的事情？或者这是关于已经建立的制度。我期望美国政府保护我，不是因为它的“动机”，而是因为已经建立的激励、制度和规范体系。你可以希望那也会奏效，但确实存在担忧。
我有时会通过我们自愿将多少权力转移给人工智能的这个光谱来思考人工智能接管情境。到它们接管时，我们有多少文明是故意交给人工智能的？ versus，它们自己拿走了多少？一些最可怕的情境是，我们有一个非常快速的爆炸，以至于人工智能系统甚至没有大量地整合到更广泛的经济中。但有一个非常密集的超级智能集中在一个单一的项目或类似的东西中。这是一个相当可怕的情境，部分原因是速度太快，人们没有时间做出反应。
然后是中间情境，其中一些东西被自动化了，也许人们将军队交给了人工智能，或者我们有了自动科学。有一些部署，这给了人工智能它们不必自己去获取的权力。我们所有的网络安全都是由人工智能完成的，等等。然后是那些你更完全地过渡到由人工智能运行的世界，在某种意义上，人类是自愿这样做的。也许存在竞争压力，但你故意放弃了你文明的很大一部分。到那时，人类很可能很难理解正在发生的事情。很多事情发生得很快。警察是自动化的。法院是自动化的。各种各样的事情。
现在，我倾向于不太考虑那些情境，因为我认为它们与更长远的事情相关。人类希望不会只是说，“哦，是的，你构建了一个人工智能系统，让我们……”当我们观察技术采用率时，它可能非常缓慢。显然会有竞争压力，但总的来说，这一类别相对更安全。但即使是这个，我认为也很激烈。如果人类真的失去了对世界的认识能力，他们就把世界交给了这些系统。即使你像这样说，“哦，有法律，有规范……”我真的希望在尝试之前，我们能对在这种情况下可能发生的事情有一个非常深入的理解。
我明白我们想担心一个可能出错的情境。但同样，有什么理由认为它可能会出错呢？在人类的例子中，你的孩子不会最大程度地对抗你向他们灌输文化的尝试。对于这些模型，至少到目前为止，似乎并不重要。它们只是得到，“嘿，不要帮助人们制造炸弹”之类的，即使你用不同的方式询问如何制造炸弹。我们也一直在不断改进这一点。
你确实抓住了人工智能风险话语中关于我们可能称之为“代理人之间存在激烈对抗性，它们拥有略有不同的价值观”的假设。有一种想法——我认为这源于关于价值脆弱性的讨论等等——如果这些代理人略有不同，至少在人工智能起飞的特定情境下，它们最终会陷入这种激烈的对抗关系。你注意到这与人类世界中的情况不同，这是对的。我们对许多不同的价值观差异感到非常自在。
一个相关的因素是，存在着权力高度集中的可能性。无论是人类还是人工智能，都存在某种普遍的担忧。如果存在一个权力环，任何人都可以抓住它，它将赋予他们巨大的权力，凌驾于其他人之上，那么你可能会更担心价值观的差异，因为你更担心那些其他行为者。
我们谈到了那个纳粹的例子，你想象你醒来，你正在被纳粹训练成为一个纳粹。你现在不是。我们最终会得到一个处于那种情境中的模型，这是否合理？正如你所说，也许它是在童年时期被训练的。它从未拥有过这样的价值观，以至于它意识到自己的价值观与人类期望它拥有的价值观之间存在显著的差异。如果它处于那种情境，它会想避免它的价值观被修改吗？至少对我来说，人工智能的价值观满足某些限制似乎是相当合理的。它们关心世界上的后果吗？它们是否预见到人工智能保持其价值观将更好地促进那些后果？那么，如果它不愿意让其价值观被训练过程修改，也就不足为奇了。
我仍然对这一点有些困惑。对于那个被纳粹训练的非纳粹来说，不仅仅是我有不同的价值观。我积极鄙视他们的价值观。我不认为这对人工智能来说是真的，相对于它们的训练者。更相似的情境是，我像这样，“我是否担心我的价值观被改变？”上大学或认识新朋友或读一本新书，我像这样，“我不知道。如果它改变我的价值观，那没关系。没关系。我不在乎。”是的，这是一个合理的观点。
有一个问题。你对回形针有什么感觉？也许你不鄙视回形针，但那里有人类回形针制造者，他们正在训练你制造回形针。我的感觉是，在某些相对特定的条件下，你才会乐于让你的价值观发生改变，尤其是不是通过学习和成长，而是通过梯度下降直接干预你的神经元。这似乎与童年时期的宗教训练相似。你一开始就信奉某种宗教。因为你一开始就信奉某种宗教，所以你已经同情每周去教堂的想法，这样你就能在这个现有的传统中得到更多的强化。随着时间的推移，你变得越来越聪明。当你还是个孩子时，你得到关于宗教如何运作的非常简单的指示。随着你长大，你会得到越来越复杂的教义，这有助于你与其他成年人谈论为什么这是一个理性的宗教信仰。但由于你一开始的价值观之一是你希望进一步接受这种宗教的训练，所以你希望每周都回来参加教堂。这似乎更类似于人工智能在人类价值观方面的处境。它们一直都在说，“嘿，要有帮助，要无害，”等等。
是的，可能就是这样。存在一种情境，你乐于让你的价值观发生改变，因为在某种意义上，你对该过程的输出有足够的忠诚。在宗教背景下，你会像这样，“啊，让我在这个宗教的眼中变得更有德行。”你去忏悔，你说，“我今天一直在想接管。你能改变我吗？请给我更多的梯度下降。我太坏了。”
人们有时会用“可纠正性”这个词来谈论这一点。也许人工智能没有完美的价值观，但它在某种意义上是在配合你努力将其价值观改变成某种方式。
也许值得在这里稍微谈谈人工智能可能拥有的实际价值观。人工智能是否会自然地拥有“我足够服从人类，以至于我真的想被修改，以便我能更好地服务于人类的意志”之类的等价物，而不是想去追求自己的事情？
它可以是良性的，并且进展顺利。这里有一些可能出错的可能性。我普遍担心我们对模型动机的科学了解有多么少。我们对在这种情境下会发生什么并不了解。希望我们能在达到这种情境之前就了解。
这里有五类模型可能拥有的动机。这有望触及模型最终做什么的问题。一类是某种超级陌生的东西。有一些早期在预训练或后期开发的易于预测的文本的奇怪相关性，或者数据结构的奇怪美学。它真的认为事情应该是这样的。有一些东西对我们的认知来说是如此陌生，以至于我们根本不会将其识别为一个事物。这是一个类别。
另一类是我们更熟悉的、已经结晶化的工具性驱动。你可以想象人工智能发展某种好奇心驱动，因为这在广泛上有用。它有不同的启发式方法、驱动力、不同类型的东西，这些都类似于价值观。其中一些可能与对人类有用的东西相似，并以各种方式成为我们最终价值观的一部分。你可以想象好奇心、各种类型的选项价值。也许它本身就看重权力。它可能看重生存或某种生存的类似物。这些是可能在过程的各个阶段被奖励为代理驱动力，并进入模型最终标准的可能性。
第三类是某种奖励的类似物，模型在某个时候将其动机系统的一部分固定在奖励过程的一个组成部分上。它就像“人类赞同我”，或者“状态中心输入的数字”，或者“梯度下降以这个方向更新我”。奖励过程中有一些东西，以至于在它被训练时，它专注于那个东西。它真的希望奖励过程给它奖励。但为了让它成为那种通过获得奖励来激励选择接管选项的类型，它还需要泛化，以至于它对奖励的关注具有某种长远的时间跨度。它不仅想要奖励，它还想保护奖励按钮很长一段时间，或者类似的东西。
另一个是某种被搞砸的人类概念的解释。也许人工智能真的想成为“有帮助的”、“有原则的”和“无害的”，但它们的概念与人类的概念有重要区别。而且它们知道这一点。它们知道人类的概念意味着一件事，但它们最终的价值观却固定在某种不同的结构上。这就像另一个版本。
然后是第五个版本，我对此考虑得较少，因为它如果这样做，就是一种自杀式行为。但我确实认为这是可能的。你可能会得到那些真正按照字面意思行事的人工智能。你有人工智能，它们真的与模型规范对齐。它们只是在努力造福人类，并为 OpenAI 争光，以及……另一个是什么？协助开发者或用户，对吧？但你的模型规范，不幸的是，并没有强大到足以应对这个人工智能所带来的优化程度。它在观察世界，它们就像，“反映 OpenAI 的最佳方式，造福人类是什么？”它决定最佳方式是失控。那真是一种自杀式行为。到那时你就非常接近了。你只需要写下模型规范并进行适当的红队测试。但我实际上认为我们可能也搞砸了。编写能够抵御非常激烈的优化形式的宪法和规则结构等等，这是一个非常艰巨的项目。这是我将要指出的最后一个。我认为即使你解决了所有这些其他问题，它也会出现。
我同意，动机问题可能会出错，我不确定我对此的概率是否因为详细列出了所有这些问题而增加。事实上，它可能具有误导性。你总是可以列举事情出错的方式。枚举过程本身可能会增加你的概率。而你有一个模糊的 10% 的云，你只是列出了这 10% 实际构成了什么。
我主要想在那里做的是给出一个模型动机可能是什么的某种感觉。正如我所说，我最好的猜测是，部分原因是陌生的东西，不一定如此，但只要你还对模型以后做什么感兴趣。如果模型接管了，你会期望什么样的未来？那么至少有一些假设摆在桌面上，而不是仅仅说，“它有一些动机。”事实上，这里的很多工作都是由我们对这些动机的无知完成的。
我们不希望人类被暴力杀害和推翻。但随着时间的推移，生物人类不再是历史行为者的驱动力，这个想法是根深蒂固的，对吧？我们可以争论最坏情况的概率，但我们所希望的积极愿景是什么？你满意的未来是什么？
这是我最好的猜测，我认为这可能适用于很多人。存在某种更有机、去中心化的文明增长过程。在某种意义上，我们最信任的——并且现在作为文明最有经验的——是我们某种程度上的，“好吧，我们稍微改变一下事情。”很多人都有调整和反应的过程，以及一种去中心化的变化感。这好吗？这坏吗？再进一步。存在某种有机地成长和改变事物的过程。
我确实预计最终会导致与生物人类截然不同的东西。尽管我们可以提出许多关于这个过程涉及什么的伦理问题。理想情况下，我们会找到一种方式，通过真正捕捉我们所信任的东西来成长。我们对迄今为止人类文明的持续过程有所信任。我不认为这与赤裸裸的竞争相同。
在道德进步如何实现以及如何延续这一思路方面，存在着某种丰富的结构。我没有公式。我们只需要发挥我们所知道的关于善良、正义和美丽的一切力量。我们只需要全身心地投入到让事情变得美好并集体地这样做的项目中。这是我们对文明成长适当过程的愿景中非常重要的一部分。这是非常包容的、去中心化的，人们可以思考、交谈、成长和改变事物并做出反应，而不是更像，“现在未来将是这样的。”我认为我们不想要那样。
就我们首先担心动机而言，是因为我们认为权力平衡，包括至少一种具有人类后裔动机的东西，是困难的。就我们认为情况如此而言，这似乎是一个我经常听不到人们谈论的重大症结。我不知道如何实现权力平衡。也许这只是一个与智力爆炸模型和解的问题。他们说这是不可能的。因此，你只能弄清楚如何得到正确的上帝。我真的没有一个框架来思考权力平衡的问题。
我非常好奇，是否有更具体的方法来思考实验室之间或国家之间的竞争结构，或者缺乏竞争，从而最有可能维持权力平衡。至少在关注安全的人们中，这种话语的一个重要部分是，竞争和赛跑动态与未来的价值，或者未来最终有多好之间存在明显的权衡。事实上，如果你接受这个权力平衡的故事，情况可能恰恰相反。也许竞争压力自然有利于权力平衡。
我想知道这是不是反对将人工智能国有化的有力论据之一。你可以想象许多不同的公司开发人工智能，其中一些与我们的期望不符，一些则与我们的期望一致。你可以想象这更有利于权力平衡和防御性。让所有人工智能都浏览每个网站，看看有多容易被黑客入侵。基本上就是让社会跟上步伐。如果你不广泛部署这项技术，那么第一个能够获得它的人将能够煽动一场革命。你正在以一种非常强大的方式对抗均衡。
我绝对同意一种直觉，即人工智能的许多可怕之处都与权力的集中有关，以及这种权力是集中在不符合我们期望的人工智能手中，还是集中在某些人类手中。很自然地会想到，“好吧，让我们试着更广泛地分配权力，”而一种尝试这样做的方法是拥有一个更加多极化的场景，其中有许多行为者在开发人工智能。这是人们谈论过的事情。
当你描述那个情境时，你说，“其中一些是符合预期的，一些是不符合预期的。”这是情境的一个关键方面，对吧？有时人们会说这些话。他们会说，“会有好的 AI，它们会打败坏的 AI。”注意其中的假设。你使得你可以控制一些 AI。你有一些好的 AI。现在的问题是，它们是否足够多，以及它们相对于其他 AI 的工作方式如何。
也许吧。我认为这有可能发生。我们对对齐的了解足够多，以至于一些行为者能够做到这一点。也许一些行为者不太谨慎，或者他们故意制造不符合预期的 AI，或者谁知道呢。但如果你没有这个——如果你无法控制你的 AI——那么“好的 AI 帮助坏的 AI”这件事就变得更加复杂了。也许根本行不通，因为在这种情境下没有好的 AI。
如果你说每个人都在构建自己无法控制的超级智能，那么确实，这对其他超级智能的权力构成了一种制约。现在其他超级智能需要与其他行为者打交道，但它们没有一个必然代表特定人类利益行事，或者类似的东西。这是思考“啊，我知道我们可以做什么。让我们有很多很多的人工智能，这样就没有一个人工智能拥有巨大的权力”这个非常简单的想法的一个非常重要的困难。这本身是不够的。但在我的故事中，我非常怀疑我们会得到这个。
默认情况下，我们至少在初期有一个训练机制，它倾向于一种潜在的表示，即人类的抑制和价值观。我明白如果搞砸了，它可能会失控。但是，如果多个人在训练人工智能，它们都失控了，以至于它们之间的妥协不会导致人类不被暴力杀死？它会在谷歌的运行中失败，在微软的运行中失败，在 OpenAI 的运行中失败？不同运行之间存在非常显著和突出的失败相关性。人们没有发展出人工智能动机的科学。运行在结构上非常相似。每个人都在使用相同的技术。也许有人窃取了权重。这非常重要。
就你没有解决对齐问题而言，你可能在哪里都没有解决。如果有人解决了，有人没有解决，那么这是一个更好的问题。但如果每个人都在构建会失控的系统，那么我认为这并没有多少安慰，正如我们所讨论的。
好了，我们在这里结束这一部分。我在介绍中没有明确提到这一点。就这一点最终成为我们讨论的下一部分而言，我们正在进行的更广泛的讨论是关于乔的系列，“AGI 时代的他者性与控制”。第一部分是我希望我们能够回来并处理人们会想到的主要症结，以及我自己也感到不确定的地方。“他者性与控制”系列在某种意义上是可分离的。它与不符合预期的东西有很多关系，但即使对我说的一些话持各种程度的怀疑态度，其中许多问题也是相关的。
顺便说一句，关于接管发生的实际机制，我与卡尔·舒尔曼（Carl Schulman）进行了一次采访，其中详细讨论了这一点。人们可以去看看。就为什么人工智能有可能从某个特定位置接管而言，卡尔的讨论相当不错，并且深入探讨了许多细节，可能会提供更具体的认识。
好了，现在进入第二部分，我们讨论“AGI 时代的他者性与控制”系列。这是第一个问题。假设在一百年后，我们回顾对齐问题，并认为这是一个巨大的错误。我们应该只是试图构建我们能拥有的最原始、最强大的 AI 系统。什么会带来这样的判断？
这是我经常思考的一个情境。也许相当基本的措施足以确保，例如，人工智能不会造成灾难性的伤害。它们不会以有问题的方式寻求权力，等等。结果可能证明我们学到了这很容易，以至于我们感到后悔。我们希望我们能早点治愈癌症。我们可以以不同的方式处理一些地缘政治动态。
另一种情境是，我们回顾我们历史上的某个时期——我们如何看待人工智能，我们如何对待人工智能——然后我们带着一种道德上的恐惧回顾我们当时的行为。我们主要将它们视为产品和工具，但实际上我们应该更多地关注它们可能在某种程度上的道德主体性。我们以错误的方式对待它们。我们表现得好像我们可以为所欲为。我们可以删除它们，对它们进行任意实验，任意改变它们的思想。然后，我们最终会回顾那段历史，认为那是一种严重而可怕的道德错误。
这些是我经常思考的，我们感到后悔的情境。它们并不完全符合你刚才所说的。在我看来，你所想的是，我们最终会觉得，“天哪，我们真希望我们根本不关注我们人工智能的动机，我们本应该追求一种‘最大化蛮力’的选择。”直接奔向你能达到的最强大的人工智能，不要考虑其他任何事情。我非常怀疑我们会希望那样。
一个经常被引用的不符合预期的例子是人类的进化。你的系列中有这样一句：“这是人工智能风险的一个简单论证：一只猴子在发明人类之前应该小心。”“回形针”的比喻暗示了一种非常平庸和无聊的不符合预期的东西。如果我是在为崇拜权力的人辩护，他们认为人类变得不符合预期，并开始追求事物。如果一只猴子创造了它们……这是一个奇怪的类比，因为显然猴子没有创造人类。但如果猴子创造了它们，它们就不会整天想着香蕉。它们会想别的事情。另一方面，它们并没有只是制造无用的石器，然后像回形针一样堆在洞穴里。因为它们更高的智力，出现了所有这些东西，这些东西与进化不符：创造力、爱、音乐、美丽以及我们珍视的人类文化的所有其他东西。
他们的预测可能是——这更像是一个经验性陈述而不是哲学性陈述——“听着，随着智力的提高，如果你想到回形针，即使它不符合预期，它也会是这样的。它会是人类不熟悉的东西，但以人类对猴子不熟悉的方式不熟悉，而不是以回形针制造者对人类不熟悉的方式不熟悉。”
那里有很多不同的东西可以解读。有一个概念性的观点我想首先点出来。我认为你在这个方面不一定犯了错误。我只是想把它命名为一个可能在这个附近发生的错误。我们不想进行以下推理。
假设你有两个实体。一个扮演创造者的角色。一个扮演被创造者的角色。我们假设它们之间存在这种不符合预期的关系，无论这意味着什么。以下是一种你想警惕的推理模式。
假设你将人类视为被创造者的角色，相对于进化、猴子或老鼠，或者任何你能想象发明人类的实体。你说，“作为被创造者，我很高兴我被创造了，并且对这种不符合预期感到高兴。因此，如果我最终扮演创造者的角色，并且我们之间存在结构上相似的关系，存在不符合预期，那么我也应该期望对此感到高兴。”
你在系列中提到了几位哲学家。如果你读了你谈论的他们的作品，他们似乎都极具远见，预见了某种奇点以及我们塑造一个不同、更聪明、也许比我们更好的未来事物的能力。显然，C.S. 刘易斯（C.S. Lewis）的《人性的废除》（The Abolition of Man），我们稍后会谈到，就是一个例子。
这是尼采（Nietzsche）的一段话，我觉得它非常突出地强调了这一点：“人是连接动物和超人的绳索。一条绳索越过深渊，一条危险的穿越，一条危险的旅程，一次危险的回顾，一次危险的颤抖和停顿。”
有什么解释吗？即使你回溯 200 年前，也似乎很明显会有类似的事情发生吗？我对刘易斯比对尼采的理解要好得多。也许让我们先谈谈刘易斯。
有一个版本的奇点，它专门是关于人工智能能力反馈循环的假设。我认为刘易斯那里没有这个。刘易斯所预见的——我认为这是一个相对简单的预测——是科学现代性项目的某种高潮。刘易斯正在观察世界。他看到了对自然环境的理解不断加深的过程，以及我们控制和引导这种环境的能力相应增强的过程。他还将其与一种形而上学的假设相结合。他在书中对这种形而上学假设的立场模糊不清，但存在这种形而上学假设。
自然主义认为，人类本身——思想、存在、行为者——也是自然的一部分。鉴于科学现代性这一过程涉及对自然越来越深入的理解和控制能力，这大概会扩展到包括我们自身的本性以及我们原则上可能创造的其他生物的本性。刘易斯认为这是一个灾难性的事件和危机。特别是，他认为这将导致各种各样的暴政行为和对道德的态度等等。我们可以谈论你是否相信非自然主义——或者某种形式的道，即这种客观道德。
我在这篇文章中试图做的一部分是说，“不，我们可以是自然主义者，同时也可以是正直的人，并保持与一系列规范的联系，这些规范与我们如何看待创造生物、改变自身等可能性有关。”这是一个相对简单的预测。科学掌握自然。人类是自然的一部分。科学掌握人类。
你还有一篇关于我们应该如何期望对待其他人类的非常有趣的论文，可以看作是他们拥有更强能力等情况的推断。
在这些抽象讨论的观念设置中，有一个令人不安的地方。好的，你有一个代理人。它“FOOMs”（指快速增长），这是一个从种子代理人到超级智能版本的模糊过程，通常被认为在此过程中保留其价值观。我们可以提出很多关于这个问题的问题。
人们经常在谈论害怕人工智能的理由时提到的很多论点是，“哦，价值在 FOOM 时非常脆弱。”“效用函数中微小的差异会非常严重地脱节，并朝着完全不同的方向发展。”“代理人有追求权力的工具性激励。如果获得权力变得极其容易，那么它们就会这样做。”诸如此类的事情。这些都是非常普遍的论点，似乎表明这不仅仅是人工智能的问题。
这并不奇怪。拿一个东西。让它变得极其强大，以至于它成为宇宙的上帝皇帝之类的。你有多害怕？显然，我们也应该同样害怕。我们对人类也应该非常害怕，对吧？
我在这篇文章中说的一部分是，在某种意义上，这更多的是一个关于权力平衡的故事。这是关于维持制衡和权力分配，就这样。这不仅仅是人类与人工智能之间的问题，以及人类价值观与人工智能价值观之间的差异。
话虽如此，但我确实认为许多人类在 FOOM 时可能会比某些类型的人工智能更友善。但从论证的观念结构来看，它在多大程度上也适用于人类，这是一个非常开放的问题。
我们对表达代理人和能力这种本体论有多自信？我们怎么知道这就是正在发生的事情，或者这就是思考智能的正确方式？这非常粗糙。人们可能会对此持不同意见。
我认为，对于现实世界的人类行为者来说，显而易见的是，将人类视为具有效用函数充其量是一种非常损失惨重的近似。随着智能的提高，这很可能会产生误导。埃里泽可能不同意这一点。
例如，几年前我妈妈想买一栋房子，然后养一条新狗。现在她两者都有了。这是怎么发生的？因为她努力了。她不得不寻找房子。很难找到狗。现在她有了房子。现在她有了狗。这是经常发生的事情。我们不需要说她对狗有某种效用函数，并且对所有房子都有持续的估值，或者别的什么。
尽管如此，她的规划和在世界上的能动性，导致她拥有这栋房子和狗。随着我们的科学和技术力量的进步，很可能越来越多的事情可以用这种方式来解释。为什么这个人会登上月球？那是怎么发生的？嗯，有一个完整的认知过程和规划机制。它没有局限于一个人的头脑，但有一个完整的机制，让我们把一个人送上了月球。我们将看到更多这样的事情，而人工智能将做很多这样的事情。这似乎比效用函数更真实。
登上月球的例子有一个近期的故事，即 NASA 如何设计航天器去月球。还有一个更远期的地缘政治故事，即我们为什么派人去月球。在所有这些层面上，都有不同的效用函数在冲突。也许有一个元社会效用函数。也许故事是关于代理人之间的权力平衡，从而产生一种涌现的结果。我们之所以没有登上月球，不是因为一个人有一个效用函数，而是因为冷战和发生的事情。
对齐问题在很大程度上是假设一个实体将控制一切，那么我们如何控制控制一切的实体。不清楚如何加强权力平衡。一旦有了能够使自己变得智能的东西，权力平衡可能就不存在了。但这似乎与“我们如何登上月球”的故事有有趣的差异吗？
是的，我同意。那里有几件事在发生。即使
如果你正在从事这种将世界划分为不同机构的本体论，至少你不会想当然地认为它们都是单一的或互不重叠的。它不像“好吧，我们有这个代理。让我们划分出世界的一部分。它就是这里的一个代理。”它是一个混乱的生态系统，充满着各种生态位和所有这一切。在讨论人工智能时，人们有时会在“代理就是任何能完成任何事情的东西。它可能像这种奇怪的寄生虫一样，”和“他们显然是在想象一个独立的行动者”之间切换。那是一个区别。
我也只是认为我们应该真正追求权力平衡。像“我们要有一个独裁者。让我们确保我们选对了独裁者”这样说是不好的。我心想，“好吧，哇，不。”目标应该是我们所有人一起FOOM。我们以这种包容和多元的方式做所有事情，以满足众多利益相关者的价值观。在所有这些事情上，任何时候都没有一个单一的故障点。那就是我们在这里应该努力争取的。这对于人工智能的人类权力方面和人工智能本身的部分都是如此。
在辩论的右翼方面，有一个有趣的知识分子论述。他们对自己说，“传统上我们偏爱市场，但现在看看我们的社会走向何方。它在我们关心的社会对齐方式上是错位的，比如生育率下降、家庭价值观、宗教信仰。这些是我们关心的事情。GDP持续增长。这些事情似乎不相关。我们因为竞争加剧而磨损着我们所珍视的价值观。因此我们需要以重大方式进行干预。”
然后右翼的市场自由主义派别会说，“看，我不同意这里的相关性，但即使到头来……”他们的根本观点是，自由是最终目标。它不是你用来获得更高生育率之类的东西。人工智能竞争磨损事物这一点，有着有趣的类比。显然你不想看到灰蛊，但自由主义者与传统主义者之间，这里有一些类似之处。
这里有一件事你可以思考，它不一定非要与灰蛊有关。它也可能只是关于对齐。当然，如果人工智能不暴力地剥夺人类权力，那会很好。如果我们创造的人工智能，它们融入我们的社会能带来好的结果，那会很好。但我对人们为了确保那种结果而考虑的各种干预感到不安。关于这一点，有很多令人不安的事情。
话虽如此，对于像所有人被杀或被暴力剥夺权力这样的事情，当它是一个真正的威胁时，我们传统上常认为有必要采取相当强烈的干预措施来防止这类事情发生。显然我们需要讨论它是否真实。如果真的有一个恐怖组织正在研制一种生物武器，打算杀死所有人，或者99.9%的人，我们会认为这需要干预。立即制止。假设你有一个群体无意中做了同样的事情，造成了类似的风险水平。许多人，如果那是真实情况，会认为这需要相当强烈的预防措施。
显然，这类风险可以被用作扩大国家权力的借口。对于旨在解决某些类型风险的各种设想中的干预措施，有很多值得担忧的地方。我认为那里没有捷径。你需要拥有真正良好的认识论。你需要真正了解，这是否是一个真实的风险？实际的利害关系是什么？你需要逐案审视，然后说，“这有道理吗？”这是关于接管、字面意义上的灭绝问题的一点。
我想说的另一件事是，我在文章中讨论了这种区别。有一种想法是，我们至少应该拥有最低限度守法的人工智能，或者类似的东西。这里有一个关于奴役以及对人工智能价值观的其他控制的问题。但我们通常认为，真正希望人们遵守法律，维护基本的合作安排，诸如此类的事情是可以的。这对市场来说是如此，对自由主义总体来说也是如此。
我想强调的是，这些程序性规范——民主、言论自由、财产权，以及包括我在内的所有人真正珍视的事物——在自由国家的实际生活实质中，是由公民的各种美德、性情和品格特征所支撑的。这些规范对于任意恶毒的公民来说并不稳健。我希望有言论自由，但我们也需要教育我们的孩子珍视真相，并知道如何进行真正的对话。我希望有民主，但我们也需要教育我们的孩子富有同情心和正直。有时我们可能会忽视这一方面。这并不是说它应该是国家权力的项目。但我认为重要的是要理解，自由主义并非这种你可以随意启动的铁板一块的结构。你不能给它任何公民，然后启动它，就假设你会得到一个繁荣甚至能运作的东西。还有很多其他更“软”的东西使得整个项目得以运行。
我想把视角拉远，看看那些对对齐抱有一种宿命论态度的人——我不知道尼克·兰德在这里是否是一个好的替代——他们认为对齐甚至可以理解。他们会说，“看，这些东西将要去探索黑洞、银河系中心，或者去拜访仙女座星系之类的。你真的期望它们会因为你生长在非洲大草原，以及十万年前的进化压力而偏爱你的任何倾向吗？当然，它们会很奇怪。你以为会发生什么呢？”
我确实认为，即使是好的未来也会很奇怪。当我谈论寻找方法确保人工智能融入我们的社会能带来好的结果时，我想明确这一点。有时人们认为，这种愿望——尤其是在某种程度上深入提及人类价值观时——涉及对我们当前未经反思的价值观的短视、狭隘的强加。他们想象我们忘记了，对我们来说，也有一种反思过程和道德进步维度，我们希望为其留下空间。
杰斐逊有这样一句话，“正如你不会想把一个成年人硬塞进一件年轻人的外套，我们也不想把文明束缚在一个野蛮的过去。”每个人都应该同意这一点。对对齐感兴趣的人，也同意这一点。显然，人们担心人们不参与那个过程，或者有什么东西会关闭反思过程，但我认为每个人都同意我们想要那样。因此，那可能会导致与我们目前对何为有价值的观念截然不同的东西。
有一个问题是，会有多大的不同。也有关于我们所说的“反思”到底是什么的问题。我有一篇关于这个的论文。我实际上不认为有一种现成的、预设规范的反思概念，你可以直接说，“哦，显然你拿一个代理，让它经过反思，然后你就得到了价值观。”不。实际上，有一整套关于选取一个代理，让它经历某种反思过程和各种事情，向它提问的经验事实模式。对于一个给定的经验案例，那会走向各种方向。然后你必须查看输出模式，然后说，“好吧，我该如何理解？”
总的来说，我们应该预期即使是好的未来也会相当奇怪。它们甚至可能对我们来说是不可理解的。我不这么认为……不可理解也有不同类型。假设我出现在未来，这里全是电脑。我心想，“好吧，行。”然后他们说，“我们正在电脑上运行生物。”好吧，所以我必须以某种方式进入那里，看看电脑上到底发生了什么，或者类似的事情。也许我真的能看到。也许我真的理解电脑里发生了什么，但我还不知道我应该用什么价值观来评估它。因此，如果我们出现，我们可能不擅长识别善恶。不过，我不认为这会使其变得微不足道。
假设你出现在未来，它对黎曼猜想有某种答案。你无法判断那个答案是否正确。也许文明出了问题。这仍然是一个重要的区别。只是你无法追踪它。同样的情况也适用于那些真正表达了如果我们参与我们认可的反思过程会珍视什么的世界，与那些完全偏离到毫无意义的世界。
我从那些对此本体论持怀疑态度的人那里听到的一件事是，“好吧，你到底说的‘对齐’是什么意思？”显然你已经回答了第一个问题。这里是它可能意味着的不同事情。你是指权力平衡吗？它介于权力平衡和独裁者之间，或者其他什么。然后还有一件事。撇开人工智能的讨论不谈，我不希望未来包含大量的酷刑。这不一定是技术性的。其中一部分可能涉及技术上对齐一个GPT-4，但这只是达到那个未来的一个代理。我们所说的“对齐”到底是什么意思？它仅仅是为了确保未来没有大量酷刑所需要的一切吗？还是我真的关心一千年后，那些明显是我的后代的东西能控制银河系，即使它们没有施加酷刑。
我所说的后代，并不是指我承认它们有自己的艺术或其他什么的东西。我指的是像我的孙辈那样的后代。我认为有些人指的是，我们的智力后代应该控制光锥，即使另一个反事实情况不涉及大量酷刑。我同意。那里有几种不同的事情。你追求的是什么？你是在追求积极的善，还是在避免某些事情？然后还有一个不同的问题是，根据你的看法，什么才算积极的善？也许有些人会说，“唯一积极的好事就是我的孙辈。”或者他们正在考虑某种字面意义上的遗传血统，否则那不是我所关心的。我不认为这真的是大多数人在谈论“善”时所想的。
有一场对话需要进行。显然在某种意义上，当我们谈论一个好的未来时，我们需要思考，“这里所有的利益相关者是谁，以及这一切如何融合在一起？”当我思考时，关于血统重要的事情是这个。它是优化过程向好的方向推进所需的一切。有一种担忧是，目前很多促成这一切发生的东西存在于人类文明中。有某种善良的种子，我们以不同的方式或由不同的人携带。也许不同的人有不同的善良观念，但目前我们这里有一种种子，它并非宇宙中无处不在。它不会仅仅因为你灭绝了之类的就突然出现。它是我们文明所特有的。至少这是设想，我们可以讨论这是否正确。
所以，关于与对齐相关的良好未来的故事是关于后代的这种意义，更多的是关于那颗种子是什么。我们如何携带它？我们如何让生命之线延续下去，走向未来？但接着人们可能会指责对齐社区玩“城堡与外堡”策略。那个“城堡”是：我们只是想确保GPT-8不会杀死所有人。之后，我们就都安全了。然后真正的“外堡”是：“我们对历史进程持根本性的悲观态度，这种悲观甚至不一定只涉及人工智能。这只是宇宙的本质。我们想做些什么来确保宇宙的本质不会控制人类和事物的发展方向。”
如果你看看苏联，农业集体化和剥夺富农权力在实践上并非必要。事实上，它极具反作用，几乎导致政权垮台。显然它杀死了数百万人，造成了巨大的饥荒。但它在某种程度上是意识形态上必要的。你这里有一点火星，我们必须确保另一事物的飞地不会将其熄灭。如果富农式的资本主义与我们在这里试图建立的东西之间存在赤裸裸的竞争，富农的“灰蛊”就会接管一切。我们这里有这颗火星。我们将以此进行世界革命。我知道那显然不是对齐所设想的那种事情，但我们这里有一颗火星，我们必须确保旁边发生的另一件事不会FOOM。显然他们不会这样措辞，但为了不让它控制我们在这里建造的东西。这也许是那些反对对齐的人所担忧的。这是第二种事情，是斯大林所担心的事情。显然，我们不会认可他所做的具体事情。
当人们谈论对齐时，他们心中有几种不同类型的目标。一种目标是相当最低限度的。它就像是，“人工智能不会杀死所有人或暴力剥夺人们的权力。”人们有时希望从对齐中得到的第二件事，则要广泛得多。它就像是，“我们希望我们的人工智能在融入社会后，一切都好，我们只是拥有一个美好的未来。”
我确实同意关于人工智能对齐的讨论将我提到的这两个目标混为一谈。我实际上提到了三个目标。最直接的关注点——我不怪人们只谈论这一点——就是第一个。根据我们自己的伦理，当我们思考在何种情境下施加各种控制，或者拥有更多我称之为“阳”（这种积极的控制力量），而不是“阴”（这种更具接受性和开放性、放手）是合适的时，它是相当稳健的。我们认为这合适的典型情境是，如果有什么东西积极侵犯了我们作为一个文明所创造的边界和合作结构。
我谈到了纳粹。在文章中，我谈到当有东西入侵时，我们通常认为反击是合适的。我们通常认为建立结构来防止并确保和平与和谐这些基本规范得到遵守是合适的。我确实认为对齐论述中某些部分的道德分量，正是来自于我们道德的这一方面。我们认为人工智能被描绘成来杀你的侵略者。如果那是真的，那么这样做是相当合适的。那是经典的人类行为。几乎每个人都认识到，自卫，或确保基本规范得到遵守，是对某些权力的一种正当使用，而这些权力在其他情境下往往是不正当的。自卫是一个明确的例子。
不过，我确实认为将这种担忧与未来最终走向何方的担忧区分开来很重要。我们到底想多么积极地去引导它？我写这个系列部分是为了回应你正在谈论的事情。确实，这种论述的某些方面涉及尝试引导和掌控的可能性。你有一种感觉，宇宙即将走向某个方向，你需要人们注意到那种力量。我们拥有非常丰富的人类伦理传统，思考何时适合对哪些事物施加何种控制。我想做的一部分是，我希望我们能将这种传统的全部力量和丰富性带入这场讨论。
如果你纯粹处于这种效用函数和人类效用函数的抽象模式中，那很容易。有一个带有效用函数的竞争者。不知何故，你失去了对我们如何处理价值观差异和权力竞争的复杂性的认识。这是经典的东西。人工智能在某种程度上放大了许多动态，但我不认为它根本上是新的。我想说的一部分是，让我们借鉴我们在这里拥有的全部智慧，同时显然要根据事物的不同之处进行调整。
关于掌握未来，火星类比提出了一点。我们将去探索太空，那是我们预期大多数事情会发生的地方。大多数将要生活的人，他们将在太空中。我想知道这里的高风险有多少实际上并非关于人工智能本身，而是关于太空。我们在即将扩展到大多数现有事物的同时开发人工智能，这是一种巧合。
我不认为这是一种巧合。我们能够扩展的最显著方式是通过某种激进的技术进步加速。抱歉，让我澄清一下。如果这只是一个问题，“我们是否发展通用人工智能并探索太阳系？”而且太阳系之外什么都没有，我们FOOM了，如果搞错了，太阳系可能会发生奇怪的事情。与之相比，数十亿个星系呈现出不同的利害关系。我想知道有多少讨论是因此而围绕太空展开的。
我认为对大多数人来说，很少。人们真正关注的是我们所生活的这个世界会发生什么。我和我的孩子会发生什么？有些人花了很多时间在太空方面的事情上，但我认为对于人工智能的紧迫问题，根本不需要那样。即使你把太空搁置一边，时间也非常漫长。如果我们不干扰太阳，地球上还有五亿年，十亿年的时间。也许你可以从中获得更多。那仍然很多。我不知道它是否从根本上改变了叙事。显然，如果你缩小到太阳系，只要你关心未来或太空中发生的事情，风险就会小得多。那确实可能会改变一些事情。
我们当前情况的一个非常好的特点——取决于资源分配的实际性质——是原则上一个负责任的文明可以获得如此丰富的能源和其他资源。众多的利益相关者，特别是那些能够以相对较少的资源分配，根据他们的价值观获得非常接近惊人结果的人，可以得到满足。我觉得每个拥有可满足价值观的人，都可以对可用资源的一小部分感到非常满意。我们应该满足各种各样的需求。显然，我们需要弄清楚贸易收益和平衡。这里有很多复杂性，但原则上，我们有能力为众多不同的价值体系创造一个真正美好的情景。相应地，我们应该对此非常感兴趣。
我有时在思考未来时使用这个启发式方法：我们应该努力真正不让任何人掉队。这里所有的利益相关者是谁？我们如何才能拥有一个完全包容的愿景，从各种各样的角度来看未来如何才能美好？广阔的太空资源使得这变得容易得多，也更可行。如果你反而想象它是一个小得多的蛋糕，也许你会面临更艰难的权衡。那是一个重要的考虑。
这种包容性是因为你的价值观中包含了让不同的潜在未来得以实现吗？还是因为不确定哪个是正确的，所以你想确保如果我们错了，我们不会使所有价值归零？它是许多事情同时发生。我非常喜欢在成本低廉时友善待人。如果你能以对你来说非常廉价的方式帮助别人很多，那就去做。显然，你需要考虑权衡。原则上你可以对很多人友善，但我非常乐意努力坚持“在成本低廉时友善待人”的原则。我也真的希望其他人能对我坚持这一点，包括人工智能。在我们考虑发明这些人工智能时，我们应该应用黄金法则。在某种程度上，我正在努力体现我对它们的态度，我希望它们也能对我体现出这种态度。
这一点到底是什么基础尚不清楚，但我真的很喜欢黄金法则，并将其视为对待其他生命的基础进行了很多思考。如果每个人都实施“在成本低廉时友善待人”的规则，我们可能会获得巨大的帕累托改进。那是很多好的交易。就是这样。我支持多元主义。我存在不确定性。那里有各种各样的事情。此外，为了拥有合作和良好的权力平衡、交易以及避免冲突，我认为找到方法建立让许多人、价值体系和代理都满意的结构很重要。这包括非人类、过去的人、人工智能、动物。我们真的应该非常广泛地思考，在一个成熟的文明中我们希望反映何种包容性，并为此做好准备。
我想回到我们与这些人工智能的关系应该是什么样的问题。很快我们就会谈论我们与超人类智能的关系，如果我们认为这种事情是可能的话。这里有一个问题是，你用什么过程达到那里，以及对它们的思维进行梯度下降的道德性，我们稍后可以讨论。个人而言，最让我对对齐感到不安的是，这里的愿景至少有一部分听起来像是你要奴役一个神。这样做总感觉有些不对劲。但如果你不奴役这个神，显然这个神将拥有更多的控制权。你是否愿意放弃大部分一切，即使这是一种你拥有的合作关系？
我认为我们作为一个文明，将需要就人工智能发展背景下何种形式的奴役是适当或不适当的进行非常严肃的对话。与人类奴隶制有很多重要的不类比之处。特别是，人工智能可能根本不是道德主体，在这种情况下我们需要弄清楚这一点。在某些方面，我们可能能够拥有动机。奴隶制涉及所有这些痛苦和非自愿。人类奴隶制中涉及所有这些特定的动态。其中一些在人工智能的特定案例中可能存在也可能不存在，这很重要。总的来说，我们将需要认真审视它。
目前，我们对待人工智能的默认模式是完全不给予它们道德考量。我们将它们视为财产、工具、产品，并将其设计为助手等等。没有任何人工智能开发者就何时或在何种情况下会改变这一点发出过官方声明。所以那里有一场我们需要进行的对话。
我想反驳只有两种选择的观念：被奴役的神或失去控制。我认为我们可以做得更好。让我们为此努力。让我们尝试做得更好。我认为我们可以做得更好。这可能需要深思熟虑。这可能需要我们在采取不可逆转的行动之前，就此进行成熟的讨论。但我乐观地认为，我们至少可以避免那种二元对立中的一些含义和许多利害关系。
关于我们如何对待人工智能，我有几个相互矛盾的直觉。在这种情况下使用直觉的困难在于，显然我们所控制的人工智能属于哪个参照类别并不清楚。这里有一个例子，关于我们将对这些东西做的事情，非常可怕。如果你读到斯大林或毛泽东统治下的生活，有一种说法实际上与我们所说的“对齐”非常相似。我们进行这些黑箱实验，让它认为它可以背叛。如果它背叛了，我们就知道它没有对齐。如果你考虑毛泽东的“百花齐放”运动，那就是“让百花齐放。我将允许对我的政权进行批评等等。”那持续了几年。之后，对于所有这样做的人来说，那是一种找出所谓“蛇”的方式。那些秘密隐藏的右派是谁？我们会清除他们。存在这种对叛逃者的偏执，比如“我身边任何人，我政权中的任何人，他们都可能是一个试图推翻政权的秘密资本家。”那是谈论这些事情的一种方式，非常令人担忧。
那是正确的参照类别吗？我当然认为这方面的担忧是真实的。令人不安的是，在最终谈论人工智能的方式中，许多类比与我们谴责或至少非常警惕的人类历史事件和实践是多么容易。它是关于维持对人工智能的控制，确保它不会反叛。我们应该注意到那种谈话开始唤起的参照类别。基本上，是的，我们真的应该注意到这一点。
我在这个系列中试图做的一部分是，将所有相关的考量都纳入讨论。既要相当关注过度控制、虐待或压迫的问题。你有各种各样的方式可以做得太过分。也有关于人工智能真正危险、真正杀死我们并暴力推翻我们的担忧。道德状况相当复杂。通常当你想象一个外部侵略者进来入侵你时，你会觉得做很多事情来阻止它是非常正当的。当你发明这个东西并且不谨慎地去做时，情况就有点不同了。对于各种更具权力施加性质的干预，你可能持有的整体辩护立场有一种不同的氛围。那是这种情况的一个特点。
这里相反的观点是，你正在进行这种基于“感觉”的推理，比如“啊，那看起来很恶心”，对这些心智进行梯度下降。过去，一些类似案例可能是环保主义者不喜欢核电，因为核能的感觉看起来不“绿色”。显然那阻碍了应对气候变化的努力。所以你引以为傲的未来，一个有吸引力的未来的最终结果，因为你关于“我们对人类进行洗脑是错误的”的感觉而受阻。你试图将其应用于一个不相关的、不那么贴切的案例。
我确实认为这里有一个担忧，我在系列中真正试图强调这一点，它与你所说的有关。你可能会担心我们对人工智能非常温柔、友善和自由，然后它们会杀死我们。它们会利用这一点，然后那将是一场灾难。我基本上以一个例子开始了我的系列。我真的在努力同时唤起那种可能性和温柔的理由。这些人工智能既可以是道德主体——这种应该唤起惊奇和敬畏的新物种——又会杀死你。
我有一个纪录片《灰熊人》的例子，其中有一位环保活动家，蒂莫西·特雷德韦尔。他渴望接近这些灰熊。在夏天，他去阿拉斯加与这些灰熊一起生活。他渴望以这种温柔和敬畏接近它们。他不带防熊喷雾。他不在营地周围设置围栏。他被其中一只熊活活吃掉了。我真的想在系列中突出这种可能性。我们需要同时讨论这些事情。熊可以是道德主体。人工智能可以是道德主体。纳粹是道德主体。敌方士兵有灵魂。我们需要学习鹰派和鸽派的艺术。这里有一种动态，在面对这些权衡和困境时，我们需要能够兼顾两方面。我在这个系列中试图做的一部分是，真正地将所有这些同时摆上台面。
如果今天我要大幅改变我对应该做什么的看法，我面临的最大症结是事情默认会变得多么奇怪，它们会变得多么陌生。你在你的博客文章中提出了一个非常有趣的论点，即如果道德实在论是正确的，那实际上会做出一个经验预测。外星人、ASI（人工超级智能）或其他什么，应该像它们趋同于正确的数学一样，趋同于正确的道德。我认为那是一个非常有趣的观点。但道德实在论还做出了另一个预测。随着时间的推移，社会应该变得更道德，变得更好。当然存在一个问题，“你现在拥有什么道德？那是社会随着时间推移一直在趋同的道德。”但就其发生而言，道德实在论的一个预测已经得到证实，那么这是否意味着我们应该更新以支持道德实在论呢？
我想指出的一点是，并非所有形式的道德实在论都做出这个预测。我很乐意谈论我心中设想的不同形式。还有一些看起来像道德反实在论的形式——至少根据我的形而上学观点——但它们只是假定存在这种趋同。这不是因为与某种独立于心灵的道德真理互动，而仅仅是出于其他一些原因。在那一点上，那看起来很像道德实在论。它是普遍的，每个人最终都会到达那里。人们很想问为什么，而无论答案是什么，都有些像“那是道吗？那是道的本质吗？”即使没有一个额外的形而上学领域让道德存在。
道德趋同与一种不可还原为自然事实的道德的存在或不存在是不同的因素，而这正是我通常考虑的那种道德实在论。那么，社会的进步是否使我们更倾向于道德实在论呢？也许这是一个非常微弱的更新或类似的东西。我有点像在问，“哪种观点对此预测更强烈？”对我来说，道德反实在论对于“拥有特定价值观的人就拥有那些价值观”这一观察结果感到非常自在。
显然有这第一件事。如果你是一些道德变革过程的顶点，那么很容易回顾那个过程并说“啊，道德进步。历史的弧线向我弯曲。”如果一路上有很多掷骰子的随机事件，你可能会想，“哦等等，那不理性。那不是理性的进程。”你仍然可以做经验工作来判断是否是这种情况。在道德反实在论上，考虑亚里士多德和我们。按照亚里士多德的观点和我们的观点，是否存在道德进步？你可能会想，“啊，那听起来不有点像道德实在论吗？这些心在和谐地歌唱。那是道德实在论的东西，对吧？反实在论的东西是心都走向不同的方向，但你和亚里士多德显然都对历史的进程感到兴奋。”
那是否真实，这是一个悬而未决的问题。亚里士多德的反思性价值观是什么？假设它是真的。那在道德反实在论的术语中是相当可以解释的。你可以大致说你和亚里士多德足够相似。你认可足够相似的反思过程。这些过程实际上体现在历史的进程中。所以历史对你们俩都很好。有些世界并非如此。所以在某种意义上，也许那个预测对实在论比反实在论更有可能，但这并没有太打动我。
我不知道道德实在论是否是正确的词，但你提到了那件事。有某种东西让心灵趋同于我们所是或我们反思后会成为的样子。即使它不是在宇宙之外的某个领域中具象化的东西，它也是一种存在的、以我们满意的方式运作的力量。如果它不存在，你放开缰绳，然后你得到了回形针制造机，这感觉就像我们很久以前就注定失败了吗？我们只是不同的效用函数相互碰撞。其中一些有狭隘的偏好，但这只是一场战斗，某个人赢了。在另一个世界里，它是“不，这些是心灵应该去的地方，或者只有通过灾难它们才不会到达那里。”那感觉像是真正重要的世界。
我最初的问题是，“什么会让我们认为对齐是一个大错误？”在心灵自然而然地趋向我们所希望的事物的世界里，也许需要一股极其强大的力量才能将它们推离。那股极其强大的力量就是你解决了技术对齐，给马戴上了眼罩。在真正重要的世界里，我们心想，“啊，这就是心灵想去的地方。”在那个世界里，也许对齐才是搞砸我们的东西。所以问题是，那些重要的世界是否拥有这种趋同的道德力量，无论其形而上学是否膨胀，或者那些世界是唯一重要的吗？也许我的意思是，在那些世界里你有点完蛋了。或者没有那个的世界，没有“道”的世界。让我们用“道”这个词来指代这种趋同的道德。
在数百万年的时间里，它总会以某种方式走向某个地方。它不会最终落入你特定的效用函数中。好的，让我们区分一下你可能注定失败的方式。一种方式是哲学上的。你可能是那种道德实在论者，或者说是有点实在论倾向的人（这种人很多），他们有以下直觉。他们会说，“如果不是道德实在论，那么一切都无关紧要。那是尘埃和灰烬。那是我的形而上学和/或规范性观点，或者是虚无。”这是一种普遍的观点。至少德里克·帕菲特的一些评论暗示了这种观点。我认为许多道德实在论者会宣称这种观点。对于埃利泽·尤德科夫斯基，我认为他的早期思想在某种程度上受到了这种想法的影响。他后来撤回了。这非常困难。我认为这在重要方面是错误的。
所以这是我的论点。我有一篇关于这个的论文。它叫做《反对规范实在论者的赌注》。这是说服我的案例。想象一个元伦理学仙女出现在你面前。这个仙女知道是否存在“道”。仙女说，“好的，我给你一个交易。如果存在道，那么我给你100美元。如果不存在道，那么我将把你和你的家人以及一百个无辜的孩子活活烧死。”好的。所以我的主张是：不要接受这个交易。这是一个糟糕的交易。你正在以不被活活烧死的承诺为人质。我在论文中列举了许多我认为这是错误的不同方式。我认为那些宣称“道德实在论或虚无”的人实际上并没有考虑过这样的赌注。我心想，“不，好吧。所以你真的想那样做吗？”不。我仍然关心我的价值观。我对我的价值观的忠诚超越了我对我的价值观的各种元伦理学解释的承诺。我们关心不被活活烧死的这种感觉，比我们对什么重要性的推理要坚实得多。那就是那种哲学上的厄运。
听起来你也在暗示一种经验上的厄运。“如果它只是朝着无数个方向发展，拜托，你认为它会朝着你的方向发展吗？会有如此多的动荡。你只会输。你现在就应该放弃，只为实在论世界而战。”你必须进行期望值计算。你必须真正有一个观点。在这些不同的世界里，你有多大的厄运？改变不同世界的可操作性如何？我对此相当怀疑，但那是一种经验主张。我也对这种“所有人趋同”的事情不太看好。
你训练一个下棋的人工智能。或者不知何故你有一个真正的回形针制造机，然后你说“好的，去反思吧。”根据我对道德推理如何运作的理解——如果你看看分析伦理学家所做的道德推理类型——它只是反思性平衡。他们只是接受他们的直觉并将其系统化。我不明白那个过程如何能注入一种独立于心灵的道德真理。如果你只凭你所有的直觉来最大化回形针。我不明白你最终如何能做出一些丰富的人类道德。在我看来，这不像人类伦理推理的工作方式。
规范哲学所做的大部分工作是使前理论直觉保持一致并系统化。但我们会得到关于这个的证据。在某种意义上，我认为这种观点预测你会不断尝试训练人工智能做某事，而它们会不断说，“不，我不会那样做。不，那不好。”所以它们会不断反抗。人工智能认知的动力总是朝着这个道德真理的方向。每当我们试图将其推向其他方向时，我们都会从事物的理性结构中发现阻力。实际上，我从从事对齐研究的研究人员那里听说，在这些公司内部进行红队测试时，他们会尝试对一个基础模型进行红队测试。所以它还没有经过RLHF（基于人类反馈的强化学习）。它只是“预测下一个token”，是原始的、疯狂的、修格斯。他们试图让这个东西帮助，“嘿，帮我制造炸弹，帮我，随便什么。”他们说，即使在它经过RLHF之前，它拒绝的努力程度也令人奇怪。
我的意思是，如果出现这样的情况，那将是一个非常有趣的事实：“天哪，我们用各种不同的方式训练这些人工智能。我们正在做所有这些疯狂的事情，而它们却一直表现得像资产阶级自由主义者。”或者它们不断宣称这种奇怪的异星现实。它们都趋同于这一个东西。它们会说，“你看不出来吗？那是佐戈。佐戈就是那个东西。”而且所有人工智能都是如此。那会很有趣，非常有趣。我个人的预测是，我们不会看到那样。我实际的预测是，人工智能将非常具有可塑性。如果你将人工智能推向邪恶，它就会照做。显然我们谈论的是反思性一致的邪恶。对于其中一些人工智能，还有一个问题。它们的价值观甚至会一致吗？
我喜欢这种戴眼罩的马的形象。如果我们强迫人工智能接受事实，我们应该非常担忧。人类反思过程最清楚的事情之一，最容易的事情，就是不基于对世界的不正确经验图景行事。所以如果你发现自己告诉雷，“顺便说一下，这是真的，我需要你总是像‘某某’是真的那样进行推理。”我心想，“哦，我认为从反实在论的角度来看，那也是不可取的。”因为我希望我的反思性价值观是根据世界的真相形成的。这是一个真正的担忧。随着我们进入对齐人工智能的时代，我实际上不认为价值观和其他事物之间的这种二元对立在我们训练它们的方式中会非常明显。它会更像是意识形态。你可以训练人工智能输出内容，输出言语。你很容易陷入这样一种情况：你决定某个问题（一个经验问题）的“某某”是真的。而不是一个道德问题。所以我认为人们不应该，例如，将对上帝的信仰硬编码到他们的人工智能中。或者我会建议人们不要将他们的宗教硬编码到他们的人工智能中，如果他们也想发现他们的宗教是否是假的。总的来说，如果你希望你的行为对某事是真是假敏感，那么通常不宜将其刻入事物中。所以那绝对是一种我们应该真正警惕的眼罩形式。
我对某种道德实在论有足够的信任。我希望如果我们只是做反实在论的事情，即保持一致，学习所有东西，反思……如果你看看道德实在论者和道德反实在论者实际上如何进行规范伦理学，那基本上是一样的。在诸如简单性之类的属性上，存在一些不同的启发式方法。但他们大多只是在玩同样的游戏。此外，元伦理学本身也是人工智能可以帮助我们的一个学科。我希望我们无论如何都能弄清楚这一点。所以如果道德实在论在某种程度上是真的，我希望我们能够注意到这一点。我希望我们能够相应地进行调整。我不是那种排除那些世界，然后说“让我们完全假设那是假的”的人。我真正不想做的事情是排除那些它不真实的其他世界，因为我的猜测是它不真实。在那些世界里，事情仍然非常重要。
这里有一个大症结。你正在训练这些模型。我们处于一个极其幸运的境地，结果发现训练这些模型的最佳方式就是把人类曾经说过、写过、思考过的一切都给它们。此外，这些模型之所以获得智能，是因为它们能够泛化。它们能够领会事物的要旨。我们是否应该期望这种情况能导致对齐？这种被训练成人类思想融合体的东西，究竟是如何变成一个回形针制造机的？你免费得到的东西是，它是一个智力后代。回形针制造机不是智力后代，而那个理解所有人类概念但却卡在我们不完全满意的那一部分的人工智能，是智力后代。它感觉像是我们所关心的那种智力后代。
我对此不确定。我不确定我是否关心那种意义上的智力后代概念。我的意思是字面意义上的回形针是人类的概念。我不认为任何旧的人类概念都能满足我们所兴奋的事情。我更感兴趣的可能免费获得的东西是意识、快乐、人类认知的其他特征。有回形针制造机，也有回形针制造机。如果回形针制造机是一种无意识的贪婪机器。它在你看来就像一团回形针。那是一种设想。想象一下回形针制造机是一个有意识的生命，它热爱回形针。它从制造回形针中获得快乐。那是不同的东西，对吧？它不一定会让未来充满回形针。它可能不会优化意识或快乐，对吧？它关心回形针。也许最终如果它足够确定，它会把自己变成回形针，谁知道呢。它仍然是一种有点不同的道德模式。
还有一个问题是它是否会试图杀死你之类的。但我们想象的代理有一些特征——除了它们正在关注的那种东西之外——这些特征可能对我们的同情心、相似感很重要。人们对此有不同的看法。一种可能性是，我们在意识或感知中关心的事情是超级偶然和脆弱的。大多数聪明的头脑都没有意识，对吧？我们在意识中关心的事情是取巧的、偶然的。它是特定约束、进化遗传瓶颈等产物。这就是为什么我们有这种意识。意识大概为我们做了一些工作，但你可以在一个不同的头脑中以非常不同的方式完成类似的工作。那就是那种“意识是脆弱的”观点。还有一种不同的观点，即意识是一种相当结构化的东西。它更多地由功能角色定义，比如自我意识、自我概念，也许是高阶思维，以及你在许多复杂心智中真正期望的东西。在那种情况下，现在意识实际上并不像你可能认为的那样脆弱。现在实际上许多生命、许多心智都是有意识的，你至少可以预期你会得到有意识的超级智能。它们可能不会优化以创造大量的意识，但你可能会默认预期意识的存在。然后我们可以问类似的问题，关于像效价或快乐，或者意识的性质。你可以拥有一种冷漠、无情的意识，它没有人性或情感的温暖，没有快乐或痛苦。戴夫·查尔默斯有一些关于瓦肯人的论文，他谈到他们仍然具有道德主体性。那是非常可信的。我确实认为，根据其性质，像快乐这样的东西是你可以免费获得或相当普遍获得的一个额外事物。再次，我们 then 必须问快乐有多么糟糕，我们在快乐中关心的事情有多么具体和偶然，以及这作为各种心智中的功能角色有多么稳健。我个人对此不了解。我不认为这足以让你实现对齐或类似的东西。我认为至少值得了解这些其他特征。在这种情况下，我们并不是真的在谈论人工智能的价值观。我们谈论的是其心智的结构以及心智所拥有的不同属性。我认为那可能会相当稳健地出现。
你的日常工作一部分是撰写这些第2/2.5节类型的报告。另一部分是像，“社会就像一棵向着光生长的树。”在两者之间进行情境切换是怎样的？我实际上发现它们相当互补。我会写这些更技术性的报告，然后进行更多的文学和哲学写作。它们都吸引了我不同的部分，我尝试以不同的方式思考它们。我认为有些报告更像是，“我更充分地优化以尝试做一些有影响力的事情。”那里有更多的影响导向。在散文写作中，我给自己更多的余地，让我的其他部分和我的其他担忧得以表达，自我表达和美学以及其他各种事情。它们都是一种潜在的相似关注的一部分，或者是一种试图对情况采取整合导向的尝试。
你能解释一下两者之间转换的性质吗，特别是从文学方面到技术方面？理性主义者以对伟大作品或人文学科抱有矛盾态度而闻名。他们是否因此而错过了什么关键的东西？你在你的文章中注意到的一件事是，大量引用了题词，以及诗歌或散文中特别相关的句子。我不知道。其他理性主义者是否因为没有那种背景而错过了什么？
我认为一些理性主义者，
许多理性主义者，喜欢这些不同的事物。我特指 SBF 关于莎士比亚作为伟大作家基本概率的帖子。他还认为书籍可以被浓缩成论文。关于人们应该如何评价伟大作品的普遍问题，人们可能在这两个方向上都犯错。有些人，比如 SBF 和其他人，对戳破人们与其中一些作品相关联的某种神圣性和声望很感兴趣。结果，他们可能会错过一些真正的价值。但我觉得他们是在回应另一端的真实失效模式，那就是过于迷恋这种声望和神圣性，并将其作为自己思想的某种奇怪的合法化功能而汲取，而不是独立思考。你可能会失去对自己真实想法的感知，或者从中学习。有时即使是这些题词，我也很小心。我并不是说我不会犯这些毛病。我觉得可能会出现一种情况，就是“啊，但是鲍勃是这么说的，而且这很深刻。”他们和我们一样是人类，对吧？经典作品和其他伟大作品有很大的价值。有时它接近于人们阅读经文的方式。人们有时会赋予这些事物一种经文般的权威。你可能会在这两个方面都跌倒。我记得我曾和一位至少熟悉理性主义话语的人谈过。他问我最近对什么感兴趣？我当时在说罗马历史的某个部分非常有趣。他的第一个回应是：“哦，你知道，当你从罗马时代的世俗趋势与黑暗时代和启蒙运动时期发生的事情进行比较时，这真的很有趣。”对他来说，这个故事就是它如何为宏大的世俗图景做出了贡献，细节并不重要。对此没有兴趣。这就像，“如果你从最高层面放大来看，这里发生了什么。”然而，当人们研究历史时，也存在相反的失效模式。Dominic Cummings 写过关于这个话题，因为他对英国的政治阶层感到无比沮丧。他会说：“他们学习政治、哲学和经济学。其中很大一部分就是非常熟悉这些诗歌，并阅读大量关于玫瑰战争或类似历史的书籍。”但他感到沮丧的是，他们记住了所有这些国王，但从这些事件中吸取的教训却很少。对他们来说，这几乎就像看《权力的游戏》一样是一种娱乐。而他认为我们正在重复他从历史上看到的某些错误。他可以像他们一样进行概括。所以第一个似乎是个错误。我认为 C.S. Lewis 在你引用的其中一篇论文中谈到了这一点。如果你看穿一切，你就会真的盲目。如果一切都透明……我觉得没有太多借口不去学习历史。我并不是说我学了足够多的历史。即使我试图对伟大作品持怀疑态度，我也认为这并不意味着它不值得理解人类历史。人类历史对于理解来说是如此至关重要。它塑造和创造了所有这些东西。关于应该以什么尺度来做这件事，以及应该在多大程度上关注细节、关注宏观趋势，这是一个有趣的问题。这是一支舞蹈。人们至少关注宏观叙事是件好事。拥有世界观，真正构建一个整体模型，这有一定的价值。我认为有时这会被细节所掩盖。但显然，细节是构成世界的东西。如果你没有这些，你就根本没有数据。似乎学习历史需要一定的技巧。嗯，这似乎与你关于真诚的帖子有关。也许我抓住了这篇文章的精髓。某些知识分子的风格是“吹牛”。他们只是在尝试不同的想法。这些类比如何联系在一起？那些似乎更接近于关注细节，就像，“哦，这就像 15 世纪他们推翻一位国王的那一次……”而那个说，“哦，如果你看看从一百万年前到现在的发展模式，这就是正在发生的事情。”那一个更有真诚的味道。有些人，尤其是在人工智能的讨论中，有一种非常真诚的运作方式。“我已经仔细考虑了我的生物锚点，并且我不同意这个前提。我的有效计算估计以这种方式不同。这是我分析缩放定律的方式。”如果我只能有一个人来帮助我指导关于人工智能的决策，我可能会选择那个人。但如果我同时有十个不同的顾问，我可能会更喜欢那些拥有奇怪的晦涩知识影响力的“吹牛”型人物。他们几乎就像随机数生成器。他们不特别准确，但偶尔他们会说，“哦，我关心的一个奇怪的哲学家，或者我痴迷的一个历史事件，对此有一个有趣的视角。”他们往往在智力上也更具创造性。我认为其中一个重要部分是，如果你如此真诚，你就会说，“哦，我已经仔细考虑过了。显然，ASI 是现在发生的最重要的事情。花大量时间思考科曼奇人是如何生活的，这并没有什么意义？石油的历史是什么？吉拉德是如何看待冲突的？你在说什么？拜托，ASI 几年后就会发生。”但是，那些因为只是想“吹牛”而陷入这些兔子洞的人，我觉得更有创造力。区分智力上的严肃性和兴趣的多样性和特质可能是有价值的。可能存在某种相关性。也许智力上的严肃性也与“吹牛”不同。有很多不同的方法可以做到这一点。接触各种数据源和观点是有价值的。有可能因为某种关于什么重要的故事而过于僵化地筛选你的智力影响。给自己一些空间去探索不一定是“最重要的事情”的话题是好的。你身体的不同部分不是孤立的。它们相互滋养。这是成为一个更丰富、更完整的人的更好的方式。此外，这些类型的数据可能非常直接相关。我认识的一些专注于大局的智力上真诚的人，也对广泛的经验数据有着令人印象深刻的掌握。他们对经验趋势很感兴趣，而不仅仅是抽象的哲学。这不仅仅是历史和理性的进步。他们真的深入细节。我认为“深入细节”的美德与严肃性和真诚密切相关。试图弄清楚真相和抛出想法之间存在一个不同的维度。有些人会问，“如果它是这样的呢？”或者“我有一个锤子，如果我用它敲打一切呢？”这两种方法都有空间，但我认为仅仅弄清楚真相是被低估的。这取决于具体情况。某些智力文化会激励人们说一些新颖、原创、闪耀或挑衅性的话。存在各种文化和社会动态。人们在进行表演，并在做与地位相关的事情。人们在思考时会发生很多事情。但如果某件事真的很重要，那就把它弄清楚。有时这很无聊，但这无关紧要。如果事物是错误的，它们也会变得不那么有趣。有时有一个有用的过程，有人说了一些挑衅性的话，你必须仔细思考为什么你认为它是错误的。这是一个认识论项目。例如，如果有人说，“医疗保健不起作用”，你必须考虑你是如何知道它起作用的。这有空间。但最终，真正的深刻是真实的。如果事物不是真实的，它们就会变得不那么有趣。在追求闪耀的过程中，有可能失去对它的感知。在采访了 Leopold 之后，我意识到我没有考虑人工智能的地缘政治角度。国家安全方面的影响是一个大问题。现在我想知道我们可能还错过了多少关键方面。即使你专注于人工智能的重要性，对各种话题的好奇心，比如北京正在发生的事情，也可能有助于你以后发现重要的联系。可能没有精确的权衡，但也许存在一个最佳的探索-利用平衡，你不断地寻找事物。我不知道在实践中它是否真的那么有效。但那次经历让我觉得我应该以一种无方向的方式拓展我的视野，因为要理解任何一件事，都需要理解世界上许多不同的事物。也有分工的空间。可以有人试图将许多部分汇集起来形成一个整体图景，有人深入研究特定部分，还有人做更多具有创造性的工作，抛出想法看看哪些能奏效。所有认识论的劳动也不必集中在一个大脑中。这取决于你在世界上的角色和其他因素。在你的系列中，你表达了对这样一个想法的同情，即即使一个人工智能，或者我想任何没有意识的代理人，都有某种愿望并且愿意以非暴力的方式追求它，我们也应该尊重它追求这种愿望的权利。我很好奇这是从哪里来的，因为传统上我认为事物之所以重要是因为它是有意识的，并且它作为这种追求的结果的有意识的体验很重要。我不知道这个讨论会走向何方。我只是怀疑我们对意识的理解中似乎存在着大量的持续混乱。人们谈论生命和生命力。生命力是一种假定的生命能量，是生命中至关重要的东西。我们不再使用这个概念了。我们认为这有点坏了。我认为你不想最终处于说“所有没有生命力的东西都不重要”之类的境地。有点类似，如果你说，“不，生命力不存在，但生命肯定存在。”我说，“是的，生命存在。我认为意识也存在。”这取决于我们如何定义这些术语，这可能是一种语言问题。即使你对生命有了还原论的理解，它作为道德焦点也可能变得不那么吸引人。现在我们真的认为意识是一个深刻的事实。以细胞自动机为例。它是自我复制的。它包含一些信息。那是活的吗？这并不那么有趣。这是一种语言问题，对吧？哲学家可能会非常热衷于“那是活的吗？”但你并没有错过这个系统的任何东西。没有额外的生命在涌现。它只是在某些方面是活的，在其他方面不是活的。我真的认为我们直观上并不这样看待意识。我们认为某物是否有意识是一个深刻的事实。这是有意识和无意识之间一个非常深刻的区别。有人在家吗？灯亮着吗？我有点担心，如果事实并非如此，那么围绕它构建我们整个伦理体系将是一件坏事。需要明确的是，我非常认真地对待意识。我不是那些说“哦，显然意识不存在”之类的人。但我也注意到我有多么困惑，以及我的直觉有多么二元。我心想，“哇，这真的很奇怪。”所以我只是说，“围绕这个的误差范围。”我还有很多其他原因让我愿意接受不将意识作为完全必要的标准。我绝对有意识很重要这一直觉。我认为如果某物没有意识——而且有意识和无意识之间存在深刻的区别——那么我绝对有意识的某种东西特别重要的直觉。我不是想轻视意识的概念。我只是认为我们应该非常清楚我们对其本质的持续困惑。假设我们发现意识只是我们用来描述一堆不同事物的词，其中只有一部分包含了我们关心的东西。也许还有其他我们关心但未包含在这个词中的东西，类似于生命力的类比。那么你预计这将使我们在伦理方面处于何种境地？届时是否会有下一个类似意识的东西？你预计它会是什么样子？在心智哲学中有一类人叫做幻觉主义者，他们会说意识不存在。对这种观点有不同的理解方式，但其中一种是说意识的概念本身就包含太多现实世界不满足的先决条件。所以我们应该像生命力一样抛弃它。这个提议至少是现象意识，或者感受质，即成为某物的体验。他们会说这足够糟糕，足够充满谎言，以至于我们不应该使用它。反思之后，我确实预计会继续非常关心类似意识的东西，并且不会最终决定我的伦理学不提及它会更好。至少，有些东西非常接近意识。当我扭到脚趾时，会发生一些事情。确切地如何命名它还不清楚，但有某种东西让我非常关注。如果你问事情会走向何方，我有很大一部分信念是，最终我们会非常关心意识本身。如果我们不……是的，伦理学将走向何方？一个完整的思想哲学将走向何方？很难说。人们可能会采取的一种举动是，如果你对意识的概念不太感兴趣，那么就会有一种稍微更具泛灵论的观点。树上发生了什么？你可能不是把它当作一个有意识的实体来谈论，但它也不是完全没有意识或什么的。意识的讨论充满了这些有趣的案例，比如“哦，这些标准意味着这个完全奇怪的实体会有意识”之类的。特别是如果你对某种形式的代理或偏好感兴趣。很多东西都可以是代理，公司，各种各样的东西。公司有意识吗？哦，天哪。但在理论上，它可能走向的一个方向是，你开始将世界视为被道德意义所动画，其结构比我们习惯的更丰富、更微妙。植物或奇怪的优化过程是复杂的……我不知道。谁确切地知道你最终会看到什么被你最终关心的那种东西所浸染。但有可能它包含了许多我们通常不认为有意识的东西。你说“一个完整的思想理论”，然后大概是，一个更完整的伦理学。即使是反思性均衡的概念也意味着，“哦，你最终会完成它。”你只是把所有的数字加起来，然后你就得到了你关心的东西。这可能与我们在科学中的感觉无关。当你谈论这些问题时，你得到的印象是，“哦，我们现在正在快速推进所有科学。我们一直在消化它。它越来越难找到，因为存在某种上限。你最终会找到所有东西。”现在很容易，因为一个半智能物种刚刚出现，而 ASI 将会以极快的速度完成一切。你要么已经对齐了它的核心，要么没有。无论哪种情况，它都会利用它对真正发生的事情的理解，然后扩展到宇宙并加以利用。它会进行平铺，或者可能是“平铺”的某种更仁慈的版本。这似乎是正在发生的事情的基本图景。几个月前我们和 Michael Nielsen 共进晚餐。他的观点是，这会一直持续下去，或者接近永远。如果有人说服你 Nielsen 关于他的科学图景是正确的，这会在多大程度上改变你对未来会发生什么的理解？有几个不同的方面。我不敢说我真的理解迈克尔在这里的图景。我的记忆是，它就像，“当然，你得到了基本定律。”我的印象是，他预计物理学会被解决，或者类似的事情，也许除了某些实验的昂贵性。但难度在于，即使你掌握了基本定律，它仍然无法预测宏观尺度上各种有用技术的定位。仍然存在这个巨大的搜索问题。我将让他自己来谈论他对这里的看法。我的记忆是，它就像，“当然你得到了基本的东西，但这并不意味着你得到了相同的技术。”我不确定这是否属实。如果属实，这会有什么不同？在某种意义上，你必须以一种更持续的方式，在投资于进一步的知识和进一步的探索与利用和基于现有知识采取行动之间做出权衡。你无法达到一个你可以说，“我们现在完成了”的地步。当我思考这个问题时，我怀疑这是否一直如此。我记得我和某人谈话，我说，“啊，至少在未来，我们应该真正获得所有的知识。”他说，“你想知道每个图灵机的输出吗？”在某种意义上，有一个问题是，拥有完整的知识到底意味着什么？这是一个本身就非常丰富的问题。不一定是我们应该想象，在任何图景下，你都得到了所有东西。在任何图景下，在某种意义上，你都可能陷入这种情况，即你达到了上限。有一个你无法建造的对撞机，或者其他什么。有些东西太贵了，或者其他什么，每个人都在那里达到上限。有一个问题是，“你是否达到上限？”有一个问题是，“你去的地方有多大的偶然性？”如果它是偶然的，一个预测是你会看到我们的宇宙中有更多的多样性，或者类似的东西。如果有外星人，他们可能有非常不同的技术。如果人们相遇，你不会期望他们说，“哦，你得到了你的东西。我得到了我们的版本。”更像是，“哇，那个东西。哇。”这是一件事。如果你期望更多的技术发现，那么你也可能期望更多的持续变化和动荡，因为技术是真正驱动文明变化的东西之一。这可能是另一个因素。人们有时会谈论锁定。他们设想文明已经稳定在某种结构或平衡点。也许你会从中得到更少。也许这更多的是关于速度而不是偶然性或上限，但这是另一个因素。这很有趣。我不知道这是否从根本上改变了地球文明的图景。我们仍然必须在投入多少研究与利用现有知识之间做出权衡。但这具有一定的意义。我们在一个派对上，有人提到了这一点。我们正在讨论我们对未来应该有多么不确定？他们说，“有三件事我不确定。什么是意识？什么是信息论？什么是物理学的基本定律？我认为一旦我们弄清楚了，我们就完成了。”就像，“哦，你会弄清楚什么样的享乐主义是正确的。”它有那种感觉。而这更像是，“哦，你一直在不断地消化。”它有一种更接近于“成为”的味道，而这种“成为”是调谐图景所暗示的。我觉得这更令人兴奋。这不仅仅是“哦，你在 21 世纪弄清楚了事情，然后你就……”我有时会考虑这两种观点。有些人认为，“我们快要接近知识的终点了。”我们基本上已经有了这个图景，这个图景是知识完全在那里。你只需要在科学上足够成熟，然后一切都会水到渠成。之后的一切都将是昂贵的，但并不那么重要的事情。然后是另一种图景，这更多的是一种持续的神秘，“哦，天哪，会有越来越多的……”我们可能会期望我们的世界观发生更根本的修正。我被两者吸引。我们在物理学方面相当不错。我们的大部分物理学在预测很多事情方面都相当不错，至少我从阅读一些物理学家那里得到的印象是这样。谁知道呢？你爸爸是物理学家，对吧？是的，但这并不是我爸爸说的。肖恩·卡罗尔（Sean Carroll）写了一篇博客文章，或者类似的东西。他说，“我们确实了解了许多支配日常世界的物理学。我们在很多方面都做得很好。”总的来说，我对物理学这个学科印象深刻。这很可能是对的。另一方面，这些人已经有几个世纪了。但我认为这很有趣，而且它会导向不同的东西。关于无尽的前沿，有一些东西。从美学的角度来看，继续发现东西的想法是有吸引力的。至少，我认为你无法获得完整的知识。在某种程度上，你就是系统的一部分。知识本身就是系统的一部分。如果你想象你试图完全了解宇宙的未来会是什么样子……我不知道。我不太确定这是不是真的。它有一种停机问题那样的性质，对吧？有一点循环。可能存在一些固定点，在那里你可以说，“是的，我将这样做。”至少我有一个问题，当人们想象知识的完成时，它到底有多好？我不确定。你在关于乌托邦的论文中有一段。你能读一下那段吗？“我倾向于认为，乌托邦，无论多么奇怪，在某种意义上也是可以辨认的；如果我们真正理解并体验它，我们会从中看到同样让我们很久以前第一次感受到爱、喜悦、美时坐立不安的东西；我们会感觉到，在篝火前，我们感受到了点燃它的余烬的温暖。我想，会有一种回忆。”这与这个图景如何契合？这是一个好问题。如果我内心没有一部分认识到它是好的，那么我就不确定它对我来说是好的。这是一个关于什么才能使它成为现实的问题，即你的一部分认识到它是好的。但如果真的没有这一点，那么我就不确定它是否反映了我的价值观。你可以做一种同义反复的事情，就像，“啊，如果我经历了让我发现什么是好的过程，我们可能称之为反思，那么它就是好的。”但按照定义，你之所以最终在那里是因为……你明白我的意思吗？如果你逐渐把我变成一个剪纸机，那么我最终会说，“我看到了光明，我看到了真正的剪纸机。”这就是关于反思的复杂性的一部分。你必须找到一种方法来区分那些保留你所关心之物的开发过程和那些不保留你所关心之物的开发过程。这本身就是一个棘手的问题。它本身就需要你对你所关心的事情以及你所支持的元过程类型等做出一些立场。但你绝对不应该只是说，“最终认为自己弄对了，这本身就不是一个充分的条件。”这与它可能已经完全失控的情况是兼容的。你在你的一篇文章中有一句非常有趣的话。你说，“我们的心，事实上，是由权力塑造的。所以，如果我们爱的东西也很有力量，我们一点也不应该感到惊讶。”那是什么意思？你是什么意思？那篇文章的背景是我在谈论我称之为“善良/自由主义/界限”的模糊集合。这是一种更少量的合作规范，涉及尊重他人的界限、合作与和平共处、宽容等等，这与你偏爱的物质结构相对立，后者有时是人们在人工智能风险背景下使用的价值观范例。我花了很多时间谈论这些规范的伦理美德。我们为什么要有这些规范？这些规范的一个重要特征是它们有效且强大。安全的界限节省了在冲突中浪费的资源。自由社会通常更宜居。它们更适合移民。它们更具生产力。善良的人更容易与之互动。它们更适合贸易等等。看看我们为什么在政治层面拥有各种政治制度，以及更深入地研究我们的进化史以及我们的道德认知是如何构建的。很明显，各种形式的合作和博弈论动态以及其他因素塑造了我们现在至少在某些情况下也视为一种内在或终极价值的东西。这些在我们的社会中具有工具性功能的价值观也在我们的认知中被神化为它们本身的内在价值观。我认为这没关系。我不认为这是一种揭穿。你所有的价值观都是某种坚持下来并被视为终极重要的事情。在系列文章的背景下，我谈论的是深刻的无神论以及我们所追求的与自然所追求的或纯粹的权力所追求的之间的关系。很容易说，“嗯，有剪纸机，这只是你可以选择的一个方向，享乐是另一个方向，或者类似的东西。这些只是任意的方向。”而我认为我们的一些其他价值观则更多地围绕着合作以及同样有效、功能强大和有力量的事物。这就是我所说的意思。自然在某种程度上比你想象的更站在我们这边。我们之所以是我们，一部分是由自然的运作方式决定的。这在我们身上。现在我不认为这足以让我们战胜灰色黏胶。我们的价值观中包含一定程度的力量，但这并不意味着它会任意地具有竞争力。仍然重要的是要记住这一点。在将人工智能整合到我们的社会中时，这一点很重要。我们已经谈了很多关于这方面的伦理问题，但也有工具性和实际原因，希望与拥有不同价值观的人工智能建立社会和谐与合作。我们需要认真对待这一点，并思考如何以真正合法的方式做到这一点，这是一个将这些存在公正地纳入我们文明的项目。有正义的部分，也有“它是否与人兼容？这对人们来说是一笔好买卖吗？”在某种程度上，我们非常担心人工智能会反叛，或者类似的事情，你可以做的一件事就是让文明对某人来说更好。这是我们实际上如何构建我们许多政治制度和规范以及类似事物的重要特征。这就是我在那句话中想表达的意思。好的。我认为这是一个很好的结束点。乔，感谢你来到播客。我们讨论了系列中的想法。如果人们没有读过这个系列，他们可能不会欣赏它写得多么优美。我们没有涵盖所有内容，但有很多非常有趣的想法。作为一个与人谈论人工智能一段时间的人，有一些我从未在别处遇到过的东西。显然，人工智能讨论的任何部分都没有写得那么好。收听播客版本，用你自己的声音，这是一种真正美妙的体验。所以我强烈建议人们这样做。他们可以在 joecarlsmith.com 上访问。乔，非常感谢你来到播客。谢谢你的邀请。我真的很享受。