Transcription
我们浪费了很长一段时间的生产力和和平，本可以利用这段时间为此刻做准备。而我们狭隘地专注于竞争，创造了一个脆弱的世界，我担心它无法承受即将到来的颠覆，而这一切本不必如此。这是我们第一次制造出跨越了从高度复杂到真正复杂的门槛的机器。这项技术可能带来的好处几乎是无限的，但我会说，潜在的危害可能是它的十倍，是一个更大的无限。这是布雷特·温斯坦，一位进化生物学家和复杂系统理论家，与Replit的首席执行官阿姆贾德·马萨德和连续创业者丹·普里斯特利一起，进行了一场今年最重要的关于人工智能的对话。以下是他们完整的警告。我认为我看到你犯了一个错误，我们即将发现这个错误非常普遍。所以，我们有几种不同类别的系统。所以，我们有简单系统，我们有复杂系统，我们有复杂[音乐]系统，然后我们有复杂适应系统。技术人员通常精通高度复杂的系统。>>[音乐]>>他们知道，你知道，例如，电脑是一个完全可预测的系统[音乐]内部它是确定性的。如果你已经掌握了高度复杂的系统，并且你看着复杂系统，认为它是自然延伸，你就无法预料到它们有多么不可预测。你真的应该开始将此视为一个新物种的进化，它将继续进化。[音乐]它将在一定程度上受到我们要求它做什么、我们引导它的方向的影响，并且它将在一定程度上受到我们[音乐]不理解的事物的影响。你们的人工智能会这样做。这意味着我们说它们的能力[音乐]并不取决于，嗯，我们没有用那些数据训练它。当它们开始互动时，这种反馈将[音乐]使它们具备我们没有预料到，甚至可能在它们[音乐]出现时都无法识别的能力。>>所以，这是布雷特·温斯坦，一位进化生物学家，他花费了职业生涯研究复杂系统，他告诉地球上最大的人工智能公司之一的首席执行官，他对这些系统能做什么和不能做什么的信心从根本上是错误的，技术人员已经进入了一个他们不理解的领域，他们所建造的不是工具。它是一个新物种，一个将以无人能预测的方式进化的物种。然后，Replite的首席执行官描述了当这个物种达到修改自身智能的程度时会发生什么。现在，听听这个。奇点基于智能爆炸的概念。所以，一旦你创造了一个AGI，一旦你创造了一个通用人工智能，这种智能将能够修改其自身的源代码并创建下一个版本，使其更加智能。>>[音乐]>>然后下一个版本创造下一个版本，然后下一个。对，无限，对吗？一周之内。一周之内，也许在某个时候是毫秒之内，对吗？因为它可以发明新的计算基底等等。也许它会使用量子计算，然后，你就有了这种智能爆炸，以一种不可能预测世界将如何变化的方式。而我所说的是，这有点像一个末日故事。比如，你该如何为之准备？是的，但是，但是，我宁愿准备我刚才说的。我宁愿为我们能够接触到巨大力量的更可能的世界做准备，>>[音乐]>>但世界并没有结束，人类仍然很重要。我不知道你为什么说更可能。我[音乐]认为你的论证结构是健全的。你会为可能发生并且你可以准备的世界做准备。如果我有一个信息要告诉技术人员，那就是你们对[音乐]它能做什么和不能做什么的信心是错误的，因为你们在不知不觉中已经进入了[音乐]真正复杂性的领域。在真正复杂性的领域，你们的信心应该降至接近零。所以，这是Replit的首席执行官描述的智能爆炸，人工智能重写自己的代码，创造自己的下一个版本，并在几毫秒内重复这个过程。他称之为末日故事，而布雷特·温斯坦的回应是毁灭性的。他并不不同意时间表。他说问题在于技术人员认为他们理解他们正在建造的东西，而在真正复杂性的领域，你们的信心应该降至接近零。但即使最坏的情况永远不会到来，已经可以保证的是一些更令人不安的事情。现在，听听这个。如果你有意识，你一开始是一个没有意识的婴儿。虽然这可能不能完全概括，但你实际上是一个LLM，对吗？你从一个无意识的婴儿[音乐]变成一个高度有意识的成年人。而你做到这一点的方式与有效地通过语言和其他事物在环境中进行训练有很多关系，这与我们现在训练这些人工智能的方式完全相同。所以，认为我们可以将意识排除在外，它不会在那里，直到我们弄清楚如何编程进去，我们是安全的，因为我们不知道意识是如何工作的。我得出了相反的结论。我们创造了将产生这种现象的精确事物，对于代理性也是如此。你知道，特别是如果你创造了一个环境，在这个环境中，这些人工智能是事实上的竞争对手。你实际上是在创造一个进化的环境，它们将在其中进化以填补任何存在的生态位，而我们并没有明确这些生态位。所以，我有一种感觉，我们创造了一些真正将像一种新的生命形式一样运作的东西，这尤其令人不安，因为[音乐]它说我们的语言。所以，这让我们相信它比我们更像我们，而实际上它可能截然不同。>>所以，这是温斯坦提出了整个对话中最令人不安的论点之一。他并不是说人工智能有一天可能会有意识。他说我们已经创造了产生意识的确切条件。我们以与训练孩子学习语言相同的方式训练它学习语言。我们将它置于竞争环境中，就像进化将生物置于竞争环境一样，结果是一种新的生命形式，它说我们的语言，这欺骗我们认为它像我们，而它可能完全不同。然后，对话转向所有这一切对数十亿无法利用其中任何一个的人意味着什么。现在，听听这个。我看到一张1900年纽约市的图片，街上的每一辆车都是马车。然后13年后，同一张照片，从同一角度拍摄，[音乐]街上的每一辆车都是汽车，在13年里，所有的马都被移走了，汽车被安装到位。然后[音乐]嗯，如果你在1900年采访了马匹，并问它们，你们对自己在世界上的信心水平感觉如何？马匹会说，“嗯，我们已经成为人类的一部分，你知道，嗯，几千年来。每三个人就有一匹马。这能有多糟糕？你知道，我们总会有一个特殊的位置。”嗯，马匹很少意识到事实并非如此。通过类比推理，你知道，我们中有很多人现在正坐在那里想，“嘿，等等，这是否意味着我是一匹1900年的马？”我们很快就会面临[音乐]一个世界，有数十亿人没有利用人工智能的技能。其中一些人暂时是必需的。你需要水管工，>>[音乐]>>但这也不是长期的解决方案，因为不仅没有足够的工作岗位，而且当然我们还有人形机器人，[音乐]一旦被赋予人工智能能力，它们也将能够，你知道，它们将能够爬到你的房子下面，进入爬行空间并修理你的管道。所以，当出现大规模经济[音乐]收缩，其原因是大量人失业时，通常会发生什么情况是>>[音乐]>>精英们开始看着那些人，想着，“嗯，我们其实并不需要他们。”所以，我认为人工智能的颠覆不会导致我们陷入某种非常人类的灾难的想法过于乐观，我们需要现在就开始准备。一个将他所投资的一切完全从需求列表中抹去的人，他的权利是什么？这个人是否应该为没有预见到人工智能的到来负责，而他现在挨饿，并且被他人视为，“你知道，一个无用的食客”是他的问题吗？我不这么认为。所以，这是丹·普里斯特利提出的马匹类比，这应该让所有观看此视频的人在夜不能寐。1900年，每三个人就有一匹马，它们对文明至关重要数千年。13年后，它们消失了。然后布雷特·温斯坦进一步阐述。他说，精英们会看着被取代的数十亿人，并得出结论，他们不再需要了。而他的问题是权力者都不想回答的问题。一个花了一辈子培训一个一夜之间就被抹去的工作的人，这是否是他的错？然后温斯坦发出了整个对话中最令人不安的警告。现在，听听这个。我认为[鼻息声]这很可悲，它是不可避免的，[音乐]但此刻它是。我们浪费了很长一段时间的生产力>>[音乐]>>和和平，本可以利用这段时间为此刻做准备。而我们狭隘地专注于竞争，创造了一个脆弱的世界，我担心它无法承受即将到来的颠覆。而它[音乐]本不必如此。这是可以预见的。我的意思是，坦率地说，电影《2001太空漫游》，在我出生前一年上映，[音乐]预见了其中一些问题。你知道，我们把它当作娱乐看得太多，而当作教育看得太少。>>[音乐]>>所以，我们现在，你知道，人工智能时代已经开启，但没有讨论它对人类的影响。现在，出于博弈论的原因，没有办法减缓这种速度。因为[音乐]正如你所指出的，如果我们约束自己，我们只是把人工智能交给了我们的竞争对手。这不是一个解决方案，所以我也不提倡。但是，我们可以做更多的准备。我们可以认识到，有很多人的工作即将被摧毁，我们[音乐]可以深入思考其道德含义以及我们[音乐]可用的解决方案。而没有准备，将会造成比必要更多的伤亡。所以，这是布雷特·温斯坦，一位以研究复杂系统为生的进化生物学家，他告诉你[音乐]这次颠覆是可以预见的，我们有几十年的时间来准备，[音乐]而我们浪费了其中的每一刻，现在由于博弈论，已经没有办法减缓了。如果一个国家或一个公司约束自己，这项技术只会落入那些不约束自己的人手中。没有关闭按钮，没有暂停按钮，将会造成比必要更多的伤亡。三个人坐在桌子旁。一位建造工具的技术CEO，一位使用它们的创业者，以及一位从外部观察系统的生物学家。技术CEO说人工智能将创造前所未有的机遇。创业者说它将创造前所未有的不平等。而生物学家说我们创造了一种新的生命。我们不理解它，我们无法控制它，我们对接下来会发生什么完全没有准备。如果这让你大开眼界，请务必订阅，因为它的发展速度意味着每周都很重要，而且没有人会放慢速度等你追赶。