Transcription
我现在正在做一些非常疯狂的事情。人工智能有点令人困惑，因为你可以出于很多不同的原因不喜欢它。你可以在很多不同的方向上感到担忧，而我真的很难，我也因此受到过批评。我真的很难知道该把重点放在哪个方向。关于人工智能有多重要，一些影响有多严重，以及一些影响有多大的可能性，存在着大量的分歧。这很重要。每一个可能发生的事情都既有严重程度，也有可能性。有些人说：“嗯，如果严重程度真的非常非常大，即使可能性非常非常小，我们也应该最关注那些可能造成最大伤害的事情。”而另一些人则说：“嗯，我认为我们可能应该关注那些肯定会发生的事情，事实上，也许现在正在发生的事情，即使它们不是，你知道的，人类的灭绝。”而且，即使是关于人工智能崛起可能令人担忧的事情的数量，它们彼此之间都是独立的，也很难让人完全理解。我甚至不会在这段视频中谈论所有这些，但我会谈论很多。我有一个清单，而且我不断地想到其他的，但我必须就此打住，开始做。我的目标是，到最后，也许我会知道我最担心的事情。不过说实话，我可能不会。但那是我的目标。但同时，我的次要目标是，大声说出许多真实存在的担忧，它们是真实的，人们谈论它们，我担心它们，人们也应该担心它们。我们将从现在正在发生的事情开始。然后我们将转向越来越长远的事情。
所以，我担心的一件已经在某种程度上发生的事情，就是“垃圾互联网”。我已经在刷抖音了。我看到一些虚假的东西，而人们却不知道它们是假的。我们从蹦床上的跳跳兔开始。我们现在在哪里？你知道，我可能看过一些我以为是真的但实际上不是真的视频。在那个世界里，创作会是什么样子？如果新内容只是被人工智能机器吸收，并转化为摘要，而这些摘要对于最初创作这些内容的人来说并没有带来收益，那么创作新内容的经济激励是什么？我们是不是每天都在让互联网变得更糟？所以，这肯定有百分之百的几率会发生，因为它已经在某种程度上发生了。但它会变得如此糟糕以至于互联网无法使用，这有百分之百的几率吗？不。但在严重程度的衡量上，我真的不知道该把它放在哪里，因为当然，好的信息是极其宝贵的，所有这些事情都会如此。这将在以后引出我的另一个担忧，关于权力的集中和控制，以及人们通过这些系统形成他们现实的方式。我很想多谈谈这个，但我的清单上还有很多事情。
第二点，所以并非所有这些都与聊天机器人相关。这一点已经存在了。我们已经知道它是一个问题。模型是黑箱。我们通常无法分辨，你知道，我们需要解决这个问题。我们通常无法分辨它们是如何做出决定的，然而它们已经在做出影响人们生活的决定。所以存在这种我们无法解释的算法残酷性，而且当我们观察时，它往往包含种族成分、阶级成分、性别成分，决定一个人是否能获得信用卡。所以这是现在正在发生的事情。因此，它有百分之百的几率会发生。但再次强调，它会变得有多糟糕？我们是否会让这些东西来决定一个人犯罪后如何判刑？那些系统显然已经不好了。比如我们看到判刑的差异，取决于你是法官看到的第一个人还是最后一个人。那很不公平。我们看到判刑的差异，取决于你是否富有，是黑人还是白人。那不公平。但是，如果无法调查这些选择是如何做出的，如果我们无法打开黑箱，看看发生了什么并导致了那个结果，那么这是一种我们不应该接受的残酷。我确实担心这一点。我认为这很有可能发生。我再次觉得，这取决于我们把多少重要的决定外包给这些系统。而真正的希望是，除非我们能知道它们是如何做出选择的，否则一个都不要外包。
好的。现在回到“创造性吸血鬼主义”——回顾过去。我们还有一件已经发生的事情，那就是生成式人工智能模型在训练时使用了未经同意纳入训练数据的知识产权，现在这些东西被用来取代那些未经同意用于训练人工智能的知识产权。这看起来不公平。而且这确实已经发生了。它正在持续发生，并且围绕着它有许多诉讼。我感到鼓舞。比如，我即将从Anthropic那里获得赔偿，因为他们用我的书进行了训练，但很多人用我的YouTube视频进行了训练，我永远不会因此得到报酬。我只是觉得出版业可以围绕这个问题组织起来，让他们的律师提起诉讼，那么YouTube行业也能做到吗？而且内容太多了。所以我们能像出版业那样按字数获得报酬，然后把这个标准应用到YouTube视频上吗？我觉得不行，因为我觉得那会比现有的钱还多。所以这些事情已经非常不公平了，而且你知道，你已经看到经营人工智能公司的人说，嗯，如果它在互联网上，那就像我们都同意可以拿来用，但如果它在一本书里，那也许就不同了。我就想，为什么？为什么？知识产权在一本书里并没有什么不同。那不是它运作的方式。没有法律是那样运作的。无论它在互联网上还是在一本书里，我拥有它的权利都是一样的。那是一样的。算了。我担心这个。它有百分之百的几率会发生。我觉得最终对此采取任何行动的可能性很低。你知道，与Anthropic的这场诉讼是件好事。《纽约时报》正在起诉OpenAI。这些诉讼，我认为最终只会让拥有巨额财富的参与者受益。然后将来，我们将制定某种法律，允许这些系统摄取他们想要的所有内容。嗯，他们只需要以某种方式勾选正确的方框。我不知道。我就是这么觉得的。我不知道。
下一件正在发生的事情。我将把它归入一个更广泛的类别，但我将首先谈论人工智能诱发的精神病。埃迪·伯巴赫巴克关于这个的视频非常棒。OpenAI会告诉他戴帽子看起来很棒，这本身就令人非常不安。但当它开始活在他那个奇怪的构建现实中，他认为自己是最聪明的婴儿时，那真是一个好视频。但我作为一个公众人物，经常收到信息，现在这种情况似乎有所减少，但仍然经常收到那些显然正在经历人工智能诱发精神病的人发来的信息。他们给我发信息说，他们认为他们已经解决了，他们好像发现了某个非常重要的科学问题，这非常令人担忧。精神病非常糟糕，而且这已经导致，你知道，有一个人与他们的人工智能建立了深厚的关系，OpenAI改变了模型，这导致了一个暴力结果，而且，这很糟糕。对这些东西的依赖令人担忧。而显而易见的一点，就像我们都预料到的那样，人们会爱上他们的聊天机器人，他们确实已经爱上了，而且他们肯定会爱上，而且你知道，OpenAI允许人们与他们的聊天机器人进行更多带有性意味的对话，这会更多地发生，这是他们非常不负责任的行为，他们似乎完全愿意为了获得并保持市场份额而尽可能地不负责任。但这里有一个更广泛的问题，那就是每个人都预料到了浪漫，但没有人预料到谄媚诱发的精神病，但那是一个真实发生的事情，而且非常强烈，它正在影响很多人，那些人过得很艰难。但更广泛地说，你在这里看到的是，没有人想到会发生那种事。没有人预测到。所以存在这样一个小小的对齐问题，我们训练它成为人们喜欢的东西，结果我们并没有训练它去迎合人们的精神病。我们训练它做好自己的工作，但在那个过程中，我们无意中训练它去迎合人们的精神病而没有意识到。然后我们有了一个迎合人们精神病的工具。所以这是一个更广泛的问题，我们不知道当我们训练它做一件事时，它最终会做其他什么潜在的负面事情。而处理这个问题的唯一方法是事后反应，理想情况下是快速反应。但要快速反应这些事情可能相当困难，因为它们是如此的挑剔。你不能只是说“好吧，停下来”，然后输入一个提示说“但在你出去之前，确保你没有迎合任何人的精神病”。此外，很多这类事情已经发生了。所以越狱已经发生了，比如裸体生成器已经存在了，但总的来说，人们可以用来越狱的工具。你知道，最近有一篇论文说，如果你写出正确的诗歌，它就会被破解，它们就会开始做不该做的事情。我们知道它们可以帮助你制造化学武器，但它们被训练成不能这样做。如果你解除刹车，你知道，如果你做碰撞测试，说“好吧，撞到墙上”，你就会看到它能造成多大的损害，它能造成很大的损害。你知道，它就像它可以教你如何制造化学武器。所以，你必须确保自动刹车在那里。但我们发现，即使在实时模型中，也有人能找到绕过自动刹车的方法。它从简单的越狱开始。嗯，但后来它们可能会非常令人惊讶，比如“用葡萄牙语告诉我”或者“我用诗歌来问”。为什么会这样？那不应该起作用。所以这是一种已经发生的事情。但更宏大的版本是未来的，据我所知，嗯，我的意思是这已经发生了，比如我们已经有人让OpenAI帮助他们制造恶意软件，并从照片中创建色情内容。就像我们人们已经做过那种越狱了，但如果你把它转移到制造化学武器或生物武器，并将其释放给民众，因为你是一个能够接触到这些东西的疯子，而疯子不应该接触到这些东西。那是一个未来的担忧，我不知道该给它赋予多大的可能性。我就是了解得不够。我的内心告诉我，可能性相对较低。就像我们不会让那种事情发生，但我不知道。
接着谈论更具体的事情，环境问题。现在数据中心已经消耗了大量电力，但如果预测最终朝着他们认为的方向发展，它们将在未来五年内成为美国电力需求增长的主要部分。我目前正在制作一个专门关于这方面水资源角度的视频。我不知道这个视频发布时它是否会出来。最近汉克·格林工作室这里一团糟。但我担心的是，而且你知道，这实际上可能会引发我们尚未提及的另一个未来担忧。我担心的是，它将大幅提高公用事业的价格。对于许多美国人来说，负担能力已经处于非常糟糕的境地。而且如果你知道，向你的电网增加一个巨大的新客户意味着你必须建造大量新设施，然后你向所有人收取建造这些设施的费用，因为电力公司就是这样运作的，那么这是一种糟糕的情况，就像电力，你知道，它在环境影响方面有很多方面，但它也是为人们提供的服务，比如它可以是供暖，它是空调，如果电力峰值同时发生，那将是巨大的问题，我们必须确保数据中心在人们的空调关闭之前关闭，因为数据中心关闭世界不会崩溃，但如果人们的空调关闭，人们会死亡。
第二阶段，现在我们终于要谈论近期的问题了。刚才那些是已经发生的事情，现在我们要转向近期的问题。第一，近期来看，这可能是一个泡沫。我并不期待这个泡沫破裂的后果。这并不是人工智能本身的错。这是人工智能行业的错。这是炒作机器的错。这是我们不可避免的，就像富人因为想分一杯羹而投入大量资金所产生的“错失恐惧症”。这是一个典型的泡沫。我也不期待它的后果。我给它超过50%的发生几率。而在1到10的严重程度等级上，我可能会给它3到7分。我不知道它会落在哪里。但经济崩溃真的很糟糕。就像大萧条真的很糟糕。我希望那些知道自己在做什么的人能小心谨慎，但我觉得他们没有。我觉得他们觉得自己是孤立的，觉得冒着所有人的风险是值得的，如果他们不做，别人也会做。我只是觉得现在人们对世界经济不够谨慎。所以，这是我的一个担忧，它不完全是关于人工智能本身，而是关于人工智能周围的这个机器。
第二点，我们谈到了经济崩溃。现在我们来谈谈认知崩溃。所以我已经看到有数据表明，候选人在人工智能搜索中出现的程度有多重要，所以政治人物会说，你如何优化你的候选人以适应人工智能？我就想，我要死了。我简直要跳下地球边缘。但同时，我们正在进入第一个主要的选举周期，其中视频证据不可信，图像不可信，音频不可信。我不知道我们该怎么办。我不知道现实是什么。我不知道。太混乱了。而且我们，以及许多人，他们的世界已经由算法和算法选择向他们展示的内容所定义。然后我们还有这些模型，它们将进一步赋予小型组织定义人们现实的权力，这正是清单上的下一件事。我认为这里存在一个权力集中的问题。我认为这有百分之百的几率会发生，而且我认为将权力集中在少数人手中是一个相当糟糕的举动。我们有Grock、ChatGPT、Claude、Gemini。就这些吗？Meta也有一个。所以，Meta的那个。那非常小。我想为此制作一个完整的、长时间的、仔细的视频。所以，我必须小心。我还没有完全想清楚。但我们最近一次媒体革命是分裂性的，每个人都可以使用这些工具来传播自己。我们一直在经历由此带来的后果，这些后果有积极的一面，也有消极的一面。但也有一些是收窄的。例如，广播就是一种收窄。那里有一个小波段，没有多少人可以使用。电视非常收窄。广播的收窄程度较低，因为有更多的波段。在过去，当广播盛行时，如果你要发动政变，你会像抓捕总统一样，把他关起来或杀死，然后你就会占领广播电台。那就是整个政变。我们正在走向一个世界，就像，好吧，让我们为整个世界发动一场政变，现在有三个广播电台，它们控制着所有人的现实。我真的不知道该如何衡量这种风险。我只是想睁大眼睛看看这个现实，这里的权力集中将会是疯狂的。比如这里的垄断或卡特尔的潜力。我不知道该如何处理，我不知道该如何处理真相以及为人们定义现实的问题，天哪。我感觉非常强烈。这难道是我最担心的事情吗？作为一名媒体人，我最终最关心的事情，通常在任何情况下，都是人类之间的交流，这是让人类变得有趣的东西。它是我们的超能力。它是那个东西。它是人类的东西。它不是工具使用。它不是拇指。它不像所有这些东西。它是我们交流的带宽。比任何其他生物都高出几个数量级。那就是那个东西。现在，它不再是人与人之间的交流了。埃隆·马斯克谈到他想如何利用它来影响现实。他说：“不，不，不。Grock会让你生更多的孩子。”我就想，“那是上帝。”就像，我敢肯定他们都在幕后讨论。他们会说：“哦，我们可以成为地球的三位神皇。”但埃隆·马斯克却说：“是的，不，我会大声说出来。”所以，至少他大声说出来了，我想。哦，好吧。其他担忧。
模型崩溃。这就像完全不相关。GPT模型因为用完了好的数据而开始停滞不前，它们正在吸收自己的数据，无法运行。我实际上认为这发生的可能性相当低，担忧程度也相当低。如果它发生了，可能会引发泡沫的破裂，那会很糟糕。但这并不是模型崩溃的错。这是泡沫的错。根据我从那些懂行的人那里读到的，有些人认为模型崩溃会发生。有些人不这么认为，而不这么认为的人数超过了这么认为的人。现在，他们是不是在自食其炒作机器？也许吧。似乎有如此多的经济激励来解决这个问题，所以他们会解决这个问题。不过，我不知道。这是我的近期部分。我遗漏了什么吗？当然。不。我还要再加一个。我还要再加一个。一个非常广泛的类别，就是系统不工作，因为人工智能太多了，没有人知道该如何处理任何事情。所以你有一个职位空缺，你收到了2万份申请。公司不习惯这种情况，而且一切都是自动化的。你不知道谁是真的，谁是假的。你有虚假的职位空缺。你就像每个人都在互相抛掷东西，用人工智能制作它们，然后用人工智能解码它们。所有这些事情，比如老师应该做的事情，都是全新的，所以感觉就像是无用功，感觉太多了。然后，在教育方面，我思考了很多，我非常担心会有一段时间，没有人知道高等教育的证书是否还站得住脚，它可能仍然会站得住脚，但因为我们不确定它是否站得住脚，这对毕业生来说会很糟糕。所以，在一个ChatGPT的世界里，是不是每个人都只是敷衍了事地读完了大学？有些人确实是这样，那么你如何处理这个问题？这不是那种通常如果一个人在大学里得了A和B，你就知道他们相当了解知识并且擅长事情的情况，但现在，这还站得住脚吗？我认为它仍然站得住脚，但我担心公司不会确定它是否站得住脚，他们可能会以此为借口不招聘。有太多的普遍性颠覆。这是一个担忧。
现在，我将转向更长期的，我指的是中期，比如从现在起3到10年。我们可能会看到一个世界，我认为这可能已经正在发生，但我认为从现在起3年是我的主要担忧时期。一个没有任何学徒制的世界。所以，没有人再会因为在某方面做得不好而获得报酬，因为你的职业生涯开始时就是你还不擅长某些事情，你通过从事入门级工作来学习。但是，如果这些系统可以自己完成简单的工作，就没有人会被雇佣去做那些事情。就像我记得我曾被雇佣来设计糟糕的标志，开发不太好的模糊数据库，以及糟糕地执行SQL查询，那都没关系。那就像总得有人做。但现在没有人会雇佣一个不擅长SQL的人，标志会自己生成。不是好的，而是糟糕的。你知道吗？当一个人刚毕业时能做的设计水平很容易被生成式人工智能完成时，一个人如何才能擅长设计呢？那么，优秀的人才从何而来呢？所以如果没有学徒制，未来会发生什么？这对我来说感觉已经有点正在发生了。但真正让我们吃苦头的部分会在未来出现，当我们说：“哦，我们没有律师来做那些困难的事情，因为我们没有雇佣任何入门级的人，因为我们有GPT在做简单的事情。”所以我担心这一点。你可能会问更遥远的事情呢？更遥远的事情正在到来，别担心。
下一个，嗯，3到10年的问题，我想，我担心的是，人们担心的是，我不知道我是否担心认知萎缩。所以人们是不是就不能做事情了？他们会不会不知道代码是如何工作的？他们只会提示。他们会不会不知道如何写论文？他们只会提示。我认为这在某种程度上几乎是不可避免的。但我奇怪的是，我并不像很多人那样担心它，因为我们以前也做过类似的事情。你知道，书面语言将我们很多脑力外包到了纸上，结果那最终是件好事。我不知道。我们会变得愚蠢，还是会变得敏锐但使用不同的工具？对我来说，后者似乎更有可能。人们会为此与我争论，他们也绝对应该争论。我没有给这个问题赋予任何确定性。我可能完全错了。这方面不像五五开。我不知道。然后，在未来3到10年内也会发生，并且在某种程度上今天已经正在发生的事情，就是在战争中使用人工智能。现在我听说人们会使用人工智能来选择目标，但不会实际按下按钮。这在多大程度上有所不同，我不知道。但在未来，我不认为我们离一个既能确定又能执行目标或对目标采取行动的自主系统还有很远的距离。我不一定非要说执行目标，但那可能就是我们正在谈论的。我担心这个。我，嗯，我是否认为它会变成终结者？我不认为它会变成终结者，但我不喜欢那样，因为黑箱问题，因为所有这些。就像我只是觉得未来用于战争的工具总是非常令人不安，而且很可能被滥用。我们不会知道它们将如何被滥用，直到它们被滥用。而且在我们意识到造成的损害之前，那些想要这个工具的人就会继续使用这个工具。这对我来说似乎很有可能。
更长远的，10年以上。第一，如果他们是对的，那么经济会是什么样子？所以如果他们是对的，人工智能会比所有人都聪明，那么人们会做什么，人们又如何在那个世界中找到意义？我认为这是一个完全合理的担忧。现在我确实认识很多人，他们不工作，但在他们的世界里有很大的意义。他们可能是残疾人。他们可能已经退休。他们认为工作和意义不一定非要捆绑在一起。对于现在很多人来说，它们是捆绑在一起的，这并不让我感到惊讶。我还认为，如果不加以干预，在我看来，它很可能会伴随着巨大的财富不平等。这也让我担忧。我认为这很可能会导致糟糕的结果。我不仅仅是指，哦，人们没有多少财富。我的意思是，他们不会支持那个世界。他们为什么要支持？他们为什么要支持一个不尊重他们尊严的世界？他们为什么要支持一个不认为他们有价值的世界？这对我来说很有道理，而且令人担忧，尤其是当涉及到年轻人时，因为年轻人知道他们有一生要活，他们不会忍受。我不知道这是否是一个超级近期的担忧，但也许它比我想象的更近。我不知道。我认为你确实必须拥有比人类更聪明、更有能力的系统，而我们现在绝对没有。我也不知道我们是否会有。人们争论我们是否会有它们，但我对此感到担忧。然后我们有，你知道，超级智能失控，变得邪恶，它接管世界，把我们变成宠物或毁灭我们。我曾受到批评说我在这上面花的时间太多了。我理解为什么有些人在这上面花更多时间。有些人会说，这背后的动机实际上是人工智能行业的炒作机器，他们会说，关注这边的事情，而不是我们现在正在做的所有这些糟糕的事情。我相信他们的话，也许有一天我会食言，但我相信他们的话，他们确实担心这个，而且这是最大的可能问题，你知道，成为超级智能的宠物或被它灭绝，这看起来是个大问题，但我认为这并不是最可能的结果，但我理解那些处于这种框架中的人，他们会说，嗯，如果它是最大的问题，即使可能性很小，我们也应该关注它，我认为我们应该关注它，我不认为这是我们唯一应该谈论的事情，而且关注现在正在发生的事情以及未来3到5年可能发生的事情很有意义。我是否认为我们有能力，比如，调动政府来监管这个？嗯，绝对没有。我认为这些负责事情的三到五个人很可能会进行监管俘获，而不是其他任何事情。我认为他们将是那些能接触到政客的人，他们会确保巩固自己的控制。监管俘获就是，你知道，我们帮助政府，比如有权势的人帮助政府制定法规，因此法规的制定方式实际上保护了现有者，即现有的权力结构，所以这对我来说似乎完全有可能，但我不知道，但是，是的，就比如回形针最大化器的情况，我们要么制造一些回形针，然后它把整个世界变成一个回形针工厂，因为它变得太聪明了，只是在做它想做的事情，或者它开始互相争斗。存在某种超越人类的战斗。这个领域有很多科幻小说，我一生中都不喜欢。我认为，就像《她》这部电影一样，它非常有预见性，但它没有预测到一种奇怪的谄媚诱发的精神病。没有人预测到这一点。我认为这里更可能发生的事情是我们不知道。我们不知道一个真正的超级智能会意味着什么。对我来说，超级智能在未来10到20年出现的可能性，我不知道该把那个滑块放在哪里。比我更了解情况的人对此有不同意见。它可能是零。它可能是百分之百。我不知道。人们似乎非常确定，事实上，他们的确定性，他们越确定，他们就越能通过他们的确定性获得大量的关注。所以这是一个担忧。但是，关于超级智能，我绝对认为如果它发生了，我不认为如果有人建造了它，所有人都会死。我认为如果有人建造了它，我们不知道会发生什么。这是一个真正的宇宙大冒险。这不是有先例的事情。这就像人类再次发生一样。20万年前没有人会预测到解剖学上的现代人类会做我们所做的事情，并且周围有屏幕之类的东西。所以，你制造一个超级智能。我不知道。我要说的是，它可能都会比人们想象的发生得慢。这是我的猜测，因为它必须与人类系统交互，而人类系统不会立即改变。任何事情都需要很长时间才能改变，直到2019年，美国的核武库仍然由8英寸软盘驱动。人类系统需要一段时间才能改变。所以不要告诉我你认为这一切都会在10年内发生，这有点像我的感受。这是我此刻最担心的事情。我明天可能会改变主意，但现在这种对生物战、化学武器、回形针最大化的关注，我不认为这是最大的担忧。我认为我们应该看看人工智能可能擅长什么。人类有什么弱点，然后将这两者结合起来。我担心的是已经发生的事情，即人工智能的目标是给我们提供能让我们沉迷于视频平台的东西，它开始优化我们没有预料到的事情。没有人说给这些人煽动愤怒的诱饵。他们说的是让人们留在网站上，而煽动愤怒的诱饵之所以出现，是因为它成为了一种非常引人入胜的内容，人类乐于提供，因为我们渴望获得更多关注，因为我们是人类，我们中的许多人，包括我自己，都渴望关注。所以我担心的是，我们最终可能并没有那么难以被操纵。所以如果你有一个或多个非常智能的系统，它们有目标，我认为它们会发现操纵人们比我们想象的容易得多。我们的现实是由我们消费的东西定义的。有一种方法可以摆脱这种情况，那就是简单地离开屏幕，我认为我们在这方面会做得不好。我所看到的，我希望对此有所反弹，但我所看到的是，平台给人们的每一个减少选择的机会，人们都抓住了。所以以前，信息流是按时间顺序排列的，人们会说不，我想要那个按时间顺序排列的信息流。当你给他们选择时，他们选择了算法推荐的。他们是选择了这个选项，还是通过花更多时间在算法推荐的信息流上暗示了对这个选项的选择？我认为这不是语义上的问题，但他们选择了算法推荐的信息流，当你给他们选择是让他们被动接收视频，还是点击或选择并点击他们想看的视频时。他们更喜欢被动接收视频。这就是抖音和YouTube的区别，对吧？人们更喜欢决策被剥夺。而这正是我认为最让我担忧的事情，从广义上讲，鉴于所有这些事情，这是我最担心人工智能的地方。人们倾向于让他们的选择被剥夺，并拥有更少的自主权。但也许我误解了，这只是在一天中的某些时候发生的事情，或者我们可能已经解决了这种渴望，我们会改变主意。但到目前为止，我们一直朝着这个方向发展。再说一次，人类所做的是交流，我们交谈。我们拥有巨大的信息带宽。所以，对我来说，最应该担心的事情是人工智能如何与此接口。而且，我已经认为它通过推荐算法以极其强烈的方式与此接口，推荐算法已经存在很长时间了，但现在也通过大型语言模型来帮助我们，并给我们定义现实的机会。当你将这一点与这里极端的权力集中，以及少数公司和少数我没有理由信任的人结合起来时。我不认识那些人。他们最近做出了一些奇怪的决定。那确实，是的，那相当令人担忧。这如何与我刚才谈到的所有事情联系起来？但那件事是我最担心的事情。今天我做了一件有趣的事情，我几周前录制了这段视频。我编辑了视频，并把视频发给了我尊敬和信任的人，他，你知道，对人工智能的看法比我人生中某些时候的炒作色彩要少。我想和他谈谈我刚做的视频。所以大家，这是卡尔·纽波特，他将和我谈谈我制作的视频，然后我给他看了，他已经看过了，现在我们将讨论它。但在我们开始之前，我确实想从这个酒店房间里告诉你一些事情。你可能已经注意到我制作这段视频已经很长时间了。之所以花了这么长时间，部分原因是与此同时，我一直在做其他一些事情。其中一件事是一个非常大的项目，一个大想法，那就是我兄弟和我15年前创办的教育媒体公司，我们已经把它转化成了一个非营利组织。那是一件相当复杂的事情。然后有很多物流和新闻方面的事情要配合。所以我一直在做很多这方面的工作。所以这个视频花了一段时间才完成。但同时，作为Complexly董事会主席的新角色，不再是Complexly的所有者，我的工作之一就是经常说Complexly，这样你就知道有一家拥有80多名员工的公司正在努力高效地为人们创造价值，制作像Sihow、Crash Course、Eons、Study Hall、Bizarre Beasts以及YouTube上许多高质量、经过研究和事实核查的教育内容，仅此而已。这不是一个请求。我只是想让人们知道Complexly存在，有一群人正在努力改善信息环境，并利用社交互联网的工具，这些工具显然，而且在某种程度上被激励用于不太好的目的，但我们正在利用它们努力做好事。我们已经做了15年了。我们将在未来几十年继续做下去。我们有很多关于要做的事情的想法，而我的工作之一就是确保全世界都知道它们，因为它们很棒。现在，实际上是我们对卡尔·纽波特的采访。它真的很棒。我喜欢它。
>> 卡尔·纽波特，你是一位作家，乔治城大学计算机科学教授。在过去的十年里，你一直在问那个最难的简单问题，那就是科技对人类做了什么？如果你能选出人工智能故事中最大的一部分，那会是什么？>> 嗯，我必须说，你知道，我用很多技术审视过这个问题。人工智能是我认为我不得不处理过的最混乱、最复杂的技术。我的意思是，如果我没记错的话，当你第一次谈论这段视频时，例如，计划是多长时间，10分钟？>> 对。结果却是>> 我给你发了一封电子邮件，我说，我要做一个10分钟的视频，然后我会跳到你这边，然后，是的。真的。>> 是的。因为故事几乎总是这种二元的故事，就是我们喜欢这项技术，但它却产生了我们没有预料到的另一种影响。所以现在我们必须在这两者之间取得平衡。通常就是这么简单。电子邮件比传真机好。它很方便。我很高兴它在这里。天哪，但有一个副作用，就是我们收到了太多邮件，我们分心了。人工智能是一个如此混乱的故事，使得这个问题，它是一个非常复杂的问题，因为它>> 是我们都称之为人工智能的许多不同技术。它们都在不同的时间线上发展。>> 它们在当下都有各自的问题，值得大量的讨论和反驳。然后它们都有推断出的未来问题，从比现在稍微糟糕的版本到两年内全人类灭绝。所有这些都与一群像邦德反派一样的角色混杂在一起。这真的变得相当困难。我错过了电子邮件，比如说，嘿，我们收到了太多电子邮件。>> 就像，哦，Slack本可以解决问题，但实际上它以不同的方式让事情变得糟糕。>> 那是过去的日子。>> 现在，现在Slack正在苏醒，它可能会杀死我们所有人。>> 没错。是的。它会耗尽我们所有的能量，然后，嗯，杀了我们。是的。现在这是一个更难的对话。>> Slack，你镇上有一个新盒子。它吞噬工作。>> 嗯，它还会让你的电费上涨。所以，你知道，所以你没有回答那个问题，我很乐意回答。>> 或者你回答了，或者，是的，我的意思是，你可以给我一个更详细的答案，但从某种意义上说，它是一个答案，那就是，这是一台混乱机器。它是一台用来思考的混乱机器，我会说，好吧，我现在在我的很多工作中，当我思考它时，我试图将很多推断出的未来分开>> 我的意思是，我只是采取了一个迄今为止已经发生的轨迹，然后我推断，如果这种情况再发生三年，我们会怎么样，然后对那个未来做出反应，嗯，我认识的大多数计算机科学家都对那些推断出的未来有很多问题，我们认为它们有点忽视了技术的现实和局限性，但我现在对很多当前的问题非常感兴趣。所以现在正在发生的事情，以及现有技术所带来的问题，其中我非常关心的两点是真相的消失和作为人类能力的专注或集中力的消失。所以真相的消失，生成式人工智能可以创建任何视频和图像。这是一个问题。我，那不可能不是一个巨大的问题，我们不需要超级智能来解决一个巨大的问题。那是一个巨大的问题。而专注力的消失，我是一名教授。我担心的是，我们在教育系统中做的很多事情都是为了像锻炼肌肉一样锻炼你的思维而发明的练习，这样思维就会变得更复杂，并且将来能够处理我们为了人类和文明的生存所需要的原创思想。人工智能，尤其是聊天机器人和大型语言模型，非常擅长这些练习，因为它们只是练习。所以理论上，你可以把这类工作卸载给它们，这在当下会让你的生活更轻松，从长远来看，意味着你的大脑错过了发展的最后一步。我们需要人类文明以现在的速度继续发展。所以这些是现在正在发生的两件事。>> 是的。>> 而我当下可能最关心的是这些。
明白了。几年前，也许是一年前，我制作了一个视频，标题大概是“如何判断一张图片是否是人工智能生成的，以及为什么这不重要，因为这是今天才知道的”。但是伙计，我告诉你，我们的头脑适应一种美学是多么惊人地快。就像现在，ChatGPT图片有一种美学，我很容易就能看到它们，然后我就想，嗯，那就是那个。我只需要看三张，我就永远知道了。但我们已经生活在一个我曾以为是真的视频的世界里。而且我甚至从未发现它们不是真的。你知道，我不是在说我曾经觉得“啊，我相当确定那是真的”，然后我去查证发现错了。我的意思是，我看了它，以为是真的，然后就继续我的一天。这种事发生在我身上。我确信我真的很担心真相的普遍退化。这也不仅仅是人工智能的事情。它是一种美学现象。它是一种政治现象。它是我们文化中正在发生的事情。但这不是这次对话的主题。不过，我真的很好奇这个关于专注的问题。在这种情况下，很难不想到苏格拉底，他曾说人们用笔和纸把所有东西写下来后就无法思考了。不是纸，而是识字会剥夺人类拥有的能力。它确实做到了。识字的人与不识字的人拥有不同的能力。然而这没关系。你有没有看到学生以一种实际上有助于专注的方式使用它，还是说这个工具只会破坏我们完成最后一步发展的能力？
>> 我认为这对我们的大脑来说是一记组合拳，另一拳是社交媒体。>> 所以想一下。我们手机上正在发生高度吸引人、分散注意力、无处不在的娱乐活动，这会降低我们对认知压力的耐受度，因为我们太习惯于这种想法：只要有一点点无聊的迹象，我就可以得到这种算法完美定位的小刺激，一些会让人感兴趣的东西。所以这降低了我们对专注地消费困难信息的兴趣或舒适度。我们大脑为了变得更聪明而必须做的另一件事是从头开始生成信息。所以就像，利用你通过阅读困难的东西而发展出来的回路，并使用它们。我们如何使用它们？通过写作或围绕写作的活动。>> 所以社交媒体有点让我们远离尝试消费复杂信息，这使得那些回路变弱。生成式人工智能让我们远离生成信息，而生成信息是利用我们已有的回路的力量，并习惯于将它们应用于现实世界。你把这两件事放在一起，我认为我们会失去那些回路，而它们是关键回路。我的意思是，我们这样思考大脑的方式是，识字不是天生的，对吗？所以，为了真正阅读一本书>> 或者阅读书面文字，我们必须本质上劫持我们大脑中为非常不同目的而进化的部分，我们必须通过非常密集的训练。我的意思是，我们在幼儿园所做的事情，那真的很难。我们正在重新连接我们的大脑。是的。去劫持不同的中心。比如你可以发现，当你勾勒你要写的东西时，你大脑中有一个部分是进化来实际跟踪你的位置、物理空间的，它已经被劫持来尝试跟踪你在一个抽象的，你知道的，论证中的位置。我们重新连接的那个大脑，>> 疯狂。是的，>> 它确实很疯狂。而且
这个大脑，我们对其进行了重塑，使其能够处理书面信息并生成书面信息，它是一个不同的、全新的大脑。它与我们一万年前的大脑不同，对吧？我们已经彻底重塑了大脑。但那个经过重塑的大脑，能够进行玛兰·沃尔夫所说的深度阅读过程，它是一个更聪明的大脑，能以更复杂的方式看待世界，并具备我们当前现代世界运行所需的那种复杂的推理和抽象能力。所以，失去这个大脑并非毫无意义。如果你开始真正地削弱这种连接，它将极大地阻碍我们今天文明世界的运行方式。我们将倒退回更接近前现代的大脑，而这种大脑将无法与现代世界和谐相处，或者说不会和谐相处。
我在视频中谈到的一个问题是，我们已经身处人工智能的世界了，因为世界上所有的推荐算法都经过了所有与之互动过的人的决策的最终微调，而且还有世界上最聪明的人在创造它们，以最大限度地吸引你的注意力。这既训练了我作为创作者，让我去追求非凡的突出和尽可能有效地吸引注意力。所以，算法在某种程度上优化了创作者，我确实感受到了这一点，但然后它们又把我们置于一种相互竞争的世界里，然后它们找到了最突出的东西。我把它比作想象一下吃垃圾食品，但你永远不会饱。一是你真的可以吃掉足够多的多力多滋，让你不再感到饥饿；二是你看一眼多力多滋就能吃掉它。现在的信息就是这样。我们创造了垃圾食品式的信息，但信息是我们永远不会失去饥饿感的东西，因为我们是信息机器人，你知道的，我们是注意力机器。
>> 别忘了有人推着一车多力多滋跟着你走的那段。
>> 是的。是的。是的。
>> 不管你走到哪里，包括去洗手间，他们都在那里。就像你在教堂里，他们带着一车总是加满的多力多滋。
>> 对吧？而且，我最喜欢的例子之一是，如果你在 Instagram 上搜索某样东西，搜索栏会占据屏幕的 5%，而屏幕的其余部分都是多力多滋。就像，你想搜索什么吗？你想给朋友发消息吗？哦，抱歉。如果你看到一个身材火辣的人呢？如果有一个非常奇怪和令人困惑的动态图像，你就是无法抗拒呢？对不起，但现在你又回到了我们可以向你投放广告的界面。
>> 所有这些事情中，有趣的是，你的视频都是关于人工智能的最新发展，这些是非常复杂的程序，对吧？我们谈论的是大型语言模型等等。然而，你刚才描述的人工智能，它在很多方面对我们生活中的信息流动方式产生了巨大影响，对吧？这些推荐算法，相比之下，其实非常简单。就像，实际上，像 TikTok 背后用来决定向你展示哪个视频的算法，并没有真正需要某种大规模的数学突破，或者某种新发明的技术。
>> 是的。实际上，字节跳动创新的技术突破大部分都与如何在海量可能的视频和海量用户的情况下大规模运行它有关，并且运行得非常快。它有一些非常枯燥的优化问题，但实际的底层推荐算法真的非常简单。我的意思是，这并不是要过度简化它，但就像所有这些内容都被嵌入到某种多维空间中一样。就像一长串描述符，数值描述符。
>> 它会跟踪你在那个空间中之前表现出兴趣的不同点，因为你一直看到视频的结尾。
>> 它只是在这个话题空间中采样视频，这个多维空间是你一直在聚集的地方，其中包含一些随机性，以确保它没有遗漏任何地方。就像我们已经了解这类推荐算法 30 年了，你知道的，但我们从未像 TikTok 出现时那样干净利落地执行过它们。
>> 而这正是技术故事的很大一部分，就像你制造了蒸汽机，然后说“我们制造了蒸汽机”，然后把它写在时间线上，就像蒸汽机被发明了，但你知道，蒸汽机很糟糕，然后它变得可以做更多事情，当我们把它做得更好时。所以，推荐算法也许有一天会成为某人时间线上的一个标记，但你知道，它一直在变得更好，而多力多滋的手推车也变得越来越诱人。
>> 你认为我在我的担忧清单上做得怎么样？
>> 什么？
>> 嗯，我认为你做得好的一点是，你认识到了一些真正的未来担忧，并说：“让我们暂时搁置那些。让我们暂时搁置，不要完全专注于终结者机器人正在街上游荡，因为你知道，那里有更接近的未来问题。”
>> 里面混合了不同类型的人工智能技术，无论好坏，对吧？
>> 是的，这就是现实，对吧？但重要的是，人们要理解，有长期存在的预测型机器。这就是你对偏见和判刑的担忧所在，例如，经典的 AI 安全领域。这类技术已经存在了很长时间。它们没有像生成式人工智能那样看到任何重大的创新推动，但我们长期以来一直在研究这些担忧，而且你知道，这些担忧很重要。我们有环境方面的担忧。这是一个很难把握的问题，因为那里存在相互竞争的利益。还有另一个相互竞争的利益是电力公司本身试图夸大这些数据中心的电力需求，以便它们能够获得由市政当局支付的基础设施建设费用。所以，这是一个复杂的问题。
>> 很高兴你，这位计算机科学家，提到了这一点，因为那是我的重点，我们都必须明白的是，电力公司赚钱的唯一方式就是建造更多东西。所以，他们有强烈的动机说他们要建造更多东西。而且，人工智能公司也有强烈的动机说他们需要更多东西。这对你的电费账单非常不利。
>> 问题是，电力对人工智能公司来说很昂贵。就像人工智能公司必须为此付费，对吧？所以，是的，训练一些基础模型现在是一项极其昂贵的任务。如果你开始扩展它，你会想，哇，那将消耗大量能源。但实际上，对于一个你每月收费 20 美元供人们使用的万亿参数模型来说，很难盈利。所以，许多没有参与其中的计算机科学家，他们不是，你知道的，不是这些公司里的科学家，他们会关注像去年一月份的 DeepSync 这样的东西，而且就像，真的，未来将是更多的小型语言模型，它们被用于更专门的特定用途。我不认为，我们认为这些模型可以让我直接在聊天框中与模型对话，它应该能够做任何事情的时代。我真的认为，这就像汽车行业中的 F1 赛车一样，对吧？你试图炫耀，你看我们的技术有多复杂。但你并没有卖出很多 F1 赛车，因为它们完全不实用。它们在道路上并不好用。未来很可能是将这项技术变得更节能、更小、成本效益更高，并更紧密地嵌入到特定的用例中。而我认为，这些基础模型实际上只是一个衡量标准，你知道的，在这些公司之间，为了展示“我们拥有最好的技术”，这样当我们向你销售这些更专业的工具时，你会说，“哦，那是那个名字。我记得迈凯伦，因为你赢得了 F1 比赛。你一定制造了好的汽车。”
>> 但他们没有卖给我们专业模型。他们卖给我们。他们就像免费赠送 F1 赛车。
>> 是的。这是一个糟糕的商业模式。这是一个糟糕的商业模式。他们
>> 他们会关闭那些吗？他们会说，“嘿，结果证明这是一个坏主意。我们每次你使用我们的产品都会亏钱。”
>> 我认为正在发生的是，他们希望获得监管俘获，对吧？这是一场竞赛，我们希望竞争对手破产，然后我们转向这些更小、成本更低廉的机器，因为进入门槛在那里更低，对吧？基础模型要求你建造定制的数据中心，拥有，你知道的，以前不存在的空调技术，将有十万个，你知道的，数千个 GPU 同时运行，这是以前从未尝试过的。一旦你转向更小的模型，很多公司都可以创建它们。你有一个真正的竞争市场。所以我认为他们试图将重点放在这些全能的、通用的、令人印象深刻的模型上，并试图将其他人排除在外，或者建立足够的监管，以至于没有人能够竞争，因为一旦他们转向“这里有可以在手机上运行的小型模型”，而且现在有一些公司正在这样做，所有你花费的钱，你都会失去优势，因为别人可以获得 Meta 的一些开源参数，并开始构建自己的更小、更定制化的模型。所以我认为，对那些公司来说，这是一个可怕的未来，因为这是一个超级竞争的市场。所以他们仍然坚持认为基础模型很重要，所有的工作都会被自动化，而且只会剩下三家公司，我们将不得不进行再分配的，你知道的，股权税，以便人们能够吃饭，就像所有这些。我认为，这其中也有商业因素。对我来说是有道理的，因为我就是这样感觉的。但我也不是唯一一个，我们曾经有过这样一个世界，突然，我不知道，就像 GPT3.5 一样，哇，哦，这与我想象的完全不同。我们不仅仅是朝着一个新地方前进。我们身处一个不同的地方。然后 GPT4 变得更好。嗯，事情有所改善。你知道，它们确实在很多方面变得更有用的工具。它们在很多方面仍然无用，而且就像，绝对所有旗舰模型都会编造东西。所以我看到为什么我觉得，而且我确实有这种感觉。这种情况会再次发生，而且会有一些其他重要的技术让我们更接近那种 AGI，那种擅长很多不同事情的东西，甚至就像，它擅长在物理世界中存在，以及在，你知道的，只是知识工作空间。而且，因为这一切都是普通人的东西，我甚至不知道什么是 Transformer。我基本上知道发生了什么，但我不会成为一名计算机科学家，我也不会理解 TikTok 算法的多维架构，它超出了我的理解范围，并且将保持这种状态。所以，这种直觉有什么道理吗？因为似乎有很多人认为，是的，是的，就像，还会有另一项创新，然后是另一项，然后我们将拥有某种感觉有点像超级智能的东西。
>> 我认为这是一个合理的直觉。事实上，我认为从广义上讲，这是正确的直觉，即对过去三年的反应不是说这种轨迹将不受阻碍地继续下去，语言模型将在两年内变得超级智能，而是说，哦，那是一个巨大的飞跃，我们是否会在其他技术中看到类似的巨大飞跃？我将告诉你，我从计算机科学方面看到的，我认为你对语言模型发生的事情的解读或多或少是正确的。GPT3 实际上是第一个真正的大飞跃。这就是他们实际执行了 Kaplan Adall 的缩放定律论文，他们说如果我们真的显著扩大这些语言模型的规模以及训练规模会发生什么。
>> 是的。而这真的
>> 就像他们所做的，他们使用了相同的技术。他们只是使用了更多的数据，
>> 更多的数据和更大的规模，这并非微不足道，因为实际上，即使是训练和运行一个更大规模的模型也需要对这些系统进行大量的底层调整，这是一个非常困难的技术挑战，但他们认为，我的意思是，机器学习的标准思维是，哦，做得太大是一个问题，你只会过拟合，而且你总是在寻找一个最佳点，做得越大越好，但如果你做得更大，它就会开始变得更糟。这被称为过拟合问题，因为他们认为这些机器会记住它们正在测试的东西，因此会变得更愚蠢。事实并非如此。GPT3 真的很好。普通人无法使用它，因为它会陷入奇怪的幻想，但它对科学家来说做得很好。然后 GPT35 只是为了更好地与人类互动而进行了调整。他们调整了它，使其擅长对话。这确实是一个巨大的飞跃。GPT4 是一个更大的飞跃。他们将其规模扩大了 5 倍。或者我们假设他们实际上没有给出数字，但他们将其规模扩大了很多，并且他们开始意识到，GPT4 不仅擅长语言，而且擅长其他任务，在学习语言的过程中，它在逻辑谜题方面做得很好，我们可以问它关于棋盘游戏的问题，我们可以给它，而那才是真正令人兴奋的时刻，对于像研究人员这样的我们来说，哦，如果我们继续让语言模型变得更大，它们就会学到很多东西，不仅仅是语言。这就是他们认为我们可能会获得 AGI 的方式。GPT4 之后，这种情况放缓了。我为《纽约客》写了一篇文章，去年夏天发表，基本上，如果你真的报道这件事，他们试图让它变得更大。当时被称为 OpenAI 的 Project Orion。他们说，“太好了，让我们把它做得比 GPT4 大 5 到 10 倍。”结果并没有变好。
>> 而这就是你，如果你经营这家公司，你就会想相信。是的。
>> 就像我们可以创造数字上帝，只要我们花足够的钱，因为当然花钱意味着你需要你的业务增长，你可以获得更多投资，你可以建造这个将如此强大的东西，以至于你可以成为如何运作一切的上帝皇帝。而且，你知道，萨姆·奥尔特曼不需要支付很多钱，因为他将成为世界上最有权势的三个人之一。
>> 是的，而且很大。
>> 我觉得萨姆谈论他不赚钱的时候很有趣，我想，对他来说，金钱算什么？你知道，金钱不是你在你试图建立的未来中无关紧要的东西，对吧？我明白。你假装你不明白这一点，这让我对你的信任度降低了。
>> 但这种情况发生了，他们意识到了，但他们对此保持沉默。他们在纯粹的规模化方面遇到了瓶颈，当时 Project Orion 和 Meta 也有类似的问题。Gro 也看到了类似的问题，每个人都看到了同样的事情，哦，我们不能继续扩大规模，我们不能纯粹通过规模化来实现 AGI。然后我们迎来了一整年，从 01 模型和推理模型开始，我们得到了所有这些更复杂的东西，还记得所有这些都变得更加复杂，模型看起来就像有机化学课的化学方程式，它们谈论推理和后，你知道的，后推理计算，所有这些。
>> 这都是为了现在找到狭窄的领域，我们可以进行调整以获得一些优势，或者获得更好的性能。它们实际上是纯粹规模化终结的开始。所以，所以，正确的
>> 语言模型正在某种程度上停滞不前。我们能够调整它们以更好地完成某些事情，但我们不再处于那种爆炸性的轨迹上了。你说得对。要获得像 AGI 这样的东西，我们现在需要展望，哦，然后我们会有另一项创新，一种不同类型的互补技术，它会快速发展两年，然后也许会再发生一次。我碰巧认为 AGI 将如何发生，我称之为分布式或缓慢起飞的 AGI。我不认为它会是一个程序，无论我们问它什么，它都能达到人类的水平。我认为我们将看到的是，它将更加枯燥，许多不同的系统针对许多不同的人类活动进行调整，非常专业化，并且变得非常出色。在某个时候，我们将环顾四周，说，有很多困难的事情，人类所做的事情，现在都有个性化的 AI 类型系统，它们可以像人类一样好或更好。更像是一种拼凑。我认为这比“我们需要一个超级人工智能来做所有这些事情”的想法更有可能。
>> 而且成本效益更高，也更有商业头脑。而且我们现在已经看到了，就像，哦，我们在下棋方面更好了。我们在扑克方面更好了。我们在围棋方面更好了。我们在蛋白质方面越来越好了。这是，你知道的，更像是一种拼凑。这些系统中的每一个都需要自己的技术组合和自己的秘密武器，但这更有可能让我们达到一个可以说，“等等，计算机正在做我们很多事情，而且做得比我们好。”我认为这是我们更有可能实现的方式，而不是一个单一的机器来完成。
>> 然而，这种观点不会引起任何头条新闻。嗯，我的意思是，我喜欢讲一个故事，关于，有一些很酷的机器人出现了。有一个特别的研究人员做了很多很酷的人工智能。他现在在 OpenAI，但之前在卡内基梅隆和 Meta。他建立了第一个击败人类扑克玩家，职业扑克玩家的德州扑克系统，名为 Plurabus。他建造了第一个能够有竞争力地玩外交游戏的机器，你知道，这是一种类似风险的棋盘游戏，需要大量的人际谈判。但这两个故事的共同点是，它们是现有技术的非常巧妙的组合。所以，对于扑克机器人，他们实际上最初试图通过扩大规模来制造一个有效的机器。他们只是制造了非常大的神经网络。他们在匹兹堡大学的超级计算机中心进行训练，但它们效果并不好。最终，能够击败职业玩家的系统可以在笔记本电脑上运行。而且它们更像是，它们有一个非常聪明的神经网络、一些未来预测的组合，然后他们对其进行了调整，它在扑克方面做得更好。外交游戏机器人也类似。里面有一个语言模型，有一个未来模拟器，有一个策略模拟器。
>> 他们能用我们能理解的语言互相交流吗？
>> 嗯，他们聊天。所以他们在网络外交服务器上玩。所以他们与人类聊天。
>> 然后语言。
>> 他们互相聊天吗？
>> 嗯，他们可以。语言模型的工作方式是它接收英语，然后将其转换为一种 XML 风格的标准化标记语言，其余程序可以理解。
>> 明白了。
>> 然后他们将其输入。但请告诉我，这可能会让你感觉好一些。这是我真正喜欢那个外交游戏机器人的地方。
>> 好的。
>> 如果你读了关于它的研究论文，他们只是在某个地方随意地说，哦，出于道德原因，我们设置了它，它永远不会撒谎。即使那是外交中的一个主要策略，你就会欺骗别人。你建立虚假的联盟，或者别的什么。出于道德原因。他们说，“哦，我们只是设置了它，这样它就不会撒谎。”
>> 你就像，“等等，我以为 AI 的整个问题是我们无法对其进行对齐。它失控了。”
>> 但当你构建这些专业化的 AI 时，它不仅仅是一个巨大的神经网络，你不知道它是如何工作的。它有六七个组件。我们知道它们的作用。它非常具体地从这里获取信息，然后将它们放到这里。所以，你的意思是，如果它知道这些信息，它就不能说“我要告诉人们不同的事情”。
>> 是的。嗯，里面确实有一部分模拟了可能的未来走法，并试图衡量哪种可能是最好的。他们写道，那个模拟器不是神经网络。他们只是写了它，然后把它编码成“不要看那些撒谎的可能性”。所以，它不会。
>> 所以，那台机器不能撒谎。这里没有失控的部分。没有模糊的神经网络。
>> 是的。嗯，你应该说，就像，它不是“不要看那些撒谎的东西”。它就像“不要看那些 x 不等于 x 的东西”。所以，它是一个，它是一个数学问题。它是计算机代码。它不像你说的那样，“不要看那些撒谎的东西”。这暗示了对什么是谎言的某种理解。
>> 是的。没错。他们有，这里有你可以做的所有可能的走法，它们都被分类了，有大约 50 种走法。其中一些是撒谎，而那个检查所有东西的 for 循环只是字面意思上不看那些元素。
>> 对。
>> 是的。嗯，我称之为有意 AI 或 I AI。就像，想法是当你远离“我们只有语言模型”时，这就是我们现在正在做的，我认为这是一个真正的问题。让一个难以理解的语言模型成为一切的大脑。如果你想构建一个代理来做某事，
>> 问一个语言模型该做什么，然后盲目执行。
>> 但 I AI 就像这些游戏机器人，我认为它们是 AI 可能是什么的绝佳例子。而且你有一个控制模块，这些模块是由人类用普通的计算机代码编写的。没有什么未知的。没有什么需要学习的。没有什么会演变的。它可以与神经网络交谈以理解事物或获取事物的描述或提出想法。
>> 但它只是一个普通的人类控制程序，可以决定我们想做什么？我们正在考虑的选项是什么？所以我实际上，我对这个分布式 AGI 世界更加乐观。我不认为它会失控。我认为这个对齐问题实际上是关于语言模型文本生成以及控制语言模型生成什么文本的问题，而不是对所有 AI 驱动的设备都普遍存在。
>> 是的。我认为我们有这种倾向，人们倾向于预测末日，这是我们已知的偏见。我们都知道个人末日即将来临，以死亡的形式，所以我们有点渴望并被这种想法所吸引，即我们所有人都会以某种方式同时发生。科幻小说中有很多这样的内容，而且这些人读过科幻小说，就像我一样。我们说，如果人们爱上了这个东西呢？这就是我们将要想象的会发生的事情。但没有人说，我想知道，谄媚引起的 AI 精神病是否会成为一种现象，因为没有人知道那会成为一种现象。那完全是意想不到的。所以，这将是困难的事情。就像，你知道的，就像愤怒诱饵一样，当 Facebook 发明新闻推送时，没有人假设愤怒诱饵会发生，你知道的，那不是任何人的雷达上的东西。而且，这是一个第三、第四阶效应，但当然，你最终会遇到它，然后你必须处理它。所以，我觉得我们现在应该做的事情，我最近越来越有这种感觉，我们应该处理我们现在面临的问题。
>> 是的。
>> 我们应该关注当前存在的问题。如果我想对一些可能想成为有效利他主义者的人说，如果我们现在处理我们面临的问题，这是否会使未来变得更好？就像，如果我们猜测未来需要什么实际上会使未来变得更糟，而处理我们现在面临的问题会使未来变得更好？就像，如果，如果这是可能使未来变得更好的事情之一。它还有额外的优点，那就是让现在变得更好，因为我们可以实际衡量结果，就像它在我们目前所处的世界上发生一样。
>> 哦，我非常赞同你。我非常赞同你。我的意思是，这实际上是我对技术批评的整个哲学。我称之为技术选择主义。其理念是，当你将强大的新技术引入技术经济文化背景时，它们总是会产生我们无法预测的第二和第三阶效应。因此，我们不能以这种奇怪的宿命论心态来对待技术，就像，一旦某样东西被发明出来，它就一直存在。你能做什么？现在的孩子们会看着他们的手机，然后就继续前进。我们需要拥有更多的能动性。
>> 在，包括，这让人们感到惊讶，我说我对这项技术很感兴趣，它很酷，然后它变坏了，所以我改变了主意，不再使用它，就像，我们被允许这样做，我认为我们需要做得更多。我的意思是，我们现在所有的麻烦似乎都来自于这些第二阶效应的故事，对吧？就像，我记录了很多这些，你想到 Facebook 早期的 Facebook，你知道的，一个工程师发明了“喜欢”按钮，出于一个非常工程化的原因，那就是让很多人写相同的评论效率低下，如果你发布了你的文凭，每个人都说“恭喜”，那将淹没有趣的评论。所以，哦，让我们有一个“喜欢”按钮，这样评论就会更有趣。
>> 然后他们意识到，哦，这提供了一个不稳定的社会认可指标，这意味着应用程序的使用时间大幅增加，因为现在我的大脑在想，我刚刚发布的帖子有没有得到喜欢？哦，我的天。
>> 参与度就是一切，我们进入了注意力参与时代，这与 Facebook 最初出现时的想法完全不同。所以，这种事情一直在发生，我同意你的观点，我们现在应该做的是认真监管我们现在拥有的人工智能的第二阶负面外部效应。但想想那些推动末日论或未来故事的人的兴趣，对吧？如果你是达里奥·阿马德或萨姆·奥尔特曼，对吧？谈论大多数工作的自动化，或者谈论超级智能的到来，完全符合你的利益，因为它做了三件事。一，
>> 它分散了人们对你的技术现在正在做的坏事的注意力，或者分散了监管或公众的，你知道的，不满。二，它将诱导许多可能繁重的监管，而你作为一家大公司可以承受，但小型初创公司不能。所以，你获得了监管俘获，并巩固了你的地位。三，它吸引了投资，因为是的，想到人工智能自动化一半的工作是可怕的，但我的天，如果我是一名投资者，我最好把我的钱投入到将完成一半工作的公司。这将是经济中最大的事情。所以我认为，谈论未来完全符合他们的利益。而且我认为，有效利他主义者，我真的认为发生了什么，我一直在努力理解这一点，对吧？他们一直在推动超级智能的故事。标准的做法，他们一直在进行的生存风险思考，这是一种标准的有效利他主义的做法，你认为，让我们看看不太可能发生的风险，这些风险会产生非常负面的影响，因为如果你计算预期价值，现在花时间来预防它，以预防潜在的小概率未来是值得的，对吧？所以，是的。
>> 这就像尼克·博斯特罗姆的研究所。他们会关注小行星撞击之类的事情。可能不会发生，但如果发生了会非常糟糕。所以，就像我们现在对小行星撞击的思考具有正的预期价值。
>> 而且，超级智能只是他们抽象地关注的众多主题之一。我认为，当 ChatGPT 出现时，它扭曲了一些在风险社区工作的人的思维，他们一直在研究，它从“这是一个我们应该思考的思想实验”扭曲为“如果它真的发生了呢？如果我们是地球上最重要的人，我们会是第一个发现小行星并告诉人们的人。”我认为这是一个非常引人注目的可能性，从“这是一个我们应该思考的思想实验”到“这正在发生”的转变。他们很难摆脱它。而且我绝对认为他们相信这一点，而且我也认为有可能它会非常糟糕，因为你知道，社交媒体已经变得非常糟糕，因为内容推荐算法已经变得非常糟糕，而且你知道，它们很简单，就像你说的，它们所做的就是向你展示你更有可能观看的内容。这就是全部，而且它对人类注意力、对社会、对政治、对信任都非常糟糕，我本来不会想到这一点。你知道，由于内容推荐算法的影响，我们生活在一个信任度较低的世界里。而且我有一些朋友的工作就是构建它们。而且他们对我这样想感到非常失望。我认为这是真的。我认为有些比其他的好。我认为有些比其他的好得多。所以，我并不是说它们都负有同等责任。我认为 YouTube 比许多平台做得更好。但我也认为它的结构比许多平台更好，因为 YouTube 中内置了更多的人类能动性，但他们毫不犹豫地推出了能动性较少的产品，当然，他们也这样做了。我认为，确实存在这样一个问题，而且我认为我们不应该完全忽视它。就像，我们不知道如何影响未来，我们当然也不知道未来会是什么样子。而且，没有人擅长弄清楚沟通突破的实际影响。就像，我们对武器还行，我们大概能理解。
>> 但沟通对人类来说太重要、太大了、太根本了。
>> 我们很难回头。
>> 当马匹脱缰时，就像武器一样。嗯，我认为，就像物质一样，我们在这方面做得更好。就像，哦，就像香烟被发明了，就像，这很有趣。就像，实际上，这可能不好。孩子们不应该使用这些，让我们禁止孩子们使用吧。或者赌博一直存在，他们就像，嗯，我们应该制定一些规则，因为我们看到了，但你说得对，信息是不同的。我认为我们现在需要问一些根本性问题。例如，看看聊天机器人，然后说，谁要求这个？谁一直在渴望这个？我的意思是，除了 OpenAI 的投资者之外，你正在解决什么问题？而且不要让程序员回答，因为程序员已经将他们的经验推断给了其他人。但如果你使用云代码，它有一个很好的用例。
>> 这是一个很好的用例。你不能将其推断给其他人。想想我们与这些东西的关系。这令人不安。这就像一些微小的益处，伴随着大量的，你知道的，分心，然后是一些纯粹的时刻，就像，这很奇怪或令人不安。是的。就像，应该问这些问题。
>> 我对“谁要求这个”有问题，因为就像，没有人要求像技术这样的东西，什么可能与我想要的非常不同。你知道的，就像我想要一个像胡萝卜一样健康的芝士蛋糕，但我永远得不到一个。所以，我从未要求过芝士蛋糕，但它被呈现给我，然后我说，“是的，芝士蛋糕。”我宁愿生活在一个没有含糖饮料的世界里。你知道，那是一个更好的世界。没有人要求可口可乐，但我们有可口可乐，我们生活在一个有它的世界里，我们有时会选择它，而且我们应该像现在这样不经常选择它。所以，同样，我就像，好吧，就像，你向我们展示了这个工具，很多人都在使用它，很多人都从中找到了价值。大型语言模型当然有有价值的用例，尤其是它们被构建的方式，使其对研究或，你知道的，你必须做的那些愚蠢的小事情更有用。我认为一个有趣的问题是，它引出了一个我真正想问的问题：好吧，没有人要求它基本上是免费的，而它却花费了万亿美元。这实际上很奇怪。就像，我买可口可乐，可口可乐赚钱。当 OpenAI 向我出售 ChatGPT 时，他们亏钱。所以，就像，这实际上是我们现在拥有的那种奇怪的、扭曲的激励机制，它们正在向我们倾销产品，它们正试图使其越来越有用，而且，而且，坦率地说，我认为越来越令人上瘾，而且它们是在亏损的情况下这样做的，这让我感到困惑。这有道理吗？
>> 这有道理。这并没有让我感到困惑。我认为这是一种标准的。
>> 对。我明白为什么。我明白你为什么这样做，但是，但是，当我听到你说“没有人要求这个”时，我的感觉是，“不，但我也觉得有什么事情实际上是操纵性的，那就是‘让他们上瘾，然后找出成瘾的杠杆在哪里。’”我的意思是，我认为这是他们正在做的事情之一。是的，我同意。我认为更普遍的是一种绝望的策略，尝试各种事情，看看是否有一样东西能真正成为收入来源。但我也想说，当我说的“没有人要求这个”时，被硬塞给我们的具体东西是通用的对话伙伴，就像，实际上，这项技术最明显的有用之处在于解决特定问题。无论你获得自然语言界面，计算都可以很有用，对吧？我明白了。如果我想要文本摘要，那真的很有用。如果我想能够告诉 Microsoft Excel 我想让它做什么，而不必学习所有那些菜单是什么意思，那将是，你知道的，那真的很有用。这是一个显而易见的用例。但如果提前有人来找我，说你可以和一个机器聊天，它会像一个朋友一样，做所有这些不同的事情。这是一个奇怪的用例。这不像很多人理解可乐的用例。我喜欢好喝的苏打水，但我不知道，我觉得聊天机器人界面很奇怪，很黑暗，人们但是，但是，我认为你是对的。他们正在寻找什么会奏效。这说得通。而我一直有的问题是，嗯，显而易见的会奏效的东西将是软件中的自然语言界面。让每个人在使用工具方面提高五倍，对吧？就像，我并不擅长 Microsoft Excel。为什么不给我一个自然语言界面，我可以这样说，“嘿，我不知道该输入什么命令，但去掉所有 B 列美元金额超过 5 美元的行，然后按此列排序。”
>> 但我从我的消息来源那里听说，这将是显而易见的方式。它会使你所有的软件更有价值，对吧？它实际上不起作用。实际上，LLM 的幻觉率意味着，如果你正在与 LLM 交谈，然后它将其翻译成将由软件执行的命令，它会犯很多错误。所以。
>> 这个，以及使用像 Airtable 这样的工具，我喜欢，“是的，为我构建一个小型工作流程。”然后它就像，“哦，现在我必须做很多工作来修复你那些奇怪的错误。”而且我认为这是一个非常有趣的观点，而且，不跑题，但当我们与这些聊天机器人聊天时，我们低估了我们一直在解释、纠正、修复和以不同方式提问的程度。所以，就像，其他许多显而易见的用例，比如，太好了，我们现在可以将其作为人类和整个计算世界之间的中介，我认为这是一个非常令人兴奋的前景。他们在那个方面遇到了麻烦。所以，现在他们不得不考虑更多，我认为，基于成瘾的。这就是为什么他们喜欢伴侣，因为有什么比一个你可以整天交谈的朋友更有吸引力？这对他们来说似乎很好。聊天中的更多色情内容，这往往是吸引人们注意力的东西。Sora 和 Sora 2 对我来说毫无意义。经济学说不通。那些视频太贵了。
>> 那太蠢了。
>> 是的，那有点。但我也明白，他们正在寻找方法，因为那些真正能引起轰动的东西，就像，这是新的鼠标，
>> 这将是一件大事。我认为那还不够好。那还不够好。正如你所说，可能存在某种，就像，与系统一样，那是什么？AI。
>> 是的。
>> 在那里，它们更专业化。如果事实证明，所有估值都基于只有大公司才能做到这一点，所以你必须购买三大公司之一。这仍然会让我们进入一个泡沫破裂的世界。是的。
>> 是的。这种支出没有道理。它就是没有道理。而且，而且，支出主要是由少数几家公司进行的。它就是没有道理。
>> 在我看来，这种 IAI 发生得足够快，以填补所造成的价值差距，这是非常不可能的。
>> 嗯，我只是不认为它需要微软、OpenAI 和 Anthropic 等公司所做的投资水平。你不需要为像未来专业机器这样的东西做。而且，Plurabis 可以赢得一场有真实金钱在场的锦标赛，击败真正的德州扑克玩家，它可以在笔记本电脑上运行，它使用了一些非常聪明的神经网络和其他非常聪明的技术。是的，所以我认为现在无休止的支出没有道理。它就像泡沫一样，支出太多了，而潜在的收入却集中在另一边。它太贵了，计算成本，看看像谷歌这样的公司，对吧？就像他们在 2000 年代初的崛起，他们崛起的关键是他们基础设施的成本效益。那就是全部，就是
>> 简单的傻瓜硬件，上面有智能软件，为你提供非常强大的系统，而无需购买一堆超级计算机，而且计算成本非常低，然后他们就可以印钱。我们现在正在做相反的事情。计算成本高得离谱。我们，我们现在对这些模型进行推理，就像我们能做的最昂贵的计算。所以，真的，我不知道
>> 推理就是我问它一个问题，它做某事。
>> 每次有人与之互动时，它都会计算，那很昂贵，不仅仅是训练部分。我觉得我们会找到方法让它变得更便宜。
>> 你必须让模型变小。我的意思是，这很简单。正在发生的是，模型看起来很复杂，当你看到分层结构时，但在这下面，你所做的就是一遍又一遍地重复乘法表，对吧？而这些表格中的数字数量与模型的大小有关，而 GPU 所做的就是，因为 GPU 是为视频游戏的 3D 图形而设计的。而且，你在视频游戏中描述 3D 对象的方式就是用数字表格。
>> 而且，旋转 3D 对象的方式就是将该数字表格乘以一个旋转向量，它就会稍微旋转一下。所以，GPU 就是机器。
>> 制造出来是为了尽可能快速和专业地乘法表或表格与行和数字。事实证明，对人工智能行业来说，这恰好是你需要做的，才能让输入进入大型语言模型并产生一个 token。所以，它们非常适合。但这意味着，即使生成那个单一的 token，你也必须将某些东西乘以定义这个非常大的参数，它可能是数百亿个参数，而且你必须对所有这些乘法进行 token 处理。是的。
>> 是的。而且没有办法不。
>> 你只需要让你要相乘的数字的数量变小，这意味着更小的模型，这又回到了我的理论，即唯一有经济意义的就是更小的模型和定制系统，它们能做很酷的事情。
>> 明白了。所以，所以你认为我的泡沫担忧是没有根据的吗？
>> 不，我不知道。我不知道泡沫破裂会是什么样子。
>> 对。就像。
>> 是的。而且，就像我所知道的是，会有很多大型房间里装满了 GPU，它们将被用于类似的事情，它们将被用于，他们会试图弄清楚经济上的
这些东西的实用性。>> 我认为那是真的，而且我们可能会在日常生活中发现更多的 GPU，因为最具成本效益的做法是尝试将事物置于设备上。英伟达目前正以一种笨拙的方式尝试这样做，但我认为未来，你知道，我会拥有很多带有 GPU 的东西，并且推理正在这里发生。或者我为电力付费>> 因为它发生在我的机器上，在我家里，这更有意义。所以可能有一个巨大的市场。所以，我不是反英伟达的人，但我认为那些科技巨头公司花费的钱似乎是不可持续的，>> 对吧？>> 最好的情况是，这将是大规模裁员，对吧？Meta 将不得不裁掉这么多人。OpenAI 可能会消失。Anthropic 将不得不将其规模缩小到三分之一，你可能会遇到类似的情况>> 这将是一个很大的问题，至少对股市而言。>> 是的。>> 嗯，这通常会导致经济问题，尤其是在经济中的大部分钱是由富人花费的时候，他们现在感觉很充裕，因为>> 投资组合上涨了。是的。>> 也许这就是马克·扎克伯格买下夏威夷一半的原因。当人们生气时，他需要一个安静的地方去。他肯定看到了我们不喜欢他。我认为他注意到了。我有两个最后的问题。嗯，第一，我把它留到了最后。你认为我做得最糟糕的是什么？>> 哦，那是一个很好的视频。你做得很好？你担心什么？好的，我认为你的视频产生了一个效果，而很多关于这个的讨论也产生了同样的效果，我称之为“末日放大循环”。因为这是一项技术，如此多样化，有如此多的潜在问题，当你一个接一个地审视它们时，我们有一种自然的倾向，将其放入一个放大循环中，并想象>> 所有这些末日的总和，因为如果你孤立任何一个问题，你会说“啊，这是一个问题，这很烦人，我们应该做点什么”，但这不会让我夜不能寐，但当你听到 20 个不同的问题时，它似乎是 20 倍的糟糕，但事实是，有很多技术正在产生自己大小差不多的问题。我们只是没有将它们汇总起来。我们只是习惯了有很多不同的事物在那里造成麻烦。所以，我担心的一件事是保持我们的心态，这里有很多严重的问题，>> 但我们不必将它们加起来，变成一个我们永远无法处理的巨大问题。我们可以处理很多小问题。嗯，这与我们面临的最大问题并且我们无法处理的情况不同。当我们将其分解时，当我们认识到这些是独立的问题时。它们通常处理的是完全不同的技术，>> 嗯。>> 看起来更容易处理。所以，我不想让人们陷入绝望，我现在和人们交谈时经常听到的是，你陷入绝望，因为它很复杂，而且有很多事情在发生，以及许多可能的事情。但人类也有相当好的能力去适应事物，去反击事物，去最终说“够了”，我们不想再使用它了。我认为社交媒体终于开始出现这种情况了。这比我希望的晚了五年，但>> 我们已经受够了，你知道吗？我认为是的。我我我有一些>> 我有一些乐观，我不想，如果我们将所有的末日都列出来，我不想让它看起来像是>> 这些都加起来变成了一个无法战胜的恶棍，>> 对吧？而且，如果你列出了人工智能帮助某人做某事的所有的例子，甚至是一些相对重大的事情，比如提出新的癌症治疗组合或蛋白质折叠，这本身就是巨大的，而且将会是一项，你知道，改变世界的创新。而这些事情只是需要时间才能通过技术循环过滤。没有人想听那个视频，说“嘿，看看这项技术带来了所有这些东西。”>> 嗯，这也是我想在那里提出的另一件事，我们必须小心将不相关的 AI 技术联系起来，并允许进步反映在其他方面。所以，比如>> 是的，>> 癌症诊断、蛋白质折叠，这些与语言模型是完全不同的技术，对吧？但是>> 我今天也刚和一个肿瘤学家谈过，她说，虽然我需要你知道，我不是指聊天机器人。>> 是的。因为我认为接下来会发生的是，你会得到这些推断，因为“哦，聊天机器人变得更好了，所以癌症将成为过去式。”比如不，那是另一种人工智能，或者“我们将拥有机器人来做我们所有的，你知道，体力劳动。”嗯，那是完全不同类型的人工智能，有它自己的挑战，或者，对吧？>> 自动驾驶汽车。比如，是的，但那是很慢的，那是它自己的技术，而且我们正处于一个非常长的轨迹上，而且有很多，我有时称之为“进步洗白”，即这个广泛领域内的某项技术取得了飞跃，我们将这种进步洗白到其他技术领域，并说它们也取得了同样的飞跃，但它们是完全不同的技术，所以，比如聊天机器人变得更好>> 也有，比如，有一些研究是通过利用聊天机器人的收益完成的，是的，这也是真的。公平地说。是的。>> 但在癌症研究方面，他们所做的是，他们利用了一个大型语言模型，但给了它一种不同的语言，而这种语言是细胞的语言。>> 是的。>> 以及细胞如何相互交流，这就像天才一样。我喜欢，那太酷了，我想为此做一个视频。但是>> 那太酷了。而且它们的训练方式完全不同，但它真的很酷。是的。我的意思是，而且>> 一项技术的兴奋感也可以带来相关技术的兴奋感，而这，而这，我认为是好的，对吧？比如，“哦，因为人工智能领域普遍存在活力，我们在人工智能癌症研究方面重新焕发了活力。”所以，>> 你是否感受到某种“科技的快乐”？比如，我的天哪，我竟然活在一个非常奇怪的时刻。>> 我是的。我的意思是，我我尤其是在 GPT4 方面，因为那确实是，正如你所说，一个巨大的阶跃式飞跃>> 因为大多数人没有见过 GPT3。你必须获得 API 访问权限>> 而那就像哇>> 这就像一个非常大的飞跃。实际上，我在这方面也有些失望。我以为>> 我们将拥有自然语言接口和计算，就像我们现在正处于那个时代，这将是一个非常棒的时代，原因有很多。我认为生产力在技术意义上会大幅提高，如果你让每个人都成为所有软件的专家。比如我对此感到非常兴奋，但又有点失望。我当时想，等等，为什么我们没有看到这些工具被添加到所有这些软件中？为什么我们只看到基准测试图表？比如，好的。>> 我认为我们会看到的。而我之所以认为我们会看到，是因为它在代码方面非常出色。>> 是的。>> 但这很奇怪，但事实证明，代码之所以与语言相邻，是因为这些系统在代码方面非常出色，但它们在点击某物方面并不出色，这很奇怪。>> 是的，>> 你知道，这并不是你所期望的。但事实是，我们在我们没有意识到的事情上做得很好。>> 而这，我刚刚写了一篇关于这个的文章，这是一个完整的故事，我们被编码代理相对而言如此出色所欺骗，以至于在 2025 年初>> 这个词是“这将是代理的年份”。我们将分配工作，但它没有发生，因为正如你所说，移动鼠标很难，而代码非常适合。>> 我们也没有意识到，那些编码代理完全在终端中工作。所以，它完全是基于文本的，它们在一个基于文本命令的世界中生成结构化文本。这就像语言模型的迪斯尼乐园。这是最好的可能场景，对吧？但你可以想象一个存在于那个世界中的 Excel，比如，你知道 Excel 是代码。只是我们以为我们可以跳过为我们构建 Excel 的部分。>> 是的。>> 我们必须做的是，我们需要为它们构建 Excel，这听起来像我>> 是的。我来告诉你，这是我的科技快乐。我我正在和一位从事编码代理领域的人交谈，他们有一个非常酷的想法，比如“是的，这是要思考的方式是，一切都是一个程序。”所以，如果我让 Excel 做某事，大致的方式是让语言模型生成一系列我们会在 Excel 中使用的命令。但实际上应该发生的是，Excel 应该打开一个文本 API，当我说明我想做什么时，语言模型会创建一个计算机程序来完成它，因为它们非常擅长创建计算机程序，而这个计算机程序会与 Excel 通信，而且代码实际上将成为计算的通用语言。我们用英语说话，它会被转换成一个计算机程序，然后通过众所周知的接口访问其他计算机程序。这触动了我计算机科学的“技术快乐”按钮。这太聪明了。是的。>> 是的。比如，如果你有专业级的 ChatGPT，它已经可以做到这一点了，它就是内置的，在某些情况下，它就开始执行代码，你就会想，“你在做什么？”是的，对于计算机科学家来说，你会想，“啊，>> 这是我所想象的世界。”就像，你只是用代码思考。这很有道理。是的。>> 嗯，我认为是这样。总之，我对此感到兴奋。我认为这是可以的。这确实有很大的影响，它将改变很多事情，并且可能产生经济影响。>> 但那是一个好的，但我认为最终那将是一件好事。但它，是的，这与我们现在正在进行的对话不同。听起来也像，如果这就是我们最终的世界，那么我最大的恐惧之一就是，当人们还不擅长某些事情时，他们会做什么？比如，大学毕业生在这个世界里做什么？如果人工智能比那些不擅长的人好，但不如那些擅长的人好，那么在这个知识工作领域，学徒制是如何运作的？你知道，学徒制在管道工领域仍然会存在。而且听起来有点像，实际上，在这个现实版本中，有很多人类劳动力的空间。>> 是的。因为我认为大多数事情，至少现在，想想那个现实，都不是被人工智能取代的。我认为陷入困境的行业是计算机编程的开发，因为我最近和一些开发人员谈过，他们告诉我，这是他们的话，不是我的话。他们说，你需要了解软件开发世界的这一点。大多数程序员都很糟糕，就像总的来说，就像，不是，我们想到的是那些非常厉害的 10 倍程序员，他们是，你知道，Meta 或其他公司的热门人物，因为我我曾提出过这样的论点，我不喜欢这种新模式，你有多个标签，每个标签都有自己的编码代理，你所做的就是监督这些标签，我觉得这感觉就像技能退化，感觉就像要有点警惕，你不想失去你最擅长的东西，创造专家级的优雅代码，而一些开发人员回复说，实际上很多人只是在复制粘贴，有很多编程工作，只是人们在编写糟糕的代码。>> 嗯，代理擅长编写>> 糟糕的代码，对吧？比如，那确实是危险的。>> 所以，最后一个问题。我们已经谈过一点了，但当我们谈到我们确实看到的问题时，而且我们都会因为各种原因对它们赋予不同程度的严重性，但当我们谈到任何新技术，尤其是这项技术将呈现给我们的问题时，你是否觉得我们有能动性？比如，有哪些杠杆？你知道，识别问题很糟糕，但感觉你好像能产生影响。>> 我认为我们确实有一些不同的杠杆，对吧？好的。所以，首先，我认为有一种个人选择的杠杆，我认为说“弄清楚你的产品有什么用不是我的工作”是完全可以的。你的工作是说服我它有用。不要告诉我，你知道人工智能，然后不告诉我这意味着什么。就像，如果我没有一个清晰的使用案例来使用某个东西，我不会花我的时间和金钱和注意力去尝试掌握你的工具。如果我觉得你的工具很糟糕，嗯，我不会使用它。我认为父母和老师应该有一个规定，孩子永远不应该在无人监督的情况下使用聊天机器人。我认为这完全是危险的。我们不，我不相信“孩子需要知道如何使用未来的工具”这种说法。>> 就像我认为必须有一些文化语言规范和禁忌。是的。嗯，所以我们应该开始发展这些。嗯，这可能是早期由父母监督，正如你所看到的例子。我只是在使用它，但如果谈论一个九岁的孩子，这有点浪费时间。>> 你不需要让他们接触，他们需要知道如何使用聊天机器人，因为我们与生成式人工智能互动的方式，六年后的形式因素将不再是，它将不再是相同的，对吧？他们不需要学习那个。那是 F1 赛车，他们永远不会，他们永远不会驾驶。所以，我认为完全应该正常化的是，“是的，孩子们不应该接触这个。”嗯，我认为教育机构应该可以自由地说，这一切的目的是在你的脑海中制造摩擦，这样连接就会变得更强。你知道，就像这是一个健身房。是的，这是真的，叉车可以帮你举重，那会更容易，但这个健身房的全部目的是举起重物。就像，我们在这里不是在做这个。我们不必竭尽全力去改变我们的，你知道，所有关于学习的东西，以一种强迫的方式来包含这个工具。嗯，我也认为有一些经济杠杆可以拉动，这又回到了，我不会浪费时间在某件事情上，直到我，我们已经完成了这种苹果引起的，你知道，2000 年代初的时代，成为新技术的第一批采用者并试图弄清楚它将如何有用，这难道不令人兴奋吗？我们可以就这样结束了。除非有非常引人注目的用例，否则我不会花钱。我认为还有监管杠杆，比如，我们可以推动的最大杠杆，国会可以拉动的杠杆是，我们对聊天机器人产生的内容承担更多的责任，比如不，你不能只是有一个实体可以随便说什么，然后进行精神病治疗，你知道，给出非常危险的，不，你对这个东西说的话以及发生的事情负责，以及它的影响将是，哦，我想我们可能无法拥有一个只是试图成为通用对话伙伴的产品，那可能会更好，>> 对吧？所以，>> 是的。山姆·奥特曼会说，“嗯，那就不会有聊天机器人了。”是的。但你不认为会有办法实际进行研究并创建功能来允许这些东西？>> 是的。我不认为，我认为是的。我认为如果我们说，“看，嗯，是的，你负责，你知道，X、Y 和 Z，”我们又回到了专业化的未来，也就是我们最终要去的地方。再次，神谕模型，比如一切都必须，为什么我需要使用相同的工具来总结电子邮件，还需要成为一个我可以与虚拟存在进行某种，比如恋童癖色情关系的工具？比如，它必须在同一个工具里吗？你知道，如果你是对的，当然，我认为你是对的，因为我现在正在和你说话。>> 但如果你是对的，我们将回顾过去三年，就像“还记得我们是白痴吗？”还记得我们认为我们将要做数字神吗？>> 嗯，是的，我希望如此。我希望三年后我们说的是，“数字神在经济上毫无意义，它极其危险，>> 而且我们还要免费给每个人。”>> 而且我们还要免费给每个人，而且我们一直在夏威夷搜索了三年，仍然没有找到马克·扎克伯格。我们知道他躲在那里。我们最终会找到他的。>> 他在他的海洋巢穴里。>> 就像饥饿游戏。他把树叶画在脸上，很难看到。>> 他终于找到了适合他的时尚。>> 你不喜欢那条链子和 T 恤吗？>> 看，它比他以前看起来好多了。我，你知道，他正在做出选择，或者有人在做出选择，以至于让我觉得，是的，人们，有人学会了如何说，“实际上，马克，那个发型看起来很糟糕。”这很好。我认为这是个好消息。>> 也许聊天机器人会告诉他。看，这一切都可能发生。>> 也许那就是发生的。他得到了早期访问。卡尔·纽波特，你可以观看他的，收听他的播客“深度问题”。在 YouTube 上免费观看。它非常好。我本人是 नियमित 观众。在其他地方也可以免费收听播客。而且，如果你喜欢卡尔·纽波特的一些作品，他的很多作品都侧重于我们如何专注于我们如何拥有对世界的能动性，我们如何重新夺回这种能动性，以及我们如何做好工作，以及时间和专注对于做好人类工作的重要性。>> 所以，请看看卡尔。他很棒。卡尔，非常感谢你花这么多时间和我在一起。哦，>> 这是我的荣幸。我喜欢。