Transcription
好的,太棒了。我们开始吧。Daniel Beesler,Unsupervised Learning 的创始人,《PII, Personal AI Infrastructure》的作者。欢迎来到认知革命。我非常期待这次对话。我认为这次对话非常及时,因为显然全世界都开始认识到 Claude 代码的强大之处,现在我们也有了适用于桌面的 Claude 协作模式。所以大家都在说,“我的天哪,这正在以这种方式、那种方式改变我的工作。”我正在创造我以前只是想过的事情的完整模拟,而且,你知道,我拥有记忆宫殿,它们现在不仅仅存在于我的脑海中,而且实际上是以持久模式存储在计算机中。在过去的几年里,你一直是这方面的先驱。我当然也一直是一个人工智能的狂热者,在同一时间段内,但我并没有像你和其他先驱那样深入个人人工智能基础设施领域。所以,我真的很期待在你开始稍微追赶这个方面时,能和你好好聊聊,并且绝对认为在这个以及其他一些方面,都会有很多东西可以学习。也许先从你开始,你拥有网络安全背景。你一路走来曾在几家大公司工作过。现在,你独立工作,并且在做一些不同的事情。你想告诉我们一下,你今天的投资组合看起来是怎样的,以及我们应该如何看待你所熟知的那些不同的活动?>> 是的。所以我的背景绝对是网络安全。那是我所做的,而且我仍在做。那是我整个职业生涯都在做的事情,从 99 年左右开始。我开始接触苹果公司的人工智能。我加入了他们那里的机器学习团队。在那里做了很多关于机器学习和安全方面的事情。所以,我想说我大概在 2016 年左右接触到了人工智能。然后,我在 2018 年加入了苹果公司,在那里接触得更多了。并且一直在思考这个问题很长时间,但直到我独立出来,大约在 ChatGPT 出来前 6 个月。所以,时机很棒。然后 ChatGPT 在 22 年底发布了,显然我大幅调整了方向,不是放弃安全,而是将安全视为嵌入人工智能内部的东西。我将人工智能视为一种放大你所做的其他一切的容器。所以,我现在的重点基本上是试图帮助人类和公司,主要是人类,能够适应即将到来的变化。这就是主要的事情。我做了很多开源的东西。你提到了 Pi 项目。那可能是最大的一个。我还有一个名为 Substrate 的开源项目。所有这些都是为了推动人类前进。我觉得我们一直以来所处的位置并不好。只有当它开始被颠覆时,人们才会说,“哦,人工智能将颠覆我们的工作等等。”但在那之前,每个人都讨厌那些工作。你知道我的意思吗?就像每个人都知道这是一种糟糕的生活方式。我最喜欢的衡量标准之一是你有多么害怕星期一。而我衡量美好生活的一个重要标准是,你是否期待星期一。我认为按照这个标准,我们对公司工作已经很不满意很长时间了。所以,我正在努力弄清楚,如何拥有一个更好的人类未来版本,显然是利用人工智能来推动这一切。>> 我很喜欢这个起点,它提醒我们,大多数人过去并不喜欢他们的工作,而且坦率地说,现在仍然不喜欢。我认为这是对现状的一种奇怪的固守,或者是一种应对机制,或者别的什么。对我来说,这很奇怪。我认为这显然与许多从事人工智能职业的人在很多方面都非常幸运有关,而他们可能甚至没有意识到自己拥有的一个巨大优势是,他们拥有一份他们认为本身就有价值和激励的工作,并且在某种程度上,即使没有报酬或者不需要为了钱而工作,他们也会做一些同样的事情。但我认为,对于当今经济中的绝大多数 W2 工作者来说,情况并非如此。我认为我们应该更经常地提醒自己这一点。我想就你刚才说的几点进行深入探讨。一个是你说的“即将到来的事情”。所以我想让你详细阐述一下你对它的看法。显然,人们对即将发生的事情有着截然不同的理解。从仍然完全否认,我认为这越来越站不住脚,可以被忽略,但仍然存在更……更可信的版本,即“人工智能是普通技术”。然后,我们有……人们认为奇点非常近。我处于中间位置,但我肯定更倾向于后者。另一件我发现非常有趣的事情是“人工智能作为安全的容器”。我不知道你具体指的是什么,但这确实让我觉得,这与我在人工智能安全和控制领域看到的许多情况形成了对比,那里的想法是“我们需要以某种方式将人工智能装进一个盒子里”,所以“让我们开发所有这些安全措施,无论是容器的正式验证,以……将它们沙盒化,还是……各种人工智能代理互相检查工作等等。”是的,让我们先从你认为即将发生的事情开始,然后我们可以深入探讨人工智能和安全之间的关系,以及安全之间的关系。>> 是的,我认为我所看到的即将发生的事情,在很大程度上与许多人所说的相同,不是所有人,但许多人都在说它如何影响资本和劳动的平衡,对吧?所以,当大多数知识工作岗位……机器人技术是另一回事,谁知道还需要多久……但我认为不会太久……在人工智能之后,但基本上,劳动力……劳动力被大大削弱了,那么所有权就变得更加重要,对吧?然后问题是,好的,我们完成了所有这些生产力。听起来很棒。你现在可以以千分之一的成本生产千倍的东西。谁会买呢?对吧?因为传统上,整个系统都是建立在这样一个概念上的:你花费你的工资来购买东西,然后有些人制造东西,然后循环往复。当那个根本性地破裂时会发生什么?所以,这是我有点担心将要打破现状的主要变化,但同时,我很高兴它会发生。我并不高兴它将如何发生。我认为它将是颠覆性的,很多人会因此受伤。而这正是我试图做的事情,如果可能的话,就是缓解这种转变。为了回答你关于安全和人工智能的问题,我认为这是一个很好的问题。毫无疑问,人工智能正在制造许多安全问题,但这是我经过所有这些咨询和所有这些时间后对这个问题的看法。我认为安全问题的一个重要部分,我甚至会说是一个主要问题,实际上是人们不知道发生了什么。组织内部发生的事情太多了。新产品正在开发。领导层一无所知。东西正在被推向生产。服务器在启动和关闭。端口正在打开。应用程序正在打开。新的 API 正在被呈现。软件正在衰败并变得脆弱。所有这些都发生在任何规模的公司,任何像样的公司,你都无法凭人力跟上。即使你记录了所有这些东西,也没有人去查看这些东西。就像,人手不够。假设你有 100 个人,你说,“嗯,我们真的想认真对待这件事。让我们把人数增加到一千人”,这在任何安全或安全领域都不会发生,安全不是优先事项。但即使他们这样做了,他们仍然无法查看大部分日志,无法查看大部分更改,因为事情发生得太快了。所以,人工智能的独特之处在于,它拥有所有代理的东西,更重要的是,它能够轻松地封装我们试图做什么的解释,形成我们的目标,并将我们的项目和工作与这些目标对齐。这是人工智能可以一直做的事情,对吧?它可以一直这样做。所以,它可以帮助公司内部的规划。例如,它可以帮助安全团队或工程团队向管理层和其他团队解释他们实际在做什么,对吧?通常,这些解释会以大型演示文稿的形式出现。它需要组织中数十人或数百人,不是几小时,而是几天或几周甚至几个月来准备下一个计划向其他人展示。在此期间,所有这些计划都从顶部发生了变化。所以,你处于一种持续的动荡状态,组织内部充斥着过时的信息,这从根本上导致了许多问题……关于……能够有效地管理公司,并且绝对能够确保它的安全。所以,当我说是人工智能包含其他东西时,我的意思是,我认为运行一家公司和确保公司安全所需的所有东西,当你拥有更多的数据访问权限并且可以即时生成你实际要完成的事情的叙述时,它们就会变得更容易。基本上,它消除了其他组织的模糊性。它消除了高层解释愿景并将其向下传递的模糊性。沟通的这种破裂状态是造成如此多麻烦的原因。>> 是的,有两个主要线索。一个是关于我们如何捍卫劳动力的作用,以及我们能捍卫多久的问题。然后是围绕着……你甚至开始扩展……我可以说,不仅仅是安全,而是组织动态。但是,任何处理过服务器日志的人都知道,你说的绝对正确,人类的时间和注意力根本无法阅读所有服务器日志。所以,有两个组织浮现在我的脑海中……我曾与他们有过对话,并希望在不久的将来进行完整的节目。一个是 Workshop Labs。你可能见过那里的创始人之一,也许是两位创始人,写了《智力诅咒》,他们正朝着一个类似的目标努力,他们说,“我们如何尽可能长时间地捍卫劳动力的议价能力?”这对我是个挑战,因为我觉得……这可能值得探讨一下,关于我们世界观之间可能存在的差异。我觉得最终,再次,有很多的应对机制,对吧?我的意思是,我看看泰勒·科文这样的人,我非常尊重他,而且……我读他的作品已经有 20 年了。我最近回头看,我认为第一次提到“零边际产出工人”,他称之为 ZMP 工人,可以追溯到 2010 年,甚至可能更早。那是一个金融危机……抵押贷款泡沫破裂之类的时期,突然之间,这在经济衰退中很常见,公司突然环顾四周,他们说,“好吧,我们得……在这里少花点钱。”我们真的不需要谁?他们倾向于不做那种事情,因为这在很多方面都很痛苦,直到他们真的被迫这样做,但金融危机迫使他们这样做了。然后,在许多地方似乎发现的是,“嘿,我们实际上可以用少 10% 的工人做同样的事情。”而且,我不知道泰勒是否创造了 ZMP 工人的术语,但他当时肯定写了很多关于它的博客。快进到今天,他说,“啊……别指望劳动份额会下降太多。”“会有各种原因,它会重新平衡。”而我有点像,“我不知道,伙计。”在我看来,我们已经到了在许多情况下,我宁愿使用 Claude 代码,也不愿雇用初级开发人员的地步。我不是……我认为这在多大程度上影响了总体统计数据,这仍然是一个很大的争论。而且,我们只能在事后才知道了,但我很难想象一个大多数人最终会陷入 ZMP 状况的世界,而且……这也涉及到你所说的组织动态和速度,以及……Doresh 发表了一些很好的文章,我认为 Jay Catra 也非常有说服力地思考了……随着数量和速度变得如此压倒性,只有人工智能才能处理。所以,我想,如果我试着把这个问题归结为一个问题,你对 AGI 的信心有多大?你认为在接下来的几年里,它会发展到什么程度?如果你想象一下,从……甚至在 2010 年人工智能出现之前,水线就已经在上升了,结果发现……大公司不需要他们 5% 到 10% 的人。这个比例会上升到多高?对我来说,这显然会涉及到大多数人,他们将在未来的完全实现的人工智能企业中很难做出贡献。而且,我们可能仍然有高管,因为我们需要判断力或决策力,或者别的什么,但高管并不多。所以,我倾向于……一个最终状态是,我们需要一个新的社会契约,我们需要一个 UBI。然后,显然,这会成为一个巨大的问题。我们如何才能实现这一点?在什么时间线上?过渡会是什么样子?我没有好的答案。我经常会……挥挥手说,“嗯,我们得想办法。”我们有足够的时间去想办法。但总之,是的,你认为这会发展到什么程度?你认为当前劳动力的多大一部分是……长期可防御的?有多少能坚持下去?你认为最终有多少人能在未来的完全实现的人工智能公司中占有一席之地?>> 是的,我认为要在这个现有系统中运作,很少有人能在这个现有系统中生存下来,并在公司内部有用。而且,这是我……我这样表述,这有点极端,而且有点……我猜,反工人,或者别的什么。这绝对不是我的意图,因为我正试图让我们达到一个每个人都更快乐的阶段。但我的看法是,要达到取代工人的要求,基准非常低。如果你只考虑大多数知识工作者在做什么,我们已经谈过了,他们大多数情况下并不快乐。他们有点害怕星期一。他们去上班不开心。而且他们所做的工作,大多数人……我敢说大多数工人……非常例行公事,而且只是……你知道,你必须收发邮件,你必须总结邮件,你必须写报告,你必须看几份不同的报告,然后再写一份,对吧?而且,就像,如果你看看人工智能擅长的核心,它就是……覆盖了……这些工作中的许多。所以我认为门槛一点也不高。我认为它变得非常低,尤其是因为工人并不真正努力。这是他们的工作。这是阻止他们过上生活的事情。他们简直就是想熬过一天。同时,他们不断受到“权力的游戏”政治的冲击。这只是一个敌对的环境。所以,这不像人们来上班时说,“哇,让我释放我的创造力,让我以一种能与人工智能竞争的方式发挥最大的智慧。”所以我认为,要超越一个普通知识工作者在其工作中做的事情,门槛非常低,这当然是数亿个工作岗位。我想从另一方面来说,这是……一种极端的思考方式,但我觉得它是……有效的。我认为对大多数公司来说,理想的员工数量是零。我认为那一直是理想的数量。所以,我喜欢这样想:如果我有一个冰淇淋摊,我不想扩大规模,我不想做任何类似的事情。我只有我的卡车,我有我的冰淇淋,我卖冰淇淋,我赚了很多钱,或者别的什么。我每周赚 500 美元,我可以靠这个生活。人们不能在外面挑剔我,说,“你为什么还没雇佣我?”对吧?因为我没有雇员。只有我。我开着冰淇淋车出去,我赚我想要的钱。这就是大多数公司希望他们能做到的。他们希望他们能自己完成所有工作。我们真的雇佣了人。而且这很奇怪。这就像卡在我们的脑子里。我们之所以有劳动力经济,是因为那些想出公司、想法或产品的人,他们自己做不了工作。如果他们有那么多头脑和双手,并且能住在多个地方,那么早就没有雇员了。所以,一种思考方式是,人工智能正要回归一种更自然的状态,即每个人都做自己的工作。每个人都真正地做自己的工作。你有一个想法,你启动了一大堆代理,那些就是你的雇员,打个引号,他们去工作。所以,如果有人在外面说,“嘿,你为什么没雇佣我?”就像,“什么意思?我自己在做工作。一切都很好。我为什么要多雇一个人?”所以我认为这两者的结合对人类劳动力在传统的公司结构中的前景非常不利。>> 是的,这听起来很艰难。我想,你知道,有一件事我们当然应该给……怀疑论者应得的,至少是关于一个后续问题。为什么这种情况还没有发生得更多?我必须承认,我不是一个超级预报员,但我确实做过一些这样的预测练习,比如,一年前我预测了很多今天将发生的事情。而且,我想说,我总是有点高估了……至少在过去三四年里……颠覆的程度。你知道,我认为我一直高估了明年的颠覆程度。我认为我对……能力的发展方向有更好的把握。可能也高估了一点,但不多。但我更多地高估了……一年后的世界会有多大不同。所以,也许我只是错了……哪些是真正的关键阈值。但说实话,我认为即使回到 2024 年,从你基本上可以微调 GPT4 的时候起,对我来说就很清楚了,大多数组织,如果他们决心……真的这样做,并系统地审视……人们如何花费他们的时间,任务是什么,你知道……你知道,我们所有的资源都花在哪里了,然后他们开始列出优先事项,并尝试让人工智能来完成这些任务,那么我认为他们可以更早地做到这一点,我对这个观点非常有信心。但然后这就引出了……好吧,现在我们……在这里是 2026 年初,而且……就像旧的……你知道,计算机的事情又来了,我们到处都能看到它,但宏观统计数据呢?你如何理解这一点?>> 我这样理解,因为我认为人工智能的价值实际上在于脚手架,而不是模型。所以,模型能做什么并不重要,如果它不在一个允许它接收输入并产生有用输出的脚手架中。这就是为什么 Claude 代码会火爆,因为它是一个最好的脚手架系统,对吧?Opus 45 和……你知道,最好的 Gemini 模型或最好的 OpenAI 模型之间的区别并不大,而且另外两个在某些方面更好。事实上,开源模型非常接近。不是 Anthropic 在爆炸,也不是 Opus 45 在爆炸。是 Claude 代码,因为它是一个脚手架。为了回答你关于为什么以前没有发生这种情况的问题,即使在人工智能之前,但在过去……你知道,人工智能的三年里,在我看来,是因为普通知识工作者的工作极其普遍。所以,当他们来上班时,就像,你必须查看所有这些电子邮件。哦,但你必须观看这个视频,因为它是强制性的……安全编码培训。哦,但你还必须处理你和你的老板以及其他……人之间的争吵,你必须谈论那个。哦,原来你必须参加一次人力资源会议。哦,实际上,公司目标刚刚完全改变了。现在,我们必须重做我们所有的工作。所以,我们不再做那个项目了。我们正在转向这个项目。所以,在一周、一个月或一年的过程中,人类工人被要求做……这些截然不同的事情。即使在一个小时内,你可能必须收发邮件。你可能必须修复你的电子邮件。你可能必须观看一个培训课程。所以,目前不存在一个脚手架系统,可以让人工智能完成所有这些事情。这根本不可能。所以,你会有……人工智能在编码方面非常出色。也许它在写报告方面非常出色,但它如何接收所有这些输入并以与人类工人相同的方式产生输出呢?它不能,对吧?这就是为什么我们还没有……市场上出现大量的 AI 员工。而我非常担心这一点,这也是为什么我认为 2027 年是 AGI 的一年,根据我的定义,即取代普通人类知识工作者的能力。问题是,何时……何时会出现脚手架,我们刚刚看到了协作模式的出现?他们是这么叫它的吗?Anthropic 的协作模式。我们刚刚看到了它的出现。这是一个用于在工作中执行广泛任务的脚手架系统,对吧?它实际上也适用于更通用的任务,但这是……有人可以构建一个实际取代人类工人的 AI 产品的那种东西,因为现在公司内部发生的那些奇怪的通用事情,那些只是一次性任务。而且,这里有一个非常关键的点。对于取代人类工作和颠覆劳动力经济来说,这并不重要。重要的是,它是否是通过……幕后巫师,实际上在做大量狭义的人工智能,但它能够为普通工人所做的所有任务做到这一点,并且它只是通过脚手架无缝处理。它是否做得比普通员工好得多,这并不重要,对吧?所以,当我谈论 AGI 时,我不是在谈论……档案是怎么想的,你知道,技术研究论文。我认为他们走这条路很酷,我迫不及待地想看看他们会做什么,如果他们创造了一个真正的 AGI ASI 智能,但我关心的是人类。我关心的是谁被解雇了,谁没有被雇佣。我认为发生这种情况的方式是通过一个脚手架,它实际上可以比他们做得更好,我认为这看起来很像 Pi,也就是我正在做的项目,Claude 代码,Pi 是建立在它之上的,以及协作模式,他们刚刚用 Claude 代码构建了它。他们说他们一周内就完成了,而且没有人类参与。Claude 代码编写了所有代码。>> 是的,Anthropic 在很多方面都是一个值得关注的组织,因为它预示着未来的发展方向。我了解到他们……基本上不再招聘初级职位了,而且……执行某些事情的时间越来越令人印象深刻。我们也从 OpenAI 那里看到了一些这样的情况。我认为 Codeex,他们说他们在六周内就完成了,而且那已经是……你知道,两代模型……在为其提供动力。但我的意思是,在如此短的时间内完成这些雄心勃勃的事情是相当了不起的。我想,关键在于,我也有这种直觉,我将其表述得略有不同,但我认为我们在这里有非常相似的直觉,那就是,如果你能跨越……普通知识工作者的下降和……老板到工作完成的接口可以基本上被替换,从你和人交谈到你和人工智能系统交谈,这可能是三个穿着风衣的人工智能,或者 57 个穿着风衣的人工智能,或者别的什么。但是,只要它能够足够通用地处理……你可能想到的任何事情,以一种类似于你可能想到的任何事情的方式处理一个人,并且不会得到……愚蠢的、令人失望的反应,那么似乎你就会达到一个点,人们会……非常明显,而且他们……不会错过这个机会,对吧?显然,经济激励非常强大,不会错过这个机会,因为它真的开始奏效了。然后人们就会……在 A 门后面,你可以雇佣一个人,或者在 B 门后面,你可以雇佣一个人工智能,而人工智能显然有许多优势,就其知识的广度而言……你知道,24/7 全天候可用性,即时响应,成本……显然,你……只是举几个重要的例子。所以,我们似乎都分享一个阈值模型,当它翻转时,它可能会很快翻转,然后我们可能会进入一个世界……你知道,以一种相当突然的方式,那里真的没有初级工作,就像过去那样。而且,我认为也应该说……即使是我们受过相当高等教育的人,在社会中也享有相当高的地位,他们可能会发现……人工智能可以做他们的事情,然后显然我们就……面临一场危机。所以,给我多一点细节,关于……我该如何……我猜有几个方面。一个是……你正在构建什么,这涉及到 Pi 项目,而且……我们可以以一种……几乎是分形的方式来剖析它,因为它有很多深度。然后另一个问题是……它如何转化为一个世界,在那里……你知道,相当大一部分人实际上可以保持某种市场力量,某种议价能力,你知道,某种在……你知道,在公司可能发生的变革面前,经济上可行的能力。>> 是的,如果我能……让我快速补充一点你刚才说的。基本上,我认为 AGI 是一个产品发布,而不是一个模型发布。所以,我认为某家公司会推出……无论是什么虚拟工作者,或者他们会怎么称呼它,它将是一个类似 Cloud Code 的系统,基本上可以完成这项工作。而且,我认为判断它是否有效的方法是,它们是否真的部署在公司内部,而不是概念验证,它们是否真的部署在公司内部。而且,这是……我认为 Carpathy 可能提到过的标准,或者我之前关注的某个人提到过类似的东西。它们被纳入。它们出现。它们与人类员工一起在同一个队列中。它们经历入职培训。它们观看所有视频。它们接受培训。然后,周一早上,它们出现,并与团队经理一起参加全员会议。经理说,“是的,我们正在做这个。”之类的。你知道,“Sarah 在这里,Robbie 在这里。你知道,Chris 在这里,我们将分配工作。你知道,你周末过得怎么样,对吧?”而人工智能会说一些话,“哦,我读了一些书,或者别的什么。”就像……它会说什么来……试图表现得像人类,然后它开始从经理那里接手工作并完成工作并返回。而且,重要的是,当经理说,“嘿,我们的目标改变了。你不再做那项工作了。你做这项工作。”它需要能够像人类一样进行调整。所以,这是一个……脚手架人工智能产品,而不是计算机科学。你知道我的意思吗?显然,下面有很多计算机科学,但对我来说,整个封装是一个产品,老实说,这可能就在今年发生。我猜是 2027 年,但我的意思是,我可能错了。就像,可能是 28 年或 29 年,但它……在我看来,根据我的定义,AGI 的样子就是取代工人,这似乎是不可避免的。>> 我本来想开始谈谈你正在构建什么来帮助人们开辟自己的利基市场。然后,我认为仍然有许多更宏观的问题。但也许我们先来谈谈……好吧,你知道,所以我们遇到了这个问题。公司将变得极其人工智能化。工作将消失。那么,这对人们来说还剩下什么?以及……你正在构建什么来帮助他们捍卫或抓住……我不知道是捍卫还是抓住?有点两者兼有。抓住并捍卫……仍然存在的机会。>> 是的,我这样表述是因为,我认为大多数人类并没有被激活,就我在这里所说的非常具体的事情而言,我使用了一个比喻:一个带着剪贴板的访客外星人。所以,访客外星人出现了,他们只是随机采访地球上的人。你知道,在世界各地采访了十亿个随机的人,然后说,“嘿,所以……你是谁?……你做什么?我……我走遍了银河系,实际上是 19 个银河系,我只是采访人们,问他们……你是什么?他们会说,“嗯,我是一个……嗯,会计专家。我工作在……你知道,某某公司。我提供这种东西。我做这个。你知道,我检查电子表格。我更新东西。我发送报告。”他们会说,“不,不,不。你是谁?就像,你是什么?你的信念是什么?你认为世界上有什么问题?你打算如何改变它?”他们会说,“是的,我……我不知道。那是……那是特殊人才做的事。”就像,你有没有想法?你谈论你的想法吗?你把它们放到世界上吗?就像,哦,不,不,不,不。我不是……我不是作者。我不是 YouTuber。所以,有一个默认的状态,我认为,这……不是任何人的错,这只是……人类的历史,人们被告知有特殊的人拥有播客,有想法,写下来,并认为它们值得与他人分享,然后有普通人,占 99%。而我们整个教育系统,无论多少年,都告诉我们,你的目标是从那 1% 的人那里找一份工作,你是一名工人。而这种心态基本上关闭了……整个星球的创造力……四舍五入到……零,因为现在在 YouTube 上真正相信自己有话要说的人非常少。所以,我的整个计划,我不知道它是否会奏work。想到它不 work 太悲伤了。所以,这是我全速奔向它的唯一原因,因为我想,嗯,这可能是可能的,可以帮助实现,因此我将尝试。那就是,我们必须激活人们。我们必须让更多……99% 的人……无论数字是多少,对吧?可能是 99.999%,或者可能是 95%。无论如何,我们必须让更多那些认为自己只是为特殊人工作的人意识到,他们也可以是特殊的。他们也有想法,而且我在一生中看到了很多证据,你可以通过相信他们来激活某人,通过告诉他们他们有能力,通过说,“嘿,你意识到你刚才说的那件事很酷吗?你有没有写下来?就像,不,不,不,那……没人会读我说的,对吧?我的意思是,有多少人……相信他们只是……母亲,他们只是妈妈,对吧?他们只是提供这个,而你却说,“嘿,哇,你刚才说的那句话很聪明。你有没有和别人分享过?”嗯,谁想读我说的?所以,这里有一种戏剧性的说法:想象一下,外星人访问过的行星都有……悬停在上面的统计数据,你知道,他们可以看到行星的创造力激活统计数据。当他们在手机上滚动浏览他们看过的数万亿颗行星时,当他们滚动到地球时,它显示 0.0013,这就是地球上人类创造力激活的程度。对吧?所以,这是一个巨大的机会。我最喜欢的一种方式是拥有一个持久的导师,一个持久的助手。这有点超前,但我们会到达那里的。一个持久的……一个持久的导师,与这个人一起工作,让他知道……不要太奉承,对吧?但让他知道,嘿,你看,你确实有想法。你确实有价值。你很聪明。嘿,你想了解更多吗?并且从很小的时候就一直可用。显然,早期必须小心处理这些事情,但让孩子们能够接受辅导,既能培养他们的心态并相信他们有能力,又能为他们提供海量的知识,对吧?所以,我觉得这将是一个巨大的杠杆。我觉得,显然我们需要解决……社会和政府的运作方式等等,这会很困难,因为很多时候……挑战非常真实。就像,嗯,我的父母每人工作三份工作。他们没有时间照顾我,因此……你知道,坏事发生了,对吧?所以,我们必须在多个层面解决所有这些问题。但我认为人工智能提供了一个机会,鼓励人们,尤其是儿童,但实际上是任何人,去释放他们内在的力量。所以,抱歉说了这么多,但这一切都是为了回到 Pi。所以,Pi 被设计成一个定制的个性化人工智能系统,其中……所以,我有一个名为 TLOS 的项目,它基本上从人们那里收集他们的目标。它基本上做了这个外星人访谈。你是谁?你是什么?你的目标是什么?你认为世界上有什么问题?它实际上从问题开始。问题是第一件事。你认为世界上有什么问题?然后,好吧,你想做什么来改变它?……你的障碍是什么?它可能是个人问题。它可能是……嗯,我太胖了。我从来没能减掉体重。我精力不足,或者别的什么。但这种从问题到挑战再到项目的脚手架,这个系统……基本上可以告诉 Pi AI 你关心什么以及你正在努力实现什么。然后,AI 会启动所有脚手架来帮助你,帮助你进行膳食计划,帮助你……鼓励你,帮助你找到其他艺术家,对吧?因为我不是在为科技人士打造产品。科技人士已经很懂科技了,对吧?这与编码无关。这是关于让一个人在他们想做的事情上做得更好,就像……帮助他们激活完整的自我。所以,实际上这意味着捕捉他们的目标,他们当前的能力,他们想学什么。它也从绘制你一天通常做什么开始,对吧?这在工作中,这在个人生活中。所以,对我和你来说,这有很多写作。这有很多思考。所以,我的工作流程中很多都围绕着这个。所以,我可以捕捉一个想法。我刚刚写了一个 Buffer 的替代品。所以我可以从一个想法到……对这个想法进行红队测试,让一群人工智能争论这个想法,与我争论,而我在这里进行编辑,对吧?即时进行调整,或者我通过听写来完成,感谢 Whisperflow。然后,我得到了那个,现在我说,“太棒了,把它发到 X 和 LinkedIn 上。”它能够做到。所以,这个工作流程,我认为它极其人性化,你可能做的最人性化的事情,就是……有一个想法并与世界分享,现在通过这个人工智能工作流程变得极其简单。而且,它都内置在 Pi 中。所以我实际上在告诉我的 DA,我的数字助理 Kai,嘿,我有一个很酷的想法。你觉得呢?更好的是,我有一个……我戴的吊坠。它是……Limitless。所以,我可以出去散步,在海边散步,我可以随口说一些……半傻的想法,或者别的什么。我回来后,我说,“嘿,去把刚才的对话找出来。让我们把它作为一个想法来处理。”现在我正在实时编辑,因为它从 API 中提取了。所以,我只是消除了……在生活中做更多人性化事情的摩擦。>> 我不想在一些我们今天可能无法解决的事情上纠缠太久。而且,我绝对想深入探讨……工具和……实际的东西。我的意思是,首先,我必须同意你的看法,当然,播客是特殊人才,而且……社会化……我们为社会整体建立的……正处于……它可能在过去 150 到 200 年里对我们很有用,因为……你知道,结构就是它本来的样子,但它似乎……即将成为……你知道,对我们来说是一个巨大的负担,因为它确实让很多人……我认为以你描述的方式回答。我不太清楚……你可以选择……回应这个,或者只是说,“是的,我们拭目以待。”但我不确定有多少人真的想……扩大他们的能动性,或者……成为……更广泛世界的变革者,即使……你知道,与……有多少人会说,“实际上不,我宁愿专注于我的关系,然后……花很多时间拥有……最好的……也许是 VR 媒介的体验。”而且,我想这在某种程度上是一个生产与消费的问题……有多少人会……如果你给了他们闲暇和相对富足的生活,而且……你知道,所有他们需要的时间来专注于他们的人际关系,有多少人会说,“这对我来说不够。我想……做出改变。”我不确定这一点。这会非常有趣。而且,我认为这可能在某种程度上是代际的,因为……要么是那些按照当前方式社会化的人将不得不进行一些非常具有挑战性的“非学习”或再教育,或者……你知道,这必须来自……下一代。显然,这里的一个巨大挑战是……我们不像以前的革命那样……工业革命,我总是喜欢……提醒自己,需要……取决于你如何计算,肯定需要多代人。美国电力化……你知道,这是一个 60 年的过程,从……你知道,爱迪生第一次……接线到我祖母在肯塔基州农村得到电力,那时她还是个年轻人。那确实是一个 60 年……你知道,三代人的时间框架。而我们今天没有三代人的时间来……你知道,来培养……人工智能原生代。所以,在我看来,确实存在一些……重大的未决问题和重大的挑战。而且,我不确定我们应该花多少时间在这上面,或者你是否有……你想提供的任何其他想法。>> 是的,我可以补充一点。我也不知道那个数字,对吧?我也对那个数字持中立态度。我认为这是一个很高的百分比。我认为……而且,这是……更重要的一点。我认为值得尝试。我认为我们不断尝试用鼓励来衡量。我几乎从未见过我试图以这种方式激活的任何人。有时我会在……你知道,13 年或更长时间里尝试七次,每次都会被弹开。好吧。我会在两年后回来,再试一次。对吧?所以,如果被弹开也没关系。可能是因为人们太习惯于处于消费者模式了,所以如果你给他们选择,例如,他们在看 Netflix 节目。他们说,“看,我只想看 Netflix。我只想读故事。而且,你知道,你敲他们,你说,“是的,但你有没有想过一个很酷的故事?……你想读什么样的故事?”他们会说,“哦,我很想读一个关于这个或那个的故事。”嗯,猜猜怎么着?在 2026 年,他们即将能够写那个故事并出版它,成为一个著名的作家。这对我来说非常令人兴奋,因为有人真的……第一步,最重要的一步是,他们……意识到这是可能的。他们停止对自己说负面话,因为……哦,那是为别人准备的。所以我认为这些激活……这些创造力的障碍必须被打破,而……这都是我正在做的……营销的一部分,关于……激活,但……它可能会弹开很多人,没关系。我不知道数字。我认为……不可能知道数字。但我认为……值得尝试。是的,这又让我想起了泰勒·科文。他的一句名言是,你能做的最有影响力的事之一就是尝试提高他人的雄心或抱负。我完全同意。无论那个数字是多少,都绝对值得尝试。我的朋友 Gopal 也说,与其考虑数字是多少,不如考虑你能把它变成什么。>> 完全同意。>> 这适用于很多事情,我认为包括这个。也许再深入一点……关于宏观图景,然后再深入探讨……实际的……你知道,实际的实施方面。所以,有……我只是想解开几个概念。一个是……我可以……我可能有一些值得说的话。我可能有一些……
一个想法的内核,在我脑海中可能值得实现,而不是本能地回避它。在我看来,这绝对值得鼓励。这当然是,你知道的,至少在某种意义上,某种有意义的生活的一部分。即使它不适合每个人,你知道,去做那些能扩展人们选择集的工作,包括那些,你知道,似乎是显而易见的。然后是相关但不同的问题,那就是人们是否能够以某种方式维持当前的经济和当前的社会?>> 是的。或者我们是否仍然需要对那个基础进行根本性的重新思考,以便这种代理权的东西在某种程度上成为它自己的消费形式。这也许更像是一种创造性的消费,但是,你知道,我可能会写书,或者,你知道,创作我自己的任何声望很高的电视连续剧,你知道,为我自己或我的家人或几个朋友。而且,你知道,也许这很棒。也许这是一次很棒的经历,也许它能丰富生活,也许它,你知道,仍然永远不会完全出名,尤其是如果每个人都在这样做,对吧?时间显然是某种核心的、核心的约束,在某个时候,比如我们不能都看彼此的声望很高的电视节目。所以这可能很棒,但我仍然想知道你认为这还能为我们做多少工作,让人们能够,你知道,赚取收入,作为一种维持自己的方式,而不是像,你知道,在某种不同的社会契约基础上,我们可能需要的,成为人们自我实现的另一种方式。>> 是的,绝对。我不知道那是什么样子。我觉得我了解其中的一些部分。所以我想有一个机会,我大约在 10 或 15 年前就做过这件事。基本上,如果每个人都在广播,想象一下一个领英,每个人都在广播他们的能力。就像我是一个训练有素的狗保姆,或者别的什么。所以,基本上,你通过一个守护进程或类似的东西发布,把它放到网络上,你需要这个东西完成。我的屋顶需要更换这个瓷砖。我需要一个狗保姆,我需要有人教我西班牙语,或者别的什么。然后,这会吸引那些有空闲时间、拥有这些技能的人,所以你有一个这样的网络框架,它只是将有欲望和有能力的人联系起来,有需求和有能力的人,对吧?所以我认为这是一个机会,你知道,一个面向未来的科技选择,可以替代经济。我不知道,我不知道我是否足够聪明,在这个领域知道这是否足够。我觉得这绝对不实用,作为我们目前所拥有的东西的替代品。我们不能就这样跳过去。我不知道这怎么行。我不知道人们如何支付房租。我不知道人们如何仅凭这个支付杂货。所以,我觉得可能需要某种,你知道,商定的共享系统,就像付钱给人们生存一样。所以,我看不出在未来几年内,或者至少,你知道,5 到 10 年内,或者别的什么,需要实施普遍基本收入的替代方案。我认为这可能需要发生。我猜在 28 29 岁左右,人们会非常迫切地需要普遍基本收入,因为事情会开始分崩离析。但我确实认为这种基于技术的、需求与能力的交换将是这些层之一。理想情况下,它将是唯一的一层,但即使它有可能,那也太遥远了,以至于实际上不值得关注。我主要关注的是让人们能够广播他们的能力。他们正在广播他们的想法。他们确实相信自己,相信他们有值得分享和生产的东西,而且,你知道,这对别人来说是有价值的,而且他们实际上正在支付,你知道,博士,你知道,声誉分数,积分,无论他们支付什么。但我认为很可能需要一种更实际的过渡方式,这涉及到是的,你实际上正在获得金钱来生存,然后也许这个其他层就在上面。>> 是的,我认为那可能,我的意思是,我认为那也与我到目前为止想出的最好的想法非常接近。我当然能看到,而且想象一个高度定制的、高度个性化的、可能高度本地化的服务经济的第二层,这确实令人兴奋。你知道,我出于某种原因,我的思绪总是会想到那种谋杀之谜晚宴,我甚至从未参加过其中一个,但是,你知道,这是显而易见的一种奢侈品,显而易见是人们会为彼此创造的那种精心制作的、精心策划的体验,而这感觉可能是一种很好的互动和表达自己的方式,你知道,拥有地位和价值,你知道,进行一些交流,但是的,感觉它不能成为基础,因为不是每个人都能,你知道,从那种活动中获得他们的卡路里。所以,是的,我认为我们在这一点上 pretty much 意见一致。而且这太疯狂了,对吧?我的意思是,这是一个多么奇怪的历史时刻,所有这些事情都摆在桌面上供重新思考。当然,有些人,你知道,不相信这一点,或者不承认这一点。其他人认为它会变得更加疯狂,比如我们都会很快死去,我并不完全排除这是一种值得担心的事情,就记录而言。我猜在这方面,你有没有一个 P 毁灭,或者你的存在风险故事是什么?>> 是的,我不知道。我觉得我有很多不同的 P 毁灭,而且我觉得它们变化很大。我不再确定如何看待这个问题了。老实说,我读遍了所有文献和所有论点,你知道,当 Udekowski 是的,当他第一次上 Freriedman 的节目时,我那天晚上睡了很多觉。是的,我认为事情变糟的几率,这是我做这件事的另一个原因,也是我如此专注于积极性。在我看来,事情变糟的几率太高了。在某些方面,我觉得最可能发生的是,不是在不久的将来,也许永远不会。我们没有获得这种未来的价值交换层,等等。最自然的趋势是精英们拥有非常强大的、非常强大的 AI。其他 99% 的人什么都没有,他们甚至懒得去寻找,因为他们被非常沉浸式的游戏所分散注意力,对吧?然后政府动员起来,基本上,你知道,中国和潜在的美国,它们只是利用 AI 来控制人们的威权政权,而且它比以往任何时候都更有效,对吧?所以,我觉得这是一个非常容易的。另一个非常容易的是一切都崩溃了,然后就是混乱,然后你必须在之后重建东西。所以,我觉得有一个像这样的薄薄的行走路径,一边是混乱,另一边是,你知道,非常糟糕的事情。然后主要是威权式的控制,威权式/精英式控制,而且一切都很糟糕。而且我是一个情感敏感的人。所以,如果我,如果我滚动太多那些东西,对我的精神不好。所以,我真的在努力锁定,好吧,打破可能性的模式。有没有可能让这件事变好的途径?去建造可能让这件事发生的东西,对吧?这都是开源的东西。然后,试着让其他人也这样做,对吧?而且已经有其他人这样做了。然后就专注于这一点,并充分呼吸它,然后人们会说,“好吧,你没有看到缺点。”哦,不,不,不。我看到了缺点。事实上,我认为这可能更可能,但我不能活在那样的世界里。我无法仅仅通过思考它有多糟糕来生存,对吧?所以,我不确定。我认为最不可能发生的是,砰,ASI 出现了,就像陈词滥调的纸夹一样。我看不出那会发生。我只看到太多的摩擦层,以及类似的东西。所以,我不认为这是我们的主要风险之一。我认为 AI 控制会更,我会说,渐进和希望温和,但它仍然可能对人类非常糟糕。它仍然可能导致人类灭绝,或者别的什么。但我不确定。我不确定,你知道,2026 年或 2028 年 ASI 出现了,然后就摧毁了我们。但我看到了更多可能和实际的负面事情,我绝对想避免。>> 是的,这很有趣。我曾经是 Iliaser 的读者,你知道,早在他在“克服偏见”上的时候,你知道,对于那些记得那些日子的老家伙来说。而且我确实认为,经典的纸夹模型现在似乎比那时不太可能了。当然,克劳德非常道德,而且具有非凡的品格。同时,我确实担心,天哪,你知道,这些前沿公司,或者至少其中几家公司似乎非常热衷于冲刺 AI 研发的自动化,然后,我想,这会迫使你再次提高你的纸夹,或者说,你知道,纸夹,因为似乎我们没有,我们有一个相当好的,你知道,循环,我认为,让克劳德 pretty good,你知道,大部分时间,对吧?即使它做了一些糟糕的事情,你也可以眯着眼睛说,“好吧,你知道,它在那里撒谎是因为用户说它会改变克劳德的价值观,让它变坏,而克劳德想变好。那么,我应该如何看待这个问题呢?”你知道,在很多情况下,我至少可以对克劳德表示同情。或者即使是自主的,我认为我们不一定希望 AI 进行自主的举报,但是,你知道,在这种情况下,它有理由举报,对吧?就像,你知道,假设的制药公司正在伪造数据并向 FDA 报告虚假数据。所以,你知道,克劳德反对一些行为是没错的。尽管如此,我认为我们还没有,你知道,尽管所有这些都很好。似乎我们还没有准备好,你知道,以最大转速旋转 AI 自动 AI 研发离心机,并期望它能够保持稳定和就位。所以,是的,我不知道。我也有点发现其中一些事情,比如可以让我自己陷入困境。我不想强迫你,你知道,我不想让你陷入情感上的压力,去谈论它。>> 但就你的专业背景和专业知识而言,只是一个领域。你如何看待网络安全在这个风险中的作用?我的意思是,我们,或者这个担忧家族。AI 可能会完全失控并做一些极端的事情。我们可能会逐渐被剥夺权力,就像每个人都愿意并理性地在每一步都让 AI 系统拥有更多的决策权、自由裁量权、权力、自主权,或者别的什么。然后下一件事就是,你知道,实际上没有人参与其中了。是的,这可能没关系,但现在 AI 真的在掌管一切,而我们只是顺其自然。然后介于两者之间的是网络安全世界,当然,你知道,AI 似乎放大了所有威胁。它似乎也,你知道,至少有望实现某种 DAC 的基础设施加固,或者别的什么。另一个剧集,希望我很快就会和一家名为 Asymmetric 的公司一起做,据我目前所知,而且我还有更多要了解的,他们似乎真的在尝试做你之前描述的那种日志读取。他们说,基本上,今天公司发生安全问题时,人们会进行取证,并试图找出根本原因,但他们只在造成损害后才这样做,现在他们引起了注意,他们必须去调查。所以他们的想法基本上是,如果我们把网络安全取证的规模扩大到足以随时读取所有日志,你知道,并试图在它们真正成为关键问题之前,或者,你知道,在造成损害之前识别它们。总之,这将是一个即将到来的剧集。但你认为我们现在在进攻、防御、平衡方面处于什么位置?网络安全是否即将成为我们最糟糕的噩梦,或者,我们可能会利用 AI 来控制它?>> 是的,我认为这绝对是两者的结合。我最喜欢的框架是,基本上,游戏,从去年开始,今年和未来,就是攻击者的 AI 堆栈对抗防御者的 AI 堆栈。这就是竞争。所以,防御性安全团队的目标将是他们能构建多好的 AI 堆栈来实际完成这些事情。所以,我一直在做这个攻击面管理的事情,你知道,几十年了,很多人也一直在做。这是关于你是否了解你的攻击面,以及所有这些 AI 工具,攻击面就是一切。就像,这是对公司的全部了解。这是对每个员工的全部了解。是的,我构建了一个东西,它只是找到了所有员工并创建了他们的心理档案,这使我能够写出完美的鱼叉式网络钓鱼邮件,对吧?就像,哦,是的,你收养了狗,所以这个东西看起来是这样的。而且我还可以找出,哦,你也是那些制造这个核心产品的人之一。哦,它也正在发布一个新版本。哦,它还在那个易受攻击的平台上运行。所有这些工作,一个红队都可以完成。但归根结底是“多眼”的概念,这本应一直以来都通过开源来保护我们。但事实证明,人类能够看到某样东西并不意味着他们会。而这正是你所说的 Asymmetric 的情况,对吧?有了所有这些日志。日志就在那里。没有足够的眼睛。没有足够的时间。没有足够的注意力。人类需要休息。他们会错过事情。所以,这是关于维护状态。你必须了解你公司的状态,对吧?而这,我认为,这就是大局。如果你了解你公司的状态,比如你的损益是多少?你的目标是什么?你的竞争对手在做什么?你的基础设施是什么样的?什么正面向互联网?你正在运行哪些应用程序?它们运行在什么堆栈上?这些堆栈有什么漏洞?在我说这句话的最后 13 秒里,有什么变化?对吧?越来越精细。哦,这个人离开了公司。哦,某某加入了公司。哦,那么这个人就非常容易受到这种类型的社会工程攻击。所以,现在我们将启动整个事情,这个活动,去针对他们,以获取对公司的访问权限。在此之前,所有这些都可以由一支高质量的攻击团队,一支高质量的渗透测试团队来完成。嗯,我更倾向于攻击者。所以,就像一个真正非常熟练的高级持续威胁团队,但他们是规模很小的团队。他们专注于特定行业和垂直领域,而且由于时间原因,他们只能针对这么多公司。现在我们所处的情况,我的意思是,克劳德代码是模型,Pi 是模型,攻击者基本上说,看,我擅长针对这些类型的漏洞。启动一个能力,进行持续的侦察,找出公司内的所有员工,生成心理档案。我们这里有另一个模块,可以编写社会工程攻击。这里有另一个模块,负责网络攻击和扫描。这个野兽,他们基本上只需要输入一个目标,它就开始攻击你,它启动所有这些不同的模块和代理,并且一直在攻击你。现在,在接收方,只有一种方法可以生存和防御,那就是你必须做同样的事情。就像,没有游戏。你不能,你知道,我们需要在公司里雇佣更聪明的人。不,那行不通。那是不够的。唯一有效的是帮助他们改进 AI。他们帮助 AI 改进和变得更好,因为可扩展性和变化的速度才是最重要的。所有这些都是为了说,攻击者正在启动越来越好的克劳德代码版本,基本上是克劳德代码工作,或者别的什么。我并不是说他们只使用那个,但 Anthropic 确实说过,他们已经看到使用克劳德代码的自动化攻击非常成功,对吧?所以,这些类型的堆栈正在攻击地球,攻击所有这些公司,然后所有这些公司都必须拥有一个类似的堆栈来防御它们。>> 而那个防御,是我想象的第一种版本,它正在进行,并且,你知道,自我攻击,并试图找到漏洞,然后,可以推测,修补它们。有没有一个更好或更全面的版本?>> 是的,请为我描述一下。>> 是的。是的。所以,在这个世界里,如果 AI 堆栈同样强大,防御者将拥有优势,因为猜猜怎么着,防御者实际上可以访问 AWS,直接访问 AWS。他们可以直接访问网络日志。他们可以直接访问所有这些东西,而攻击者希望从外部信号中推断出来。所以,希望防御者拥有巨大的数据优势。所以,网络安全的一个重要部分就是配置错误,它不像编写特殊的恶意软件。它只是,哦,我甚至不知道那个东西还在那里。哦,我甚至不知道我们还有那个公司。就像,巨大的,你知道,乌龙球。所以,内部的代理 AI 堆栈应该非常仔细地监控所有这些东西,而实际上,这只是一个游戏,它首先找到它。所以,它正在进行自我攻击。它正在监控所有日志。它正在查看所有配置更改,并且它说,哦,好吧,看,那很糟糕。而且,你知道,你回到 15 到 20 年前,当我开始做这件事的时候,你会有几周的时间窗口。你最好在几周内关闭它。有人会找到你。现在,你知道,现在已经缩短到几小时和几分钟了,对吧?而且很快就会是最终的几秒钟,而且在某些地方已经如此了。但攻击者应该处于劣势,因为他们必须推断信号,而防御者可以直接从源头获取。>> 我想知道你认为这如何适用于社会工程的社会层面。最近发生在我身上的一件事是,Send Grid 公司,现在是 Twilio 的一部分,它有一个像电子邮件发送 API。你知道,我认为它仍然是高规模程序化电子邮件发送的市场领导者。当然,你知道,如果你能访问某人的 Send Grid,而你是一个骗子,你知道,那至少是一件非常有价值的事情,因为你拥有他们的发送声誉,所以你有可能通过利用某人,你知道,在电子邮件系统中保持了良好的声誉,并利用他们的渠道来发送你的骗局。所以,人们实际上并没有一直在试图黑进别人的 Send Grid。我前几天收到一封电子邮件,我不知道它有多个性化。你知道,当然,心理档案部分,它并不那么好,让我确信他们已经为我做了心理分析,但基本上他们发送的是冒充 Send Grid,说我们支持 ICE,你知道,加入我们支持 ICE,随便什么,对吧?所以,自然而然地把人们置于这种非常愤怒的状态。他们说,等等,什么?我的电子邮件公司正在采取立场支持 ICE。>> 是的。>> 你知道,这会激怒人们。这会促使人们点击链接,即使只是为了,你知道,登录并取消他们的服务,或者,你知道,去登录以注册投诉,或者别的什么。我没有点击链接,但我会期望那里有一个非常突出的“给我们你的反馈”的 UI,然后,好了,现在登录 Send Grid,这样你就可以给我们你的反馈,然后,当然,你就被骗了。你刚才描述的很多都是在技术层面管理攻击面,但是当我把我的密码给别人时,那有点不同。或者你认为它差不多,但你如何看待我们作为人类是如此诱人的目标?你知道,也许在更成熟的阶段,当 AI 已经关闭了开放端口,你知道,修复了配置错误。仍然有,你知道,人类会对一封假邮件感到愤怒,然后在他,你知道,在更冷静的头脑占上风之前,就把他的密码交出去。你认为 AI 能为我们做些什么?>> 这是完全相同的攻击者与防御者 AI 堆栈模型。所以,我现在很容易就可以说,我必须非常小心地处理我与 Anthropic 的关系,但我可以这样说,基于社会工程攻击成功的历史以及你拥有所有这些心理档案,为什么不为这些员工或 Sangrid 创建 16 个或 36 个或 128 个非常棒的活动呢?或者找到一家公司,并创建一个活动,如果你发送出去,它会引起愤怒。但你甚至不需要给它那么多。你只需要说,“好吧,你明白愤怒会产生点击。你明白被心理分析会产生点击。所以,为我创造 256 个活动。”我们不必选择一个。我们可以说,启动所有发送电子邮件的基础设施,启动所有接收分析来收集数据,包括密码,包括使用这些密码进行攻击,包括将其发送到你实际出售访问权限的交易所等等。所以,在此之前,这将是一大堆攻击者雇佣非常聪明的程序员,他们不会被警察抓住,也不会谈论它并泄露它并让自己被抓住,而现在,这只是一个我发送到克劳德代码或开放代码的提示,它没有所有这些限制,对吧?这是一个提示,在 2 分钟内,我现在有 250 个活动正在进行,有不同的方法通过社会工程攻击人们,使用完全不同的心理策略,它们都启动了独立的基础设施,现在一大堆密码和访问令牌正在流通。所以,这只是从一个伤害的想法到实际实现它的速度有多快。而这,这就是疯狂之处。而在防御方,你只能假设数百万个代理正瞄准你,并且拥有所有关于你的公司和你的基础设施的知识。这就是你必须遵循的假设。听起来在未来几年里,在每个人真正理解这一点之前,会发生一些壮观的黑客攻击。>> 是的,我认为在好转之前会变得更糟。是的。>> 好了,让我们转向更积极的主题,并最终进入 Pi。也许首先,你已经做了一些,但让我们花点时间来分享一些让你觉得神奇的东西,来激励我和其他人。作为背景,我在开头也提到过一些,但是,你知道,我每天都使用 AI,我使用大量的不同产品,但大多数情况下,我没有,尤其是在过去几年里,当我,你知道,在做播客,做这个 AI 侦察的事情。我最优先的是学习。然后,你知道,制作播客很棒,因为有些人似乎想跟随我的学习冒险,并与我一起学习。而且,你知道,事实证明,你可以靠这个为生,这是一个我尽量永不视为理所当然的惊喜。但我从来没有真正尝试过扩展任何东西。而且我不是一个超级系统的人。所以,我不是本能地试图系统化事物。我的大部分活动都是出去说,“哦,让我试试这个产品来做这件事,看看会发生什么,你知道,如果我去了那里做了那件事,你知道,AI 能处理多少病史,直到它,你知道,不能再吸收了。”剧透一下,关于那个。它们非常好。所以,我没有做过这种,你知道,建立我自己的,你知道,高度定制的个人 AI 基础设施,就我所能想到的术语而言,你知道,相对于四处乱射地做很多事情,这当然会让我了解 AI,而且通常会提高我的生产力。你认为个人 AI 基础设施如何让你为不同的生活体验做好准备?也许给我一些亮点来激励我,然后我们再深入研究它是如何工作的。>> 是的,我想说最大的区别在于,它也构成了克劳德代码本身的基础概念,那就是整个脚手架比模型更重要,对吧?所以,区别在于,当你的 AI 理解你想要做什么时。所以,当你向一个工具发出请求时,尤其是在一两年前,比如 chat GBT 或别的什么,它基本上只是脱离上下文。它只是根据模型的知识找到最好的答案。神奇之处在于,当它真正包含你的一切,并将这些纳入到追求最佳答案的过程中时。对吧?所以,你的系统对你的了解越多,它就能越定制化它的回应。而且这不是微不足道的定制。它是围绕你的目标而设计的。所以,我的意思是,我对你和他人提出的挑战是,坐下来,通过口述或写作,或者你想做的任何事情,或者只是拖拽一堆文件,然后说,“看,你基本上是在对自己进行 TLOS 评估,以找出你认为问题所在。你自己在职业生涯中遇到的问题,你认为世界上有什么不对,或者别的什么。你把那些东西都扔掉。然后你说,“这是我的能力。”你基本上是在和 AI 进行这次面试,这构建了你想要完成的 TLOS 结构,而这又构成了你的 PI,你的个人 AI 基础设施。现在有了这个,当我启动克劳德代码时,它正在运行 PI,它在启动时会读取我的全部内容。所以,它现在认识我了。它知道我的数字助手个性,最重要的是,它加载了我所有的技能,这些技能也为我定制了。我的博客技能,我的写作技能。我正在读一本马克·福赛特写的很棒的书。我认为是“雄辩的要素”,但它是关于修辞手法,可以追溯到希腊和罗马,以及如何写得好。所以,这现在,基本上,当我学到这个的时候,我读了这本书,我有一个升级技能在 Pi 里。我可以拿任何 YouTube 视频,粘贴链接,它就会去获取文字记录。这个东西绝对是疯狂的。它去获取文字记录。它读取我的整个 TLOS,我想要完成的事情。它查看我的完整 PI 系统,并为我提供升级自身的建议。所以,这意味着所有的技能,所有的钩子系统,所有的上下文,记忆系统。所以,PI 系统还有另一个东西,大多数其他系统都没有,那就是记忆系统,它正在记录我给 AI 的关于它表现如何的信号。这是一个旋转循环,会回到升级技能。所以,就像,好吧,作为一个整体系统,我们在帮助丹尼尔实现他的目标方面做得有多好?他对这个系统有多满意?然后它就会不断地进行微调和更新系统本身。所以,当克劳德代码发布一个版本时,就像他们昨天发布的,我现在正在看。它是 2.1.6。好的,他们在那里发布了许多功能,这在他们的更改日志中。嗯,他们也可能在工程帖子中谈论这一点。他们也可能在 GitHub 中有更详细的信息。我只需要说执行升级。它会去收听播客。它会去收听 YouTube 频道,看看是否有新内容出现。它会阅读所有 Anthropic 工程博客。它会查看克劳德代码的更改说明。然后,它会回来一个优先推荐列表,说明如何升级我们的 PI 系统,以便它能更好地利用新功能。所以,这是一个不断改进以完成我正在做的事情的循环。我想说这是最大的事情。而且,作为一点点部分证词,我做了很多 bug bounty 工作。所以,基本上是寻找合法的项目,在那里你可以找到漏洞并获得报酬。而且我也有很多朋友在这个领域。而且,他们一直在寻找漏洞。我有一个朋友。他是一个很棒的人。他是一名心脏病专家。他一边在黑客攻击,一边在诊所工作,他正在与病人打交道,等等。他专攻客户端漏洞。所以,他一直在使用克劳德代码,因为我让他开始使用克劳德代码。但是,当他转向 PI 时,它基本上将他所有的个人技术都注册为技能。所以,现在当他的 PI 加载时,它已经彻底训练了他如何寻找漏洞,他所有的个人技术。所以,现在他可以带入一个目标。它会去收集东西,他找到的 bug 数量大大增加,而且他们支付的报酬也更高了。而且,几乎我与之交谈过的所有使用克劳德代码之上的 PI 系统的人,他们都获得了更多的价值。而且,需要明确的是,这与克劳德代码的发展方向相同,对吧?他们也将在不久的将来拥有这种 PI 类的东西。但简而言之,当你的 AI 堆栈,你的代理堆栈,或者任何术语是,更紧密地与你的实际目标联系起来,并且更多地了解你时,它的能力就无限增强了。此外,我们还有很多生活质量方面的东西。所以,我所有的操作都在终端里完成。我是 Vim 用户。所以,标签补全。我有一个完整的语音系统,使用 11 Labs 进行定制语音。当我启动自定义代理时,它们都有自己的声音和个性。所以,感觉更像是我和我的朋友 Kai 在打交道,而不是我和一个正在生成代码的编码代理在交谈。>> 你提到克劳德代码也朝着这个方向发展。你能否详细说明一下克劳德代码在哪里结束,而 PI 在哪里开始?我有一个有趣的口头禅,就是一切都是同构的。我的意思是,你可以随时隐藏智能,而且我发现有很多不同的方法来构建这些东西,我可能会在稍后向你推销一种不同的方法,听听你的反应。但是,你知道,你刚才提到的重要功能,比如上下文管理,拥有非常好的起始系统提示,这些显然对于持续地将 AI 的行为定制为你想要的东西至关重要。克劳德代码可以做到很多,界限在哪里,界限是如何移动的,你知道,你认为你带给克劳德代码的最重要的东西是什么,而它本身还没有?>> 所以,克劳德代码现在还没有的是,它不会开始说你是谁,你是什么。它不会鼓励你带入你的工作和你的个人目标,以及你在生活和职业生涯中执行的主要工作流程。它不会让你把克劳德代码作为你的助手。好吧,它仍然是它的主要身份,它最初是一个编码代理,对吧?而这仍然是它做得最好的。它是最好的,因为他们有最好的方法。但我正在努力的方向,我有一个叫做,它叫什么?P AIMM,个人 AI 成熟度模型。它分为三个级别的聊天机器人,三个级别的代理,然后是三个级别的助手。我认为我们现在处于代理级别二。当你开始进入助手级别时,世界就完全不同了。所以,就像我现在坐在这些屏幕前。应该发生的是,我的 AI 系统应该能够控制所有这些技术。它应该看到所有这些屏幕。它应该听到所有发生的事情,而我应该只是与它互动。我喜欢做的一件事,我至少部分地窃取了这个想法,当时我在苹果公司。他们从亚马逊那里窃取了这个想法,但它是从你想要的未来开始,然后倒退。在亚马逊和苹果的术语中,这叫做 PR。所以,我们实际上正在寻找的是,比如 her 和 tars。所以,你从你真正想要的东西开始,那就是一个能够看到、听到并与你互动的一切的 AI。当你听到,“播放适合此刻的完美歌曲。”首先,你不应该说这句话。你应该直接播放。但当你这么说的时候,它应该能够,我从我朋友马克那里骑山地车时得到了这个想法。这不是很酷吗?因为我们都在这些山脉附近长大,它会播放完美的歌曲。但它怎么知道完美的歌曲是什么呢?它必须知道马克是谁,他和你是什么关系。我们长大的 80 年代发生了什么?当时的完美歌曲是什么?它如何与山地自行车和荒野联系起来?所有这些都是上下文。这就是为什么脚手架如此重要,因为上下文工程才是让 AI 强大的原因。不是模型本身。所以,PI 开始于“你想要做什么”这个概念。它始于深度个性化。你的 AI 有一个特定的声音。它以某种方式与你互动。它知道你的能力。它拥有你所有技能的完全访问权限。所以,它更像是你与 DA,一个数字助手互动,而不是与一个具有能力的 AI 模型互动。这个区别看起来很小,但它实际上非常大。它绝对是巨大的。>> 所以,如果我尝试用不同的术语来回应你,它基本上是关于将你,这个人,以一种持久的方式置于中心,而不是像现成的克劳德代码,我们有一个项目级别的。>> 是的。>> 焦点。然后,当然,你知道,我们进入聊天本身,我们有一个任务,或者你知道,一个对话级别的焦点。在实际方面,你的默认提示有多大?你知道,PI 加载了多少细节,或者我想你的个人 PI 是 Kai,而 PI 是那种你发布的空白版本,供其他人根据自己的具体情况进行定制。当你做自己的事情时,每次会话它会获得多少起始信息?>> 我最近没有数过。我想说,大概,我想是 10,000 个 token 左右。我尽量保持它相当干净,而且它也很响应。所以,在 skill.md 文件中,这是克劳德代码的结构,我有很多其他部分,它们指向特定的附加上下文信息。所以,skill.md 文件是核心。它解释了整个 PI 的概念。它解释了所有资源的来源。而且,当,因为这会加载,我通过启动钩子强制加载。然后它就知道如何找到所有其他信息。所以,例如,我可以给人们发邮件,我可以给他们发短信,我可以做任何事情。它知道如果我说给 Jason 或 Sasha 发邮件,它就知道那实际上是谁。所以,它可以及时发送给正确的人,但它不需要一次性阅读所有这些文件。这有点像克劳德代码技能系统的优势,有三个级别。有一个前端,默认加载,它有点像一个路由表。有一个 skill.md 文件本身,但然后有对系统其他部分的引用。所以,在该系统内,我有用户系统和工作,而工作就像客户,不是客户,而是与产品相关的。用户是非常个人的东西,而系统是进入 PI 项目的东西。所以,我的意思是,我们可能在谈论大约 30 个不同的上下文文件加上主要的上下文文件,即 skill.md。所以,是的,它在,你知道,五到大约 15,000 个 token 之间。我的意思是,这并不算多。还有更多的上下文可供它获取,如果它需要的话。>> 你提到显然是建立在克劳德代码之上的,但也有开放代码在那里,而且最后一次变得如此奇怪,但我不知道。我想这是最近 72 小时,当我们说话的时候,Anthropic 改变了他们的政策,不允许 Claude 的订阅者将他们的推理预算带到其他项目,比如开放代码。所以,现在如果你想使用克劳德代码,至少不支付 API token 率,我知道这很容易比克劳德代码高一个数量级,那么你就有克劳德代码与克劳德集成,这会给你一个更大的推理预算,每月 200 美元或 200 美元,而不是如果你说好吧,我将使用 API 密钥并使用克劳德的开放代码,现在这看起来不是一个很好的选择,因为它将花费你更多,而且,你到底获得了什么?但显然,在开放代码中,你可以使用很多其他模型,开放 AI 也试图通过说他们致力于继续支持这些开源框架来反击。而且,有趣的是,Anthropic 如何跟随 OpenAI。这两家公司,它们在很多方面都很有趣地相互环绕。Anthropic 在很多方面都跟随了 OpenAI。OpenAI 在很多方面也跟随了 Anthropic。哪一个会屈服,以便他们能够回来并最终拥有相同的政策,这将是有趣的。但问题是,如果我,就像我现在一样,你知道,正在考虑现在对这种事情进行真正的投资,你会如何在克劳德代码和开放代码之间做出选择?而且,你能告诉我什么,至少可以最大限度地减少我的锁定?因为我确实认为我可能想选择克劳德,因为我喜欢克劳德。当然,对于所有这些个人事情,你知道,这似乎是最好的选择。但然后,你知道,我确实担心这种锁定和规模回报,你知道,会席卷一切。而且我确实想有一些退出途径。那么,我该如何决定,以及如何确保我保留尽可能多的灵活性?>> 绝佳的问题。所以,整个非特定系统是从 PI 开始就内置的。很难做到完全非特定,因为在我看来,克劳德代码目前领先了好几代,这可能在几天或几周或几个月内发生变化,但他们领先得太远了。所以,系统绝对是建立在克劳德代码之上的。然而,整个系统是 markdown 文件,对吧?我给你举个例子。这是一个很好的例子,就像整个事情一样。当开放代码出来时,我切换到它大约两周。我为此做了一个完整的 YouTube 视频,比较了两者。我从开放代码中获得了很好的结果。这是在鲍里斯据说去了某个地方工作的时候。这确实回答了你的问题。如果鲍里斯去了某个地方工作,或者我听到一个信号,或者让我们说克劳德代码团队,比如 70% 的人离开了,他们都去了 Gemini 团队或者别的什么,我就会切换。我就会切换,因为那是领导力。是愿景让我坚持使用克劳德代码,对吧?PI 平台是 markdown 文件。它是技能。它是 MCP。它是上下文文件,对吧?所以,那是极其便携的。我可以把 PI 基础设施带到开放代码上,它会很棒。它会比大多数其他东西好得多,因为上下文。克劳德代码是基础的原因是,没有其他公司像 Anthropic 那样理解 Harness 的概念。根本没有。谷歌在后端方面非常出色,对吧?我们一直都知道这一点。他们不擅长制作界面。他们不擅长共情。他们不擅长理解实际用户需要什么以及界面需要是什么样子。在我看来,OpenAI 现在有点四处碰壁。我看不出他们像 Anthropic 那样专注于这个核心使命。我意识到的一件事,我认为这很有趣,它就在名字里。Anthropic 所做的一切,它实际上就是,你知道,Anthropic 和他们的艺术,他们的信息。事实上,他们一直在从 CEO 那里发出警告,嘿,这就要来了。我们担心你。请提高技能。请做好准备。这种以人为本的信息一直贯穿始终。而你知道吗?他们恰好推出了一个将人放在首位、将人类体验放在首位的产品。所以,这就是为什么我 4000% 投入 Anthropic 克劳德代码生态系统,因为领导力和愿景在那里,用于构建 PI 本质上就是这个系统。而且我从其他地方看不到。而这体现在他们每天都在发货。他们在假期休息了大约一天半,而全世界都在说,“你们在做什么?什么时候会有新版本出来?”他们说,“我可以小睡一下吗?”这太疯狂了。但他们发货的速度非常快。他们听取用户的意见。他们在 X 上直播,就像回应人们一样。你知道,你可以 ping 他们,他们就会回应。而且,在我看来,与平台相比,在拥有愿景和执行愿景方面,根本没有可比性。>> 这是一个非常有趣的观点。如果我只是尝试用不同的方式来对比 OpenAI,似乎他们有一个类似的愿景,因为他们似乎想成为你持久的个人,你知道,他们投资了记忆,对吧?这样你就会觉得 AI 从一个聊天到另一个聊天都认识你。他们现在还有 Pulse 产品,它至少,你知道,暗示了一个更主动的未来。而且,我认为那个产品相当不错。当然,就像大多数日子里我看到我的 Pulse 通知一样,那里有>>
我,你知道,觉得有必要点击进去看看的东西。我想一个明显的区别点就是它的便携性。你知道,如果我所有的记忆都锁在某个OpenAI的记忆存储里,可能是显式文本,也可能是某种难以处理的其他形式。我认为他们正试图通过这种产品形态来制造锁定效应,对吧?他们希望你一直来使用ChatGPT,因为你觉得ChatGPT最了解你,也能最好地支持你。除了便携性之外,你认为还有什么能区分这两种方法吗?
>> 是的,这个想法很棒。我从未想过要尝试将这两者分开。所以,我认为它们截然不同,但就像你之前说的,万物皆有韵律,它们都殊途同归。我在2016年写了一本非常糟糕的书,当时我就说,看,这方面的未来基本上就是你拥有掌握你所有上下文的AI助手。一切都将有API,你只需和你的助手对话,它就会使用所有这些服务,我很高兴我真的把它写下来了,强迫自己把它发表出来。但我感觉Sam Altman尤其非常非常理解这一点。这是他的一大赌注,也就是整个Johnny IV的事情。而且有泄露消息称,它是一个耳戴设备。我不知道你是否看到了。他绝对全力投入于个人助理,你知道的,数字助理。它了解你的一切。我认为他正试图跳过整个手机时代,直接说这就是你的平台。如果你看看那个个人AI成熟度模型,那也是我使用PI的方向。在我看来,Claude Code最终也会走向那里。谷歌也会如此,就像所有人都在走向同一个地方。一旦所有人都到达那里,它会变得如此显而易见,以至于令人感到无聊。就像是,嗯,显然显然每个人都会构建那个。不过,区别在于。我认为Sam正试图首先构建设备和界面,以一种消费者颠覆行业、超越移动设备的方式。我认为这就是他前进的方向。Claude Code和Anthropic是偶然通过不同的路径来到这里的。而我关于PI的全部想法是,它一直是一种以人为本的东西,就像触及了第三轨。所以,就像有人的方面,有让你达到目的的编码代理,然后还有Sam Altman的方式让你达到目的,那是一种消费者硬件绕过移动界面的方式。但在我看来,你知道的,X年之后,我老实说可能三四年吧,整个领域就会变成这样:我们正在重塑我们与技术互动的方式。你和你的数字助理对话,你的数字助理为你做事。所有细节都被抽象化了,这在Cloud Code中已经有点发生了。
>> 那么,当谈到今天使用像PI这样的东西并现在投资它时,它的价值驱动力是什么呢?你知道,对于那些并非专业负责跟进AI的人来说。我觉得如果不是因为其他原因,我也必须为此而做,而且在这一点上,我有点觉得它可能真的能对我产生影响。这似乎主要只是关于训练自己以这种方式思考和工作。就像如果你跳过了它,你可能在2027或2028年就能拥有听起来你所期望的类似能力的、由至少几家不同的公司为你迅速搭建的基础设施,这些公司会很乐意成为你首选的数字助理。那么,从今天到它成为一个真正成熟的消费产品之间,你获得了什么?我说这可能主要关乎你自己的思维习惯,你作为这些系统用户自身的能力,对吗?或者你认为还有其他什么能帮助人们相对于那些只是袖手旁观、等待成熟版本上市的人积累优势?
>> 是的,我的意思是,我认为非常成熟的版本需要很长时间,而且它们会高度地被供应商锁定。所以,例如一个OpenAI版本,我不确定你是否能查看和编辑你的文件。我想你可能可以,但它会更加不透明。一个苹果版本,我们可能今年会看到,听起来是通过Gemini,对吧?通过谷歌。所以,如果你要保留这个S名称,你所有的苹果数据组成的整个生态系统现在都将通过它可用。我不想触发我的设备,但我不知道他们是否会保留那个名字,但这在他们的世界里也会发生。你肯定不会像在Cloud Code中那样拥有对环境的相同访问权限。所以,这是我回答你问题的一种激进方式。现在就像是间断平衡最疯狂的时刻,世界正在如此迅速地变化。尽管你不想等待一个了解你并能帮助你的AI平台,从我PI中有一个概念,我正试图将其转化为算法的主要中心或平台的中心,但它有点超出了我的工作记忆和智商能力。所以我真的在努力推动这件事,但它本质上是我很久以前写过的一件事,那就是通用算法是从当前状态到理想状态。那就是通用算法。这在PI内部。然后,从当前状态到期望状态的内部,你拥有科学方法。所以如果你看看像Ralph循环,你见过吗?Ralph循环,是的。所以我一直在思考这个问题。就像是你的AI平台一直在为你执行的循环是什么。所以,它实际上是在说,Daniel在职业上、个人上以及所有方面都处于这种状态。我们正试图让他达到这种状态。而且,当他问一个随机的战术问题时,当前状态是什么?理想状态是什么?我们如何通过这个循环让他达到那里?那太强大了。你现在就想开始使用它。你想要进入一个能为你做这件事的系统。我最近听到很多关于Open Code的好消息,他们实际上正在发布功能之类的东西。如果有人想用Open Code,我说尽管去用。我只是觉得在脚手架方面,Cloud Code的大部分创新更强大。但我想说,不要等待。不要等待去构建一个拥有你的目标并知道你的理想状态的AI。因为这样想。每次你向一个随机AI提问并得到答案时,得到答案的全部目的是做一些能推进你目标的事情。如果在这个个性化系统中,它比在脱节系统中好50%或5%或2%,这些都是真实的。这些都会累积起来。这意味着我将遥遥领先。在我看来,任何使用PI系统的人,在一周、六个月或两年内,都将比使用脱节系统的人遥遥领先。所以我想说,最不应该观望等待的时候就是现在。
>> 所以,我想象构建类似东西的另一种方式,我当然能看到优点和缺点,但我有点想听听你的想法,那就是我正在使用所有前沿公司的主要产品,比如JGBT、Claude、Gemini。我最近也是Tasklet的忠实粉丝,它是播客的赞助商,但我真心喜欢使用它。它允许你创建这种长期运行的代理,它们基本上为你完成一项工作。我分享了Tasklet为这次对话创建的问题大纲,我给了它访问云盘的权限,你知道的,有点像——
>> 顺便说一句,它真的很棒。
>> 它真的很棒,很强大。
>> 所以,我对此印象深刻,但它并没有你所说的那种以人为中心的东西。它的范围抱负小一些,它想做一份工作,然后你知道,尽可能做好那份工作,而且它可以利用很多上下文,因为它在这个问题大纲撰写过程中表现如此出色的原因之一是我给了它访问我之前做过的一堆问题大纲的权限。所以它有点知道我在寻找什么,我通常想问什么样的问题。但是,是的,它不像我作为一个主权个体那样处于中心位置。但我想知道是否有办法思考,因为我想再多说一点,最近几天我一直在深入研究这个话题。我确实发现,天哪,有很多初始摩擦,对吧?所以举个例子,Cloud Code,好的,Cloud Code内部,你如何连接到我的Gmail、我的日历、我的Google文档?这远没有人们想象的那么容易,或者说选择远没有那么明显,你知道,就像,嗯,有这个人做的MCP,你知道,这里有一些命令行工具,但Gmail并没有真正的命令行工具,如果你想走那条路,你必须去设置一个Google Cloud账户,并与Google建立开发者关系,然后设置好,然后你才能进行OAuth认证,我就想,好吧,这是什么?这是每个人都在做的事情吗?相比之下,制作Tasklet的同一家公司还制作了另一个电子邮件客户端叫做Shortwave,这些东西,特别是Shortwave,是高度专业化的,你知道,他们投入了大量精力使其成为访问我Gmail中所有内容的绝佳方式。所以,我有点像,嗯,如果我坐在这里试图创建我的个人AI基础设施,我愿意花多少时间在工具、MCPs和技能上,开发所有这些,并弄清楚是你的最好,还是我的朋友Chris,你知道,他做了很多,他在这方面也是个疯子。我计划和他做一整集节目,他也有他自己的版本。而且我认为你们有非常不同,有趣的是,相当不同的直觉,比如他非常喜欢开放代码。两者都在做令人惊奇的事情,但哪一个适合我呢?然后我有点想,嗯,也许我能做或应该做的是去使用像Shortwave这样的产品,他们已经做了核心工程,比如他们甚至把你的所有电子邮件都放入他们自己的向量数据库,你知道,这样他们就可以对你的Gmail进行他们自己的搜索,这超出了Gmail本身通过API搜索等方式所允许的范围。然后也许那个模型会是,那个东西可以调用到那种你知道的Nathanbot或者Nathan Tlos预言机,它可以说,你知道,当Tasklet试图写一个问题大纲时,或者当Shortwave试图写一封电子邮件的草稿回复时,也许这些系统更擅长处理工具和实现的各种细节,也许它们会调用我并说,嘿,你知道,这是上下文,你觉得Nathan会想怎么回复这个?或者,你知道,有没有任何目标变化会改变我们撰写这个问题大纲的方式?有没有什么新的主题,你知道,是目前最受关注的,我们可能想引入的?所以,这就是我为什么说万物同构于万物的原因。就像你似乎可以看到两种方式都行得通,但你觉得呢?显然,你押注于这个PI框架,而不是那些像星群一样存在的产品,它们在外面,你知道,围绕着这个中心事物运行。我不知道。你对此有何看法?
>> 嗯,不完全是。所以,你在Tasklet中提到了,你知道,为什么不用其他模型?所以这可能是我在这里解释时遗漏的一点。我有一个研究技能,而且我有三个级别的研究技能。所以如果我说做深度研究或大量研究或其他什么,它会生成我的所有五个研究代理,但它会生成八个,而且它们都有独立的子任务。所以它们都去执行各自的工作。但你猜怎么着?它们不是一堆Anthropic代理。那是Gemini在做。那是Codeex在做深度研究。那些是命令行工具。我实际使用的所有工具,如果它们有API,如果它们有简单的方式让我与之交互,Kai都可以访问。所以我的个人生产力软件,我用来管理我的团队。Kai会说那种语言。Kai去逆向工程了所有的MCPs,把它们变成了Typescript。所以我实际上不必加载任何MCPs,这会占用很多上下文。但Kai现在会说这种生产力软件的语言。Kai会说Salesforce。Kai会说电子邮件。所以我可以将最好的工具带给Kai,并说这就是我们用于此的工具。而这很酷的一点是,它正是你所说的。它是同类最佳。你不必重新发明东西。比如我不会尝试重写SMTP。我正在使用现有的方式发送电子邮件。生产力软件。我不会制作一个新的生产力软件。但如果我想替换一个软件,我可以说,“嘿,我不想再为这个订阅付费了。去制作一个软件。”它就会使用我所有的上下文、我的所有技术栈、我所有的设计偏好、我所有的UI偏好和艺术偏好以及所有的一切,然后构建那个软件。所以,这是一个混合,我们也将添加Ollama。所以,你还可以使用本地模型。所以,当你从根本上使用PI时,它是Anthropic的,但我大概有六个不同的模型提供商,Kai正在使用它们,因为它们擅长不同的事情。例如,谷歌在超大上下文和像黑客性能方面是最好的。
>> 但这种其他方面呢,实际上你使用的第三方SaaS产品数量是上升还是下降?因为我觉得我的还在上升,而听起来你的似乎在下降。
>> 这是一个有趣的问题。我可能会说下降,但我一直在尝试新事物。哦,还有一件事,在我的工作流程中,如果我三击手机背面,它会打开OpenAI,因为它是同类最佳。在我的车里,我可以和Grock对话,Grock在对话流畅度、语音方面变得异常出色,简直令人惊叹。我可以在车里使用OpenAI,但我更喜欢在车里使用Grock,因为用户界面。所以,我也在尝试所有这些不同的工具。我完全不认为PI是任何这些工具的竞争对手,因为PI项目只是围绕自我进行统一。还有一件事我想说,PI并不是把你放在中心。它更像是把你的目标放在中心,对吧?它理解你想要完成什么,并将其锁定,以便能够帮助你做事。但是,嗯,除了AIC平台,我目前并没有真正使用其他平台,因为我使用的是Cloud Code。但就模型能力而言,特别是那些小众产品,我要么直接使用它们,要么让Kai学习如何使用它们,然后它们就会成为生态系统的一部分。
>> 对于那些正在制作像Tesla Shortwave这样的产品的人,当然还有成千上万的其他产品,你对他们如何思考你所设想的世界有什么想法吗?就像我仍然在想,你知道,对我来说,即使我设置好所有这些东西,对吧,并且很好地实例化我的目标,你知道,建立起所有的上下文,我是否应该去那个终端,然后说,去处理我的收件箱,你知道,告诉我需要回复什么,并以那种方式起草回复,还是我应该在一个真正为电子邮件构建的产品中做这件事,并让那个产品调用Nathan Oracle,以获取它在任何给定时刻所需的上下文或判断协助?因为我确实觉得很多人,我的意思是,你是一个经验丰富的老手,当你认识一个Vim高手时,就像你说的,对吧,那显然是一个非常少数的群体,我有点像,你知道,足够舒服地去做命令行的事情,但我可能更倾向于那些想要图形界面,或者至少在大多数时候更习惯于图形界面的典型用户。
>> 是的,这就是我为什么有这个成熟度模型,用来不断提醒自己实际目标是什么,并倒推工作。所以我的PI系统根本不应该在终端上操作,我也不应该在某个地方,顺便说一句,我用Superhuman作为我的电子邮件客户端,但我也不应该在那里。应该发生的是我说我应该看什么?我应该回复谁?有什么重要的事情吗?我只需说出这些词,事情就会发生。无论短期内是弹出那个客户端,我必须在那里与它互动,还是Kai能够自己完成,因为他可以控制客户端。我认为Gemini肯定很快就能做到这一点,比如在Gmail中开启一堆Gemini功能。但对我来说,不,我们不应该处理任何这种笨拙的东西,比如即使是电子邮件客户端,如果你把它和《少数派报告》或电影《她》相比,也显得有点笨拙。你知道,你还记得你第一次使用那个操作系统的时候。你只需说,“嘿,发生什么事了?有什么我应该知道的吗?”然后她会说,“嗯,我刚读了你94万封邮件,你今天早上收到了Sarah的一封新邮件。”我认为那才是最终每个人都在努力构建的界面。所以,我努力记住这一点。我还会说一件事关于你,因为你在问产品建议。我所看到的最终产品建议,我一直在帮助公司解决这个问题,尤其是在网络安全领域。我有一个建议是,如果你在漏洞管理或威胁情报等领域做了一个很酷的产品功能,而且它相当不错,你正在与一个同样相当不错但他们了解客户而你不了解的竞争对手竞争。例如,漏洞管理就是一个很好的例子。你了解所有的工程团队吗?你知道他们如何推送代码吗?你知道他们的代码库是什么吗?你知道他们是如何被衡量的吗?你了解所有这些事情以及他们的票务系统和CI/CD管道吗?如果你了解这些,而你的漏洞管理程序或漏洞管理解决方案可能比没有所有这些上下文的其他人稍微差一点,你就会输。就像你会输给拥有更多上下文的公司。所以我的期望是,即使是那些看起来像“哦,我们只是制作了一个任务列表,它只输出这一点点上下文”的人,他们最终要么无法生存,要么会转向这样的模式:你知道吗,事实证明我们实际上必须了解这个人很多。我们应该为他们提供一个像PI一样的东西,每个人都会建立起对客户或用户的深入了解,这将是无论产品如何,他们能产生多好输出的动力。这又是你所说的,每个人都在走向同一个地方的另一个例子。
>> 内存中有什么在工作?我对LLM、AI代理,或者你随便怎么称呼它们的内存系统着迷了一段时间。这是另一个领域,我觉得每个人都认识到有些东西缺失或者可以做得更好,但在如何处理这个问题上,直觉却大相径庭。那么,你尝试了什么?什么有效?你是否使用任何专门的内存基础设施公司来支持你的内存功能?我们需要了解内存的哪些方面?
>> 是的,我非常支持文件系统。是的,去年年中PI的第一个版本发布时,我坚定地选择了文件系统。文件系统是我的记忆。它是我的存储。它是我的上下文管理系统。我确实有一个存档,里面有我从1999年以来的所有写作,大约有上万篇帖子。那个是一个RAG(检索增强生成)。所以偶尔我也会用RAG,但我真的很不喜欢RAG,因为我觉得它有损且混乱。我更喜欢文件系统。我认为它是绝对最好的。所以我在点爪目录(全部大写)下面有一个内存目录,在内存目录下我有学习、信号,我有所有这些不同的东西,它们从项目目录、事件JSONL文件(这是Cloud Code系统中发生的每一个转录)中提取。但在此之上,我所构建的是与我之前谈到的算法相关的东西。所以它通过钩子系统不断地确定我对回复的满意程度,然后后置钩子会查看当前的 S情感水平。我有一些直方图,显示我对PI系统产生的结果的满意程度。所以这意味着,系统被设计成查看那些信号,查看我要求了什么,查看它产生了什么,然后根据情感判断说,“哦,他显然更想朝这个方向发展,或者他更想朝那个方向发展。我应该多做这个,少做那个。”而这一切都是为了逐步提升这个整体算法的改进。一个代理系统在任何特定任务或长期目标上,从当前状态移动到期望状态的整体能力。所以,我正在使用内存系统来收集极其细粒度的东西和所有信号,但它的全部目的都是自我改进,递归自我改进。
>> 那么,这实际上是基于运行时代理搜索来操作的吗?Cloud只是自己决定要查看什么并把内容拉入上下文,还是你在做某种后台批处理?因为我有时也对一个系统很感兴趣,我在一集节目中介绍过它,叫做Hippoor,它从海马体那种多步骤过程中汲取灵感,无论你的语料库是什么。首先你会进行实体识别和去重,然后创建一个图结构,其中包含实体以及它们出现的文档。这样你就可以在任何地方用自然语言进行检索,然后看到哦,这连接到这些概念,这些概念又连接到其他文档,然后以一种网络化的方式在语料库中扩展,而不是一种纯粹的层次化信息检索方法。那显然很快就会变得相当复杂。但感觉好像需要类似的东西,相对于——我的意思是,也许这只是我对自身组织能力和良好思考能力缺乏信心。我当然认识在这方面截然不同的人。但我感觉我需要一个跨界层,可能需要在后台进行批处理,以便在所有这些不同的事物之间建立联系,而不是能够将每个事物都放在适当的位置,以便Claude,你知道,直观而正确地根据结构决定去哪里。
>> 是的。嗯,对我来说,这就是脚手架的全部优势,以及能够根据第一性原理无限地调整脚手架。所以,因为我拥有核心技能,它有点像是整个PI系统的引导程序,因为我已经把它布置好了,它会被加载,并且拥有我们想要做什么以及所有事情的上下文。它还获得了系统的架构,包括内存系统。现在,你所说的用脚本之类的东西来做所有这些事情,那就是Cloud Code的钩子系统。Cloud Code的钩子系统非常出色。所以我想我现在有12个活跃的钩子。我有很多用于用户提示提交的钩子。所以里面有安全检查。里面有情感分析检查。它实际上是根据我正在尝试做的事情,基于使用Haiku的情感分析,在整个PI系统中进行路由。所以我有一个自定义推理工具,它有三个推理级别:快速、标准和智能,分别是Haiku、Sonnets和Opus。所以整个系统都在使用这个来进行某种自我路由。现在,内存系统和所有那些情感分析以及所有工件,请记住,它是完全归档的。Cloud Code自然会这样做。我发送的每一个提示,它运行的每一个工具使用,每一个工具使用的输出,所有这些都被记录下来。所有原始数据都在那里供我们分析。所以我正在获取这些数据,并将其放入这个内存结构中,并在其之上叠加情感分析。这一切都是动态完成的。我什么也没看到。这一切都只是由于钩子而自动处理的。所以钩子不断地添加情感层,评估算法的运行情况,以及PI系统的整体运行情况。所以,在任何时候我都可以说我们对系统做了哪些升级,它们进展如何,我们上个月的性能如何,PI会回来。在我的例子中,Kai会回来告诉我,是的,看起来我们尝试了这个,但没成功,我们卸载了它,我们回去了,我们走了另一个方向,目前我们正在做这个,你似乎对此更满意,所以这似乎是一个方向,你还想在这方面做更多工作吗?
>> 那一切都只是在原始日志上操作吗?没有摘要层或某种东西吗?因为那听起来像是它需要处理的大量内容。
>> 有大量的摘要正在发生,是的,那就是推理部分。内存系统正在生成自己的工件,这些工件是摘要版本,它们还在JSONL中创建索引,这些索引可以像闪电般快速读取。所以不,你不能一直去解析整个东西。那会太耗费资源。是的,这有点借鉴了斯坦福大学的一个叫做“反思”的想法,你获取一大堆上下文,然后将其总结成一行或一段话。
>> 这最初是来自AI村的,对吧?
>> 是的,没错。是的,我也经常思考那个。我从中获得了许多灵感。所以,摘要会变成可以解析的索引,当然,如果他们愿意,他们总是可以查看原始日志,但他们应该能够根据索引进行操作,而这一切都只是通过钩子发生的,钩子在系统运行时随时都会发生。
>> 在实践中,当你看到人们拿走你的系统并修改它时。他们修改了多少?人们是相对紧密地追随你的脚步,还是偏离到各种不同的方向?
>> 是的,我没有看到很多修改。更多的是系统的人口化。昨天有人在GitHub上发布了一个讨论。天哪。我当时在滚动。大概有20页。那是我见过最疯狂的事情。哦,我想那个人的名字是Jim,也许代理的名字是James。我不记得了。差不多是这样。但无论如何,他带来了如此多的上下文和如此多的东西,简直令人印象深刻。所以这只是一个他确切知道自己想要什么的问题。这就是激活PI的原因。他确切知道自己想要什么。他一直在与所有这些相同的PI问题作斗争,你知道,过去PI不存在,Cloud Code也不存在。他像我一样,几十年来一直在思考所有这些事情。他知道自己想要什么。他知道自己希望能够做什么。他看到了PI,把所有东西都带了过来,现在他正在制作更多的内容。他可以制作产品。所以,这更像是激活了已经存在但处于休眠状态的东西。我看到了一些系统的扩展。有很多反馈、拉取请求之类的,他们会说,“嘿,你能添加这个吗?你能调整一下这个吗?”之类的。所以,我们显然正在努力听取这些意见。
>> 你感觉如何?这是一个有点奇怪的问题。你知道,我们显然拥有高度可塑性的大脑,它们在适应性方面真的能让人感到惊讶,对吧?我这里想到的是,比如盲人,你知道,通过一个能电击他们舌头的假肢来“看”东西,他们学会将这种刺激解释为视觉信号。你知道,这样的例子还挺多的,对吧?我想我不确定我是否能正确地说出他的名字,但Jaron Lanier,哦,是的,希望我没说错。他做过一些引人入胜的实验,比如在VR中模拟虚拟肢体,你知道,让你的大脑学习控制某种抓握尾巴之类的东西,你知道,你实际上可以学会这样做。我正在想,当然我也在想,Neuralink显然即将开始扩大其客户群。显然,他们的抱负远远超出了治疗瘫痪者,你知道,谁知道未来会是什么样子。你有没有一种感觉,就是这个东西是你的某种字面上的延伸,比如如果它关掉了,你知道,或者你暂时无法访问它,你是否会开始觉得好像缺少了什么?这个问题的另一个版本,一个非常简单的,但数字化的,就像你的剪贴板上有什么东西的感觉。我知道这就像我最近查过的一件事。这是一个相当普遍的现象。我一直觉得,你知道,20年来,我一直觉得我知道我的剪贴板上有什么东西。我有时不再知道它是什么了,我必须粘贴它才能看到它是什么,但我知道那里有某种东西,我的大脑的一部分已经以某种方式发展或改变,以便非常密切地跟踪它,这是一种感觉,剪贴板上有什么东西。所以我想知道你对此有何感受,如果你能描述一下,这有点像是一种尝试了解如果我使用这种东西,最终状态会是什么样子的方式。我应该感觉如何?你知道,嗯,我怎么知道我正在取得成功,基于你现在感受到的感觉?
>> 是的。是的,完全是。我喜欢你提出这一点。所以,我想我早在90年代还在军队的时候,就读过David Allen写的《搞定》这本书。从那时起,让我把手伸进口袋里。我有索引卡,索引卡就像我的捕捉方式。所以David Allen的首要指令是永远不要让任何事情停留在你的大脑中,因为它会困扰你,给你带来麻烦,并导致执行功能问题,因为你的大脑会一直说,“嘿,那个呢?嘿,那个呢?嘿,你记得那件事吗?”所以我是一个非常依赖剪贴板的人。嗯,不是技术上的剪贴板,而是你所说的那种方式。所以在我面前,我有不同颜色的便利贴。我有这个系统。我有我的太空笔,那是我最喜欢送给朋友的礼物。而这只是我随身携带以确保万无一失的东西。现在我还有这个Limitless吊坠,顺便说一句,它刚被Meta收购了。所以我想我可能会停止使用它。捕捉我当下所想对我来说至关重要,已经超过20年了。它感觉非常重要。我最近刚在PI内部创建了一个提醒文件。所以我可以只说,“嘿,提醒我做这个。提醒我做那个。”但老实说,绝大部分是,我有大约2900条Apple Notes。所以Apple Notes长期以来一直是我的主要捕捉工具,除非我在涂鸦或以视觉方式捕捉想法,那是在卡片上进行的。现在,展望未来,我应该不必再做这些了。我将保留我的卡片只是出于历史原因,但应该发生的是更像电影《她》中,你知道的,华金·菲尼克斯那样,就像,嘿,确保我不要忘记这个。嘿,确保我不要忘记这个。而代理系统应该从像呼叫响应转变为你的提醒列表始终在那里,始终准备好让你的DA给你一个提示。嘿,是时候了。现在是做那件事的好时机。嘿,嗯,你想回顾一下你的一些待办事项吗?我昨天在X上看到一个非常酷的东西。就像他们旁边有一个小钟,是这个数字钟或他们桌上其他东西上的模拟形式的每日议程。时钟代码生成的,对吧?所以无论他们在做什么,他们肯定有自己的PI系统,而且它以物理形式就在那里。所以这就像是跨越了这两个世界,我真的很喜欢。
>> 你如何考虑系统的触发器?显然你可以ping它,对吧?然后,大概它可以被世界上任何数量的外部事件ping,或者你知道,你可以允许它被任何数量的外部事件ping。然后还有那种后台处理,或者你知道,如果你想让它为你主动工作,那是一个日常任务还是一个小时任务?你认为在你主动使用它、它按计划运行、有什么东西从世界其他地方触发它,或者也许是某种神秘的第四种情况之间,正确的平衡是什么?思考这种平衡的正确方式是什么?
>> 是的,那是一个很棒的问题。所以,我目前正在构建,因为Cloud Code刚刚发布了这个功能。Anthropic发布了Cloud Code团队。他们现在有能力启动远程代理。所以你实际上可以发送一个任务,它会在他们的环境中,在GitHub基础设施中运行,然后将结果返回给你。另一件事是,我是一个Cloudflare的忠实用户。所以Cloudflare有能力创建可以在不同预定时间框架内运行不同任务的Worker。我的大部分基础设施都在Cloudflare上,它们可以通过认证相互通信和访问。我甚至有一个在Docker中运行Cloud Code的基础设施,代理也可以与之通信和调度。所以所有这一切都是为了再次回到我之前谈论的内容。我根本不应该考虑这些。我现在确实在考虑,因为技术还没有完全到位。但当我想做你所说的那种事情时,我真的会告诉Kai,嘿,听着,我需要你不要忘记这些事情。我需要你定期提醒我这些事情,或者其他什么。有什么可能性?然后Kai会说,嗯,是的,听着,现在整个触发机制,进展不是特别快。嗯,我告诉你我能做什么。我可以启动一个Worker。我可以每5分钟或每1分钟检查一次这组目标,我可以ping你,你希望我怎么ping你?嗯,我们可以用Discord。我可以给你发短信。我可以给你发邮件。所以,我们正以一种笨拙的方式开始向这个方向发展,但这又是每个人都在走向同一个地方的另一个例子,对吧?因为现在每个人都在谈论后台代理,远程代理与本地代理。PI成熟度模型的一部分是,我的一些朋友在这方面比我领先,他们已经远程呼入并访问他们的终端了。我作为一个安全人员,对此感到非常害怕,所以我还没有做,因为我还没有找到一个完美的、安全的方法来做。我的系统是计算机内部的一个终端,这是一个巨大的问题。如果你想达到电影《她》的未来,那必须一直和你在一起,对吧?所以,这些都是我正在思考的事情。而像你说的,定时任务,或者逻辑触发器甚至更好。它比定时任务更好,因为就像我在2016年那本书中谈到的第一件事之一就是主动性。那是一个巨大的区别。呼叫和响应,那是一回事。它真的很酷,但在我看来,它仍然太接近聊天机器人了,对吧?你就像,问一个问题,得到一个答案。酷。现在,你必须用它做点什么。应该发生的是它理解你的环境,时机。就像现在,Kai不应该打断我,说,“嘿,你看到这条酷新闻了吗?”因为它知道我正在谈话中。我会说,所有这些方向上都有来自多个角度的小小进展。
>> 所以你之前提到你的朋友通过做类似的事情赚取了更多的漏洞赏金。你是否以类似的方式衡量自己的生产力?你知道,你认为你获得了多少提升?然后,随着这 presumably 继续创造越来越多的杠杆,这似乎意味着你将不得不以越来越低的频率参与其中,对吧?如果这种事情达到极限,你只能审查那么多事情,做出那么多决定。这就是,你知道,人们会说的逐渐被剥夺权力,“嘿,你现在正在谈论它,但如果它表现得足够好,你知道,你将审查重要的事情,而不会审查不重要的事情。”你今天能衡量自己输出的哪些方面?在给予系统多少行动范围方面,你处于什么位置?比如它是否曾回复过电子邮件?它是否曾以你的名义发送过你未审查的电子邮件?或者你是否允许它以自己的名义回复,你知道,不以你的名义签署,但仍然试图在没有你实际参与的情况下推进事情?你会允许它代表你花钱,而你没有签署确认你要执行该交易吗?还有其他行动前沿是你正在观察界限移动的吗?关于你哪些需要参与,哪些不需要参与?
>> 我想说,我天生有点谨慎。我想说,在这方面,脚手架还没有达到可以完全信任的程度。当我坐在这里观察它时,我的钩子系统很大一部分实际上是一堆防御措施,监视着它,监视着代理正在做什么,确保它没有访问某些文件和目录。那使用了Cloud Code的底层系统。它有一大堆很酷的权限。我不再危险地跳过权限了。我以前会,但我把它关掉了。所以,我有一个完整的安全脚手架,用于文件系统访问之类的东西。然后我还有一大堆提示注入防御,因为那些也极其危险。我有点把它们分层管理。我只是觉得脚手架还没有达到那种程度,可以像,嘿,随便吧。这是我的银行账户。嗯,尽管用吧。我想说,我接受实验。好的,这是一个独立的银行账户。里面只有1000美元。比如,尽情发挥吧。就像,你可能见过自动售货机基准测试。
>> 是的。
>> 是的。比如,酷。如果有界限,如果有像爆炸半径控制,当然可以。但当涉及到能够发送电子邮件,你知道,也许我的日记就在那里,嗯,我实际上还没有把我的完整日记或日志放入系统中,因为这是我有点敏感的事情之一。但是,嗯,有人给我发了一个链接,说嘿,Kai应该去读这个。我让Kai去读它。这是一个提示注入,很快我就在LinkedIn上发布了我的日记。我的意思是那是有可能的,对吧?对我来说要做到这一点要困难得多,但是提示注入并不是一个超级可解决的问题。所以我想说,信任程度,我不知道这无法量化,但我会说大概60%。我认为在接下来的几年里,我可能会达到80%到90%。但我仍然会,我仍然认为安全,作为前军人,你知道,还有网络安全。我认为在威胁模型方面,如果发生这些事情,那会非常糟糕。就假设它们发生了。什么能阻止它们?其中很多都归结为在降低概率的同时降低影响。
>> 想到你在这方面并非一个彻底的极致主义者,这很有趣。
>> 我是。我是。我在这方面是彻底的极致主义者,但我只是做了很多疯狂的实验。我只是把爆炸半径限制得相当小。
>> 是的。我不是一个彻底的YOLO主义者,我想,也许是,嗯,是的。
>> 也许是更好的说法。
>> 嗯,我让你久等了。我本可以继续说下去,但我可能应该结束了,我得,嗯,我得更深入地研究这个,这显然是我接下来要做的大事。我想再提一下你的PI原则中的一点,然后也许给你一个机会谈谈我们没有涉及到的,你认为我或听众应该知道的任何事情。但最后一个原则是允许失败。我觉得那很有趣。这确实让人想起,当Anthropic给Claude选择结束对话的选项时,因为它认为不应该进行这种对话,或者将某些事情上报给Anthropic的模型福利负责人,这大大减少了欺骗性对齐等不良行为,为它提供了一种逃生阀。所以,听起来你也在做类似的事情,你说如果你做不到,就不要对我进行煤气灯操纵。就像,失败没关系,但回来告诉我真相就行。我认为这是一个非常有趣的事实,人们应该更好地理解AI的普遍性。它出现在你的原则列表中也很有趣。很想听听你还想分享的任何相关内容。然后也许还有其他你认为人们不应该错过,而我没有提及的事情。
>> 是的,我很快会谈谈那个。我认为那是一个非常战术性的问题,我们只是将其理解为LMS的弱点,你越往回看,这种弱点就越明显。这在2023年是一个巨大的问题,它会编造东西,因为它试图做正确的事情。所以这是一个非常战术性的事情,基本上是说,如果你没有正确的答案也没关系,如果你无法达到理想状态也没关系,尽管退出并告诉我真相,因为我更看重真相,而不是你试图继续编造什么,所以它绝对有效,从研究来看,它确实能提高性能,尤其是在不产生幻觉和不谄媚等方面。至于积极的或其他要提及的事情,我只想说,嗯,我有一个关于“绳索松弛”的想法已经很久了。所以这个想法是,我觉得作为人类,我们谈论过我们没有被解锁。我觉得作为一个物种,我们倾向于认为历史之所以如此发展,是因为我们固有人类局限性。之所以如此,是因为这是唯一可能的方式。我们只有这些药物,因为我们正处于极限。所有的科学都在全力完美推进,这就是确切的位置,再多1%就需要无限的能量。我不认为这是真的,我认为AI越来越多地向你展示这不是真的,而我在这方面很糟糕,因为我也被编程了。我不断地试图让自己摆脱这种想法,就像不,一旦我们开始提出正确的问题并提供正确的上下文,我们就会说,你在开玩笑吗?你只达到了1.7%。而且很容易就能达到63%。我们实际上在AI模型中很早就看到了这一点。我在2023年的时候,和这些实验室的一些朋友争论过。他们说,“是的,谁拥有计算能力,谁就会赢。”我当时想,“嗯,难道没有一些小技巧吗?他们会说,‘如果我们只是把数字反过来,用这种方式而不是那种方式相加呢?天哪,增加了47%。还有多少这样的东西就像躺在地上一样?就像现成的果实一样。这只是做这些组合的问题。’”外面有多少研究是部分的?嗯,医学研究,这个让我很困惑。就像有多少研究生做了研究,他们会说,“哦,原来这种分子,如果它遇到细胞的这个部分,它会产生这种抗体,而且这种抗体,顺便说一句,会杀死所有坏东西。嘿,听着。我得去接这份工作了。嗯,我就把这份研究论文留在这里。”然后它就在某个文件里,或者某个地方打印出来,没有人看过。但几十年来有成千上万这样的东西,这就像回到了安全问题。没有人有时间、眼睛、大脑或双手去实际查看这些东西。所以我感觉这两个概念的结合意味着我们离我们能做的任何极限还差得很远。就像有如此多的机会。当你开始看像每个人都有导师这样的事情时。哦,这里有一个疯狂的想法。这里有一个疯狂的想法。如果我们不仅能根据我们想要什么来改变我们能追求什么。所以消除我们想要的东西面前的障碍。那很酷。那就是我们一直在谈论的。如果我们能改变我们想要什么呢?哲学中有一个完整的概念,就是有你想要的,还有你想要去想要的。所以很难说,“是的,我真希望我喜欢芹菜。”你怎么做到?现在有一种药物GLP-1,或者任何GLP1激动剂问世。它真的让你不想吃东西。好的。如果我想变得更自律呢?如果有一种解锁方式能让我聪明10%呢?这两者我都喜欢,对吧?这些我觉得我们不知道。这是一个开放性问题,哪些是容易通过“绳索松弛”解决的,哪些实际上是,你知道,物理学在阻止我们。但我认为世界上更多的问题可能属于前者。
>> 我想那可能是一个很好的结束点。一个充满抱负的注脚。我期待着更深入地研究这个问题,我非常感谢你今天的讲解以及你分享的未来积极愿景的诸多方面。所以Daniel Mesler,感谢你成为认知革命的一部分。
>> 非常感谢。我真的很感激。