Transcription
我们人类很难对高度非线性的动力系统做出任何清晰的预测。但回到你的观点,我们可能会非常惊讶于经典学习系统甚至能对流体做些什么。>> 是的,没错。我的意思是流体动力学、纳维-斯托克斯方程,这些传统上被认为是经典系统上非常非常困难、难以处理的问题。它们需要巨大的计算量,你知道,天气预报系统,你知道,这类事情都涉及流体动力学计算。但再说一次,如果你看看像VO这样的东西,我们的视频生成模型,它能很好地模拟液体,出奇地好,还有材料、镜面光照。我喜欢那些,你知道,有人生成了视频,里面有透明液体通过液压机然后被挤出来。我在游戏生涯早期曾编写过物理引擎和图形引擎。我知道构建能做到这一点的程序是多么的艰辛。然而不知何故,这些系统却能,你知道,仅仅通过观看YouTube视频进行逆向工程。所以大概正在发生的是,它正在提取这些材料行为方式的一些底层结构。所以也许存在某种可以学习的低维流形,如果我们真正完全理解了其内部运作。这也许,你知道,也许适用于大多数现实。
以下是与德米斯·哈萨比斯的对话,这是他第二次参加播客。他是谷歌DeepMind的负责人,现在是一位诺贝尔奖得主。德米斯是当今世界上最杰出、最迷人的思想家之一,致力于理解和构建智能,并探索我们宇宙的巨大奥秘。这对我来说真是一种荣幸和乐趣。这里是莱克斯·弗里德曼播客。为了支持它,请查看描述中的赞助商,并考虑订阅此频道。那么,亲爱的朋友们,现在有请德米斯·哈萨比斯。
在您的诺贝尔奖演讲中,您提出了一个我认为非常有趣的猜想,引用道:“任何在自然界中产生或发现的模式,都可以通过经典学习算法高效地发现和建模。”什么样的系统模式可能包含在其中?生物学、化学、物理学,也许是宇宙学,>> 神经科学。我们到底在谈论什么?>> 当然。嗯,你看,我觉得这有点像诺贝尔奖演讲的传统,你理应稍微有点挑衅性,我想遵循这个传统。我当时谈论的是,如果你退一步看我们所做的所有工作,特别是Alpha X项目,我想到的是AlphaGo,当然还有AlphaFold,它们实际上是在构建非常组合高维空间的模型,你知道,如果你试图暴力破解一个解决方案,在围棋中找到最佳走法,或者找到蛋白质的精确形状,如果你枚举所有可能性,那么在宇宙的时间里都没有足够的时间。所以你必须做一些更聪明的事情,我们在这两种情况下所做的就是构建这些环境的模型。嗯,这以一种聪明的方式引导了搜索,并使其变得可处理。所以如果你考虑蛋白质折叠,这显然是一个自然系统,你知道为什么这会是可能的?物理学是如何做到这一点的?你知道蛋白质在我们的身体里在几毫秒内折叠。所以不知何故,物理学解决了这个问题,我们现在也通过计算解决了它。我认为这之所以可能,是因为在自然界中,自然系统具有结构,因为它们受到了塑造它们的进化过程的影响。如果这是真的,那么你也许可以学习那种结构是什么。所以这个观点,我认为,真的很有趣。你已经暗示了它,这几乎就像粗略地说。任何可以进化的东西都可以被高效建模。认为这有一些道理。是的,我有时称之为“最稳定者的生存”之类的,因为你知道,当然有生命的进化,但也有,你知道,如果你考虑地质时间,山脉的形状是由风化过程塑造的,对吧,经过数千年,但你甚至可以把它推到宇宙学层面,行星的轨道,小行星的形状,这些都经历了多次作用于它们的过程而幸存下来,所以如果这是真的,那么就应该存在某种模式,你可以进行逆向学习,以及一种流形,它确实能帮助你搜索到正确的解决方案,正确的形状,并且实际上允许你以高效的方式预测关于它的事情,因为它不是一个随机模式,对吧,所以,对于人造事物或像大数分解这样的抽象事物,这可能是不可能的,因为除非数字空间中存在模式,这可能存在,但如果不存在且是均匀的,那么就没有模式可学习,没有模型可学习来帮助你搜索。所以你必须使用暴力破解。所以在这种情况下,你可能需要一台量子计算机之类的东西。但在自然界中我们感兴趣的大多数事物并非如此。它们具有结构,这种结构因某种原因而进化并随着时间存活下来。如果这是真的,我认为神经网络有可能学习它。
>> 这就像大自然正在进行一个搜索过程,而在这个搜索过程中,它正在创造可以被高效建模的系统,这太迷人了。没错。是的。
>> 太有趣了。>> 所以它们可以被高效地重新发现或恢复,因为自然界不是随机的,对吧?我们周围看到的一切,包括那些更稳定的元素,所有这些事物,都受到某种选择过程压力的影响。您认为,因为您也是理论计算机科学和复杂性的爱好者,我们能否提出一种复杂性类别,就像复杂性动物园那样的类别,也许它是可学习系统的集合,可学习自然系统的集合,LNS。>> 是的,>> 这是一种新的系统类别,可以以这种方式被经典系统实际学习。可以高效建模的自然系统。是的,我的意思是,我一直对P=NP问题以及经典系统(即非量子系统,你知道,实际上是图灵机)可以建模什么很着迷,这正是我在业余时间与几位同事一起研究的问题:是否应该存在一种新的问题类别,可以通过这种神经网络过程解决,并映射到这些自然系统上,你知道,那些存在于物理学中并具有结构的事物。所以我认为这可能是一种非常有趣的思考方式。这也符合我通常对物理学的看法,那就是,你知道,我认为信息是首要的。信息是宇宙中最基本的单位,比能量和物质更基本。我认为它们都可以相互转化,但我将宇宙视为一种信息系统。
>> 所以当你把宇宙看作一个信息系统时,P=NP问题就是一个物理问题。
>> 没错。这是一个可以帮助我们实际解决正在发生的一切的问题。
>> 是的,我认为这实际上是最基本的问题之一,如果你把物理学看作是信息化的,而且我认为这个问题的答案将会非常启发人心。更具体地讲到P=NP问题。再次,我们现在说的一些事情有点疯狂。就像克里斯蒂安·埃丁森在诺贝尔奖演讲中说的那个有争议的事情听起来很疯狂,然后你和约翰·詹珀一起因此获得了诺贝尔奖,解决了这个问题。所以,让我只关注P=NP。您认为我们正在讨论的这件事中,是否存在某种可以证明的东西,即如果您可以提前进行多项式时间或常数时间计算,并构建这个庞大的模型,那么您就可以以理论计算机科学的方式解决一些极其困难的问题。
>> 是的,我认为实际上有一大类问题可以用这种方式来表达。我们做AlphaGo和AlphaFold的方式,你知道,你建模系统的动力学,那个系统的属性,你试图理解的环境,然后这使得寻找解决方案或预测下一步变得高效,基本上是多项式时间,因此可以通过经典系统处理,而神经网络就是经典系统,它运行在普通计算机上,对吧,经典计算机,实际上是图灵机,而且我认为最有趣的问题之一是这种范式能走多远?你知道,我认为我们已经证明了,而且整个AI社区也证明了,经典系统,图灵机,可以比我们之前想象的走得更远。你知道,它们可以做像模拟蛋白质结构和下围棋达到超越世界冠军水平的事情。而且,你知道,很多人可能在10、20年前会认为那还需要几十年,或者你可能需要某种量子机器,量子系统才能做蛋白质折叠之类的事情。所以我认为我们甚至还没有真正触及所谓的经典系统能做什么的表面。当然,在经典计算机之上,在一个神经网络系统之上再构建一个神经网络系统来构建AGI,将是这种能力的终极体现。而且我认为这种系统的极限,你知道,它能做什么的界限,这是一个非常有趣的问题,并且直接指向了P=NP问题。
您认为,再次假设,什么可能超出这个范围,也许是涌现现象,比如如果您看一些元胞自动机,您有一些极其简单的系统,然后出现一些复杂性,是的,>> 也许那会超出范围,或者您甚至会猜测,即使那也可能适合 >> 经典机器的高效建模?>> 是的,我认为那些系统会正好在边界上,对吧,所以,嗯,我认为大多数涌现系统,元胞自动机之类的东西,都可以被经典系统建模。你只需对其进行正向模拟,它可能就足够高效了。嗯,当然还有像混沌系统这样的问题,初始条件非常重要,然后你得到一些,你知道,不相关的最终状态,这些可能很难建模。所以我认为这些是开放性问题。但我认为当你退一步看看我们用这些系统所做的事情以及我们解决的问题,然后你看看像V3这样的视频生成,它渲染物理和光照之类的东西,你知道,物理学中真正核心的基础事物。嗯,这非常有趣。我认为它正在告诉我们一些关于宇宙结构相当基本的东西,在我看来。嗯,所以你知道,从某种意义上说,这就是我想要构建AGI的原因,是为了帮助我们作为科学家回答这些问题,比如P=NP。
>> 是的,我认为我们可能会不断地惊讶于经典计算机可以建模什么。我的意思是,AlphaFold 3在相互作用方面令人惊讶,你可以在那个方向上取得任何进展。AlphaGenome令人惊讶,你可以将遗传密码映射到功能,有点像在玩弄涌现现象。你认为有如此多的组合选项,然后你就可以找到可以高效建模的核心。>> 是的。因为存在某种结构,存在某种景观,你知道,在能量景观或其他任何东西中,你可以遵循某种梯度。当然,神经网络非常擅长的是沿着梯度下降。所以如果有一个目标可以遵循,并且你可以正确地指定目标函数,你知道,你就不必处理所有这些复杂性,我认为我们几十年来可能天真地认为,如果你只是列举所有可能性,这些问题看起来完全无法处理,有很多很多这样的问题,然后你会想,好吧,有10的300次方种可能的蛋白质结构,有10的70次方种可能的围棋局面,所有这些都比宇宙中的原子数量多得多,那么一个人怎么可能找到正确的解决方案或预测下一步呢?但事实证明这是可能的,当然现实自然界确实做到了,蛋白质确实会折叠,所以这让你有信心,如果我们理解了物理学是如何做到这一点的,从某种意义上说,然后我们能够模仿那个过程,我建模那个过程,那么在我们的经典系统上就应该可能,这基本上就是这个猜想的全部。
>> 当然还有非线性动力系统,高度非线性动力系统,所有涉及流体的东西。>> 是的。>> 没错。
你知道,我最近和陶哲轩有过一次对话,他从数学上处理了系统中存在一些奇点,从而破坏数学的非常困难的方面,而我们人类很难对高度非线性动力系统做出任何清晰的预测。但回到你的观点,我们可能会非常惊讶于经典学习系统甚至能对流体做些什么。是的,没错。我的意思是流体动力学、纳维-斯托克斯方程,这些传统上被认为是经典系统上非常非常困难、难以处理的问题。它们需要巨大的计算量,你知道,天气预报系统,你知道,这类事情都涉及流体动力学计算。而且,嗯,但再说一次,如果你看看像VO这样的东西,我们的视频生成模型,它能很好地模拟液体,出奇地好,还有材料、镜面光照。我喜欢那些,你知道,有人生成了视频,里面有透明液体通过液压机然后被挤出来。我在游戏生涯早期曾编写过物理引擎和图形引擎,我知道构建能做到这一点的程序是多么的艰辛,然而不知何故,这些系统却能,你知道,仅仅通过观看YouTube视频进行逆向工程。所以大概正在发生的是,它正在提取这些材料行为方式的一些底层结构。所以也许存在某种可以学习的低维流形,如果我们真正完全理解了其内部运作。这也许,你知道,也许适用于大多数现实。
>> 是的。我一直被V3的这一方面精确地吸引着。我认为很多人强调不同的方面,包括喜剧和模因以及所有这类东西。然后是超逼真的能力,以一种非常好的方式捕捉人类,这种方式引人入胜,感觉接近现实,然后将其与原生音频结合。所有这些都是V3的奇妙之处。但正是你提到的那一点,也就是物理学。>> 是的,>> 它不完美,但它非常棒。然后真正有趣的科学问题是,它对我们的世界有什么理解,>> 才能做到这一点,因为对扩散模型的犬儒式看法是它根本不理解任何东西,>> 但它似乎,我的意思是,我认为没有理解就无法生成那种视频,然后我们自己关于理解意味着什么的哲学观念就被提到了表面,比如,您认为V3在多大程度上理解我们的世界?我认为,就它能够以连贯的方式预测下一帧而言,那是一种理解形式,对吧,不是拟人化的那种,你知道,它不是对正在发生的事情的某种深刻哲学理解,我不认为这些系统拥有那种理解,但它们确实已经建模了足够的动力学,你知道,这样说吧,它们可以相当准确地生成无论是8秒钟的连贯视频,至少肉眼,你知道,一眼看去很难分辨出问题所在,想象一下再过两三年。这就是我正在思考的事情,以及考虑到我们从哪里来,你知道,一两年前的早期版本,它将看起来多么不可思议。所以,嗯,进步的速度令人难以置信。而且我认为,嗯,我像你一样,很多人都喜欢那些脱口秀喜剧演员,以及那些实际上很好地捕捉了很多人类动态和肢体语言的东西,但实际上最让我印象深刻和着迷的是物理行为、光照、材料和液体。它能做到这一点真是令人惊叹。我认为这表明它至少具有某种直观物理学的概念,对吧?嗯,事物应该如何直观地运作,也许就像一个人类儿童理解物理学的方式,对吧,而不是一个,你知道,一个博士生真正能够解开所有方程,它更多是一种直观的物理学理解。
>> 嗯,那种直观的物理理解是基础层,是人们有时称之为常识的东西,它确实理解了一些东西,我认为这真的让很多人感到惊讶,这让我大吃一惊,>> 我只是不认为在没有理解的情况下能够生成那种程度的真实感。
有这样一种观念,你只能通过拥有一个具身AI系统,一个与世界互动的机器人来理解物理世界。那是构建对那个世界理解的唯一方式。但V3似乎正在直接挑战这一点。
>> 是的,这非常有趣,你知道,即使你问我5到10年前,我也会说,尽管我沉浸在所有这些之中,我也会说,嗯,是的,你可能需要理解直观物理学,你知道,比如如果我把这个玻璃杯从桌子上推下去,它可能会碎,你知道,嗯,液体会洒出来,对吧,所以我们都知道所有这些事情,但我认为,你知道,神经科学中有很多理论,叫做“感知中的行动”,你知道,你需要在这个世界中行动才能真正深入地感知它。有很多理论认为你需要具身智能或机器人技术,或者至少是模拟行动,这样你才能理解像直观物理学这样的事物。但似乎,嗯,你可以通过被动观察来理解它,这对我来说相当令人惊讶,而且我认为这再次暗示了关于现实本质的一些潜在东西,在我看来,这超越了,你知道,它生成的那些酷炫视频。嗯,当然还有下一个阶段,也许是让这些视频变得互动。所以,嗯,人们实际上可以进入它们并在其中移动。嗯,这会非常令人震惊,特别是考虑到我的游戏背景。所以你可以想象,然后,然后我认为,你知道,我们正在开始接近我所说的世界模型,一个关于世界如何运作的模型,世界的机制,世界的物理学以及那个世界中的事物。当然,那正是你构建一个真正的AGI系统所需要的。
我必须和你谈谈视频游戏。所以,你有点在开玩笑。我认为你在Twitter(X)上玩得越来越开心,这很高兴看到。所以,一个名叫吉米·苹果斯的人发推说:“让我玩一个我的V3视频游戏吧。嗯,谷歌做得太好了,可玩的世界模型,当拼写成w-e-n问号时。”嗯,然后你引用那条推文说:“那岂不是太棒了?”那么,用AI构建游戏世界有多难?也许你能展望一下未来5到10年的视频游戏吗?你认为那会是什么样子?
>> 嗯,游戏真的是我的初恋,为游戏做AI是我青少年时期专业做的第一件事,也是我构建的第一个主要AI系统,而且,嗯,我一直想有一天能满足那个渴望,回到那个领域。虽然,你知道,我想我会的,而且,嗯,我想我有点梦想,你知道,如果我在90年代就能接触到我们今天拥有的这种AI系统,我会做些什么?而且我认为你可以构建绝对令人惊叹的游戏。嗯,我认为下一个阶段是,我一直喜欢制作我所有的游戏都是开放世界游戏。所以,它们是那种有模拟,然后有AI角色,然后玩家与那个模拟互动,模拟会适应玩家玩的方式的游戏。我一直认为它们是最酷的游戏,因为,嗯,就像我参与制作的《主题公园》这样的游戏,每个人的游戏体验对他们来说都是独一无二的,对吧?因为你有点像在共同创造游戏,对吧?嗯,我们设置参数,设置初始条件,然后你作为玩家沉浸其中,然后你与模拟共同创造它。但当然,编程开放世界游戏非常困难。你知道,你必须能够创建内容,无论玩家走向哪个方向,你都希望它具有吸引力,无论玩家选择什么。嗯,所以构建像元胞自动机这类经典系统,它们会产生一些涌现行为,总是相当困难的。嗯,但它们总是有点脆弱,有点局限。现在我们可能在未来几年,5到10年内,即将拥有能够真正围绕你的想象力进行创造的AI系统。嗯,可以动态地改变故事,围绕叙事进行讲述,并使其充满戏剧性,无论你最终选择什么。所以它就像终极的“选择你自己的冒险”类游戏。而且,嗯,你知道,我认为如果我们考虑VO的一种互动版本,然后将其向前推5到10年,你知道,想象一下它会变得多么好,也许我们就能实现。
>> 是的。你说了许多非常有趣的事情。所以其中一个开放世界内置的是你所描述的深度个性化。>> 所以它不仅仅是开放世界,比如你可以打开任何一扇门,那里就会有东西。而是你选择打开哪扇门,>> 以一种不受限制的方式定义了你所看到的世界。所以有些游戏试图这样做来给你选择。是的。但这实际上只是选择的幻觉,因为>> 唯一的,嗯,就像我最近玩的《史丹利的寓言》游戏。它真的只有几扇门,它真的只是把你带入一个叙事。《史丹利的寓言》是一款很棒的视频游戏,我推荐人们玩,它以一种元方式嘲讽了选择的幻觉,并且涉及自由意志等哲学概念。但是,嗯,我确实喜欢《上古卷轴》系列中我最喜欢的游戏之一是《匕首雨》。我相信他们确实玩了像地牢的随机生成。>> 是的。>> 你可以走进去,他们会给你一种开放世界的感觉,你在那里提到了互动性。你不需要互动。那是第一步,因为你不需要互动那么多。你只需打开门,你看到的一切都是为你随机生成的。>> 是的。那已经是一种不可思议的体验了,因为你可能是唯一一个见过那个的人。>> 是的。没错。所以,但你想要的是比那种随机生成稍微好一点的东西,对吧?所以你想要,嗯,而且也比简单的AB硬编码选择更好,对吧?那并不是真正的开放世界,对吧?正如你所说,它只是给了你选择的幻觉。你想要能够做的是,在这个游戏环境中,潜在地做任何事情。嗯,我认为做到这一点的唯一方法是拥有生成系统,那些能够即时生成内容的系统。当然,你不能创造无限量的游戏资产,对吧?如今AAA游戏的制作方式已经足够昂贵了。这在90年代我制作所有这些游戏时对我们来说就很明显了。我想也许《黑与白》是我参与制作的游戏,它的早期阶段可能拥有当时最好的AI学习AI。它是一个早期的强化学习系统,你,你知道,你当时,你正在照料这个神话生物,培养它,滋养它,根据你对待它的方式,它会以同样的方式对待那个世界里的村民。所以如果你对它刻薄,它也会刻薄。如果你善良,它就会保护你。所以它真的是你玩游戏方式的反映。所以实际上,在我职业生涯的早期,我一直通过游戏这个媒介从事模拟和AI方面的工作,而我今天所做的一切,仍然是那些早期更硬编码的AI实现方式的延续,到现在,你知道,完全通用的学习系统,它们正在努力实现同样的目标。
>> 是的,看到你和埃隆显然都渴望创造游戏,因为你们都是玩家,这很有趣,很搞笑,也很开心。而您在如此多科学领域取得的令人难以置信的成功,比如那些严肃的成人事务,其中一个令人遗憾的方面是。>> 是的。>> 你可能没有时间真正创造一款游戏。你最终可能会创造出工具,让其他人来创造游戏。你必须看着 >> 别人创造你一直梦想的东西。您认为在您极其繁忙的日程中,是否有可能找到时间来创造像《黑与白》这样的东西?一些实际的视频游戏,就像您可以让童年梦想变为现实一样。>> 你知道,有两种方式来思考这个问题,也许随着视觉编程(vibe coding)变得更好,有可能我可以在业余时间做这件事。所以,我对此感到非常兴奋,如果我有时间做一些视觉编程,那将是我的项目。嗯,我实际上很想做那个。然后另一件事是,你知道,也许是在AGI安全地被引导并交付到世界之后的一个休假。你知道,那个,然后就像我们一开始谈到的那样,研究我的物理理论。那将是我的两个后AGI项目。我们就这么称呼它吧。
>> 我很想看看在AGI之后你会选择哪款游戏。解决人类历史上一些最聪明的人所争论的问题,你知道,P=NP,或者创造一个很酷的视频。是的。嗯,但它们可能,但在我的世界里它们是相关的,因为它将是一个开放世界模拟游戏,尽可能真实。所以,你知道宇宙是什么?那,那,那是在说同一个问题,对吧?NPL MP。我认为所有这些事情都是相关的,至少在我看来。
我的意思是,以一种非常严肃的方式来说,视频游戏有时被看作只是一种有趣的副业,但特别是随着AI承担越来越多困难、无聊的任务,也就是我们在现代世界称之为“工作”的事情。你知道,视频游戏是我们可以找到意义,可以找到如何打发时间的东西。你可以创造出极其丰富、有意义的体验。就像人类生活就是这样。然后在视频游戏中,你可以创造出更复杂、更多样化的生活方式,>> 对吧?
>> 我认为是这样。我的意思是,我们这些热爱游戏的人,我仍然热爱,嗯,你知道,它几乎可以让你尽情驰骋想象力,对吧?就像我曾经非常喜欢游戏,嗯,和制作游戏。因为它是融合,特别是在90年代和2000年代早期,也许是80年代,游戏行业的黄金时代,一切都在被发现,新的游戏类型正在被发现,我们不仅仅是在制作游戏,我们觉得我们正在创造一种前所未有的新娱乐媒介,特别是这些开放世界游戏和模拟游戏,你在其中共同创造,你作为玩家共同创造故事,没有其他媒体,嗯,娱乐媒体能让你做到这一点,让你作为观众实际共同创造故事,当然现在有了多人游戏,它也可以成为一种非常社交的活动,可以在其中探索各种有趣的世界。但另一方面,你知道,嗯,享受和体验物理世界也非常重要。但问题是,你知道,我认为我们将不得不再次面对这样一个问题:现实的根本性质是什么?嗯,这些日益逼真的模拟,以及多人游戏和涌现的,嗯,以及我们在现实世界中做的事情之间会有什么区别?
>> 是的,体验真实世界的自然显然有巨大的价值。像我们今天这样直接与他人面对面交流也有巨大的价值。
>> 但我们需要真正科学严谨地回答为什么。
>> 是的。以及其中哪些方面可以映射到虚拟世界。
>> 没错。>> 光说“是的,你应该去接触大自然,在大自然中放松”是不够的。这就像,为什么这 بالضبط有价值?
>> 是的。我想那也许是我职业生涯开始以来一直困扰我、让我着迷的事情。如果你思考我所做的所有不同事情,它们都以那种方式相关联。这种模拟,现实的本质,以及,你知道,什么可以被建模的界限。抱歉问了个荒谬的问题,但到目前为止,史上最伟大的视频游戏是什么?有什么推荐的?
>> 嗯,我一直以来最喜欢的是《文明》。我不得不说,那是《文明1》和《文明2》。我一直以来最喜欢的游戏。嗯。
>> 我只能假设你避开了最新版本,因为它可能会让你,那会是你的休假,你会消失不见。
>> 是的,没错。这些《文明》游戏很耗时间。所以,我得小心对待它们。
>> 有趣的问题。你和埃隆似乎都是很棒的玩家。嗯,在游戏方面很出色和在AI公司担任出色领导者之间有联系吗?
>> 我不知道。我,这很有趣。我的意思是,嗯,我们都喜欢游戏,而且有趣的是他一开始也写过游戏。这可能尤其是在我成长的那个时代,家用电脑刚刚兴起,你知道,在80年代末和90年代,特别是在英国。我有一台Spectrum,然后是一台Commodore Amiga 500,那是我有史以来最喜欢的电脑,也是我学习所有编程的地方,当然,编程游戏是一件非常有趣的事情。所以我认为这是一种学习编程的好方法,可能现在仍然是,而且,嗯,然后我当然立即将其引向AI和模拟的方向,这样我就能够同时表达我对游戏的兴趣和我更广泛的科学兴趣。然后我认为游戏最棒的最后一点是,它融合了,嗯,艺术设计,你知道,艺术与最尖端的编程。嗯,所以再次,在90年代,所有最有趣的技术进步都发生在游戏领域,无论是AI、图形、物理引擎、硬件,甚至GPU当然最初也是为游戏设计的。嗯,所以在90年代推动计算前进的一切都归功于游戏。所以有趣的是,那是研究的前沿所在,它与艺术,嗯,你知道图形,还有音乐,以及整个新的讲故事媒介进行了不可思议的融合,我喜欢这一点。对我来说,这种多学科的努力再次是我一生都喜欢的事情。我必须问你,我差点忘了最近许多令人难以置信的事情之一,嗯,不知何故还没有得到足够关注的是Alpha Evolve。
>> 我们稍微谈了一下进化,但它是谷歌DeepMind的系统,它进化算法。>> 是的。>> 这类类似进化的技术作为未来超级智能系统的一个组成部分有前景吗?所以对于不了解的人来说,它有点像,嗯,我不知道说它是LLM引导的进化搜索是否公平。>> 是的。>> 所以进化算法在进行搜索,而LLM在告诉你方向。
>> 是的。没错。所以LLM有点像在提出一些可能的解决方案,然后你再在其上使用进化计算来找到搜索空间中一些新颖的部分。所以实际上我认为这是一个非常有前景的方向的例子,你将LLM或基础模型与其他计算技术结合起来。进化方法是一种,但你也可以想象蒙特卡洛搜索,基本上是许多类型的搜索算法或推理算法,在基础模型之上或以基础模型为基础。所以,我实际上认为,通过这类混合系统,我们可以发现很多有趣的东西,姑且这么称呼它们。
>> 但不要把进化浪漫化。是的,>> 我只是人类。但你认为无论那种机制是什么,它都有一些价值,因为我们已经谈论过自然系统。您认为,我们理解、能够建模、能够模拟进化,然后利用我们对这种受自然启发的机制所理解的一切,从而使搜索越来越好,是否存在大量唾手可得的成果?
>> 是的。所以如果你再次思考我们构建的这些系统,将其分解到它们真正核心的基础,你就会得到系统底层动力学的模型。嗯,然后如果你想发现一些新的、以前从未见过的新颖事物,那么你需要在其上进行某种搜索过程,将你带到搜索空间的一个新颖区域。而且,嗯,你可以通过多种方式做到这一点。进化计算是其中之一。嗯,对于AlphaGo,我们只是使用了蒙特卡洛搜索,对吧,那就是发现围棋中从未见过的新策略“第37手”的方法,所以这就是你如何超越可能已知的东西,模型可以建模你目前所知道的一切,对吧,你目前拥有的所有数据,但你如何超越这一点,这就开始谈论创造力的想法,这些系统如何创造新事物,发现新事物,显然这对于科学发现或推动元科学和医学发展至关重要,我们希望用这些系统做到这一点。而且你实际上可以在这些模型之上附加一些相当简单的搜索系统,让你进入一个新的空间区域。当然,你还必须,嗯,确保你不是完全随机地搜索那个空间。那会太大了。所以,你必须有一个你试图优化和爬坡的目标函数,它会引导那个搜索。但程序空间中,有一些有趣的进化机制。但程序空间是一个极其重要的空间,因为你可能可以推广到你所知道的一切,例如突变。所以它不仅仅是蒙特卡洛树搜索,那种像搜索一样。>> 你可以时不时地 >> 组合事物。是的。>> 组合事物,改变像一个事物的子组件。是的。所以你知道进化真正擅长的不仅仅是自然选择。它是组合事物并构建日益复杂的层次系统。>> 所以那个组成部分非常有趣,特别是像Alpha Evolve在程序空间中。
>> 是的。没错。所以你可以从进化系统中获得一些额外的特性,那就是可能会出现一些新的涌现能力,当然就像生命中发生的那样。有趣的是,对于没有LLM和现代AI的朴素的传统进化计算方法,它们的问题在于,它们在90年代和2000年代早期得到了很好的研究,并取得了一些有希望的结果,但问题是它们永远无法弄清楚如何进化出新的属性,新的涌现属性。你总是只能得到你输入系统属性的一个子集。但也许如果我们把它们与这些基础模型结合起来,我们就能克服这个限制。显然,自然进化确实做到了,因为它确实进化出了新的能力,对吧,从细菌到我们现在。所以很明显,进化系统必须能够生成新的模式,你知道,回到我们谈论的第一件事,以及新的能力和涌现属性,也许我们正处于发现如何做到这一点的风口浪尖。
>> 是的,听着,Alpha Evolve是我见过最酷的东西之一。我在家里办公桌上,你知道,我大部分时间都花在电脑后面编程。在三块屏幕旁边是一个提塔利克鱼的头骨,它是早期从水中爬上陆地的生物之一。我就那样看着那个小家伙。这就像,无论进化的计算机制是什么,它都相当不可思议。它真是太不可思议了。现在,这是否正是我们进行搜索需要做的事情,但永远不要忽视大自然在这里所做的力量。
>> 是的。而且令人惊叹的是,嗯,它实际上是一个相对简单的算法,对吧,它能产生所有这些巨大的复杂性,显然运行了,你知道,40亿年的时间,但它,它,它,你知道,你可以把它看作是一个搜索过程,在宇宙的物理基质上运行了很长一段时间的计算时间,但随后它产生了所有这些令人难以置信的丰富多样性。
>> 所以,嗯,我有很多问题想问你。但其中一个,你确实有一个梦想。你想要尝试建模的自然系统之一是细胞。
>> 是的,>> 那是一个美丽的梦想。嗯,我可以问你关于那个。我也只是为此目的,在AI科学家方面泛泛而谈。所以有一篇来自丹尼尔·科卡塔利奥、斯科特·亚历山大等人的文章,概述了通往ASI的步骤,其中包含许多有趣的想法。其中之一是,嗯,包括一个超人类程序员和一个超人类AI研究员,其中有一个术语叫做“研究品味”,这真的很有趣。所以在你所看到的一切中,你认为AI系统是否有可能拥有研究品味,以AI共同科学家帮助引导人类,嗯,人类杰出科学家的方式来帮助你,然后潜在地自行找出你想要产生真正新颖想法的方向,因为这似乎是做好伟大科学的一个非常重要的组成部分。是的,我认为那将是最难模仿或建模的事情之一,就是这种品味或判断力。我认为这就是区分,你知道,伟大科学家和优秀科学家的地方,就像所有专业科学家在技术上都很好,对吧,否则他们就不会在学术界走那么远,但你是否有品味去嗅探正确的方向是什么,正确的实验是什么,正确的问题是什么。所以,选择正确的问题是科学中最困难的部分。嗯,以及提出正确的假设,而且,嗯,你知道今天的系统肯定做不到这一点。所以你知道我常说,提出一个猜想,一个真正好的猜想,比解决它更难。所以我们可能很快就会有能够解决相当困难的猜想的系统。嗯,你知道,我,嗯,数学奥林匹克问题,我们,我们,你知道,去年我们的AlphaProof系统获得了银牌,在那些非常困难的问题上,也许最终我们能够解决一个千禧年大奖类的问题,但是一个系统能否提出一个值得研究的猜想,让像陶哲轩这样的人会说,你知道吗,那是一个关于数学本质、数字本质或物理本质的真正深刻的问题,那是一种远更难的创造力,我们真的不,哦,系统显然做不到这一点,我们也不太确定那种机制会是什么。这种想象力的飞跃,就像爱因斯坦在当时所拥有的知识下,提出了狭义相对论,然后是广义相对论。
>> 至于猜想,你想要提出一个既有趣又易于证明的东西。
>> 是的。>> 所以,提出一个极其困难的东西很容易。>> 是的。>> 提出一个极其简单的东西也很容易。在那个,在那个非常边缘,>> 那个最佳点,对吧,基本上是推进科学,并将假设空间理想地一分为二,对吧?
无论它是真是假,你都学到了一些真正有用的东西,而且,嗯,而且那很难,而且,而且,而且要创造出一些也是,你知道,可证伪的,并且在你目前拥有的技术范围内的东西。所以这实际上是一个非常有创造性的过程,一个高度创造性的过程,嗯,我认为仅仅在模型之上进行一种朴素的搜索是不足以做到这一点的。
>> 好的。将假设空间一分为二的想法非常有趣。所以,嗯,我听你说过,基本上没有失败,或者说,如果你正确地构建问题,正确地构建实验,正确地设计它们,那么失败就非常有价值,失败和成功都是有用的。所以也许因为它基本上将假设一分为二,就像二分查找一样。
>> 没错。所以当你做,你知道,真正的蓝天研究时,只要你选择的实验和假设能够有意义地划分假设空间,就真的没有失败这回事。所以你知道,你学到了一些东西,你可以从一个不成功的实验中学到同样有价值的东西。如果你设计得好,你的假设很有趣,那应该告诉你下一步该怎么走。而且,嗯,然后你实际上是在进行一个搜索过程,嗯,并以,你知道,非常有帮助的方式利用这些信息。那么,回到你建模细胞的梦想,嗯,我们面临的巨大挑战是什么才能实现它?我们也许应该强调Alpha,我的意思是,有太多的飞跃。
>> 是的。>> 所以AlphaFold解决了,如果公平地说,蛋白质折叠问题,而且我们可以在那里谈论许多令人难以置信的事情,包括开源,嗯,你发布的一切。AlphaFold 3正在处理蛋白质、RNA、DNA相互作用,>> 这超级复杂且引人入胜。那是可以建模的。AlphaGenome,嗯,预测,嗯,小的基因变化,比如如果我们考虑单点突变,它们如何与实际的,嗯,功能联系起来。所以,嗯,那些似乎正在悄悄地走向复杂,走向更复杂的,嗯,像细胞这样的东西,但细胞有很多非常复杂的组成部分。
>> 是的。所以我在整个职业生涯中一直努力做的就是,我有一些非常宏伟的梦想,然后我尝试,正如你所注意到的,然后我尝试分解,但我尝试将它们分解成可管理、可实现、有意义且本身有用的中期步骤,所以虚拟细胞,也就是我称之为建模细胞的项目,我一直有这个想法,你知道,想要做这件事大概有25年了,我以前经常和保罗·纳斯交谈,他是我的生物学导师之一。他经营着,你知道,创立了克雷格研究所,并在2001年获得了诺贝尔奖。嗯,是。
我们一直在谈论它,你知道,早在九十年代之前,你知道的。嗯,我每五年就会回到这个问题:你需要什么来模拟细胞的完整内部结构,以便你可以在虚拟细胞上进行实验?而那些,你知道,在硅片上进行的实验和那些预测将有助于你在湿实验室中节省大量时间,对吗?那将是梦想。也许你可以通过在硅片上完成大部分实验,在硅片上进行搜索,然后你在湿实验室中进行验证步骤,从而将实验速度提高100倍。那将是,那就是梦想。
所以,嗯,但也许现在终于,呃,我一直在尝试构建这些组件,AlphaFold就是其中之一,它最终将允许你模拟细胞的完整相互作用,进行完整的细胞模拟。我可能会从酵母细胞开始,部分原因是保罗·纳斯研究的就是酵母细胞,因为酵母细胞就像一个完整的单细胞生物,对吗?所以它是一种最简单的单细胞生物。所以它不仅仅是一个细胞,它是一个完整的生物体,而且,嗯,酵母被理解得非常好。因此,它将是构建一种完整模拟模型的良好候选。
现在,AlphaFold是解决蛋白质三维结构静态图像问题的方案,即蛋白质看起来像什么,它的静态图像是什么样的。但我们知道,生物学中所有有趣的事情都发生在动态和相互作用中,而AlphaFold 3就是朝着模拟这些相互作用迈出的第一步。所以首先是成对的,你知道,蛋白质与蛋白质,蛋白质与RNA和DNA,但之后,嗯,下一步可能是模拟一个完整的通路,也许是像与癌症相关的通路或类似的东西,然后最终你可能能够模拟,你知道,一个完整的细胞。
>> 此外,这里还有另一个复杂性,细胞中的事情发生在不同的时间尺度上,这很棘手,比如,你知道,蛋白质折叠,你知道,速度超快。
>> 是的。
嗯,我不知道所有的生物学机制,但其中一些需要很长时间。所以这就是一个层次。因此,相互作用的层次具有不同的时间尺度,你必须能够对其进行建模。
>> 所以那会很难。所以你可能需要几个模拟系统,它们可以在这些不同的时间动态下进行交互,或者至少它可能像一个分层系统。所以,嗯,你可以在不同的时间阶段上下跳跃。那么你能避免吗?我的意思是,这里的一个挑战是不要避免模拟,例如,其中任何一个的量子力学方面,对吗?你不想过度建模,你可以跳过,只模拟那些真正高层次的东西,这些东西能让你很好地估计将要发生什么。
>> 所以当你模拟任何自然系统时,你必须做出决定,你将模拟到什么粒度的截止级别,才能捕捉到你感兴趣的动态。所以对于一个细胞来说,我希望那会是蛋白质级别,呃,而且不需要深入到原子级别。嗯,所以你知道,当然,这就是AlphaFold发挥作用的地方。所以那将是基础,然后你会构建这些,嗯,呃,更高级别的模拟,这些模拟将它们作为构建块,然后你就会得到涌现行为。
提前为这些愚蠢的问题道歉,但是,呃,你认为我们能够模拟和建模生命的起源吗?也就是说,能够模拟从非生命有机体到第一个生命有机体的诞生。
>> 我认为这当然是最深刻、最引人入胜的问题之一。嗯,我喜欢生物学的那个领域。你知道,呃,人们,比如尼克·莱恩写了一本很棒的书,他是这个领域顶尖专家之一,书名叫《进化的十大伟大发明》。我认为它很棒,它也谈到了可能存在的“大过滤器”,你知道,是之前存在的,还是在我们前面。我认为,如果你读那本书,它们很可能在过去,它讲述了生命从无到有是多么不可能,然后从单细胞到多细胞似乎是一个令人难以置信的巨大飞跃,我认为,在地球上花了大约十亿年才完成,对吗?所以它向你展示了这有多难,对吗?
>> 细菌在很长一段时间里都非常快乐,>> 在它们以某种方式捕获线粒体之前,过了很长一段时间,对吗?我不明白为什么人工智能不能帮助进行某种模拟。再次,这又是一个在组合空间中进行搜索的过程。就像这里所有的化学物质,你知道,你开始时的化学汤,原始汤,你知道,可能在地球上这些热液喷口附近。这里有一些初始条件。你能不能,呃,生成一些看起来像细胞的东西?所以也许那将是虚拟细胞项目之后的下一个阶段,那就是你如何才能真正地,嗯,让这样的东西从化学汤中涌现出来?
>> 嗯,如果生命的起源有一个“第37步”,我会很喜欢。是的,
>> 我认为那是其中一个巨大的谜团。我认为最终我们会发现它们是一个连续体。非生命和生命之间没有明确的界限。但如果我们能让它严谨,是的。
从大爆炸到今天,一切事物都是同一个过程。如果我们能打破我们头脑中构建的关于从非生命到生命的实际起源的那堵墙,并且它不是一条线,而是一个连接物理、化学和生物学的连续体。没有界限。
>> 我的意思是,这就是我一生都在研究人工智能和通用人工智能的全部原因,因为我认为它可以成为帮助我们回答这类问题的终极工具。我真的不明白为什么,嗯,你知道,普通人不会更多地思考和担心这些事情,比如我们怎么能没有一个好的生命定义,没有,没有生命和非生命,以及时间的本质,更不用说意识、重力以及所有这些东西了。这就是,这就是量子力学的怪异之处。对我来说,它一直在我面前尖叫,而且声音越来越大,你,这就像,这里到底发生了什么?你知道,在,在,我指的是最深层的意义,就像在,你知道,现实的本质,这必须是最终的问题,呃,它将回答所有这些事情。如果你想到我们能一直互相凝视,凝视所有这些生物,这有点疯狂。我们可以用显微镜检查它,几乎可以将其分解到原子级别,然而我们仍然无法以简单明了的方式回答那个问题:你如何定义生命?
>> 是的,
>> 这有点令人惊讶。是的,生命你可以通过某种方式避免去思考,但像意识,我们有这种非常明显的主观意识体验,就像我们是自己世界的中心,它感觉像某种东西,然后,呃,你为什么不尖叫?
>> 面对这一切的奥秘,我的意思是,但实际上人类长期以来一直在与周围世界的奥秘作斗争,有很多谜团,比如太阳和雨是怎么回事,
比如那是什么?然后就像去年我们下了很多雨,今年我们没有下雨。比如我们做错了什么?人类问这个问题已经很久了。
>> 没错。所以我们相当,我想我们已经发展出很多机制来应对这些我们无法完全理解的深层奥秘,我们能看到但无法完全理解,我们必须继续日常生活,而且我们让自己忙碌起来,对吗?我们是否让自己分心了?我的意思是,天气是人类历史上最重要的问题之一。我们仍然,那是关于天气的常见闲聊话题。
尤其是在英国。
>> 然后,你知道,它是一个出了名的极其难以建模的系统,呃,即使是那个系统,呃,谷歌DeepMind也取得了进展。是的,我们,是的,我们已经创建了世界上最好的天气预测系统,它们比传统的流体动力学系统更好,传统的系统通常在大型超级计算机上计算,需要几天才能计算出来。我们已经成功地用神经网络系统,用我们的WeatherNet系统,模拟了许多天气动态。再次,有趣的是,即使这些动态非常复杂,在某些情况下几乎接近混沌系统,它们仍然可以被建模。很多有趣的方面,嗯,都可以通过这些神经网络系统进行建模,包括最近我们有了,你知道,气旋预测,预测,你知道,飓风的路径可能去向。当然,这对世界来说非常有用,非常重要,而且非常重要的是要及时、快速、准确地完成这项工作,而且,呃,我认为这又是一个非常有前途的方向,你知道,模拟,呃,呃,这样你就可以对非常复杂的真实世界系统进行前向预测和模拟。
>> 我应该提一下,呃,我在德克萨斯州有机会遇到一群人,他们被称为“风暴追逐者”。
>> 是的。他们真正令人难以置信的地方,我需要和他们多聊聊,是他们非常精通技术,因为他们必须使用模型来预测风暴的位置。所以他们就是,这是一种美丽的混合,既疯狂到可以进入风暴眼,又像
为了保护你的生命并预测极端事件将发生在哪里,他们必须拥有越来越复杂的天气模型。
>> 是的。
>> 是的。这是一种美丽的平衡,既作为活生生的生物身处其中,又处于科学的前沿。所以他们实际上可能正在使用,呃,DeepMind系统。所以那是
>> 是的,他们希望是,我我很想加入他们的一次追逐。他们看起来很棒,对吗?真正体验一次。
>> 没错。然后还要体验到正确的预测,预测某物将如何到来以及它将如何演变。这太不可思议了。
>> 是的。
你估计我们将在2030年实现通用人工智能。嗯,所以围绕着这个问题有一些有趣的问题。我们将如何真正知道我们已经达到了?呃,以及,呃,通用人工智能的“第37步”可能是什么。
>> 我的估计是未来五年内有大约50%的机会。所以,你知道,比如说到2030年,呃,所以我认为这很有可能发生。部分原因是,你对通用人工智能的定义是什么?当然,人们现在正在争论这个问题,而且,呃,我的标准相当高,而且一直都是,比如我们能否匹配大脑所拥有的认知功能,对吗?
所以,我们知道我们的大脑大致是通用的图灵机近似。当然,我们用我们的思想创造了不可思议的现代文明。所以,这也说明了大脑的通用性。而且,嗯,为了知道我们拥有真正的通用人工智能,我们必须确保它拥有所有这些能力。它不是那种不均衡的智能,有些事情它非常擅长,就像今天的系统一样,但其他事情它却非常,呃,有缺陷,而这正是我们目前系统所拥有的,它们不一致,所以你会希望智能在各个方面都保持一致。然后我们有一些我认为缺失的能力,比如,呃,我们之前谈到的真正的发明能力和创造力,所以你会想看看这些,你如何测试它。嗯,我认为你只需测试它,一种方法是对数万个认知任务进行一种暴力测试,嗯,你知道我们知道人类可以做到,呃,也许还可以将系统提供给,呃,世界各地数百名顶尖专家,呃,每个学科领域的泰伦斯·陶们,看看他们能否找到,你知道,给他们一两个月,看看他们能否在系统中找到一个明显的缺陷,如果他们找不到,那么我认为你,你相当,呃,你知道,你相当可以确信我们拥有一个完全通用的系统。
>> 也许稍微反驳一下,似乎人类真的非常不可思议,随着智能在所有领域的提升,他们会将其视为理所当然。
>> 嗯哼。
>> 呃,就像你提到的泰伦斯·陶,呃,这些杰出的专家可能在几周内就对它能做的所有不可思议的事情习以为常,然后就集中精力,哈哈,就在那里。你知道,我,我首先认为自己是,呃,人类。
>> 是的。
>> 呃,其次,我认同自己是人类。嗯,我,你知道,有些人听我说话,他们会说那个人不擅长说话,口吃,你知道,所以即使是人类在各个领域也有明显的限制,即使在数学和物理之外也是如此,所以我,我,我不知道是否需要像“第37步”这样的东西,所以在积极的一面,而不是像
一连串的一万个认知任务,其中会有一两个,让人觉得,是的,天哪,这是
>> 我认为正是如此。
所以我认为有一种全面测试来确保你获得了一致性,但我认为会有像“第37步”那样的里程碑时刻,那是我会寻找的。所以一个例子是像爱因斯坦那样,发明一个新的物理学猜想或新假设。所以也许你甚至可以非常严格地进行回溯测试,比如设定知识截止日期为1900年,然后给系统所有在1900年之前写成的东西,然后看看它是否能提出狭义相对论和广义相对论,就像爱因斯坦那样,那将是一个有趣的测试。另一个是它能否发明一个像围棋一样的游戏,不仅仅是提出“第37步”这种新策略,而是能否发明一个像围棋一样深奥、美观、优雅的游戏,这些都是我会关注的事情。呃,而且一个系统可能能够做,呃,呃,其中几件事,对吧,这样它才能非常通用。嗯,不仅仅是一个领域。所以我认为那至少是我会寻找的迹象,表明我们拥有一个通用人工智能级别的系统。然后,也许为了完善它,你还会检查一致性,你知道,确保那个系统也没有漏洞。
>> 是的。比如一个新的猜想或科学发现。那会是一种很酷的感觉。是的,那会很棒。所以,它不仅仅是帮助我们做这些,而是真正提出全新的东西。
而且你会在那个房间里。所以,大概会在宣布之前两三个月。
>> 嗯哼。
>> 而你只会坐在那里,努力不发推特。
类似的东西。没错。这就像,这个惊人的新物理学思想是什么?然后我们可能会与该领域的世界专家进行核实,对吗?并验证它,并某种程度上了解它的运作方式,我想它也会解释它的运作方式。嗯,是的,那将是一个惊人的时刻。
>> 你担心我们人类,即使是像你这样的专家人类,可能会错过它,可能会错过
>> 它可能相当复杂。
所以我给出的类比是,我认为它不会对最优秀的人类科学家来说完全神秘,但它可能有点像,例如在国际象棋中,如果我与加里·卡斯帕罗夫或马格努斯·卡尔森交谈并与他们下棋,他们走了一步妙棋,我可能无法想出那一步,但他们事后可以解释为什么那一步有道理,我们也能在一定程度上理解它,虽然达不到他们的水平,但你知道,如果他们擅长解释,这实际上也是智能的一部分,能够以简单的方式解释你在思考什么。嗯,呃,我,我认为这对于最优秀的人类科学家来说是非常可能的。
>> 但我想知道,也许你可以在围棋方面给我一些指导。我想知道阿格尼斯或加里是否有某些招数,他们一开始会认为那是臭棋。
>> 是的,当然。有可能。但之后他们会凭直觉弄明白为什么会这样。然后,然后,然后从经验上讲,游戏的一个好处是,游戏的一个伟大之处在于你可以把它当作一种科学测试。你是赢了游戏还是没赢?然后,嗯,那会告诉你,好吧,那一步棋最终是好的。那个策略是好的。然后你可以回去分析它,并,并,并,甚至向自己解释更多为什么要去探索它。国际象棋分析和类似的东西就是这样运作的。所以也许这就是我的大脑这样运作的原因,因为我从四岁起就一直在做这件事,你正在训练,你知道,这是一种硬核训练。但即使是现在,当我生成代码时,也会出现这种微妙而引人入胜的争论,我可能一开始会认为一组生成的代码在某些有趣的微妙方面是不正确的,但之后我总是不得不问一个问题:这里是否存在更深层次的见解,而我是那个不正确的人?
随着系统变得越来越智能,你将不得不面对这个问题。这就像,你刚刚想出的东西,这是个bug还是一个特性?
>> 是的。而且它们会相当复杂。但当然,你可以想象,也会有AI系统生成这些代码或其他东西,然后人类程序员查看它,但同时也会借助AI工具的帮助。所以这将是一种有趣的,你知道,也许是与生成它的工具不同的AI工具,更像是监控工具。所以如果我们看一个通用人工智能系统,抱歉又提起来,但是AlphaEvolve,超酷。所以AlphaEvolve在编程方面实现了类似递归自我改进的东西,呃,潜在地,谁能想象那个通用人工智能系统,也许不是第一个版本,而是几个版本之后,会是什么样子?那实际上会是什么样子?你认为它会很简单吗?你认为它会是一个简单的自我改进程序吗?
>> 我的意思是,这潜在地是可能的。我会说,嗯,我甚至不确定这是否可取,因为那是一种硬着陆的场景。但是,但是你,你这些当前的系统,比如AlphaEvolve,它们有,你知道,人类在循环中决定各种事情。它们是相互作用的独立混合系统。呃,人们可以想象最终实现端到端。我不明白为什么那不可能,但现在,嗯,你知道,我认为这些系统在提出代码架构方面还不够好。嗯,这又有点与提出新猜想假设的想法相关。比如,如果你给它们非常具体的指令,告诉它们你要做什么,它们就会表现得很好。嗯,但如果你给它们一个非常模糊的高级指令,目前那行不通。比如,呃,我认为这与“发明一个像围棋一样好的游戏”这个想法有关,对吗?
想象一下那是提示。那是相当不明确的。所以当前的系统,我认为,不知道如何处理它,如何将其缩小到可处理的范围。我认为也有类似的情况,比如,看,只是做一个更好的自己,那太,那太不受限制了。但我们已经做到了,你知道,就像你了解的AlphaEvolve,比如更快的矩阵乘法。所以当你把它精炼到你想要的非常具体的事情时,嗯,它非常擅长逐步改进,但目前这些更像是增量改进,小迭代,而如果你知道,如果你想在理解上有一个大的飞跃,你需要一个,你需要一个更大的,呃,进步。
>> 是的。但它也可能是一种反驳“硬着陆”情景的方式。它可能只是一系列,嗯,增量改进,比如矩阵乘法,它必须在那里坐几天思考如何逐步改进一件事,而且它会递归地这样做,随着你做越来越多的改进,它会减慢速度,所以通往通用人工智能的道路不会像,它会是随着时间的推移逐渐改进。
>> 是的。如果只是增量改进,那就会是这样。所以问题是它能否提出像Transformer架构那样的新飞跃,对吗?它能否在2017年做到这一点,当时你知道我们做到了,Brain也做到了,而且尚不清楚这些系统,像Alpha这样的系统,是否能够做出如此大的飞跃,所以这些系统肯定很好,我认为我们有能够进行增量爬坡的系统,而这是一个更大的问题,即从这里开始,这是否就是全部所需,还是我们实际上还需要一两个,嗯,呃,大的突破?
同样的系统也能提供突破吗?所以让它成为一系列S曲线,比如增量改进,但偶尔也会有飞跃。
>> 是的。我不认为任何人有系统能够明确地展示出那些巨大的飞跃,那些正确的。我们有很多系统可以进行你目前所处的S曲线的爬坡。
>> 是的。而“第37步”将是一个飞跃。
>> 是的。我认为那将是一个飞跃。嗯,类似的东西。呃,你认为预训练、后训练、测试时间、计算的缩放定律依然强劲吗?呃,你,呃,另一方面,你是否预计人工智能的进展会遇到瓶颈?
>> 我们当然觉得在扩展方面还有很大的空间。所以,嗯,实际上所有步骤:预训练、后训练和推理时间。所以,呃,有三种扩展正在同时发生。
嗯,我们再次,这关乎你有多创新,我们,你知道,我们为拥有最广泛和最深入的研究团队而自豪。呃,我们有令人惊叹的,你知道,不可思议的,呃,研究人员,以及,呃,像纳姆·沙齐尔这样的人,你知道,他提出了Transformer,还有戴夫·席尔瓦,你知道,他领导了AlphaGo项目等等,而且,嗯,正是这个研究基础意味着,如果需要像AlphaGo或Transformer这样的新突破,呃,我会支持我们成为实现这一目标的地方。所以当情况变得更困难时,我实际上很喜欢,对吗?因为那样它就更多地从单纯的工程转向真正的研究,你知道,研究或者研究加工程,那是我们的优势领域。而且我,我认为那更难,发明东西比,比,嗯,你知道,快速跟进更难。而且,嗯,所以你知道,我们不知道,我会说,是否需要新事物,或者扩展现有事物是否足够,这大概是五五开。所以,以真正的经验主义方式,我们正在尽可能努力地推动这两者。新的蓝天创意,你知道,我们大约一半的资源都投入其中,然后,然后,呃,将当前的,当前的能力扩展到最大,而且,嗯,我们仍然看到,你知道,在Gemini的每个不同版本上都取得了惊人的进展。
你用“深厚的人才储备”来描述这一点很有趣,如果,呃,通用人工智能的进展不仅仅是扩展计算能力,也就是问题的工程方面,而更多地在于需要突破的科学方面,那么你觉得DeepMind以及Google DeepMind在这个领域有能力大展拳脚。
>> 嗯,我的意思是,如果你看看过去十年或十五年的历史,嗯,它一直是,我,你知道,也许我不知道,今天支撑现代人工智能领域的80%到90%的突破都来自,你知道,最初的Google Brain、Google Research和DeepMind,所以,是的,我希望这种情况能继续下去。
呃,那么在数据方面,你是否担心高质量数据,尤其是高质量人类数据会耗尽?
>> 我对此不太担心,部分原因是我认为有足够的数据,呃,或者说,已经证明可以使系统表现得相当好,这又回到了模拟问题,如果你有足够的数据进行模拟,或者这样你就可以创建更多来自正确分布的合成数据。显然,那是关键。所以,你需要足够的真实世界数据才能,呃,呃,创建那种生成器数据生成器,而且,嗯,我认为我们目前正处于那个阶段。
>> 是的,你在科学和生物学方面做了很多不可思议的事情,用不那么多的数据做了很多。
>> 是的。
>> 我的意思是,数据仍然很多,但我想足够了。
摆脱那个。没错。是的。
>> 所以没错。
呃,计算能力的扩展对于构建通用人工智能有多关键?这是一个工程问题。这几乎是一个地缘政治问题。
因为它也整合了供应链和能源,这是你非常关心的一件事,那就是,嗯,潜在的核聚变。所以也要在能源方面进行创新。你认为我们会继续扩展计算能力吗?
>> 我认为有几个原因。我认为计算,你用于训练的计算量通常需要共置,所以实际上即使是,你知道,数据中心之间的带宽限制也会影响它,所以它,它,它甚至在那里也有额外的限制,这对于训练显然是你所能训练的最大模型很重要,但还有一点是,因为现在人工智能系统已经进入产品并被全球数十亿人使用,你现在需要大量的推理计算,嗯,除此之外,还有思维系统,去年出现的新范式,呃,你在测试时给它们越长的推理时间,它们就越聪明。所以所有这些都需要大量的计算,我真的不认为它会放缓。
嗯,随着人工智能系统变得更好,它们会变得更有用,对它们的需求也会更大。所以从训练方面来看,训练方面实际上只是其中的一部分。它甚至可能成为所需总计算量中较小的一部分。是的,那是一种几乎像模因一样的东西,就像V3的成功和不可思议之处,人们有点开玩笑说,它越成功,你知道,服务器就越是汗流浃背。
>> 是的,正是区别在于
>> 是的。是的。没错。我们做了一个关于服务器煎鸡蛋之类的短视频,嗯,没错,而且我们必须弄清楚如何做到这一点。
嗯,我们有很多有趣的硬件创新,你知道我们有自己的TPU产品线,我们正在研究像仅用于推理的东西,仅用于推理的芯片,以及如何使它们更高效。我们也非常有兴趣构建人工智能系统,并且我们已经帮助解决了能源使用问题,所以帮助,嗯,数据中心能源,比如冷却系统变得高效,嗯,电网优化,嗯,然后最终是帮助等离子体约束核聚变反应堆之类的事情。我们与Commonwealth Fusion在这方面做了很多工作,而且,呃,人们也可以想象反应堆设计。嗯,然后材料设计,我认为是最令人兴奋的新型太阳能材料、太阳能电池板材料,超室温超导体一直是我梦想突破的清单之一,还有,嗯,优化电池,我认为解决其中任何一个问题都将对,你知道,气候和能源使用产生绝对革命性的影响,而且我们可能在未来5年内,你知道,再次接近拥有能够实质性帮助解决这些问题的人工智能系统。
如果让你打赌,抱歉问了一个荒谬的问题,但你认为在未来20、30、40年,主要的能源来源会是什么?你认为会是核聚变吗?
>> 我认为核聚变和太阳能是我会押注的两个。嗯,太阳能,我的意思是,你知道,它当然是天空中的聚变反应堆,我认为真正的问题在于电池和传输。所以你知道,以及更高效的,越来越高效的太阳能材料,也许最终,你知道,在太空中,你知道,这些戴森球类型的想法,而核聚变我认为绝对是可行的,似乎,呃,如果我们有正确的反应堆设计,并且我们能够足够快地控制等离子体等等,而且我认为这两者实际上都会得到解决,所以我们可能至少会拥有,那些可能将是可再生清洁的,几乎免费或可能是免费能源的两个主要来源。活在这个时代真好。
如果我,呃,和你一起穿越到一百年后的未来,如果我们已经超越了第一型卡尔达肖夫文明,你会感到多惊讶?
如果从现在算起有一百年的时间尺度,我不会那么惊讶。我的意思是,我认为很清楚,如果我们以我们刚刚讨论过的方式之一解决能源问题,无论是核聚变还是非常高效的太阳能,嗯,那么如果能源是某种程度上免费、可再生和清洁的,嗯,那就会解决一大堆其他问题。所以,例如,水资源获取问题就会消失,因为你只需使用海水淡化。我们有这项技术,只是太贵了。所以,你知道,只有像新加坡和以色列这样相对富裕的国家才真正使用它。但是,但是如果它,呃,便宜的话,那么每个,那么你知道所有有海岸线的国家都可以,而且你还会拥有无限的火箭燃料。你可以只用能量将海水分解成氢气和氧气,那就是火箭燃料。所以,呃,结合,你知道,埃隆惊人的自着陆火箭,那么它就可以像,你有点像去太空的巴士服务。所以那就会开启,你知道,不可思议的新资源和领域。呃,小行星采矿我认为会成为现实,以及人类向星辰的最大繁荣。那也是我,呃,梦想的事情,就像卡尔·萨根那种将意识带入宇宙,唤醒宇宙的想法。而且我,我认为如果我们在人工智能方面做得对,并且,呃,并且,并且用它解决一些这些问题,人类文明将在时间的完整意义上做到这一点。
>> 是的。我想知道如果你只是一个在太空中飞行的游客,那会是什么样子。你可能会注意到地球,因为如果你解决了能源问题,你可能会看到很多太空火箭。所以它会像伦敦这里的交通一样。
但在太空中,
只是很多火箭。
然后你可能会看到太空中漂浮着某种能源,比如太阳能。
>> 是的。
潜在地。所以地球表面看起来会更,嗯,科技化,然后你就会利用那种能源的力量来保护自然。
>> 是的。
比如雨林和所有那些东西。
因为在人类历史上,我们将第一次不再受资源限制,我认为那对人类来说可能是一个令人惊叹的新时代,它不是零和博弈,对吗?我有这块土地你没有,或者如果我们,你知道,如果老虎有它们的森林,那么当地村民就不能,他们会用什么?我,我,我认为这会有很大帮助。不,它不会解决所有问题,因为仍然会有其他人类弱点存在,但它至少会消除一个,我认为是其中一个主要因素,那就是资源稀缺,你知道,包括土地、更多材料和能源,而且,嗯,你知道,我们应该,我有时称之为,其他人也称之为这种激进的丰裕时代,嗯,资源充足。但当然,下一个大问题是确保这些资源公平地,你知道,公平地共享,呃,并且社会中的每个人都从中受益。所以人类本性中有些东西,我会说,你知道,就像波拉特那样,像我的邻居,我喜欢你挑起麻烦,我们,我们,我们确实会引发冲突,这就是为什么游戏,正如我越来越多地了解到的,即使在古代历史中,也起到了将人们推离战争,实际的热战的目的,所以也许我们可以找出越来越复杂的视频游戏,它们吸引我们,它们给我们那种,呃,满足冲突的渴望,无论那是什么,关于我们,人类本性,然后避免随着越来越复杂的技术而来的实际热战,因为我们现在已经远远超出了我们能够制造的武器实际上可以摧毁所有人类文明的阶段。所以,它不再是,嗯,那不再是与你的邻居,呃,开始的好方法。最好下一盘国际象棋。
或者足球,或者足球。是的。
而且我认为,我的意思是,我认为这就是我的现代运动。所以,我喜欢看足球,而且我只是觉得,呃,我以前也经常踢球,它非常本能,非常部落化,我认为它确实将很多这些能量引导到一种,我认为这是一种人类归属于某个群体的需求,而且,嗯,但以一种有趣的方式,一种健康的方式,而不是一种破坏性的,而是建设性的,呃,事情。而且我认为,回到游戏,我认为它们最初之所以对孩子们玩国际象棋之类的东西也如此棒,是因为它们是世界的小小微观模拟。它们也是世界的模拟。它们是某些真实世界情况的简化版本,无论是扑克、围棋还是国际象棋,不同方面,或者外交,真实世界的不同方面。而且也允许你练习它们。而且,你知道,你一生中有多少次机会练习一个重大的决策时刻,你知道,选择什么工作,去哪所大学,你知道,你可能只有,我不知道,十几个左右的关键决策需要做出,而且你必须尽力做到最好。嗯,游戏是一种安全、可重复的环境,你可以在其中提高你的决策过程。嗯,它可能还有额外的好处,就是将一些能量引导到,呃,更具创造性和建设性的追求中。
>> 嗯,我认为练习,嗯,输赢也真的很重要。
对吗?
比如输掉比赛真的很,你知道,这就是我喜欢游戏的原因。这就是我甚至喜欢,嗯,像,呃,巴西柔术这样的东西的原因。
>> 是的。
在一个安全的环境中,你可以一次又一次地被痛扁。
它提醒你关于
>> 物理学的方式,世界的运作方式,关于有时你输,有时你赢。你仍然可以和所有人做朋友。但那种失败的感觉,我的意思是,对我们人类来说,要真正理解它,比如那只是生活的一部分,这很奇怪。失败是生命的一个基本组成部分。
>> 是的。而且我认为在武术中,据我所知,但在像轻量级国际象棋这样的事情中,至少在我看来,它与自我提升、自我认知有很大关系。你知道,好吧,所以我做了这件事。这并不是真的要成为另一个人。它是关于最大化你自己的潜力。如果你以健康的方式去做,你就会学会以某种方式利用胜利和失败。不要被胜利冲昏头脑,认为自己是世界上最好的。保持,而且失败让你保持谦逊,并且总是知道总有更多东西要学习。总是有一个更大的专家可以指导你,你知道,我想你肯定在武术中学会了这一点,而且我认为那也是,呃,至少我接受国际象棋训练的方式。所以以同样的方式,它可能非常硬核,非常重要,当然你想赢,但你也需要学会以健康的方式处理挫折,并且,并且,并且将你失去某物时的那种感觉转化为建设性的东西,即下次我要改进这个,对吗?或者在这方面做得更好。有一些东西是幸福的源泉,意义的源泉,那个改进的步骤。这与输赢无关。
>> 是的。精通。没有什么比这更令人满足的了,就像,“哦,哇。我以前做不到的事情,现在我能做到了。”而且,而且,而且再次,游戏、体育运动和智力运动,它们是衡量的方式。它们很美,因为你可以衡量那个进步。
>> 是的。我的意思是,这就是为什么我喜欢角色扮演游戏,比如,呃,技能树上的数字上升,字面上来说,那对我们人类来说就是意义的来源,无论我们的
是的,我们相当,我们相当沉迷于这种,是的,这些数字的上升,而且,呃,而且,而且,也许这就是我们制作这类游戏的原因,因为显然,我们自己就是爬坡系统,对吗?
>> 是的,如果我们没有任何机制,那会相当悲哀。
彩带,所有我们做的,我们到处都这样做,对吗?我们只是有这个东西。
它,我不想否认,作为人类,这确实是我们深层意义的来源。呃,所以商业和领导力方面的一个不可思议的故事是,嗯,谷歌在过去一年里所做的事情。所以我,呃,我认为公平地说,一年前谷歌在大型语言模型产品方面,呃,用Gemini 15是输的,而现在用Gemini 25是赢的,你掌舵并领导了这项工作。在一年之内,从,比如说,所谓的“输”到所谓的“赢”,需要付出什么?
>> 是的。嗯,首先,我们拥有的团队绝对不可思议,你知道,由科里、杰夫·迪恩和奥拉尔以及我们在Gemini上的出色团队领导。绝对世界一流。所以,没有最优秀的人才,你做不到。
嗯,当然,你拥有,你知道,我们也有很多优秀的计算资源。但关键是我们创造的研究文化,对吗?基本上是谷歌内部不同团队的合作,你知道,有Google Brain的世界级团队,然后是旧的DeepMind,汇集了所有最优秀的人才和最好的想法,聚集在一起,尽我们所能打造出最棒的系统,嗯,但我们都非常有竞争力,呃,我们,你知道,热爱研究,这做起来非常有趣,嗯,我们,你知道,很高兴看到我们的发展轨迹并非理所当然,但我们对,嗯,我们目前的进展速度非常满意,这是最重要的。
所以如果你看看我们从两年前到一年前再到现在的进展,你知道,我认为我们称之为“不懈进步”以及“不懈交付”这种进步,嗯,非常成功,而且,你知道,嗯,整个领域,整个AI领域竞争异常激烈,世界上一些最伟大的企业家、领导者,呃,和公司现在都在竞争,因为每个人都意识到AI有多么重要,嗯,而且我们看到这种进展非常令人欣慰,你知道,
谷歌是一家庞大的公司。呃,你能谈谈在这种情况下自然会发生的事情吗?比如出现的官僚主义,就像你想要小心,你知道,就像那种自然的,有会议,有经理,以及,从领导角度来看,为了像你所说的,交付产品数量,突破这些挑战是什么?
过去一年发布的Gemini相关产品简直是疯了。
>> 没错,是的,那正是“不懈”的样子,嗯,我认为这就像任何大公司一样,你知道,最终都会有,呃,很多管理层级和类似的东西,这有点像它的运作方式的本质。
嗯,但我仍然在运作,我一直将旧的DeepMind作为一个初创公司来运作,虽然规模很大,但仍然是初创公司,而这正是我们今天与Google DeepMind一样行事的方式,以果断和从最好的小型组织中获得的能量行事,我们努力兼顾两者的优点,我们拥有数十亿用户的惊人界面,呃,我们可以用我们的人工智能和我们的研究来赋能的惊人产品。
嗯,那太棒了。而且你可以,你知道,世界上很少有地方能做到一方面进行不可思议的世界级研究,然后第二天就将其应用并改善数十亿人的生活。呃,那是一个相当惊人的组合。我们正在不断地与官僚主义作斗争并削减它,以允许研究文化和不懈交付文化蓬勃发展。而且我认为我们已经取得了相当好的平衡,同时对其负责,你知道,作为一家大公司你必须如此,而且,呃,我们拥有大量的,你知道,呃,巨大的产品界面。
>> 呃,你提到关于数十亿用户界面的一个有趣的事情。我,我曾与一位名叫,嗯,一位杰出的人,呃,在大英博物馆,名叫欧文·芬克尔的人交谈。他是楔形文字的世界专家,那是一种写在泥板上的古代文字。而且他不知道ChatGPT或Gemini。他甚至对人工智能一无所知。但他第一次接触到这个人工智能
是谷歌上的AI模式。是的。
他说:“你说的就是那个吗?这个AI模式,你知道,这只是一个提醒,世界上有很大一部分人不知道这个AI。”
>> 是的。我知道。这很有趣,因为如果你生活在,呃,X和推特上,我的意思是,至少我的信息流里全是人工智能,而且在某些地方,你知道,在硅谷和某些小圈子里,每个人都在思考人工智能,但很多普通世界的人还没有接触到它,但是。
那是对他们第一次互动的巨大责任。
在印度农村或世界任何地方的宏大尺度上,你能够。
没错,我们希望它尽可能好,在很多情况下,它只是在幕后为地图或搜索等功能提供动力,使其更好地工作,而且,嗯,对于很多人来说,它理想情况下应该只是无缝的。它只是一种新技术,让他们的生活更,你知道,更高效,并帮助他们。
Gemini产品和工程团队的许多人对你在另一个方面评价极高,我几乎没想到,因为我有点把你视为深奥的科学家,关心这些重大的研究科学问题。但他们也说你是一个很棒的产品经理,比如如何创造一个很多人会使用并喜欢使用的东西。那么你能不能谈谈,创造一个很多人会喜欢使用的人工智能产品需要什么?
>> 是的。嗯,我的意思是,这又回到了我游戏设计的日子,那时我为数百万玩家设计游戏。人们会忘记那一点。我在产品中拥有尖端技术的经验。那,那,那,那就是九十年代的游戏。所以我实际上喜欢尖端研究与产品应用相结合。
并为一种新体验提供动力。所以,嗯,我认为这真的是同样的技能,就是你能够设身处地地想象使用它的感受,嗯,并且有好的品味。回到之前说的,在科学中有用的东西,嗯,我认为在产品设计中也可能有用。而且,嗯,我一直都是一个非常,你知道,跨学科的人。所以我真的不认为,你知道,艺术与科学之间,或者产品与研究之间有什么界限。对我来说,它是一个连续体。我的意思是,我只做,我喜欢做那些尖端产品。我不可能,你知道,在底层拥有尖端技术。如果它们只是普通产品,我就不会对它们感到兴奋。嗯,所以这需要这种发明创造能力。
当你,嗯,即使在大型语言模型(LLM)方面,你与Gemini互动时,你觉得这不像布局,不像界面,>> 也许是延迟之间的权衡,比如如何>> 如何向用户呈现,等待多长时间>> 以及如何显示这种等待,或者推理能力。有些有趣的事情,因为就像你说的,它是非常尖端的。我们不知道>> 如何呈现它,如何正确呈现它。那么你学到了一些具体的东西吗?>>
我的意思是,这是一个发展如此迅速的领域。我们一直在评估这一点,但我们今天的立场是,你需要不断地简化事物。嗯,无论是界面还是你在模型之上构建的所有内部东西。你有点想让开模型的路。模型列车正在驶来,它的改进速度快得令人难以置信。我们之前谈到的这种不懈的进步。你知道,你看看2.5版和1.5版,那简直是巨大的进步。我们也期待未来版本能再次实现这种进步。所以模型变得越来越强大。所以在当今世界,这些AI优先产品的设计空间有一个有趣的地方,就是你必须设计,不是为了技术今天能做什么,而是为了它一年后能做什么。所以你实际上必须是一个非常技术型的产品经理,因为你必须对它有一种很好的直觉和感觉,知道我现在梦想的那个东西今天还做不到,但是研究路线图是否按计划在六个月或一年内基本上能实现它。所以你必须预判这种快速变化的技术走向,以及,嗯,嗯,新的功能不断上线,你以前没有意识到,比如可以进行D研究,或者现在我们有了视频生成,我们该怎么处理这些,嗯,这种多模态的东西,你知道吗?我有一个问题是,它真的会是我们今天拥有的这种文本框聊天的当前用户界面吗?考虑到这些超多模态的系统,这似乎非常不可能。它不应该更像《少数派报告》那样,你以一种协作的方式与它产生共鸣吗?对吧?今天它看起来非常受限。我认为我们可能会在几年后回过头来看今天的界面、产品和系统,觉得它们相当古老。所以我认为在产品端和研究端都有很大的创新空间。然后我们私下讨论这个键盘,开放的问题是,我们何时以及在多大程度上会转向以音频作为与我们周围机器互动的主要方式,而不是打字。是的,我的意思是,即使你打字很快,打字也是一种非常低带宽的方式,你知道,打字员,我认为我们将不得不开始利用其他设备,无论是智能眼镜,你知道,音频,耳塞,嗯,最终也许是某种神经设备,我们可以将输入和输出带宽增加到,嗯,你知道,可能是今天的100倍。>>
我认为,你知道,被低估的艺术形式是界面设计。但我认为,如果你没有正确的界面,你就无法释放一个系统智能的力量。界面才是你释放其力量的方式。这是一个非常有趣的问题,关于如何做到这一点。所以,你可能会认为,不碍事并不是真正的艺术形式。>>
是的。你知道,这就像史蒂夫·乔布斯总是谈论的那种事情,对吧?我们想要的是简洁、美观和优雅,对吧?我们还没有达到。在我看来,还没有人达到。这就是我希望我们能达到的目标。再次,这有点像围棋,对吧?作为一种游戏,最优雅、最美丽的游戏。你能,你知道,你能做出一个像那样美丽的界面吗?实际上,我认为我们将进入一个由AI生成界面的时代,这些界面可能会为你个性化,以适应你的审美、你的感受以及你大脑的工作方式。而且,嗯,AI会根据任务来生成那种界面。你知道,感觉那可能就是我们最终会走向的方向。>>
是的。因为有些人是高级用户,他们想要屏幕上的每一个参数,所有的一切,所有基于,也许像我一样,基于键盘导航。我喜欢为所有东西设置快捷方式。而有些人喜欢极简主义>> 只是隐藏所有这些复杂性。没错。>>
是的。嗯,很高兴你也有史蒂夫·乔布斯模式。这很棒。爱因斯坦模式,史蒂夫·乔布斯模式。嗯,好吧,让我试着诱导你回答一个问题。Gemini 3什么时候发布?是在GTA 6之前还是之后?全世界都在等待这两者。那么从2.5版到3.0版需要什么呢?因为看起来2.5版已经发布了很多,性能已经有了飞跃。>>
那么,发布一个新版本到底意味着什么?是关于性能吗?这是关于一种完全不同的体验吗?>>
是的。嗯,所以我们的不同版本号的工作方式是,你知道,我们尝试收集,所以可能需要,你知道,大约六个月左右的时间来完成一次新的完整运行和一个新版本的全面产品化,在此期间,会出现许多新的有趣的研究迭代和想法,我们把它们都收集起来,你知道,你可以想象过去六个月在架构方面,嗯,也许是在数据方面,有很多有趣的想法。这就像许多不同的可能性,我们把所有这些都收集打包起来,测试哪些可能对下一次迭代有用,然后把它们捆绑在一起,然后我们开始新的,你知道,巨大的英雄训练运行,对吧?然后,嗯,然后当然会进行监控,嗯,然后在最后,有预训练,然后有所有的后训练,有很多不同的方法来做,不同的修补方法,所以有一个完整的实验阶段,你也可以从中获得很多收益,这就是你看到版本号通常指的是基础模型,即预训练模型的地方。然后,2.5的中间版本,你知道,以及不同的尺寸和不同的小添加,它们通常是补丁或后训练的想法,可以在相同的基本架构之后完成。然后当然,在此之上,我们还有不同尺寸的版本,专业版(pro)、闪存版(flash)和手电筒版(flashlight),它们通常是从最大的版本中提炼出来的,你知道,闪存版是从专业版中提炼出来的。这意味着如果你是开发者,我们有一系列不同的选择,你可以选择优先考虑性能还是速度,以及成本。我们喜欢将这视为帕累托前沿,你知道,一方面,嗯,Y轴是,你知道,像性能,然后X轴是,你知道,成本或延迟和速度,嗯,基本上,我们有完全定义这个前沿的模型。所以无论你作为个人用户还是开发者想要什么样的权衡,你都应该能找到我们的一款模型来满足这个限制。>>
所以在版本变更背后,有一个大的英雄运行。>>
是的。>>
然后,嗯,就是产品化过程中令人难以置信的复杂性。然后是沿着那个捕食者前沿对不同尺寸的提炼。然后随着你迈出的每一步,你都会意识到可能有一个很酷的产品。有支线任务。>>
是的。>>
没错。>>
但是,你也不想接太多支线任务,因为那样你就会有百万个版本的百万种产品。这很不清楚,但你也会超级兴奋,因为它超级酷。比如你甚至如何看待VO,它如何融入更大的事物?>>
没错。没错。然后你不断地进行这个向上游汇聚的过程,我们称之为,你知道,来自产品表面或或或来自后训练的想法,甚至比那更下游的,你都会将其向上游汇聚到核心模型训练中,用于下一次运行。对。所以主模型,主Gemini路线变得越来越通用,最终,你知道,通用人工智能(AGI)>>
一次一个英雄运行。>>
是的。没错。几次英雄运行之后。>>
嗯,是的。所以有时候当你发布这些新版本或者说每个版本时,基准测试对于展示模型性能来说,嗯,是生产性的还是反生产性的呢?你需要它们,但是重要的是你不要过度拟合它们,对吧?所以它们不应该是最终的、唯一的标准,所以有Lumina,或者以前叫它,那是其中之一,它自然而然地成为人们喜欢测试这些系统(至少是聊天机器人)的主要方式之一,嗯,显然还有大量的学术基准测试,用于测试数学和编码能力、通用语言能力、科学能力等等。然后我们有我们自己关心的内部基准。这是一种多目标,你知道,优化问题,对吧?你不想只擅长一件事。我们正在努力构建全面优秀的通用系统,并且你努力做出无悔的改进。尽管你在改进,比如你知道的编码,但它不会降低你在其他领域的性能,对吧?所以这是困难的部分,因为你当然可以输入更多的编码数据,或者你可以输入更多的,嗯,我不知道,游戏数据,但那样会使你的语言系统,或者,嗯,你的翻译系统以及你关心的其他方面变得更糟吗?所以你必须不断地监控这个越来越庞大的基准测试套件。而且,嗯,当你把这些模型应用到产品中时,你也会关心直接使用情况、直接统计数据以及你从最终用户那里获得的信号,无论他们是程序员还是使用聊天界面的普通人。>>
是的。因为最终你想要衡量有用性,但很难将其转化为一个数字,对吧。它实际上是基于大量用户的氛围基准,很难知道,对我来说,这会非常可怕,你知道,你有一个更智能的模型,但它只是基于某种氛围。它不太不太管用。这太可怕了,因为你刚才说的一切,它必须在这么多领域都智能且有用。所以你超级兴奋,因为它突然解决了你以前从未解决过的编程问题。>>
但现在它变成了糟糕的诗歌或其他什么,我不知道,那是一种压力,那太难了>> 嗯,去平衡,因为你不能真正信任基准测试,你真的必须信任最终用户。>>
是的。然后其他更深奥的东西也开始发挥作用,比如,嗯,你知道系统的角色风格,你知道它,你知道是冗长的还是简洁的,是幽默的,你知道,不同的人喜欢不同的东西,所以,嗯,你知道这非常有趣,这几乎像是心理学研究或人格研究的尖端部分,你知道我以前在博士期间做过,比如五因素人格,我们到底希望我们的助手是什么样的,不同的人也会喜欢不同的东西。所以,这些都只是产品领域的一些新问题,我认为以前从未真正解决过,但是,嗯,我们现在将不得不迅速处理。我认为这是一个超级迷人的领域,它在发展事物的特性,这样做也给我们自己照了一面镜子,我们喜欢什么样的东西,因为提示工程允许你控制很多这些元素,但是产品能否让你更容易地控制这些不同体验的不同风格,你与之互动的不同角色。>>
是的,没错。所以>>
那么Google DeepMind获胜的概率是多少?嗯,我不认为这是一种胜利。我的意思是,我认为我们需要思考,考虑到我们正在构建的东西是多么重要和具有深远影响,将它视为“胜利”是一种错误的看法。所以,有趣的是,我不会,我尽量不把它看作一场游戏或竞争,尽管我的思维方式有很多是这样的。在我看来,我们所有处于前沿的人都有责任,嗯,管理这项令人难以置信的技术,它可能被用于巨大的善,但也伴随着风险。嗯,安全地将其引入世界,造福人类。那一直是我,嗯,嗯,嗯,我梦想的,也是我们一直努力去做的,我希望最终当我们越来越接近通用人工智能(AGI)时,社区,也许是国际社会,会围绕这一点团结起来,因为那时会很明显,嗯,那就是我们所需要的。>>
我同意你的看法。我认为这说得非常漂亮。你说过,嗯,随着竞争的加剧,你与其中一些实验室的负责人有交流,并且关系良好。嗯,维持这种关系有多难?到目前为止还不错。我努力以自己是,嗯,一个合作者而自豪。我是一个乐于合作的人。研究是一项合作事业。科学是一项合作事业。对吧?最终,如果你能治愈那些令人难以置信的、你知道的,可怕的疾病,并且你带来了一种令人难以置信的疗法,那对人类来说都是好事。这对人类来说是净胜利,能源也是如此。所有我感兴趣的,用AI帮助解决的事情。所以我只希望这项技术存在于世,并被用于正确的事情,而且,嗯,它的那种好处,它的生产力好处能够被分享,造福所有人。所以我努力与所有领先实验室的,嗯,人员保持良好关系。他们中的许多人都有非常有趣的性格,正如你所预料的。嗯,但是,是的,我关系很好。我希望和他们中的大多数人都是如此。而且,嗯,我认为当事情变得比现在更严重时,这将很重要。嗯,有这些沟通渠道,而且,嗯,那将促进,嗯,合作或协作,如果那是必需的,特别是在安全等方面。>>
是的,我希望在一些,嗯,风险较低的事情上能有一些合作,这样也能作为维护友谊和关系的机制。所以,例如,我认为如果你和埃隆能以某种方式合作创造一款视频游戏,互联网会很喜欢。那种事情,我认为能促进良好的友谊,而且你们俩都是真正的玩家。所以,只是很有趣,是的。>>
创造起来很有趣。>>
是的,那会很棒。我们过去也谈论过,这可能是一件很酷的事情,你知道,我们可以做。我同意你的看法。有一些,嗯,某种意义上的副项目会很好,这样人们可以专注于合作方面,这对双方都是一种,嗯,双赢,而且,嗯,它能培养那种,那种,那种,嗯,合作的肌肉。>>
我将科学事业视为人类的这种副项目,而且我认为Google DeepMind一直在大力推动这一点。我很乐意看到其他实验室做更多的科学研究,然后进行合作,因为在重大的科学问题上合作似乎更容易。我同意,我希望看到很多人,很多其他实验室谈论科学,但我认为我们是真正唯一将其用于科学并这样做的,这就是为什么像AlphaFold这样的项目对我来说如此重要,我认为对我们的使命来说,就是要展示,嗯,AI如何能够,你知道,以一种非常具体的方式明确地用于造福人类,而且我们还从AlphaFold的基础上分拆出了像Isomorphic这样的公司来做药物发现,而且进展非常顺利,并构建了,你知道,你可以认为是构建了额外的AlphaFold类型的系统,进入化学领域,帮助加速药物设计,我认为我们需要展示这些例子,嗯,社会需要理解AI能带来这些巨大的好处。>>
嗯,我发自内心地感谢你,以严谨、乐趣、谦逊,所有这些,推动科学努力向前发展。我只是喜欢看到,并且还在谈论P等于NP。我的意思是,这简直不可思议。所以,我喜欢它。嗯,似乎一直存在一场人才争夺战。有些是梗,我不知道。嗯,你如何看待Meta以高薪挖人才以及这场人才争夺战的白热化?而且我应该说,我认为很多人认为DeepMind是一个非常适合做,嗯,尖端工作的地方,原因就像你所概述的,那里有一种充满活力的科学文化。>>
是的。嗯,你看,当然,嗯,你知道,Meta现在正在采取一种策略。我认为,嗯,至少从我的角度来看,我认为那些真正,嗯,相信通用人工智能(AGI)使命及其能力,并理解其好坏两方面真正后果以及随之而来的责任的人,我认为他们大多是为了像我一样站在研究前沿,这样他们就可以帮助影响其发展方向,并将这项技术安全地引入世界,你知道,Meta现在并不在前沿,也许他们会设法回到那里,而且,嗯,从他们的角度来看,他们正在做的事情可能是理性的,因为他们落后了,他们需要做些什么,但我认为,嗯,有比金钱更重要的事情。当然,你必须支付,你知道,人们的市场工资以及所有这些,而且这还在不断上涨。嗯,但是作为专业人士,而且我一直预料到这一点,因为越来越多的人,公司的领导者,终于意识到我30多年来一直知道的事情,那就是通用人工智能(AGI)可能是迄今为止最重要的技术。所以在某种意义上,这样做是理性的。但我也认为有一个更大的问题。我的意思是,现在AI领域的人薪水很高。你知道,我记得我们在2010年刚开始的时候,你知道,我甚至有几年没给自己发工资,因为钱不够。我们筹不到钱。而现在,实习生拿到的钱,你知道,是我们第一次整个种子轮融资的金额。所以这很有趣。我记得那些日子,我们曾经,我曾经不得不免费工作,甚至几乎自费去实习。现在情况完全反过来了,但这就是现实。这是新世界,而且,嗯,但我认为,你知道,我们一直在讨论通用人工智能(AGI)之后会发生什么,能源系统得到解决等等,金钱甚至会意味着什么,所以我认为,嗯,你知道,经济,而且我们将有更大的问题需要解决,以及经济和公司在那个世界中如何运作,所以我认为,你知道,今天关于,嗯,嗯,薪水之类的事情有点像一个次要问题。>>
是的,当你面对如此巨大的后果和如此巨大而迷人的科学问题时>>
这可能只有几年之遥。所以,>>
所以从实际务实的角度来看,如果我们聚焦于工作,我们可以看看程序员,因为AI系统目前在编程方面表现得非常好,而且越来越好。所以,很多,嗯,以编程为生,热爱编程的人,担心他们会失业。你认为他们应该有多担心?以及,嗯,如何正确地适应新现实,并确保你作为一个人在编程世界中生存和发展。>>
嗯,有趣的是,编程,这再次与我们几年前的想法相悖,也许我们认为的一些更难的技能,由于各种原因,结果可能是更容易的,但你知道编码和数学,因为你可以创建大量的合成数据并验证这些数据是否正确。所以由于这种性质,更容易制作像合成数据这样的东西来进行训练。嗯,当然这也是我们都感兴趣的领域,因为作为程序员,对吧,它能帮助我们更快、更高效。所以我认为在下一个时代,比如未来5到10年,我们会发现那些拥抱这些技术的人,无论是创意产业还是技术产业,都会与它们融为一体,嗯,我认为他们会变得超乎寻常地高效。所以优秀的程序员会变得更好,甚至比今天好10倍,因为在那里你将能够利用他们的技能最大限度地利用这些工具,嗯,你将最大限度地利用它们,而且,嗯,所以我认为这就是我们将在下一个领域看到的,嗯,所以那将导致相当大的变化,对吧,所以那正在到来,很多人会从中受益,所以我认为一个例子是,如果编码变得更容易,嗯,它将使更多的创意人员能够做更多的事情,而且,嗯,但我认为顶尖程序员仍然会拥有巨大的优势,就指定,回到指定架构应该是什么,问题应该是如何以有用的方式指导这些,嗯,编码助手,你知道,并检查他们生成的代码是否良好,所以我认为在可预见的,你知道,未来几年内,还有很大的,嗯,嗯,发展空间。>>
所以我认为这里有几个有趣的事情,一个是,持续不断地更好地使用这些工具,有很多必要性。所以他们正在乘着模型不断改进的浪潮。>>
是的。>>
而不是与它们竞争。>>
但遗憾的是,这就是地球生命的本质。嗯,某些尖端编程可能具有巨大的价值,而其他类型的价值则较小。例如,它可能像,你知道,前端>> 网页设计可能,嗯,更容易,正如你所提到的,由AI系统生成>>,也许例如游戏引擎设计或类似的东西,或者后端设计,或者在高性能情况下指导系统,高性能编程类型的设计决策可能非常有价值。但它会改变人类最需要的地方,这让人们调整起来很可怕。我认为这是对的,任何时候当有大量的颠覆和变化时,你知道,我们经历过这种情况,这不仅仅是这一次,在人类历史上我们经历过很多次,有互联网,有移动设备,但在此之前显然是工业革命,嗯,这将是那些变化巨大的时代之一,我认为会有我们今天甚至无法想象的新工作,就像互联网创造的那样,然后那些拥有正确技能组合能够驾驭这股浪潮的人将变得极其,嗯,有价值,对吧,那些技能,但也许人们将不得不重新学习或稍微适应,嗯,他们当前的技能。而这次更难应对的事情是,我认为我们将看到的影响可能比工业革命大10倍,而且速度也快10倍。对吧?所以不是100年,而是10年。所以那会使它,你知道,就像是影响和速度结合起来的100倍。所以我认为这将使社会更难应对,而且有很多事情需要深思熟虑,我认为我们现在就需要讨论这个问题,而且我,你知道,我鼓励世界顶尖经济学家和哲学家开始思考,嗯,嗯,社会将如何受到这方面的影响,我们应该怎么做,包括像,嗯,你知道的普遍基本保障之类的东西,其中很多,嗯,提高的生产力,嗯,被分享和分配,嗯,给社会,嗯,也许是以表面服务和其他形式,如果你想要更多,你仍然可以去获得一些极其稀有的技能和类似的东西,嗯,并使自己独一无二。嗯,但是,嗯,嗯,但是有一个基本保障是提供的>>
而且如果你把政府看作一种技术,那么不仅在经济学上,在政治上也有有趣的问题。你如何设计一个系统,能够响应快速变化的时代,从而能够代表不同群体人们感受到的不同痛苦?你如何以一种方式重新分配资源,嗯,解决这种痛苦,并代表不同人群的希望、痛苦和恐惧,嗯,以一种不会导致分裂的方式,因为政治家们通常非常擅长煽动分裂,并利用这一点来赢得选举,定义“他者”,然后说那是坏的,并以此为基础>>
我认为这往往适得其反,不利于利用快速变化的技术来帮助世界繁荣发展。所以如果我们把政治系统看作一种技术,我们几乎也需要快速改进它们>>
肯定是的,而且我认为,我认为我们可能需要新的治理结构和机构来帮助这次转型。所以我认为政治哲学和政治科学将是,嗯,关键。但我认为首先最重要的是创造更多的资源丰裕,对吧,所以那是第一件事,提高生产力,获得更多资源,也许最终摆脱零和局面,然后第二个问题是如何使用,嗯,这些资源并分配这些资源,但是,是的,你不能在没有这种丰裕的情况下做到这一点。嗯,你向我提到了本杰明·莱维图特(Benjamin Labatut)的《狂人》(The Maniac)一书,这本书,嗯,首先是关于你的,有一篇关于你的传记,嗯,奇怪,是的>>
这不清楚,是的,当然,不清楚有多少是虚构的,有多少是真实的,嗯,但我认为核心人物是约翰·冯·诺伊曼,我想说这是一部令人难忘而美丽的探索,关于疯狂与天才,以及,嗯,发现的双刃剑。而且你知道,对于,嗯,不了解约翰·冯·诺伊曼的人来说,他是一个传奇般的人物。他对量子力学做出了贡献。他参与了曼哈顿计划。他被广泛认为是现代计算机和人工智能之父或先驱等等。所以很多人说他是有史以来最聪明的人之一。所以这太迷人了。而同样引人入胜的是,作为一个亲眼目睹核科学和物理学变成原子弹的人。所以你亲眼看到了思想变成对世界产生巨大影响的事物。他也预见到了计算领域同样的事情。>>
是的。>>
他,他,那又是这本书中有点美丽又令人难忘的一面。嗯,然后向前迈进,至少看看AlphaZero、AlphaGo、AlphaZero的这个重要时刻,也许约翰·冯·诺伊曼的思想被带到了现实。所以我,我,我想问题是,嗯,如果你现在能和约翰·冯·诺伊曼一起出去玩,你觉得他会怎么说?他会对现在发生的事情说些什么?>>
嗯,那会是一次很棒的经历。你知道,他是一个了不起的头脑,而且我也喜欢他大部分时间都在普林斯顿高等研究院度过,那是一个非常特殊的思考场所,而且,嗯,令人惊叹的是,他在所帮助发明的众多事物中,包括当然所有现代计算机都基于的冯·诺伊曼架构,他是一个多么博学的人。而且,嗯,他有惊人的远见。我想他会喜欢我们今天所处的境地,而且他会,嗯,我想他会非常喜欢AlphaGo,你知道,他也在游戏理论方面有所研究。我认为他预见到了很多关于学习机器系统会发生的事情,那些是某种程度上“生长”出来的,我想他称之为“生长”而不是“编程”。我不确定他甚至会不会对这个结果感到那么惊讶,我认为这正是他在1950年代就已经预见到的。>>
我想知道他会给出什么建议。你亲眼目睹了曼哈顿计划中原子弹的建造。我确信有>> 有趣的事情可能没有被充分讨论。也许是某些官僚方面,也许是政治家的影响,也许>>
也许没有足够地拿起电话与那些被上述政治家称为敌人的人交谈。实际上,我们可能从那个时代失去了一些深邃的智慧。>>
是的,我确定。我确信有。我的意思是,我,我们,我们,你知道,研究过,我也读了很多关于那个时期的书。记录那个时代,嗯,还有一些杰出的人物参与其中。我同意你的看法。我认为也许需要更多的对话和理解。嗯,我希望我们能从那些时代中学习。我认为这里的区别在于,人工智能有如此多的用途,它是一种多用途技术,显然我们正在尝试做这样的事情,比如解决,你知道,所有疾病,嗯,嗯,帮助解决能源,嗯,和稀缺性这些不可思议的事情。这就是为什么我们所有人,包括我自己,你知道,我30多年前就开始了这段旅程。而且,嗯,当然也有风险,而且冯·诺伊曼,我猜他预见到了这两者,而且,嗯,我想他好像对他的妻子说过,计算机对世界的影响会更大,正如我们刚才讨论的,你知道,我认为这是对的。我认为它至少会是工业革命的10倍。所以我认为他是对的。所以我想他会,我猜他会对我们现在所处的位置感到着迷。>>
而且我认为,也许你可以纠正我,但这本书的一个启示是,正如书中“理性的疯狂梦想”所说,理性不足以指导人类,因为我们正在构建这些超级强大的技术,还有其他东西。我的意思是,还有一种宗教成分。无论哪个上帝,无论哪种宗教赋予它G,它都会触动我们人类精神中的某种东西,那是冰冷的理性无法给予我们的。>>
我同意这一点。我认为我们需要以你想要称之为的任何方式来对待它,无论是精神维度还是人文维度。不一定与宗教有关,对吧?但这种灵魂的概念,是什么让我们成为人类,我们拥有的这种火花,也许与意识有关,当我们最终理解它时。嗯,我认为这必须是这项事业的核心。嗯,而技术,我一直将技术视为促成者,对吧?那些使我们能够繁荣发展并更多地了解世界的工具。我在这方面有点像冯·诺伊曼,他总是谈论科学和艺术是伴侣,对吧?你可以从两方面理解它,一朵花的美丽,它有多美,以及理解为什么花的颜色会那样进化,对吧?那只会让它更美丽,那,那,那只是花内在的美。而且我一直都是这样看待它的。也许你知道在文艺复兴时期,像达芬奇这样伟大的发现者,你知道,他们,我认为他没有看到科学和艺术之间有任何区别,嗯,也许还有宗教,对吧,他们的一切都是,这只是作为人类的一部分,而且,嗯,被我们周围的世界所启发,这就是我尝试采纳的哲学,而且我最喜欢的哲学家之一是斯宾诺莎,我认为他把所有这些结合得非常好,你知道,这种试图理解宇宙和理解我们在其中位置的想法,那是他理解宗教的一种方式,我认为那相当美丽,对我来说,所有这些事物都是相互关联的,技术和,嗯,作为人类意味着什么,而且,嗯,我认为非常重要的是,当我们沉浸在技术和研究中时,我们要记住这一点,我认为我看到我们领域中的许多研究人员有点过于狭隘,只理解技术,而且我认为这也是为什么让全社会来讨论这个问题很重要,我非常支持像人工智能峰会这样的事情会发生,以及政府理解它,而且我认为聊天机器人时代和人工智能产品时代的一个好处是,普通人实际上可以感受并与尖端人工智能互动,并亲身体验它。>>
是的。因为他们迫使技术人员进行人际对话。是的,当然。那是它充满希望的一面。就像你说的,它是一种军民两用技术,我们正通过将整个人类融入到关于人工智能的讨论中,强制性地将其整合进去,因为最终人工智能/通用人工智能将被用于国家使用技术所做的事情,也就是,嗯,冲突等等。而且我们越是,嗯,通过与他们聊天将人类融入到这个画面中,它就越能引导>>
能够适应。社会将能够适应这些技术,就像我们过去一直做的那样,适应我们过去发明的,嗯,那些不可思议的技术。>>
你认为会出现像曼哈顿计划那样的情况吗?嗯,这项技术的力量会升级,而国家会以他们旧有的思维方式试图将其用作武器技术,然后会出现这种升级。>>
我希望不会。嗯,我认为那样做会,嗯,非常危险,而且我认为,嗯,你知道,也不是正确使用这项技术。我希望我们最终能有更多合作性的东西,如果需要的话,更像一个像欧洲核子研究中心(CERN)那样的项目,你知道,嗯,它以研究为重点,世界上最优秀的人才聚集在一起,仔细完成最后步骤,并确保在,你知道,将其部署到世界之前,负责任地完成。我们拭目以待。我的意思是,我认为在当前的地缘政治气候下,嗯,很难看到合作,但事情可能会改变,而且,嗯,我认为至少在科学层面,研究人员保持联系,并且在至少这些类型的话题上保持紧密关系是很重要的。>>
是的。而且我个人认为在教育方面和,嗯,移民方面,如果双向,嗯,西方人移民到中国,中国人再移民回去,那会很棒。我的意思是,人们之间存在某种像家庭一样的人际交往方面,只是相互融合。>>
是的。>>
从而这些联系变得牢固。所以你不能用这种老派的思维方式来相互分裂。所以,嗯,多文化、多学科的研究团队致力于科学问题。那就像是希望。不要让那些好战的领导人,因为他们会分裂我们。我认为科学最终是真正美丽的连接器。>>
是的。科学一直都是,嗯,我认为相当,一项非常协作的事业,而且你知道科学家们知道它也是一项集体事业,我们都可以互相学习。所以也许它可以成为促进一些合作的载体。你的,嗯,荒谬问题是什么?你的末日概率是多少?人类文明自我毁灭的概率。>>
嗯,你看,我,我没有一个,你知道,我没有一个末日概率的数字。我没有的原因是,我认为这会暗示一种不存在的精确度。所以,我不知道人们是如何得出他们的末日概率数字的。我认为这有点荒谬,因为,嗯,我想说的是,它肯定不为零,而且可能不可忽略。所以这本身就相当令人警醒,我的看法是它只是极度不确定,对吧?这些技术将能做什么,它们会以多快的速度发展,它们将有多可控。有些事情可能会,而且希望会比我们想象的容易得多,对吧?嗯,但可能有一些非常困难的,嗯,嗯,嗯,问题比我们今天猜测的更难,而且我认为,嗯,我们不确定,所以在这种高度不确定但两方面都有巨大风险的情况下,你知道,一方面我们可以解决所有疾病、能源问题,而不是,不是,不是稀缺问题,然后旅行到星辰,并意识到星辰,以及人类的最大繁荣,另一方面是这种末日概率情景,所以考虑到围绕它的不确定性和重要性,对我来说,唯一理性的明智方法是谨慎乐观地前进。所以我们想要结果。我们当然想要,嗯,嗯,好处,嗯,以及人工智能能带来所有那些令人惊叹的事物,实际上,如果考虑到我们面临的其他挑战,比如气候变化,你知道,老龄化,嗯,资源等等,如果我不知道像人工智能这样的东西即将到来,我真的会为人类感到担忧,对吧?我们如何解决所有这些其他问题?我认为这很难,嗯,所以我认为我们,你知道,它可能对人类带来惊人的积极变革,嗯,但另一方面,你知道,存在这些我们知道但无法量化的风险。所以最好的办法是使用科学方法进行更多研究,尝试,嗯,更精确地定义这些风险,当然还要解决它们。嗯,我认为我们正在这样做。我认为可能需要在这方面投入比现在多10倍的努力,因为我们正在越来越接近通用人工智能(AGI)的界限。>>
对你来说,更主要的担忧来源会是什么?会是人类造成的还是AI/AGI造成的?>>
人类滥用这项技术,对比通用人工智能(AGI)本身通过你所说的机制,也就是迷人的欺骗或这类东西>>
秘密地变得越来越好,然后>>
我认为它们在不同的时间尺度上运作,并且同样重要需要解决。所以,就像你知道的,坏人利用新技术,嗯,在这种情况下是通用技术,并将其重新用于有害目的,这是一种普遍存在的风险,而且我认为这有很多复杂性,因为通常,你知道,我非常支持开放科学和开源,事实上我们所有的科学项目,比如AlphaFold和所有那些东西,都这样做了,嗯,为了科学界的利益。嗯,但是如何限制坏人访问这些强大的系统,无论是个人还是流氓国家,嗯,同时又允许好人访问,以便最大限度地在此基础上进行构建。这是一个相当棘手的问题,我还没有听到明确的解决方案。所以存在坏人使用案例的问题,然后显然,嗯,随着系统变得更具代理性,更接近通用人工智能(AGI),嗯,以及更自主,我们如何确保防护措施,并让它们坚持我们希望它们做的事情,嗯,并在我们的控制之下。是的,我倾向于,也许在我看来,更多地担心人类。>>
所以那些坏人>>
而且,嗯,部分问题可能是你如何不将破坏性技术交到坏人手中,但从地缘政治技术角度来看,另一个问题是你如何减少世界上坏人的数量,那也是一个有趣的人类问题。>>
是的,这是一个难题。我的意思是,你看,我们,我们,我们也许也可以利用技术本身来帮助,嗯,对一些坏人使用案例进行早期预警,对吧?无论是生物的还是核的,或者其他任何东西,人工智能都可能在那里发挥作用,只要你使用的人工智能本身是可靠的,对吧?所以这是一个相互关联的问题,这也是它非常棘手的原因,而且,它可能需要国际上至少在中美之间达成一些,嗯,基本标准,对吧?我必须问你关于《狂人》这本书,其中有这个“上帝之手”的时刻,李世石的第78手>>
那也许是人类最后一次做出那种纯粹人类天才的招法,并击败了AlphaGo,或者说,如果抱歉拟人化的话,就像是“击败了它的大脑”,但这是一个有趣的时刻,因为我认为在很多领域,这种情况会不断发生。>>
是的,那是一个特殊的时刻,你知道,对李世石来说很棒,而且你知道,我认为在某种程度上他们是相互启发。我们作为一个团队被李世石的才华和高尚所启发,然后也许他被,你知道,AlphaGo所做的事情所启发,从而创造了这个令人难以置信的鼓舞人心的时刻。你知道,所有这些都在关于它的纪录片中得到了很好的捕捉,而且,嗯,我认为这种情况将在许多领域继续下去,至少在可预见的未来,人类会发挥他们的独创性,嗯,提出正确的问题,比如说,嗯,然后以一种,嗯,解决问题的方式利用这些工具。>>
是的。随着人工智能变得越来越智能,我们可以问自己的一个有趣问题是:是什么让人类变得特别?我确实觉得,也许我有点偏见,认为我们人类是极其特殊的。我不知道是不是我们的智慧。可能是其他东西,那种在理性疯狂梦想之外的东西。我认为这就是我小时候开始这段旅程时一直想象的,嗯,我当然对意识之类的东西很着迷,做了神经科学博士研究大脑如何工作,特别是想象力和记忆,我专注于海马体,而且这会很有趣,我一直认为最好的方法当然可以对此进行哲学思考,进行思想实验,甚至可以像你在神经科学中对真实大脑进行实际实验一样,但最终我总是想象,构建一个人工智能,一种智能人工制品,然后将其与人类思维进行比较,看看有什么不同,嗯,那将是揭示人类思维特殊之处的最佳方式,如果确实有什么特殊之处的话,我怀疑可能确实有,但这很难定义,你知道,我认为我们正在进行的这段旅程将帮助我们,嗯,理解并定义这一点,而且你知道,我们这种碳基基质和硅基基质在处理信息时可能存在差异,你知道,我喜欢的一个关于意识的最佳定义是,它是信息在当我们>>
处理它,对吧?嗯,它可能是,我的意思是,它不是一个非常有用的科学解释。我认为它是一种有趣的直觉,一种直观的解释,嗯,所以你知道,在这趟我们正在进行的科学旅程中,我认为嗯,它将有助于揭开这个谜团。>> 是的。我无法创造的东西,我并不理解。那是,嗯,你非常尊敬的某个人,理查德·费曼,就像你提到的。你也达到了嗯,维格纳的普遍性梦想,他在约束领域看到了,但也广泛地普遍地在数学等等领域看到了。所以,有很多方面你在努力推进。>> 不是在结尾惹麻烦,而是罗杰·彭罗斯。>> 是的。>> 好的。所以,嗯,你认为意识,存在这个意识的难题,信息感觉如何?>> 嗯,你认为意识首先是一种计算吗?如果是,如果它是信息处理,就像你说的,一切都是?>> 它是否可以被经典计算机建模?>> 是的。>> 还是它是量子力学的本质?嗯,看,彭罗斯是一位了不起的思想家,是现代最伟大的思想家之一,我们对此进行了很多讨论。当然,我们有礼貌地不同意,你知道,我觉得嗯,我的意思是,他与许多优秀的神经科学家合作,看看他是否能在大脑中找到量子力学行为的机制。据我所知,他们还没有找到任何令人信服的东西。所以我的打赌是,它主要是,你知道,它只是大脑中发生的经典计算,这表明所有现象都可以被经典计算机建模或模仿,但我们会看到的,你知道,可能存在这个最终的神秘事物,即意识的感觉,哲学家们争论的那些特质,它们是底层的独有之处,当我们做像 Neuralink 这样的事情,并拥有与人工智能系统的神经接口时,我们甚至可能开始理解这一点,我认为我们最终可能会这样做,嗯,也许是为了跟上人工智能系统。我们实际上可以自己感受一下在硅上计算是什么样的,对吧?所以,嗯,也许这会告诉我们。嗯,我认为这将会很有趣。我曾与已故的丹尼尔·丹尼特就为什么我们认为彼此有意识进行过一次辩论。好的,所以有两个原因。一是你表现出的行为与我相同。所以这是第一点。行为上,如果你和我一样,你看起来像一个有意识的生命。但第二点,常常被忽视的是,我们运行在相同的底层上。所以,如果你表现得一样,而我们运行在相同的底层上,最节省的方式就是假设你和我感受到的体验相同。但对于一个在硅上的 AI,我们就无法依赖第二点。即使它表现出第一点,行为看起来像一个有意识的生命的行为。它甚至可能声称自己是。嗯,但我们,但我们不知道它实际感觉如何。嗯,而且它可能也无法知道我们的感受,至少在早期阶段。也许当我们达到超级智能和它所构建的技术时,我们也许能够嗯,弥合这一差距。>> 不,我的意思是,这是对激进同理心的巨大考验,即同情一个不同的底层。>> 对。正是如此。我们以前从未不得不面对过。>> 是的。所以也许,也许通过脑机接口,我们能够真正同情计算的感觉。>> 对于信息来说,不是在碳基系统上计算。我的意思是,这很深刻,我的意思是,有些人会这样想植物,以及其他生命形式,它们是不同的,相似的底层,但在进化树上足够远。>> 这需要激进的同理心,但要对计算机这样做。>> 我的意思是,路易斯,我们有一些关于这个的动物研究,比如,当然是高等动物,比如,你知道,虎鲸、海豚、狗和猴子,你知道,它们有一些,当然,意识的方面,对吧?即使它们在智商方面可能不是那么聪明。所以,我们已经能够同情这一点了,也许有一天我们的一些系统,比如我们建造了一个叫做 Dolphin Gemma 的东西,你知道,我们系统的一个版本是在海豚和鲸鱼的声音上训练的,也许我们最终能够构建一个解释器或翻译器,那将是非常酷的。>> 什么让你对人类文明的未来充满希望?>> 嗯,让我充满希望的是,我认为我们几乎无限的创造力,首先。我认为我们中最优秀的人,最优秀的人类头脑是不可思议的。嗯,你知道,我喜欢,你知道,遇到和观察任何在其领域顶尖的人,无论是体育、科学还是艺术。你知道,没有什么比这更美妙的了,看到他们在他们的领域中处于心流状态。嗯,我认为它几乎是无限的。你知道,我们的大脑是通用的系统,智能系统。所以,我认为我们有可能用它们做的事情几乎是无限的。然后是我们的极强的适应性。我认为在这一点上会没事的,会有很多变化。但是,但是看看我们现在,我们实际上拥有的是我们狩猎采集者的大脑。我们如何能够,你知道,我们如何能够应对现代世界,对吧?乘坐飞机,做播客,你知道,玩电脑游戏和虚拟模拟。我的意思是,这已经很明显了,这是为,你知道,狩猎野牛而开发的。[音乐]社会已经适应了我们今天拥有的令人惊叹的人工智能技术。已经这样了,哦,我和聊天机器人说话。完全没问题。>> 而且,我在这里参加的这个播客活动很有可能被人工智能完全取代。我很容易被取代,我正在等待。>> 不是在你能够做到的水平上,Lex。所以别这么想。>> 谢谢。那是我们人类互相做的。我们互相赞美。>> 好的。而且,嗯,我非常感激我们人类拥有这种无限的好奇心、适应能力,就像你说的,还有同情心和爱人的能力。>> 正是如此。>> 所有这些人类的。>> 所有那些深刻的人类特质。>> 嗯,这是巨大的荣幸,Demis。你是世界上真正特别的人之一。非常感谢你所做的一切以及今天的谈话。>> 嗯,非常感谢你,Lex。感谢收听与 Demos 的对话。为了支持这个播客,请查看描述中的赞助商,并考虑订阅此频道。现在,让我来回答一些问题,并尝试阐述一些我一直在思考的事情。如果您想提交问题,包括音频和视频形式,请访问 lexfreman.com/am。我收到了来自各位的许多精彩问题、想法和请求。我将继续尝试随机挑选一些,并在每集结尾进行评论。我收到了关于今年 5 月 21 日的一条消息,上面写着:“嗨,Lux。20 年前的今天,大卫·福斯特·华莱士在肯扬学院发表了他著名的‘这是水’的演讲。你怎么看这场演讲?”嗯,首先,我认为这可能是最伟大、最独特的毕业典礼演讲之一。但当然,我也有很多喜欢的,包括史蒂夫·乔布斯的演讲。而大卫·福斯特·华莱士是我最喜欢的作家之一,也是我最喜欢的人之一。他的作品有一种悲剧性的诚实。而且我总觉得他好像在与自己的思想进行持续的斗争,而他的写作就像是他在那场战斗前线的笔记。现在,回到演讲。让我引用一些部分。当然,有关于鱼和水的寓言,它这样说:“有两条小鱼在游,它们碰巧遇到一条年长的鱼迎面游来,它对它们说:‘早上好,孩子们。水怎么样?’两条小鱼又游了一会儿,然后其中一条看着另一条说:‘水是什么鬼东西?’在演讲中,大卫·福斯特·华莱士继续说道:“鱼的故事的要点仅仅是,最明显、最重要的现实往往是最难看到和谈论的。”用一个英语句子来说。当然,这只是一个陈腐的陈词滥调。但事实是,在成年生活的日常斗争中,陈腐的陈词滥调可能具有生死攸关的重要性。或者我希望在这个干燥而美好的早晨向你们建议。我从这个寓言和随后的演讲中得到了几个启示。首先,我认为我们必须质疑一切,特别是关于我们的现实、我们的生活和存在的本质的最基本假设,而这个项目在某种根本意义上是一个非常个人的项目。没有人能真正帮助你完成这个发现过程。我认为大卫·福斯特·华莱士在这里的行动呼吁是,引用他的话说,要“稍微不那么傲慢一点,对自己和我的确定性有更多的批判性意识。”因为我倾向于自动确定的绝大部分东西,结果发现是完全错误的和被误导的。好了,回到我。Lex 讲话。第二个启示是,我们生命中主要的精神斗争不是在某个山顶的冥想静修处进行的,而是在日常生活的平凡时刻进行的。第三个启示是,我们太容易将我们的时间和注意力给予世界喂给我们的无数分心事物。那些永不满足的注意力黑洞。大卫·福斯特·华莱士在这种情况下发出的行动呼吁是,要深刻地意识到每个时刻的美丽,并在平凡中找到意义。我经常引用大卫·福斯特·华莱士的话,他建议生活的关键是“不被冒犯”。我认为这是完全正确的。每一个时刻,每一个物体,每一个经历,如果仔细观察,都包含着无限的丰富性去探索。而且,由于这个播客节目的 Deus Lasabus 和我都是理查德·费曼的粉丝,请允许我也引用费曼先生关于这个话题的话。引用:“我有一个艺术家朋友,他有时会采取一种我不太赞同的观点。他会举起一朵花说:‘看它多美啊。’我同意。然后他说:‘我,作为一个艺术家,能看到它有多美,但你作为一个科学家把它拆开,它就变得很无聊了。’我认为这有点疯狂。首先,他看到的美也是其他人可以欣赏的,我相信我也可以。虽然我在审美上可能不如他那么精致,但我可以欣赏一朵花的美。同时,我看到了比他更多的关于这朵花的东西。我可以想象里面的细胞,里面的复杂作用,它们也有美。我的意思是,这不仅仅是这个 1 厘米尺寸的美。在更小的尺寸上也有美。内部结构,过程。花朵的颜色是为了吸引昆虫来授粉而进化的,这一点很有趣。这意味着昆虫可以看到颜色。这引出了一个问题。这种审美感是否存在于更低等的生物中?为什么是审美的?所有这些有趣的问题,科学知识只会增加一朵花的兴奋感、神秘感和敬畏感。它只会增加。好了,回到大卫·福斯特·华莱士的演讲。他有一个很棒的故事,我特别喜欢。它这样说:“有两个人在偏远的阿拉斯加荒野的一个酒吧里坐在一起。其中一个人是宗教人士,另一个是无神论者,两人正在争论上帝的存在,带着那种在喝了第四杯啤酒后特有的激烈程度。无神论者说:‘看,不是我没有不相信上帝的实际理由。不是我从来没有尝试过上帝和祈祷那套。就在上个月,我被困在那场可怕的暴风雪中,我完全迷路了,什么也看不见,气温零下 50 度。所以我试了。我跪在雪地里,大喊:“哦,上帝啊,如果真有上帝,我在这场暴风雪中迷路了,如果你不帮助我,我就会死。”现在回到酒吧,那个宗教人士困惑地看着无神论者,“那么你现在一定相信了,”他说。“毕竟,你还活着。”无神论者只是翻了个白眼。“不,伙计。发生的一切是,碰巧有几个爱斯基摩人路过,他们把我带回了营地。”这一切,我认为,教会我们一切都是视角问题,如果我们有谦逊地不断调整和扩展我们对世界的视角,智慧就会到来。感谢您允许我谈论大卫·福斯特·华莱士。他是我最喜欢的作家之一,他是一个美丽的灵魂。如果可以的话,我想再简要评论一件事。我发现自己处于一种奇怪的境地,经常在网上受到攻击,来自四面八方,包括有时通过选择性歪曲来撒谎,但通常是通过赤裸裸的谎言。我不知道该怎么说。这一切让我心碎,坦率地说,但我已经了解到,这就是互联网的方式,也是我选择的道路的代价。有些日子,这对我的精神来说很艰难。被撒谎不是一件有趣的事,尤其是当它涉及到那些长期以来一直是我快乐和喜悦之源的事情时。但同样,这就是生活。我将继续以同情心和严谨的态度探索人与思想的世界,尽可能地敞开心扉。对我来说,这是唯一的生活方式。总之,对我常见的攻击是关于我在麻省理工学院和德雷塞尔大学的时光,这两所伟大的大学我都很爱,并给予极大的尊重。由于关于这些话题的谎言已经积累到一种悲伤甚至有时是可笑的程度,我想我将再次陈述我简历中的显而易见的事实,供少数可能关心的人参考。TL;DR,两件事。首先,正如我经常说的,包括在最近一集被数百万人收听的播客中,我自豪地在德雷塞尔大学获得了学士、硕士和博士学位。第二,我是麻省理工学院的一名研究科学家,并在过去 10 年里一直担任有薪研究职位。请允许我现在更详细地阐述这两件事,但如果这完全不有趣,请跳过。所以,就像我说的,对我常见的攻击是我与麻省理工学院没有真正的联系。我想,指控是我在那里讲过一次课,所以我在虚假地声称与麻省理工学院有联系。不。那个对我的指控是彻头彻尾的谎言。我在麻省理工学院工作了 10 多年,担任有薪研究职位,从 2015 年至今。为了更清楚地说,我是麻省理工学院信息与决策系统实验室的一名研究科学家,隶属于计算学院。目前,由于我仍在麻省理工学院,你可以在目录和各种实验室页面上看到我。多年来,我确实在麻省理工学院讲过许多讲座,其中一小部分我已在线发布。对我来说,教学一直只是为了好玩,而不是我研究工作的一部分。我个人认为我在这方面很糟糕,但我总是从经验中学习和成长。就像费曼所说的,如果你想深入理解某件事,尝试去教它是个好方法。但就像我说的,我的主要重点一直是研究。我发表了许多同行评审的论文,你可以在我的 Google 学术资料中看到。在我最初的四年里,我在麻省理工学院工作得非常投入。大多数时候每周工作 80 到 100 小时。之后,在 2019 年,我仍然保留了我的研究科学家职位,但我分出时间,大胆地在麻省理工学院之外追求人工智能和机器人项目,并专注于播客。正如我所说,我一直惊讶于准备一集播客需要多少小时。有很多播客集,我需要在几周和几个月内阅读、写作和思考 100、200 小时或更多。自 2020 年以来,我没有积极发表研究论文。就像播客一样,我认为这是一项严肃的全职工作。但是不发表论文和进行全职研究一直在困扰我,因为我热爱研究,我热爱编程和构建测试有趣技术想法的系统,尤其是在人机交互或人机交互的背景下。我希望在接下来的几个月和几年里改变这一点。我对自己有了认识,如果我不发表论文,或者我不推出人们使用的系统,我肯定会觉得我的一部分缺失了。这确实是我快乐的源泉。总之,我为我在麻省理工学院的时光感到自豪。我曾经并且现在一直被比我聪明得多的人包围着,他们中的许多人已经成为我一生的同事和朋友。麻省理工学院是我逃离世界、专注于探索科学和工程前沿的迷人问题的地方。这再次让我感到真正的快乐。当我在这些方面受到攻击时,这在心理层面上确实打击很大。也许我做错了什么。如果我做错了,我会努力做得更好。在所有关于学术工作的讨论中,我希望你知道,我从来不想说我什么都懂。在播客和我的私人生活中,我不声称自己聪明。事实上,我经常称自己为白痴,而且是认真的。我尽量嘲笑自己,并普遍地赞美他人。现在,谈谈德雷塞尔大学,我也很爱它,为之自豪,并对我在那里的时光深表感激。正如我所说,我在德雷塞尔大学获得了计算机科学和电气工程的学士、硕士和博士学位。我曾多次谈论德雷塞尔大学,包括,正如我提到的,在最近一集播客的结尾,有趣的是,唐纳德·特朗普那一集,被数百万人收听,我回答了一个关于研究生院的问题,并解释了我自己在德雷塞尔大学的经历以及我有多感激。如果你有兴趣,请去听那一集的结尾,或者观看相关的剪辑。在德雷塞尔大学,我遇到了许多才华横溢的研究人员和导师,并与他们共事,我从他们那里学到了很多关于工程、科学和生活的知识。我在德雷塞尔大学的时光中获得了许多宝贵的收获。首先,我学习了大量的非常困难的数学和理论计算机科学课程。它们教会了我如何深入严谨地思考,以及如何努力工作,即使感觉自己太笨而找不到技术问题的解决方案,也不要放弃。第二,我当时编程很多,主要是 C、C++。我编程了机器人、优化算法、计算机视觉系统、无线网络协议、多模态机器学习系统,以及各种物理系统的模拟。正是在这里,我真正培养了对编程的热爱,包括是的,Emacs 和 Kinesis 键盘。嗯,我当时也读了很多书。我弹了很多吉他,写了很多糟糕的诗,还训练了很多柔道和巴西柔术,我怎么赞美都不为过。巴西柔术在我二十多岁的时候每天都让我谦卑,直到今天,只要有机会训练,它仍然如此。总之,我希望那些偶尔被那些想诋毁他人的人们所吸引的网上群体不要迷失其中。最终,我仍然认为人有好有坏。但我们每个人都是一个混合体。我知道我有很多缺点。我说话笨拙。我有时会说蠢话。我有时会变得不理性地情绪化。我可能在应该善良的时候过于刻薄。我可能会陷入有偏见的兔子洞,直到我意识到更宏大、更准确的现实图景。我是人类,你们也是。无论好坏。而且我仍然相信我们都在这个美丽的混乱之中。我爱你们所有人。