Transcription
大家好，这里是最佳拍档。
如果要问在全球科技圈，找出一位能贯穿互联网黄金时代与AI革命的传奇人物，谷歌的杰夫·迪恩绝对是绕不开的名字。从奠定谷歌技术基石的MapReduce、BigTable，到引领深度学习规模化浪潮，再到如今主导Gemini系列模型研发，他用二十七年的坚守，见证并塑造了谷歌的技术灵魂。
2026年2月，这位技术巨擘的开年访谈在Latent Space播出，不仅揭示了谷歌AI的核心战略，更勾勒出整个行业的未来走向。2026，将是AI大一统的元年。今天，我们就来拆解一下这场访谈，看看这位传奇工程师眼中的AI未来。
访谈开篇，主持人用“帕累托前沿”来形容杰夫·迪恩团队的成就。这个概念指的是在资源有限的情况下，无法在不损害另一目标的前提下让某个目标变得更好。而谷歌正是在模型性能和效率上做到了极致平衡。对于这份赞誉，杰夫·迪恩坦诚这并非单一技术的胜利，而是整个技术栈从上到下的协同成果。既要训练出能力超强的前沿大模型，又要通过软件技术将能力提炼到更小、更轻量的模型中，实现成本效益与低延迟的兼顾。
在谷歌内部，关于前沿探索与实际部署的权衡从未停止。作为服务数十亿用户的科技巨头，谷歌必须考虑极端场景下的算力承载。这种压力让谷歌形成了独特的模型战略，同时布局两类模型：一类是面向深度推理、复杂数学问题的高端前沿模型；另一类是能力强劲、价格亲民的轻量模型，来支持大量低延迟的应用场景。而连接这两类模型的关键技术，正是杰夫·迪恩团队在2014年就提出的知识蒸馏。
提到知识蒸馏，就不得不追溯它诞生的初衷。早在2014年，杰夫·迪恩与杰弗里·辛顿、奥里奥尔·维尼亚尔斯、安德鲁·戴等人共同提出这个方案时，核心诉求是解决模型部署的现实难题。当时谷歌拥有一个包含三亿张图像、两万个类别的超大数据集。他们发现为不同图像子集创建专家模型，再将几十个专家模型集成，性能会显著提升。但是这样的集成模型在实际部署中完全不现实。于是，蒸馏技术应运而生，将多个专家模型的能力压缩到一个可部署的单一模型中。
如今，蒸馏技术已经进化到新的阶段。谷歌不再是集成几十个模型，而是将规模庞大的旗舰模型作为教师模型，通过蒸馏技术将其能力传递给更小的学生模型。这种技术的关键优势在于，小模型能够从大模型的logits中获取比是或否这种硬标签更丰富的软信息，从而实现与大模型非常接近的性能。
杰夫·迪恩透露，在Gemini的多代产品中，下一代模型的Flash版本已经能够达到、甚至超越上一代Pro版本的水平。这种迭代模式成为谷歌AI普及的核心动力。而Gemini Flash的成功，不仅在于技术层面的突破，更在于其精准的产品定位。这款模型以50万亿token的训练规模，实现了极高的性价比和极低延迟，如今已全面渗透到Gmail、YouTube、谷歌搜索等核心产品中，成为AI模式、AI摘要等功能的核心驱动力。
杰夫·迪恩强调，延迟是模型普及的关键特性。当用户需要的不再是写一个for循环，而是开发一整套软件包时，低延迟系统能让模型生成更多的token，完成更复杂的任务。而谷歌的TPU硬件平台、稀疏模型架构，都为这种大规模部署提供了底层支撑。
主持人提出疑问：当Flash模型已经能满足大部分用户需求，继续推动Pro和Ultra等前沿模型的研发是否还具有经济价值呢？杰夫·迪恩的答案是，模型能力的提升会激发新的需求。一年前，他还只是用模型处理简单的编程任务，而现在，他会让模型完成复杂的编程项目、分析全球可再生能源部署情况等高端任务。用户需求的边界在不断拓展，而前沿模型正是拓展这些边界的核心动力。它们能够暴露现有模型的失效场景，为下一代模型的改进提供方向。
在AI行业，基准测试是衡量模型能力的重要标尺。但是杰夫·迪恩对其有着清醒的认知。他认为，公开的外部基准测试存在效用生命周期。初始得分在10%-30%的基准测试具有真正的评估价值，能够有效推动模型能力提升。但是当得分达到95%左右时，继续投入的回报会急剧下降。这要么意味着模型已经完全掌握该能力，要么存在数据泄露或者训练数据污染的问题。因此，谷歌建立了一整套保密的内部基准测试体系。这些数据完全脱离训练集，专门针对模型尚未具备的能力。
杰夫·迪恩举例说明，Gemini的长上下文能力，早在1.5版本就开始布局。而当时考察细颗粒度的128K上下文基准测试，已经趋于饱和。如今谷歌正将前沿推进到100万、甚至200万token的上下文长度，因为真正有价值的应用场景是处理上千页文本、多个小时的视频，而非简单的信息检索。这种从分数导向到能力导向的基准测试理念，让谷歌在长上下文领域始终保持领先。
对于基准测试与架构改进的关系，杰夫·迪恩强调要聚焦核心能力而非具体解决方案。他认为长上下文的终极目标是让模型关注整个互联网、理解个人所有状态，但现有方案的复杂度限制了这个目标的实现。100万token已经接近现有技术的极限，要实现万亿token的有效关注，必须依赖算法与系统层面的双重创新。
谈到Gemini系列模型，核心竞争力之一就是其原生的多模态能力。在杰夫·迪恩看来，多模态的意义远不止于文本、图像、音频、视频的融合，更包括对非人类模态的理解，比如Waymo车辆的激光雷达数据、机器人传感器数据、X光片、核磁共振成像、基因组信息等等。谷歌的目标是让模型至少接触上百种数据模态，了解这些模态在世界中的特定含义，即使没有进行大规模训练，也能为后续应用奠定基础。
关于是否存在凌驾于所有模态之上的“王炸”模态，杰夫·迪恩认为视觉和运动具有不可替代的重要性。生命进化中眼睛器官被独立发明了23次，足以证明感知周围世界的能力是生存发展的核心。这也是Gemini选择聚焦视频而非静态图像的原因。视频包含了更丰富的时空信息，能让模型更好地理解复杂场景。
他分享了一个令人惊叹的应用案例：将包含18个体育经典时刻的YouTube集锦视频输入Gemini，模型能直接生成包含事件时间、简短描述的18行表格。这种视频到结构化数据的转化能力，正是多模态融合的典型成果。目前，Gemini仍然是唯一原生具备视频理解能力的模型。这种优势源于谷歌从一开始就确立的多模态研发思路。
杰夫·迪恩认为，多模态的终极价值是让模型像人类一样解读世界，然后利用这些信息提供帮助。无论是分析医疗影像，还是理解机器人的物理环境，多模态能力都是AI融入现实世界的关键。
作为谷歌的核心业务，搜索与AI的融合一直是杰夫·迪恩关注的重点。谷歌的搜索系统从诞生之初就遵循层层筛选的逻辑，从万亿级别的网页索引中，先用轻量级方法筛选出3万个相关文档，再通过复杂算法细化到最终的10条结果。这种逻辑在AI时代得到了继承与升级。
在AI驱动的搜索架构中，谷歌试图营造“关注万亿token”的幻觉。首先通过大量高度并行的轻量级模型，识别3万个候选文档；再用稍复杂的模型集，将范围缩小到117个核心文档；最后由能力最强的模型进行深度处理，生成答案并附上相关链接。这种架构既保留了谷歌搜索的核心优势，又充分发挥了大模型的语义理解能力，摆脱特定词汇必须出现的硬性要求，真正深入到页面主题与查询高度相关的层面。
回顾谷歌搜索的进化史，杰夫·迪恩分享了一个关键转折点。2001年，谷歌将整个网页索引放入内存。当时，随着索引规模和流量的爆炸式增长，谷歌构建了包含60个分片、每个分片20个副本的分布式系统，而一万两千二百台机器的内存总量足以容纳完整索引。这个决策带来了革命性提升。原本受限于磁盘寻道速度，一个查询只能考察少量词项，而内存索引让系统可以轻松处理50个以上的词项，包括同义词、相关词，真正实现了从关键词匹配到语义理解的跨越。
这种架构迭代的思维，也延续到了如今的AI搜索研发中。杰夫·迪恩强调，系统设计的核心原则是预判规模变化。一个好的系统应能支持核心特性5到10倍的扩展，而当规模达到100倍时，就需要开启全新的设计空间。从磁盘索引到内存索引，从传统搜索到AI搜索，谷歌始终在遵循着这个原则，在规模化中寻找创新的契机。
提到系统设计，就不得不提杰夫·迪恩的经典之作“每个程序员都应该知道的延迟数字”。这张表格列出了缓存未命中、主内存访问、跨洲数据包传输等操作的典型耗时，核心目的是帮助工程师建立直觉，在设计系统时快速进行粗略估算。
而在AI时代，杰夫·迪恩认为需要更新这个认知框架，加入能量维度的考量。他解释道，AI模型的计算成本最终都会归结为能量消耗。以矩阵乘法运算为例，一次Int 8或者BF 16精度的乘法运算成本仅为1皮焦耳左右，而将数据从芯片上的Sram移动到乘法器单元，就需要1000皮焦耳。这也是加速器依赖批处理的核心原因。如果批大小为1，就意味着花费1000皮焦耳的移动成本，只完成1皮焦耳的计算，能效极低。而较大的批大小能多次利用移动的数据，显著提升能效。
这种能量视角的分析，为AI系统优化提供了新的思路。杰夫·迪恩认为，未来每个AI程序员都应该知道的数字，不仅包括延迟指标，还应涵盖不同存储层级的数据移动成本、不同精度运算的能量消耗等等。其中的巨大差异会直接影响模型架构的设计选择。
对于延迟的极致追求，也贯穿了谷歌的AI研发。杰夫·迪恩信奉低延迟带来的用户体验提升。他预测未来模型及底层软硬件系统的延迟，将比现在低20到50倍。这对需要多轮交互的复杂任务至关重要。而稀疏模型、投机性解码等技术，正是实现这一目标的关键。投机性解码能让小模型一次预测8个token，经大模型验证后接受5到6个，通过摊销计算成本实现5倍效率提升。
在AI算力领域，谷歌的TPU与英伟达的GPU形成了差异化竞争。杰夫·迪恩介绍，TPU采用规整的2D或3D网格拓扑结构，将大量配备HBM的芯片互联。这种架构特别适合长上下文的注意力操作和稀疏模型的高效部署。对于小型模型，TPU能通过模型并行将其分布到16或64个芯片上。如果模型能完全放入Sram，将实现延迟与吞吐量的双重优化。
TPU的研发理念是协同设计。芯片架构团队与机器学习专家保持高频互动，根据对未来两到六年技术趋势的预判，提前布局硬件特性。由于芯片设计周期长达两年，部署后生命周期又有3到5年，谷歌需要精准预测未来的AI应用场景。杰夫·迪恩透露，TPU的研发会预留探索性特性，这些特性占用芯片面积小，一旦成功能带来10倍性能提升，即使失败也不会造成重大损失。而对于重大架构改动，则需要通过大量机器学习实验验证可行性。
这种协同设计是双向的。不仅硬件要适配未来的模型需求，模型架构也要为硬件进行优化。比如，谷歌会提前利用下一代TPU的低精度特性进行模型训练，即使当前硬件暂不支持。杰夫·迪恩特别推崇极低精度计算，因为数据传输的能量成本与位数成正比，减少位数能显著降低能耗。不过这需要在权重上施加缩放因子来保证性能。
除了数字计算，杰夫·迪恩也关注模拟计算等新兴方向，认为其有望实现极低功耗，但同时也指出数模转换的开销可能抵消部分优势。他坚信，通过为特定模型定制专用硬件，AI计算的能效仍有巨大提升空间。
谈到未来的研究方向，杰夫·迪恩列出了一系列开放问题：如何让模型更可靠地完成包含多个子任务的复杂任务呢？如何通过模型间的工具调用，实现更重大的目标呢？如何让模型更可验证呢？如何将强化学习应用到不可验证的领域呢？
在他看来，强化学习在不可验证领域的应用，是一个极具潜力的方向。目前，强化学习已经在数学、编程等可验证领域取得显著进展，但是在开放式创新、无明确奖励的长期策略等领域仍面临挑战。杰夫·迪恩提出了一种解决方案：让其他模型或同一模型通过不同提示词扮演评论家角色，评估检索结果的相关性、任务执行的完整性，形成迭代优化的闭环。
这种自我评估与迭代的思路，也体现在谷歌的模型研发中。以YouTube缩略图自动生成为例，生成器模型提出方案后，评论家模型从相关性、吸引力等维度进行评分，通过多轮迭代提升输出质量。杰夫·迪恩认为，这种模式能有效拓展模型的能力边界，就像两年前模型还在为GSM8K的简单数学题挣扎，而现在已能处理复杂的数学推理和代码生成。AI领域的进步往往源于对不可能问题的持续攻坚。
访谈中，主持人提到一个耐人寻味的现象：去年IMO竞赛还需要AlphaProof、AlphaGeometry等专用模型协同作战，今年则直接由Gemini单一模型完成。这标志着符号系统与大模型融合的思路被通用模型主导取代。对此，杰夫·迪恩给出了深刻解读：人类操纵符号，但是大脑中并不存在离散的符号化表征，而是神经网络式的分布式表征，通过神经元的激活模式实现推理、规划与思维链回溯。谷歌的模型研发，正是在模拟这种大脑的工作机制。
这种理念推动谷歌进入了统一模型时代。在2013年至2016年，机器学习领域还处于一个“任务一个模型”的阶段，识别街道标志、语音识别、图像分类都需要专门训练模型。而现在，通用模型已经能应对多种任务，泛化能力在持续提升。杰夫·迪恩引用了《苦涩的教训》中的观点：短期来看，将人类知识编入AI可能有效，但是长期来看，依靠大规模算力和通用算法的方法终将胜出。谷歌的实践也印证了这一点。爱德华·格列芬斯特团队的成员甚至不需要了解IMO的比赛规则，仅通过模型训练就能实现优异表现。
当然，通用模型并非完美无缺。杰夫·迪恩承认，模型的参数空间有限，让小模型记忆晦涩的可检索事实是对资源的浪费。因此，谷歌正在探索知识与推理分离的模式：模型保留核心的世界知识，而具体的晦涩事实则通过检索获取。这种检索增强生成加多轮推理的组合，能让模型在有限参数下实现更强的能力。
对于垂直领域模型的发展前景，杰夫·迪恩认为更适合作为模块化的组件存在。谷歌在训练Gemini基础模型时，会在数据混合中进行权衡。比如，加入更多机器人数据会提升机器人能力，但可能损害多语言翻译性能。未来的理想形态是，基础模型能根据任务需求，灵活调用医疗、法律、机器人等专业模块，实现“可安装的知识”，部分来自实时检索，部分来自预先的专业数据训练。
他特别提到了低资源语言的处理案例。对于只有120人使用、无书面文本的卡尔梅克-卫拉特语，Gemini能通过上下文学习直接理解。而对于索马里语、阿姆哈拉语等有一定文本资源的语言，增加训练数据就能显著提升模型性能。这种灵活性，正是通用模型的核心优势。
聊起自己的技术生涯，杰夫·迪恩分享了一个有趣的起点。1990年，他的本科毕业论文主题就是并行神经网络训练。当时，学校计算机系的32核处理器并行计算机，只能支撑简单的模型，远不足以解决实际问题。但他始终坚信神经网络是正确的抽象，只是缺乏足够的算力。
2008年至2009年，摩尔定律带来了算力的爆发式增长，加上大规模数据集的出现，神经网络开始真正落地。2011年底，杰夫·迪恩在谷歌重拾本科论文的想法，开展模型并行与数据并行的对比研究，并且推动神经网络的规模化。他与吴恩达的相遇颇具传奇色彩。当时吴恩达在斯坦福大学任教，学生用神经网络做语音识别取得初步成果。杰夫·迪恩当即提出训练真正大的神经网络，这个想法最终促成了谷歌早期神经网络的重大突破。
2012年，谷歌训练出一个20亿参数的视觉模型，在一万六千个数据中心算力核心上训练数周，最终在ImageNet 22K数据集上，实现了70%的相对错误率改进。这个比当时所有神经网络大50倍的模型，让谷歌确立了“更大模型加更多数据等于更好结果”的信条。此后，谷歌持续推进规模化。2017年的论文实现了万亿参数稀疏模型的规模化扩展，与非稀疏模型相比，达到同等质量的时间或计算成本降低了10倍。而Transformer架构相比LSTM，计算成本更是降低了10到100倍。
如今，Gemini模型的研发已成为千人协作的庞大工程。论文的合著者名单长达10页。杰夫·迪恩透露，谷歌联合创始人谢尔盖·布林也深度参与其中，甚至与团队共用微型厨房，深入一线编程。这种从顶层指引到底层执行的协同，让硬件改进、软件抽象、算法优化、数据质量提升、强化学习方法改进等因素，形成了乘数效应，推动2026年的模型能力实现跨越式提升。
关于Gemini的命名，杰夫·迪恩分享了背后的故事。当时，谷歌Brain团队与DeepMind各自拥有多个大模型项目。Brain团队在推进大模型和多模态研究，DeepMind则有Chinchilla、Flamingo等模型。资源分散导致难以形成合力。杰夫·迪恩写了一份一页纸的备忘录，直言分散资源是愚蠢的，提议两个团队联合起来，训练一个从一开始就是多模态、统一且全面出色的模型。这份备忘录最终促成了Gemini的诞生。
杰夫·迪恩最初的灵感来自双胞胎。两个组织的融合就像双胞胎携手，而NASA早期的双子座计划是通往阿波罗计划的关键一步，寓意着这个模型将成为AI发展的重要里程碑。这个名字既体现了协同合作的理念，也承载了谷歌对AI未来的雄心。
作为计算机科学史上最多产的工程师之一，杰夫·迪恩对AI编程有着切身的体验。他认为，如今的编程工具已经变得非常强大，能够处理复杂的开发任务。而人类工程师与AI的互动方式将决定工具的效用。你可以让AI编写测试、通过头脑风暴性能优化方案，也可以让它独立完成明确的开发任务。这种互动的核心是清晰的规格说明。
杰夫·迪恩观察到一个有趣的现象：虽然软件工程师都被教导要编写清晰的规格说明，但是在实际中往往被忽视。而在AI编程时代，规格说明的质量直接决定输出结果。如果遗漏边界情况、性能要求等关键信息，AI就可能无法按预期工作。这个变化正在倒逼工程师提升需求表达能力，而这种能力无论在哪个领域都极具价值。
对于未来的编程智能体，杰夫·迪恩预测，人们可能会拥有由50个虚拟实习生组成的团队。如何管理这些智能体将成为新的挑战。他设想的模式是，让智能体组成小型子团队，人类只需与少数团队负责人互动。这种架构能大幅提升沟通效率。而结对编程等传统模式并不会消失，反而会得到进化。五个管理智能体团队的人类工程师，沟通带宽反而远高于五十个独立工作的人类工程师。
他还提到，通用的软件工程指南将成为AI编程的重要辅助。比如针对分布式系统的避坑指南，包含Paxos协议、双路发送单路返回等容错机制，能帮助编程智能体构建更可靠的系统。而对于Gemini能否写出Spanner这类问题，杰夫·迪恩给出了肯定答案。在特定假设下，模型甚至能突破CAP定理等传统限制，展现出超越人类经验的创新能力。
访谈的最后，杰夫·迪恩给出了两个明确的预测。第一个预测是个性化模型的崛起。未来，每个人都将拥有专属的Gemini模型。在用户许可的前提下，能够访问邮件、照片、文档、机票等所有个人网络内容。这种了解用户所有状态的智能体，将比通用模型有用得多。
第二个预测是硬件技术的突破。专用硬件将以更实惠的价格实现延迟更低、性能更强的模型部署。对于延迟的未来，杰夫·迪恩认为每秒一万token的生成速度将成为可能。这对思维链推理至关重要。模型能进行更多并行推演，生成更简洁的代码，同时附带详尽的推理过程，最终实现更好读的代码。这让人想起法国数学家布莱兹·帕斯卡的名言：“我没有时间写得短些，所以只好写得长些。”而AI的未来，则是用更多的思考，写出更简洁的成果。
感谢收看本期视频，我们下期再见。