Transcription
大家好，这里是最佳拍档。
在AI芯片领域，英伟达的GPU一直是当之无愧的行业标杆。从H100到Blackwell架构，几乎成为了大模型训练和推理的标配。
但就在2026年2月，一家名不见经传的初创公司，向整个行业扔出了一颗深水炸弹。他们放弃了通用计算的思路，放弃了昂贵的HBM显存和液冷散热，直接把大模型物理固化在硅片上，做出了一颗几乎不可编程的AI推理芯片。
却实现了英伟达最强GPU近50倍的推理速度，成本仅为前者的二十分之一。
这家公司就是Taalas，这款芯片就是HC1。今天我们就来介绍这款极端专用化的AI芯片，看看它究竟是颠覆行业的创新，还是注定被淘汰的冒险。
首先，我们来看一组足以震惊整个AI行业的数据，这也是Taalas HC1最核心的竞争力。在运行Meta的Llama 3.1 8B大语言模型的单用户场景下，HC1的推理速度达到了每秒一万七千个token。
这个数字意味着，对比当前行业的主流产品，它是英伟达Blackwell架构B200 GPU的近50倍，是目前市面上最快的竞品Cerebras的近9倍，远超Groq、Sambanova等专注于推理优化的芯片产品。
要知道，英伟达为了提升大模型的推理性能，推出的GB200 NVL72机柜级系统，需要72颗GPU通过NVLink互联，单机柜功耗接近120千瓦，还必须配备液冷散热系统，造价以百万美元计。
而Taalas HC1的单颗功耗仅为250瓦，将10块HC1板卡装进一台服务器，总功耗也只有2.5千瓦，完全可以在标准的风冷机架中运行，无需任何特殊的散热设备。
在成本方面，HC1的构建成本据称只有同等GPU方案的二十分之一，功耗直接降低了一个数量级。这样的性能和成本优势，在AI推理芯片领域几乎是降维式的存在。
那么，这样极致的性能和能效比，究竟是如何实现的呢？答案就藏在Taalas最核心的技术思路里，总结起来就是三个词：全面专用化、存算合一、极度简化。这与当前主流GPU的设计思路形成了根本的区别。
我们先从GPU的设计瓶颈说起。当前包括英伟达在内的主流AI芯片，都采用了存算分离的架构。模型的参数存储在HBM高带宽内存中，而计算核心则是独立的单元。每次运算时，计算核心都需要从HBM中搬运数据。这个看似简单的数据搬运过程，消耗了大量的能量和时间，这也是行业内所说的带宽墙或内存墙。
为了缓解这个问题，整个行业都在先进封装、3D堆叠、高速互联等方向投入巨大的工程资源，但本质上只是在优化搬运过程，并没有从根本上解决存算分离的问题。
而Taalas HC1则直接摒弃了这种思路，选择从根源上消除带宽墙。核心技术就是将模型权重，通过Mask ROM“掩模只读存储器工艺”，直接编码在芯片的金属互连层中，让模型权重与计算逻辑共存于同一块硅片上，彻底抛弃了外部的DRam和HBM内存。
简单来说，就是把Meta的Llama 3.1 8B大模型的几乎所有参数，都刻进了硅片里，芯片即模型，模型即芯片。
在这样的架构下，数据不再需要在存储单元和计算单元之间来回搬运，计算可以直接在数据存储的位置进行，这就是真正的存内计算。同时，HC1还能用单个晶体管同时存储4比特的模型参数，并完成乘法运算。而且整个计算过程是全数字的，这与学术界讨论较多的模拟存内计算方案不同，但实现了相同的核心目标，那就是让数据就地参与运算，彻底消除数据搬运的损耗。
当然，为了保证芯片的基本可用性，HC1并非完全没有灵活性。芯片上保留了一小块SRam静态随机存取存储器，主要用于存放KV Cache键值缓存和LoRA低秩适配的微调权重。这一小块SRam的存在，让HC1能够适应少量的场景微调需求。但是整体架构的可编程性几乎为零，这也意味着HC1只能运行Llama 3.1 8B这一个模型。想要更换模型，唯一的办法就是重新设计、流片制造一颗新的芯片。这也是这款芯片最具争议的地方。
从芯片的硬件参数来看，HC1基于台积电的N6工艺制造，芯片面积达到了815平方毫米，这个尺寸已经非常接近光罩极限。单颗芯片就能够容纳完整的80亿参数的Llama 3.1 8B模型，芯片的晶体管数量达到了530亿颗。这样的硬件设计，让HC1实现了极致的集成度，也让它能够在无需外部内存的情况下，独立完成模型的推理计算。
而在软件层面，HC1带来了一个意想不到的副产品：软件栈的极度简化。Taalas的CEO留比沙·巴伊奇在采访中表示，软件作为一个东西基本消失了。整个Taalas公司只有一个工程师负责软件栈的开发，而且这位工程师还需要兼顾其他工作。对比当前GPU推理系统中复杂的软件优化层，以及背后庞大的工程开发团队，HC1的软件栈简化程度堪称梦幻。当然，这种简化是建立在极端硬件专用化的基础上的，并不具备通用性，也无法复制到其他通用计算芯片上。
能够做出这样一款颠覆性的芯片，不得不提到Taalas的团队背景。这家成立于2023年中，也就是不到三年时间的初创公司，核心团队仅有24人，首款产品HC1的实际研发投入仅为3000万美元，而公司的累计融资已经超过了两亿美元。这样的研发效率在芯片行业也堪称奇迹。
公司的创始人兼CEO留比沙·巴伊奇，是AI芯片领域的资深从业者。他曾是Tenstorrent的联合创始人，还担任过该公司的CEO和CTO。而Tenstorrent则是AI芯片领域的知名初创企业，走的是基于RISC-V架构的可编程AI加速器路线，后来由芯片行业的传奇人物吉姆·凯勒接任CEO并继续发展。有趣的是，巴伊奇离开Tenstorrent后创立的Taalas，走了一条与Tenstorrent几乎完全相反的技术路线。Tenstorrent追求的是通用化、可编程性，而Taalas则把专用化推到了极致，彻底放弃了可编程性。
除了巴伊奇以外，Taalas的核心团队堪称AMD前高管梦之队。公司的联合创始人还包括AMD前集成电路设计总监莱拉·巴伊奇，她也是留比沙·巴伊奇的妻子，以及AMD前设计总监德拉戈·伊格纳托维奇。核心成员均在AMD、英伟达等顶级芯片公司担任过高管职位，拥有丰富的高性能GPU和ASIC芯片的研发设计经验。这样的团队背景，让Taalas能够在极短的时间内，完成从技术思路到芯片产品的落地，也让市场对这款极端专用化的芯片充满了期待。
在芯片的定制和生产方面，Taalas也借鉴了独特的技术思路，让这款极端专用化的芯片具备了一定的规模化和定制化可能。HC1的芯片定制流程，借鉴了2000年代早期结构化ASIC芯片的思路。结构化ASIC通过固化门阵列和硬化IP模块，只修改互连层来适配不同的工作负载，在成本和性能上介于FPGA现场可编程门阵列和全定制ASIC之间。
而Taalas的做法则在这个基础上更进一步。每次为新的模型定制芯片时，只需要更换两层掩模。这两层掩模会同时决定模型权重的编码方式，以及数据在芯片内部的流动路径。巴伊奇表示，从拿到一个新的模型，到生成RTL寄存器传输级描述，大约只需要一周的工程工作量，而整个从模型到芯片的完整定制周期，目标是控制在两个月以内。
这个两个月的周转速度，如果能够稳定实现，将会为HC1的商业化带来巨大的想象空间。这意味着，当一个大模型在生产环境中被验证有效、拥有足够的用户粘性，并且预计至少能够运行一年以上时，Taalas就可以在极短的时间内，为这个模型制造专属的专用硅片，以远低于GPU的成本和功耗，为客户提供推理服务。当然，这种模式也对客户提出了明确的要求，需要对某个特定的模型做出至少一年的使用承诺。巴伊奇也承认，肯定有很多人不愿意，但是也一定会有人愿意。毕竟对于一些特定的行业和场景来说，稳定的性能、极低的成本和功耗，远比模型的灵活性更重要。
很多人会问，这种极端专用化的思路，能否扩展到更大规模的大模型上？毕竟当前的大模型已经从几十亿参数，发展到了几千亿甚至上万亿参数，HC1仅能支持80亿参数的模型，是否会限制它的应用场景呢？
针对这个问题，Taalas也给出了他们的解决方案和模拟数据。目标是针对DeepSeek R1 671B这个超大规模模型，Taalas的方案是通过多芯片协同工作，将SRam部分分离到独立的芯片上，以提高每颗芯片的存储密度，让每颗定制化的HC1芯片能够承载约200亿参数。整个671B的模型，大约需要30颗芯片协同工作。虽然30颗芯片意味着需要30次增量流片，但是由于每次流片只需要修改两层掩模，增量流片的成本并不高。
从模拟结果来看，这套由30颗HC1芯片组成的系统，在运行DeepSeek R1 671B模型时，能够达到约每用户每秒一万两千 token的推理速度。而当前GPU在该模型上的最优推理水平，大约只有每用户每秒两百token，性能差距依然达到了60倍。在推理成本方面，这套30芯片系统的推理成本约为每百万token 7.6美分，不到GPU吞吐优化方案的一半。即使考虑到GPU的更新周期为四年，而HC1需要每年根据模型进行更换，其总成本依然具备显著的优势。
不过需要注意的是，这些数据目前还停留在模拟阶段。实际的多芯片系统，还面临着互联、同步、良率等诸多工程挑战。30颗大面积芯片协同工作的验证复杂度，更是呈指数级增长。巴伊奇也坦言，因为芯片完全不可编程，出错的余地基本为零。唯一能建立信心的方法，就是在流片前对整个模型进行完整的仿真。而如何在合理的时间内，完成30颗芯片的联合仿真，本身就是一个巨大的工程问题。目前Taalas声称已经建立了可以在大规模计算集群上运行的仿真流程，来应对这一挑战。
当然，除了仅支持单一模型这个核心局限，HC1还存在着一个明显的技术问题，那就是模型的质量退化。为了实现极致的性能和集成度，HC1使用了自定义的3比特基础数据类型，进行激进的量化处理，同时结合3比特和6比特的参数。这种激进的量化方式，虽然能够大幅降低数据的存储需求，提高计算速度，但也会带来相对于标准量化模型的质量损失。
对于这一点，Taalas也并未回避，公开承认HC1在模型的质量基准测试中，会出现一定的退化。比如在一些简单的数学计算、细节推理方面，会出现精度不足的问题。
为了解决模型质量退化的问题，Taalas也公布了他们的第二代产品规划，也就是HC2平台。HC2将放弃自定义的3比特数据类型，采用标准的4比特浮点格式，来改善模型的推理精度问题。同时，还会进一步提高芯片的存储密度和运行速度。按照Taalas的规划，基于HC1平台的第二款产品，预计是一个中等规模的推理模型，计划在2026年春季在实验室完成研发，随后接入实际的推理服务。而基于HC2平台的前沿大模型版本，则计划在2026年冬季完成部署。届时不仅能够解决推理精度的问题，还能支持更大规模的大模型推理。
从整个AI推理芯片市场的格局来看，Taalas HC1的出现，让AI推理芯片的专用化程度，形成了一条清晰的光谱。
在这条光谱的一端，是以英伟达GPU为代表的高度通用方案，能够适配几乎所有的AI模型，拥有成熟的Cuda软件生态、开发工具链和庞大的工程师社区。这也是英伟达能够长期占据AI芯片市场主导地位的核心原因。
在光谱的中间位置，是Groq、Cerebras、SambaNova等公司，它们设计了针对推理优化的定制架构，但依然保留了可编程性，能够运行多种不同的模型，在通用性和效率之间做出了平衡。
而Etched则更往前走了一步，专门针对Transformer架构设计芯片，牺牲了部分灵活性来换取更高的效率。
而Taalas则直接站在了这条光谱的最末端，成为了极端专用化的代表，将一个特定的模型直接焊死在硅片里，彻底放弃了通用性，换取了极致的性能、成本和功耗优势。
这种极端专用化的技术路线，也引发了行业内的巨大争议。市场对HC1的评价呈现出明显的两极分化。
一方面，体验过HC1的用户，都对其极致的推理速度感到震撼。Taalas也上线了体验网站chatjimmy.ai，让用户能够直观感受HC1的性能。有用户测试医疗相关的提示词，得到了每秒一万五千八百 token的推理速度。还有用户表示，“你敲下回车的瞬间，答案就像预谋已久一样扑在屏幕上，那根本不是秒回，那是啪地一下砸你脸上。”甚至有用户在体验后发出感叹，“等待大模型思考的时代已经终结了。”
这种亚毫秒级的即时响应速度，对于一些对延迟要求极高的场景来说，具有巨大的应用价值。有行业人士认为，HC1的超低延迟和较低的单芯片功耗，非常适合具有稳定专用模型的机器人应用，包括底层运动控制、传感器融合、视觉语言动作模型、场景理解和任务规划等，能够推动具身智能等前沿领域的发展。
另一方面，反对的声音也同样明确。核心的质疑主要集中在两个方面：一是模型的推理精度问题，激进的3比特量化导致HC1在细节推理、数学计算等方面存在明显的不足，甚至出现严重的幻觉问题。二是模型迭代带来的芯片过时问题。当前AI领域的模型迭代速度极快，去年的前沿模型，今年可能就会被新的模型淘汰，而HC1只能运行单一的模型。一旦模型过时，这颗满载尖端科技的硅片，就会瞬间沦为电子垃圾。
还有一个有趣的观点是，HC1这种每秒一万七千 token的极致推理速度，可能并不是为人类交互设计的，而是为了智能体之间的相互对话。当前AI智能体的发展趋势是多智能体协同工作，不同的智能体之间需要进行高速的信息交互和协作，而人类的阅读和理解速度，根本无法跟上这样的输出速度。因此，这种极致的速度，更适合智能体之间的实时通信，能够大幅提高多智能体系统的工作效率。
在商业模式方面，Taalas目前还处于摸索阶段。公司的产品副总裁帕雷什·卡里亚，这位此前在英伟达长期任职的行业老兵，透露了Taalas可能的三个商业模式方向：一是自建基础设施，运行开源模型并提供API推理服务，让客户能够通过云端调用HC1的推理能力；二是直接向客户出售芯片，为有定制化需求的客户，提供专属的模型芯片；三是与模型开发者合作，为他们的模型定制专用芯片，供其自有推理基础设施使用。
至于哪种模式最终能够跑通，还取决于市场对这种极端专用化方案的接受程度，以及Taalas能否解决当前芯片存在的推理精度、多芯片协同等问题。
从更宏观的行业角度来看，Taalas HC1的出现，也引发了整个AI芯片行业，对通用计算和专用计算路线的深度思考。过去三十年，无论是CPU还是GPU，甚至是后来的各种AI加速器，整个硅谷都在疯狂追求造一个通用的计算平台，希望通过一个通用的硬件平台，支持各种不同的软件和应用。这种思路造就了英伟达GPU的成功，也形成了成熟的软件生态。但是这种通用计算的思路，也带来了存算分离的先天瓶颈。为了支持多种不同的模型和应用，不得不牺牲一定的性能和效率。
而Taalas则选择了一条完全相反的路，通过极端的专用化，换取极致的效率。这种思路也让很多人联想到了人类的大脑。人类的大脑本质上也是一种硬件固化的结构，不同的区域负责不同的功能，无法像通用计算机一样，随意切换计算任务，但却实现了极致的能效比和计算效率。哈佛和谷歌的研究团队，耗费十年时间，才勉强绘制出1立方毫米、比米粒还小的人脑图谱。这1立方毫米的大脑组织，包含了五万七千个细胞、1.5亿个突触、230毫米的血管网络，压缩成了1.4P·B的原始数据。而完整的人类大脑，比这一区域大一百万倍，其复杂程度和能效比，足以让地球上所有的AI实验室集体汗颜。
这也让我们意识到，在AI芯片领域，通用和专用或许并不是非此即彼的选择，而是可以相互补充的两条路线。正如卡里亚所说，“模型最优硅片不会取代满是GPU的大型数据中心，但它会适合某些应用。”未来的AI芯片市场，大概率会形成这样的格局：云端的大型数据中心，依然会以英伟达GPU这样的通用计算芯片为主，支持大规模的模型训练、多模型推理和复杂的AI应用。而在边缘端、物联网、机器人、实时交互等特定场景，则会出现越来越多像HC1这样的极端专用化芯片，以极致的性能、成本和功耗，满足垂直场景的需求。
留比沙·巴伊奇在博客中，用ENIAC到晶体管的演化做类比，暗示当前以GPU数据中心为核心的AI基础设施，可能只是早期的笨重原型，未来终将被更高效的方案取代。这个类比虽然有一定的道理，但是我们也需要清醒地认识到，GPU数据中心的暴力，并不仅仅体现在硬件层面，更重要的是它背后的整个软件生态、成熟的开发工具链和庞大的工程师社区。颠覆硬件容易，颠覆生态难。
Taalas的HC1芯片，或许在特定场景下拥有压倒性的性能和成本优势，但是要成为主流路线的替代方案，需要的远不止一颗跑得快的芯片，还需要建立起相应的软件生态、定制化服务体系，以及解决模型迭代带来的芯片更新问题。
对于Taalas来说，HC1的发布只是一个开始。如何解决推理精度问题，如何实现多芯片协同的工程落地，如何找到适合的商业化场景，如何在模型快速迭代的背景下，保持芯片的生命力，都是需要面对的挑战。
而对于整个AI芯片行业来说，HC1的出现，为行业打开了一扇新的大门，让我们看到了AI芯片专用化的巨大潜力，也让更多的企业开始思考，如何在通用和专用之间找到更优的平衡。
感谢收看本期视频，我们下期再见。