「自研芯片能不能打赢英伟达」的争论,从今天起不再停留在口头上。OpenAI 首颗自研推理芯片 Jalapeño 交出了首批实测成绩,SemiAnalysis 进实验室独立复测确认:在三个公开模型上,它每瓦完成的 AI 工作量比英伟达 GB200/GB300 系统高 1.5–1.9 倍,端到端延迟低 1.7–3.6 倍,高交互场景性能高 2.1–4.1 倍。比数字更值得注意的,是这颗芯片怎么来的——从设计到流片只用了 9 个月,GPT-6(GPT-Astra)全程参与设计。AI 设计芯片、芯片跑 AI、AI 再优化芯片上的 AI,这个飞轮第一次在量产级硅片上闭环。
实测数字:Jalapeño 到底赢了多少
OpenAI 用 SemiAnalysis 的公共基准 InferenceX,测了三个覆盖不同规模的公开模型:GPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1T。官方口径:
- 峰值吞吐下,每瓦 AI 工作量高 1.5–1.9 倍
- 端到端延迟低 1.7–3.6 倍
- 高交互负载性能高 2.1–4.1 倍
- 标称 700W,实测持续功耗 ≤550W(GB300 标称 1400W)
SemiAnalysis 的独立数据更细:GPT-OSS 120B 上,Jalapeño 每秒吐 1,459 个 token,GB200 只有 535 个(2.7 倍差距);跑完一个完整请求只要 1.65 秒,GB300 要 5.99 秒。把 GB300 逼到它自己的解码上限(169 token/s)时,Jalapeño 在那个工作点的吞吐是它的 104.3 倍——同一模型,交互需求越高,领先幅度从 1.7 倍一路拉到 104.3 倍。算全系统成本(供电、散热、网络摊到每颗芯片),Jalapeño 每芯片每小时 1.56 美元,和 H100 的 1.55 美元几乎持平,Vera Rubin 则要 3.61 美元。更要命的是:这些成绩是在投机解码、token 预测全关、prefill/decode 未分离的情况下拿到的,对照组全都跑在各自最优配置。SemiAnalysis 估算,光投机解码一项,还能再把每 token 成本压掉三分之二以上。
为什么 Agent 改变了评分标准
比峰值吞吐是旧世界的比法,天然偏向大功率怪兽。Agent 打破了这套框架:一个任务要串行跑几十步,每步差 4 秒,乘起来就是几分钟。所以 OpenAI 用的是「匹配用户体验」的口径——在满足交互延迟的前提下,每瓦能干多少活。104.3 倍那个极端点也因此重要:对手在解码上限处喘不过气的地方,正是 Agent 工作负载的日常。
九个月流片:AI 设计了芯片本身
最颠覆的数字不是吞吐,是时间。OpenAI 从设计到流片只用了 9 个月,行业常规是 18–36 个月。加速器是 GPT-Astra(外界称为 GPT-6):它帮着探索实现方案、压缩「设计-测量-验证」循环,甚至微操算术电路。SemiAnalysis 挖到的数据:AI 辅助设计让 SIMD 单元面积缩小 8%、矩阵引擎面积缩小 10%,时序和功耗还优于初版;AI 手写的注意力与 MoE 模块代码,比人类顶尖专家快 1.5–1.8 倍。计算 die 约 840mm²,距 EUV 光刻 858mm² 的掩模版极限只差 18mm²。飞轮已经转起来了:AI 设计芯片,芯片跑 AI,AI 回头优化芯片上的 AI。SemiAnalysis 说得更狠——跑在英伟达 GPU 上的 GPT-5.6 Sol,被用来设计了一颗真正威胁 CUDA 护城河的芯片:英伟达的 GPU 正在催生自己的接班人。
CUDA 护城河,死了吗?
近二十年,CUDA 的锁定效应是全行业最深的护城河:工程师的肌肉记忆、二十年积累的软件栈、换硬件就得推倒重来的迁移成本。SemiAnalysis 的结论很重:护城河「可能已经死了」,理由是速度。英伟达的 Rubin 其实比 Jalapeño 早一个月完成 CoWoS 流片,但外界至今只能看到 CoreWeave 工程样片那点数据;OpenAI 直接把第三方请进实验室随便测。硬件本身没毛病,问题出在软件起步的速度。从零开始反而让 OpenAI 占了便宜——没有历史包袱,架构可以按白纸画。护城河之争,从观点变成了测量。
接下来看什么:Gen2、10GW 与全栈
Jalapeño 只是多代平台的第一代,路线图写得很明白:Gen2 深度开发中,Gen3 成形中,2027 年量产爬坡,下一个里程碑是 100MW。背后是去年 10 月与博通签的 10GW 定制加速器大单——大约相当于十座核电机组满发。机柜级一柜 128 颗芯片,CPU 柜加 ASIC 柜合计约 160kW。能效指标同样拉开差距:每瓦 HBM 带宽 22,Rubin 是 11.1,GB300 只有 5.71;每瓦 FLOPs 与 Rubin 打平(19.1 vs 19.4),但 Jalapeño 只要 700W,Rubin 要 1800W 以上。B0 步进已在晶圆厂,每瓦性能比 A0 再高约 25%。
这也是更大图景的一部分:全行业围绕股权、长约与定制芯片的算力争夺(见我们的芯片土地争夺分析),以及同一飞轮在 EDA 工具里的落地——Cadence ChipStack 已把芯片验证交给 AI。英伟达还坐在王座上,但这一次,替代者没有在门外排队——它已经跑进了机房,而且下一代还是它自己设计的。想看这颗芯片如何做到这些数字,可续读Jalapeño 架构与全栈整合拆解。
你现在该做什么
- 重算推理成本模型。一颗 700W、TCO 与 H100 持平的芯片每瓦多干 1.5–1.9 倍的活,每 token 的成本曲线就得重画——尤其 Agent 场景,延迟还会乘数放大。对照Token 成本五层蛋糕,芯片效率不再是瓶颈后,账单结构会怎么变。
- 别再拿 CUDA 当英伟达硬件的同义词。真正的资产是软件生态,以后要比的是软件适配速度,不是纸面参数。供应商风险账本已经变了。
- 用交互口径做基准。别测峰值批量,测「Agent 实际需要的延迟下每瓦多少 token」——这个数会决定你下一份算力合同。
- 留意飞轮进入你的工具链。AI 辅助设计把 18–36 个月的 ASIC 周期压到 9 个月。评估任何芯片方案时,先问一句:他们的设计流程里 AI 干了什么?
- 盯着 2027 年。Gen2 量产、投机解码开启、10GW 部署放量之后,今天的 token 单价会像历史文物。
常见问题
OpenAI 真的在推理上打赢英伟达了吗?
在 SemiAnalysis 的 InferenceX 基准上,三个公开模型(GPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1T)里,Jalapeño 每瓦工作量高 1.5–1.9 倍、端到端延迟低 1.7–3.6 倍、高交互场景高 2.1–4.1 倍,标称 700W(实测 ≤550W)。
这是不是说明 CUDA 完了?
不是完了,但争论进入了可测量阶段。SemiAnalysis 认为护城河可能已死,因为软件适配速度比软件栈深度更重要:Rubin 早一个月流片,至今没有独立实测,OpenAI 却把第三方请进了实验室。
Jalapeño 为什么这么快?
围绕 Agent 负载做系统级协同设计——KV cache 显式本地放置、网络内置、840mm² die 逼近 EUV 极限;再加上 GPT-Astra 辅助设计(SIMD 面积 -8%、矩阵引擎 -10%)。而且它还没开投机解码,SemiAnalysis 估计仅此一项就能再压掉三分之二成本。