# 两个不同的战场

> 《看懂英伟达》系列 · 第 03 篇 · 训练与推理
> 阅读时间约 12 分钟

---

## 一个正在发生的结构性变化

你买英伟达，大概率是因为"AI 算力需求爆炸"。但"AI 算力"不是一个整体——**它正在分裂成两个规则完全不同的战场，而英伟达在这两个战场的处境，截然相反。**

| 维度 | 训练 | 推理 |
|------|------|------|
| 干什么 | 教 AI 模型"学会"能力 | 让训练好的模型"干活"回答问题 |
| 核心指标 | 单次训练时间 + 可靠性 | 每美元产出多少 token、延迟多低 |
| 客户类型 | 全球约 30 家前沿实验室 + 主权 AI | 数千家 SaaS 公司、企业 |
| 价格敏感度 | **低**（1% 性能值数亿美元） | **极高**（直接算 token 成本） |
| 互联需求 | 万卡 NVLink + InfiniBand | 单卡到 8 卡，小集群即可 |
| 精度需求 | FP16 / FP8 / BF16 | INT8 / INT4 / FP4（越低越省钱） |

**简单说：训练买"性能极致"，推理买"性价比"。**

而推理市场正在快速超过训练市场：

| 年份 | AI 加速器总市场（估） | 推理占比 | 推理/训练 |
|------|---------------------|---------|-----------|
| 2023 | ~$1,000 亿 | 33% | 0.5 倍 |
| 2025 | ~$2,100 亿 | 50% | 1 倍 |
| **2026** | ~$2,500-2,800 亿 | **67%** | **2 倍** |
| 2030（估） | ~$6,000-10,000 亿 | 65-80% | 2-4 倍 |

> 数据来源：Deloitte TMT 预测 2026、MarketsandMarkets、Gartner

**2026 年是拐点**——推理算力首次占到 AI 总算力的 2/3。这意味着 AI 芯片市场的重心正在从英伟达最强的领域（训练），转向英伟达相对最弱的领域（推理）。

---

## 训练战场：英伟达仍是唯一选项——但不会永远

### 为什么训练端难以撼动

训练前沿大模型（GPT-5、Claude 4、Gemini 3 级别）需要**数万块 GPU 连续运行数月**。在这个场景下，英伟达有两个别人做不到的事：

**1. NVLink / NVSwitch 全互连**

英伟达的 GB200 NVL72 可以把 72 块 GPU 全部互连，带宽 **1.8 TB/s**——相当于一台超级计算机。竞品的互连带宽只有英伟达的 1/2 到 1/6。

训练大模型时，GPU 之间需要不断交换数据（all-reduce 通信）。互连越快，训练越高效。在 10 万卡级训练集群中，NCCL + NVLink + InfiniBand 三件套是英伟达的**最硬护城河**。

**2. 系统级可靠性**

训练一次前沿模型可能花费数千万美元。如果训练到第 80 天因为硬件或软件故障崩溃，就要从头来——或者至少回退到最近的检查点。

英伟达在大集群训练的故障检测、自动恢复方面积累了多年经验。Meta 的学术论文显示，10 万卡级训练的故障检测 + 恢复需要 **3 分钟**级响应。**目前没有一起公开的前沿大模型训练失败被归因于"非 CUDA 栈缺陷"。**

### 唯一的例外：Google

**Google 是全球唯一已证明可以完全不用英伟达 GPU 训练前沿大模型的公司。**

Gemini 3 完全在 TPU 上训练——没有使用任何英伟达 GPU。TPU Ironwood（v7）的集群规模达到 9,216 芯片/Pod，用 3D torus 拓扑实现全互连，集群总算力 42.5 ExaFLOPS。

但 Google 之外——OpenAI、Anthropic、Meta、xAI——在训练端仍深度依赖英伟达。

**反方观点**：AWS 的 Trainium2 已在 Project Rainier 中部署近 50 万颗，Anthropic 在用它训练模型。虽然目前还没有公开证据表明 Trainium2 能训练 GPT-5 级别的最前沿模型，但差距正在缩小。2027 年的 Trainium3 可能成为训练端的第二个替代选项。

### 训练份额展望

| 时间 | 英伟达训练份额 | 最大挑战者 |
|------|-------------|-----------|
| 2026 | **>90%** | Google TPU |
| 2029（估） | **70-80%** | TPU + Trainium3 |
| 2031（估） | **55-65%** | 多家 ASIC |

---

## 推理战场：英伟达最脆弱的地方

### 为什么推理市场更容易被撕开

训练市场是"赢家通吃"——你必须有最强的芯片和最大的集群。推理市场是"百花齐放"——不同场景需要不同方案。

| 推理场景 | 核心需求 | 最佳方案 |
|---------|---------|---------|
| 交互式对话（ChatGPT） | 低延迟（<100ms） | 英伟达 TensorRT-LLM 或 Groq LPU |
| 批量处理（文档总结） | 高吞吐、低成本 | AMD MI355X、DeepInfra |
| 推荐系统（Meta 广告排序） | 超大规模、低功耗 | Meta MTIA |
| 云端 API 服务 | 灵活调度 | AWS Trainium / Google TPU |
| 边缘设备 | 功耗极低 | 专用 ASIC |

**推理市场天然更分散、更价格敏感。** 英伟达的"一款 GPU 打天下"策略在推理端面临更大挑战。

### 推理端的三股挑战力量

#### 力量 1：超大客户自研芯片

4 大云厂商全部有自研推理芯片，且已进入规模化部署阶段：

| 客户 | 自研芯片 | 推理定位 | 部署规模（2026） |
|------|---------|---------|----------------|
| AWS | Trainium2 / Inferentia2 | 通用推理 | **50-100 万颗** |
| Google | TPU Ironwood | 推理 + 训练 | **40 万颗合同**（Anthropic） |
| 微软 | Maia 200 | **纯推理**（服务 GPT-5.2） | 已在 Iowa 部署 |
| Meta | MTIA 300-500 | 推荐排序推理 | **数十万颗** |

> 数据来源：各公司官方公告、Bloomberg 2026-04-06

**关键细节**：Google 的 TPU 正在从"自用"变成"外售"。2026 年，Anthropic 签下了 **$500 亿+** 的 TPU 采购合同（通过 Broadcom 直购），Meta 也在租赁 Google TPU。这意味着 TPU 从内部成本中心变成了对外销售的商品——**直接和英伟达抢客户**。

#### 力量 2：AMD 性价比攻势

AMD 的 MI355X（2026 年下半年）在大批量推理场景下，TCO（总拥有成本）已经**持续优于英伟达同级产品**：

- Batch 64+ 大批量推理：**每 token 成本比 B200 低 35-45%**
- vLLM 框架兼容性：CI 通过率从 2025 年 11 月的 37% 提升至 2026 年 1 月的 **93%**
- 288GB 大显存在长上下文推理场景有天然优势

> 数据来源：TensorWave 实测（2026）

**AMD 的软肋**：低延迟推理（Batch 1-4）仍落后英伟达 **20-30%**，且长尾客户难以触达（ROCm 生态仍弱）。

#### 力量 3：推理专用芯片

| 公司 | 产品 | 推理性能 | 成本 | 最新动态 |
|------|------|---------|------|---------|
| Groq | LPU | Llama 70B **300 tokens/s**（H100 的 10 倍） | $0.64/百万 tokens | **2025 年 12 月被英伟达 $200 亿收购** |
| Cerebras | WSE-3 | Llama 405B **>1,000 tokens/s** | $0.60/百万 tokens | **2026 年 4 月 OpenAI $200 亿订单** |

> 数据来源：GoPenAI 2025 基准测试、公开报道

**英伟达收购 Groq 是一步防御棋**——消除了低延迟推理市场最大的威胁，同时整合到自己的产品线中。但 Cerebras 拿到 OpenAI 大单，说明推理专用芯片已经"破圈"——不再是实验室产品，而是真金白银的大规模部署。

### 一个被忽视的变量：test-time compute

推理市场有一个对英伟达有利的变量——**test-time compute scaling**。

以 Claude 的"思考模式"和 OpenAI 的 o1/o3 为例：每次推理不再是简单的"输入→输出"，而是模型在回答之前进行大量内部计算。这使得单次推理的算力需求增加 **10-100 倍**。

**如果 AI 应用越来越多地使用"深度思考"模式，推理端的算力需求将比市场预期更大**——这是英伟达推理业务的最大增长驱动力。

**反方观点**：算法效率也在快速提升。DeepSeek V3 用 $560 万训练出了接近 GPT-4 水平的模型，训练成本是 GPT-4 的 1/20。如果推理端也出现类似的效率革命，"算力需求无限增长"的假设就会被打破。

---

## 英伟达的推理产品线——它在怎么应对

英伟达不是坐以待毙。它的推理产品线正在快速迭代：

| 产品 | 显存 | 推理算力 | 价格（估） | 发布时间 |
|------|------|---------|-----------|---------|
| H200 | 141 GB HBM3e | — | $35-45K | 已发售 |
| B200 | 192 GB HBM3e | FP4 18 PFLOPS | $35-45K | 已发售 |
| GB200 NVL72 | 13.5 TB（系统级） | FP4 1.4 EFLOPS | $300-350 万/机柜 | 已发售 |
| B300 / Blackwell Ultra | 288 GB | FP8 ~12 PFLOPS | $45-50K | 2025 Q4 |
| Rubin (R100) | HBM4 | ~50 PFLOPS | 待定 | 2026 下半年 |
| **Rubin Ultra NVL576** | **365 TB/机柜** | **FP4 15 EFLOPS** | 待定 | **2027 下半年** |

**关键看点**：Rubin Ultra NVL576 是 576 块 GPU 全互连的超级系统，算力是 GB200 NVL72 的 **14 倍**（FP4 15 EFLOPS vs 1.4 EFLOPS）。如果按期交付且性能达标，英伟达的推理护城河可以再延长 3 年。

**同时在软件端**：TensorRT-LLM → NIM 容器化，让同一块 GPU 的有效推理性能提升 **2-3 倍**。这是英伟达"用软件补硬件"的策略——即使硬件被追近，软件优化仍能保持 TCO 领先。

---

## 推理份额展望：从 75% 到 50%

综合以上分析，英伟达推理份额的演化路径大致如下：

| 时间 | 推理份额 | 绝对推理收入（估） | 驱动因素 |
|------|---------|-------------------|---------|
| 2024 | ~90% | ~$300 亿 | GPU 独占 |
| 2026 | **65-75%** | **~$450 亿** | 自研 ASIC 开始规模部署 |
| 2028（估） | **40-50%** | **~$600-800 亿** | Maia/MTIA/Trainium 规模化 |
| 2030（估） | **45-55%** | **~$1,000-1,200 亿** | 市场扩大抵消份额下降 |

**核心判断：份额下降是确定的，但绝对收入仍在增长。** 因为推理市场的总盘子在快速扩大——从 2024 年约 $300 亿扩张到 2030 年可能 $2,000 亿+。

**对估值的影响不在份额，而在毛利率**。推理市场更价格敏感，英伟达需要更多地靠"量"而非"价"来增长。毛利率从 75% 降至 65-70% 是**大概率事件**。

---

## 本篇结论

| 判断 | 结论 |
|------|------|
| 训练端安全吗？ | **2-3 年内安全**（>80% 份额），但 Google TPU 和 Trainium3 正在逼近 |
| 推理端怎么样？ | **正在被三股力量侵蚀**（自研 ASIC + AMD + 专用芯片），份额将从 75% 降至 50% |
| 绝对收入会跌吗？ | **大概率不会**——市场扩张速度 > 份额下降速度 |
| 什么会跌？ | **毛利率**。从 75% 降至 65-70% 是结构性趋势 |
| 关键时间节点？ | **2027 年下半年**——Rubin Ultra 交付 + OpenAI Titan 量产，是护城河的验证窗口 |

---

## 下期预告

下一篇是整个系列最尖锐的一篇——**四面楚歌：竞争与威胁**。

英伟达面对的不是一个对手，而是一整个"反英伟达联盟"：Google TPU 外售、AWS 百万颗 Trainium、微软 Maia、Meta MTIA、博通帮所有人造芯片、华为在中国市场蚕食。

要回答的问题：

- 四大客户自研芯片到底走到了哪一步？
- 博通为什么是比 AMD 更危险的威胁？
- AI 编程工具 + 开源编译器 = CUDA 护城河的终结？
- 中国市场是"已消化的损失"还是"永久失去的增量"？

---

*本文是《看懂英伟达》系列第 03 篇。*
*本系列不构成任何投资建议。*