NVIDIA H100 Tensor Core GPU 是英伟达（NVIDIA）于 2022 年发布的旗舰级数据中心芯片，也是支撑上一轮全球生成式 AI 和百亿/千亿级大模型爆发的核心算力基石。它的命名致敬了计算机科学先驱 Grace Hopper。
与消费级显卡不同，H100 并非用于游戏渲染，而是专为高密度 AI 训练、大模型推理以及超算（HPC）打造的算力引擎。
一、 核心架构亮点与四大黑科技
H100 采用台积电定制的 4nm (4N) 制程，容纳了 800 亿个晶体管。使其在 AI 基础设施中奠定霸主地位的，主要是以下四项关键突破：
1. Transformer Engine（Transformer 动态混合精度引擎）
Transformer 是现代大语言模型（如 GPT、Llama、Claude）的骨干网络。H100 引入了硬件级的 Transformer Engine，配合第四代 Tensor Core，可以实现 FP8（8 位浮点） 和 FP16 精度的无缝动态切换。
-
在不损失模型收敛效果的前提下，显着降低了计算量与显存占用。
-
相比上一代 A100，大模型训练速度提升高达 3~6 倍。
2. 第 4 代 NVLink 高速互连
大模型训练依赖数千甚至上万张 GPU 并行，卡间通信带宽往往是性能上限的决定因素。
-
H100 搭载第 4 代 NVLink，单卡双向通讯带宽高达 900 GB/s（是 PCIe 5.0 带宽的 7 倍以上）。
-
搭配 NVLink Switch 交换机，可支撑成千上万张 H100 组成拓扑无瓶颈的超级算力集群。
3. DPX 动态规划加速指令集
H100 在 SM（流处理器）中集成了全新的 DPX 指令，专门为动态规划算法（Dynamic Programming）提供硬件加速。
-
广泛运用于 DNA 序列比对、路经规划、装箱优化等经典算法。
-
相比上一代 GPU，处理动态规划任务的计算速度提升最高达 7 倍。
4. 机密计算（Confidential Computing）
H100 是全球首款支持硬件级机密计算的数据中心 GPU。即使在公有云或多租户（Multi-tenant）环境下，也能保护用户训练数据和大模型权重在传输与计算过程中的隐私与安全。
二、 硬件形态与形态分类
H100 在实际交付时主要有三种物理形态：
| 形态分类 | 接口与总线 | 功耗 (TDP) | 显存带宽 | 适用场景 |
| H100 SXM5 | SXM 专用板载接口 / NVLink 4 | 700W | 3.35 TB/s (HBM3) | 专为大模型训练集群打造，通常 8 卡一组搭建在 HGX H100 服务器中 |
| H100 PCIe | 标准 PCIe 5.0 插槽 | 350W – 400W | 2.0 TB/s (HBM2e) | 易于插装在常规企业服务器中，适合通用 AI 推理与常规训练 |
| H100 NVL | 双卡 NVLink 桥接的 PCIe 版 | 350W/卡 (共 700W) | 7.8 TB/s (合并) | 专为 LLM 大模型推理（Inference）优化，双卡组成 188GB 显存 |
三、 详细性能参数对比
| 规格维度 | NVIDIA A100 (上一代) | NVIDIA H100 (SXM) | 性能提升 |
| 架构代号 | Ampere (安培) | Hopper (霍珀) | 架构迭代 |
| 工艺制程 | TSMC 7nm | TSMC 4nm (4N) | 密度剧增 |
| 显存容量 | 80GB HBM2e | 80GB HBM3 | 性能升级 |
| FP64 双精度 | 19.5 TFLOPS | 34 TFLOPS | ~1.7x |
| FP16 / BF16 算力 | 312 TFLOPS (无稀疏) | 989 TFLOPS (无稀疏) | ~3.1x |
| FP8 算力 | 不原生支持 | 1,978 TFLOPS (含稀疏) | 全新维度突破 |
| 单卡互连带宽 | 600 GB/s (NVLink 3) | 900 GB/s (NVLink 4) | +50% |
四、 行业地位与影响
-
AI 时代的「数字黄金」：在 2023-2025 年的大模型竞赛中，H100 一度遭遇全球大范围缺货，甚至成为各大科技巨头（如 Meta、Microsoft、OpenAI、xAI）固定资产储备与技术实力的代名词。
-
算力基础设施的标准单位：由于其出色的能力，行业在评估数据中心集群规模时，普遍将“相当于多少张 H100”作为通用的「H100 等效算力」标准。
-
推动 Blackwell 等下一代架构：H100 奠定了 Hopper 架构的成功，也为英伟达后续推出的 Blackwell 架构（如 B200 / GB200）在多卡互连与超高功率设计上积累了关键经验。