Menu Close

Micron Technology

Micron Technology 美光科技:HBM 高带宽存储器AI 存储芯片企业

Micron Technology

Micron Technology,中文通常称为“美光科技”,是美国最重要的存储器半导体企业之一,也是全球少数能够大规模生产先进 DRAM、NAND Flash 和 HBM 高带宽存储器的公司。

随着生成式人工智能大语言模型GPUAI 加速器快速发展,美光已经把 HBM、服务器 DRAM、数据中心 SSD 和其他 AI Memory 产品作为公司最重要的增长方向之一。

美光成立于 1978 年,总部位于美国爱达荷州博伊西。公司最初是一家只有四个人的半导体设计企业,后来逐渐成长为全球大型存储器制造商。

美光目前生产 DRAM、NAND 和 NOR 等主要存储器技术,产品广泛用于 AI 数据中心、服务器、个人电脑、智能手机、汽车和工业设备。

美光的核心业务是什么

美光NVIDIAAMDIntel 这样的处理器企业不同,它的核心不是设计 CPUGPU,而是制造计算机系统需要的存储器和数据存储芯片

对于现代 AI 服务器来说,仅仅拥有非常强大的 GPU 并不够。GPU 在执行人工智能计算时,需要不断读取神经网络参数、训练数据和中间计算结果。

如果存储器无法足够快地提供数据,GPU 的大量计算单元就可能等待,这种现象通常被称为“Memory Bottleneck”,也就是内存瓶颈。

因此,AI 芯片性能不断提高的同时,对存储器带宽、容量和能源效率的要求也越来越高。

美光目前的 AI 产品组合包括 HBM、DRAM 和数据中心 SSD,可以覆盖 AI 系统从靠近 GPU 的高速内存,到服务器主内存,再到大容量数据存储的多个层级。

HBM 高带宽存储器

HBM 是 High Bandwidth Memory 的缩写,中文通常称为“高带宽存储器”。

HBM 本质上属于 DRAM,但它和传统 DDR 内存的结构不同。

HBM 会把多层 DRAM 芯片垂直堆叠,并通过 TSV,也就是 Through-Silicon Via,硅通孔技术建立大量垂直连接,使存储器能够同时通过大量数据线路与 GPUAI 加速器交换数据。

简单来说,普通 DDR 内存更像一条比较宽的公路,而 HBM 更像同时建立了大量并行车道,因此能够一次传输更多数据。

这也是 HBM 特别适合 GPUAI 加速器和超级计算机的重要原因。

目前美光已经形成 HBM3E 和 HBM4 产品线,并把 HBM 定位为 AI 数据中心最重要的存储器产品之一。

Micron HBM3E

HBM3E 是 HBM3 的增强版本,是当前高性能 AI GPU 使用的重要存储器技术之一。

美光的 HBM3E 每个堆栈可以提供超过 1.2 TB/s 的内存带宽。这里的 TB/s 是 Terabytes per second,也就是“每秒太字节”,表示一秒钟能够传输多少数据。

美光已经提供 24GB 的 8 层 HBM3E,同时也拥有 36GB 的 12 层 HBM3E。24GB 8 层 HBM3E 已经用于 NVIDIA H200 Tensor Core GPU

所谓“8 层”或者“12 层”,是指一个 HBM 封装内部垂直堆叠了多层 DRAM 芯片。增加堆叠层数,可以在不显著增加封装面积的情况下提高存储容量。

这对于 AI GPU 非常重要,因为现代大型语言模型需要同时保存越来越多的模型参数和运行数据。

如果 HBM 容量不足,系统就必须更加频繁地从速度较慢的其他存储层读取数据。

Micron HBM4

HBM4 是 HBM3E 之后的新一代高带宽存储器,也是未来 AI GPUAI 加速器的重要存储器技术。

美光已经进入 36GB、12 层 HBM4 的大规模生产阶段。

该产品采用 2,048 位宽接口,每个引脚的数据传输速度超过 11Gbps,每个 HBM4 堆栈的总带宽超过 2.8TB/s。

美光的 12 层 HBM3E 相比,HBM4 的带宽提高超过两倍,同时功耗效率提高超过 20%。

这里非常值得注意的是 HBM4 的 2,048 位接口。

HBM3E 使用的接口宽度为 1,024 位,而 HBM4 将接口扩大到 2,048 位。这意味着处理器与 HBM 之间拥有更多并行的数据通道,可以一次传输更多数据。

这也是为什么 HBM4 能够满足下一代大型 AI 模型、长上下文推理、多模态人工智能和科学计算对超高内存带宽的需求。

48GB 16 层 HBM4

美光还在继续增加 HBM4 的堆叠层数和容量。

2026 年,美光已经开始向客户提供 48GB、16 层 HBM4 样品。也就是说,一个 HBM 封装中可以垂直堆叠 16 层 DRAM,从而把单个 HBM4 堆栈容量提高到 48GB。

对于未来 AI GPU 来说,这一点非常重要。

例如一颗 AI 加速器如果周围安装多个 48GB HBM 堆栈,就能够拥有数百 GB 极高速本地存储器,使更大的 AI 模型能够更加接近 GPU 运行,而不需要频繁访问速度较慢的服务器主内存或者 SSD。

因此未来 HBM 的竞争不仅是“谁的速度更快”,还包括谁能够提供更大的容量、更低的功耗以及更可靠的先进封装。

DRAM

除了 HBM,美光还是全球主要 DRAM 制造商之一。

DRAM 是 Dynamic Random Access Memory,也就是“动态随机存取存储器”。普通电脑中的 DDR4、DDR5 内存,以及服务器中的大容量内存条,基本都属于 DRAM

HBM 其实也是一种特殊结构的 DRAM

AI 数据中心中,HBM 通常位于 GPUAI 加速器附近,为计算芯片提供极高带宽;服务器 DDR5 DRAM 则承担更大容量的系统主内存。

因此一个现代 AI 服务器通常同时需要 HBM 和 DDR5,而不是二选一。

随着 CPU 核心数量不断增加、AI 模型越来越大以及服务器运行的数据越来越多,大容量 DDR5 Server DRAM 仍然是人工智能基础设施的重要组成部分。

NAND Flash

美光的另外一个核心产品是 NAND Flash。

NAND Flash 是一种非易失性存储器。所谓“非易失性”,简单来说就是设备断电以后,数据仍然可以保存。

DRAM 和 HBM 在断电后数据通常会消失,因此主要用于程序运行过程中临时保存数据;

NAND Flash 则用于长期保存数据,是 SSD 固态硬盘最重要的基础芯片人工智能的发展同样需要大量 NAND。

训练大型 AI 模型可能需要数 PB 甚至更大的数据集,同时还要保存模型文件、Checkpoint、向量数据库、视频、图片、文本以及推理产生的数据,因此 AI 数据中心对高性能、大容量 SSD 的需求正在快速增加。

美光持续发展高密度 3D NAND,并将 NAND 与自己的 SSD 控制技术结合,生产面向数据中心和 AI 基础设施的企业级 SSD。

AI 数据中心 SSD

AI 系统中的 GPU 非常昂贵,因此数据中心设计的一个重要目标,就是尽可能避免 GPU 因为等待数据而闲置。

如果训练数据从 SSD 读取速度太慢,即使 GPU 本身计算速度非常高,也可能因为没有数据可处理而降低利用率。

美光因此将高性能 SSD 作为 AI Memory and Storage 战略的重要组成部分。

例如 Micron 9650 是面向数据中心的 PCIe Gen6 NVMe SSD。PCIe 是处理器与高速设备之间的重要连接接口,而 Gen6 表示第六代 PCI Express。

相比上一代 PCIe Gen5,PCIe Gen6 可以提供更高的数据传输能力。

美光还推出了容量达到 245TB 的 Micron 6600 ION NVMe SSD,用于 AI 数据湖和超大规模数据中心。单个 1U 服务器机架空间可以提供数 PB 级别的数据存储能力。

这说明 AI 存储的竞争已经不仅发生在 HBM,还包括大容量企业级 SSD。

CXL Memory

美光也在发展 CXL Memory

CXL 是 Compute Express Link 的缩写,是一种用于 CPUGPU、加速器和内存设备之间高速连接的互连标准。

传统服务器的 DRAM 通常直接连接 CPU 的内存控制器,因此一台服务器可以安装多少内存,会受到 CPU 内存通道和 DIMM 插槽数量限制。

CXL Memory 可以让服务器通过 CXL 接口增加额外的内存容量。

例如美光已经开发 CXL attached memory 产品,包括 CZ122 CXL Memory Module,用于帮助服务器扩大内存容量和带宽。

需要注意的是,CXL Memory 并不是一种类似 HBM、DRAM 或 NAND 的新型存储介质。

CXL 更像是一种“连接和使用内存的方法”。CXL Memory 设备内部通常仍然使用 DRAM,只不过通过 CXL 接口连接到处理器。

随着 AI 模型越来越大,CXL Memory 有可能成为未来 AI 服务器扩展大容量内存的重要技术之一。

美光在 AI 存储器产业中的位置

目前全球先进 HBM 市场主要集中在少数几家企业,美光SK hynixSamsung Electronics 是其中最重要的供应商。

这与普通半导体市场非常不同。

CPUIntelAMDAppleQualcomm 等大量企业,AI 加速器也有 NVIDIAAMDGoogleAmazonBroadcom 和大量创业公司,但能够真正大规模制造先进 HBM 的企业数量非常少。

原因是 HBM 不仅需要先进 DRAM 制造技术,还需要 TSV、晶圆减薄、多层堆叠、先进封装、散热控制和极高良率。

HBM 的制造难度远远高于普通 DRAM

因此随着 NVIDIAAMD 和其他 AI 芯片企业销售越来越多 AI 加速器,HBM 已经成为整个 AI 供应链中非常关键的一环。

从 Memory 公司转向 AI Memory 公司

美光过去通常被认为是一家传统存储器制造商。但 AI 正在改变这种定位。

现在美光提供的不只是电脑内存和 SSD,而是形成了一个从超高速 HBM,到服务器 DRAM,再到大容量 NAND SSD 的 AI 存储体系。

可以简单理解成:

靠近 GPU 的第一层,是速度最高的 HBM。

再往外,是容量更大的 DDR5 DRAM 和未来 CXL Memory

更大规模的数据,则存放在高速 NVMe SSD 中。

这些不同的存储层在速度、容量和成本之间进行平衡,共同组成现代 AI 数据中心的 Memory and Storage Hierarchy,也就是“存储层次结构”。

美光正好能够同时参与其中多个关键层级。

总结

Micron Technology 美光科技是全球领先的存储器和数据存储半导体企业,也是全球 AI Memory 产业的重要厂商之一。

公司的主要产品包括 HBM3E、HBM4、DDR5 DRAM、LPDDR、NAND Flash、数据中心 SSD 和 CXL Memory 等。

其中 HBM 已经成为美光人工智能时代最重要的战略产品之一。

美光目前已经大规模生产 36GB 12 层 HBM4,每个堆栈提供超过 2.8TB/s 的内存带宽,并正在向客户提供容量更大的 48GB 16 层 HBM4 样品。

随着 AI GPUAI 加速器和大型数据中心不断增加,计算能力正在快速增长,而如何快速向这些处理器提供数据正在成为新的技术瓶颈。

因此,未来人工智能芯片的竞争不仅是 GPUAI 加速器的竞争,也将越来越成为 HBM、DRAM、CXL Memory、NAND 和高性能 SSD 的竞争。

在这个新的 AI Memory 市场中,Micron Technology 已经成为全球最值得关注的核心企业之一。

Entires个相关