AI加速器企业：Rain AI——用数字存内计算和RISC-V降低AI算力功耗
Rain AI 是一家美国 AI 加速器企业，总部位于旧金山，主要开发面向人工智能推理和训练的高能效处理器。
与 NVIDIA、AMD 等采用传统 GPU 架构的企业不同。
Rain AI 把技术重点放在 Digital In-Memory Computing，数字存内计算，希望让神经网络的大量矩阵运算直接在存储结构附近完成，从而减少模型权重在内存和计算单元之间反复移动产生的巨大功耗。
Rain AI 目前同时推进 AI 加速器 IP 授权和独立硬件产品，其中 D-IMC 计算 Tile 及软件栈已经面向定制 SoC 提供授权，而独立 Rain AI 芯片仍处于即将推出阶段。
Rain AI 最初名为 Rain Neuromorphics，成立于 2017 年，早期技术来自美国佛罗里达大学相关研究。
创始团队包括 Jack Kendall、Gordon Wilson 和 Juan Claudio Nino。
2018 年，公司进入 Y Combinator Summer 2018，随后把研发重心转移到加利福尼亚。
Rain AI 今天仍然保留了早期“类脑计算”的思想，但公司的实际技术路线已经发生重大变化：
从最初探索模拟神经形态芯片和 memristive nanowire，转向更加容易使用现有半导体工艺大规模生产的 数字存内计算 D-IMC。
Rain AI 是做什么的？
现代 AI 芯片拥有非常强大的矩阵计算能力，但是计算单元必须不断从 SRAM、DRAM 或 HBM 中读取模型权重和中间数据。
随着大语言模型从几十亿参数扩大到几百亿甚至几千亿参数，芯片消耗的能源越来越多并不是单纯用在乘法和加法上，而是花费在 memory 和 processor 之间的数据传输上。
这就是所谓的 Memory Wall。
传统 GPU 解决这一问题的方法之一，是使用越来越快的 HBM，例如 HBM3E、HBM4，并不断增加 memory bandwidth。
Rain AI 采取的是另一种路线：既然数据搬运太耗电，就尽可能不要搬。
它把 memory 和 compute 更紧密地结合，让部分矩阵计算直接发生在存储结构内部。
这就是 Compute-in-Memory，也就是存内计算。
核心技术：Digital In-Memory Computing
Rain AI 当前最重要的技术是 D-IMC，也就是 Digital In-Memory Computing。
与传统处理器把内存和计算分开的冯·诺依曼架构不同，D-IMC 把计算能力直接加入存储阵列附近，使神经网络的矩阵乘法可以在数据所在的位置执行。
Rain AI 官方表示，其 D-IMC Core 针对 AI processing、data movement 和 data storage 进行统一设计，并且不仅支持 AI inference，也能够支持 training。
这一点非常重要。
很多 Compute-in-Memory 企业首先只针对 inference，因为推理时模型权重已经训练完成，相对容易固定下来。
Rain AI 则希望进一步支持训练以及 on-device fine-tuning。
如果这一目标能够真正大规模实现，那么未来手机、机器人、汽车和其他边缘设备就不仅可以运行 AI 模型，还可能直接在本地根据真实环境继续微调模型。
Rain AI早期其实走的是模拟计算路线
Rain AI 和 Mythic 有一个非常有意思的共同点。
两家公司最初都被模拟计算吸引。
Rain AI 创始团队最早研究的是一种 memristive nanowire neural network，希望通过特殊材料和物理神经网络直接构建类似人脑的硬件。
当时公司的名字甚至叫做 Rain Neuromorphics。
早期设计希望利用 memristor，也就是忆阻器，建立拥有大量物理神经元和突触的网络。
这种路线非常激进，理论能效也非常高。
但是问题同样非常明显：新型材料和制造技术距离成熟的大规模半导体量产还有相当距离。
Rain 团队后来曾公开回顾这一阶段，表示公司完成了两次芯片 tape-out 以后认识到，当时所需要的材料技术还不够成熟，因此重新调整了技术路线。
不过他们并没有放弃最初的核心思想：打破冯·诺依曼瓶颈，把存储和计算结合起来。真正改变的是实现方式。
Rain 从 Analog Compute 转向了更加容易使用成熟 CMOS 工艺量产的 Digital Compute-in-Memory。
Rain AI和Mythic最大的区别
因此，Rain AI 和 Mythic 虽然解决的是类似问题，但现在的技术路线已经明显不同。
Mythic 最鲜明的技术是：Analog Compute-in-Memory。它利用 Flash Memory 中的模拟电气特性直接完成矩阵乘法。
Rain AI 当前采用的则是：Digital In-Memory Computing。也就是在存储结构中采用数字计算方式完成 AI 运算。
模拟方式理论上可能拥有非常高的能效，但是需要处理 process variation、noise、temperature、accuracy 和 calibration 等问题。
数字方式的极限能效可能没有模拟计算那么夸张，但是它更容易保持结果稳定，也更容易与传统数字芯片设计、EDA 工具和先进制程结合。
这也是 Rain AI 在探索早期模拟技术以后最终选择 D-IMC 的重要原因。
为什么还要加入RISC-V？
存内计算非常适合矩阵乘法，但是 AI 模型显然不只有矩阵乘法。
现代 Transformer 和大语言模型还包括 normalization、activation、attention、softmax、data movement、control operations 和大量不断变化的新算子。
如果一颗 AI 芯片只有固定功能的 Compute-in-Memory Array，一旦未来出现新的神经网络 operator，就可能无法运行。
公司当前架构通过专有 interconnect 把 RISC-V processing cores 和 D-IMC cores 连接起来，让专用存内计算负责最适合它的大规模矩阵运算，而 RISC-V 负责更灵活的程序控制和其他 operator。
这个思路实际上非常合理：
D-IMC 提供效率。
RISC-V 提供灵活性。
二者组合以后，Rain AI 希望既获得专用 AI 加速器的能效，又避免固定功能 NPU 软件兼容性不足的问题。
与Andes Technology合作RISC-V
2024 年，Rain AI 与著名 RISC-V IP 企业 Andes Technology 建立合作。
Rain AI 获得 Andes AX45MPV RISC-V Vector Processor 授权，并采用 Andes ACE/COPILOT 自定义指令技术，把 RISC-V Vector Core 与 Rain 自己的 Compute-in-Memory hardware 结合起来。
Andes 当时表示，据其了解，Rain AI 已经设计出非常高能效的数字 CIM matrix multiplication unit。
这种合作也说明 Rain AI 并不打算自己从头重新设计所有 CPU 部分。
它把资源集中在真正具有差异化的 D-IMC 技术上，而通过成熟的 Andes RISC-V IP 解决通用处理和软件兼容问题。
对于一家规模并不大的 AI 芯片初创企业来说，这是一种比较现实的开发方式。
4-bit和8-bit矩阵计算
现代 AI inference 已经越来越依赖低精度计算。
过去很多神经网络使用 FP32，后来逐渐发展到 FP16、BF16、INT8，现在大型语言模型甚至大量采用 INT4、FP8、FP4 等更低精度格式。
原因非常简单：精度越低，每一个参数占用的内存越少，计算所需要的晶体管和能源也越少。
Rain AI 的 D-IMC 架构重点针对 4-bit 和 8-bit matrix multiplication 优化。
但低精度最大的问题就是 accuracy。
如果简单粗暴地把一个 FP32 模型直接压缩成 INT4，很可能造成明显精度下降。
因此 Rain AI 不只是设计芯片，还开发自己的 numerical format 和 quantization algorithm。
Block Brain Floating Point
Rain AI 把自己的一种数字表示方法称为 Block Brain Floating Point。
它的核心思路是根据 AI 模型的特点，对数据采用更加高效的低精度表达，同时保持接近 FP32 的模型精度。
Rain AI 官方表示，通过这种 numerical format 与 D-IMC 硬件协同设计，可以利用 4-bit 和 8-bit matrix multiplication 的性能和功耗优势，同时保持与 FP32 相比不出现 accuracy loss。
最终商业芯片在不同 LLM、Transformer 和视觉模型中的实际精度、性能以及能效，还需要未来量产硬件和第三方 benchmark 进一步验证。
但这里可以看出 Rain AI 和普通 AI 芯片公司的另一个区别：
它并不是只设计硬件。
它试图同时优化：
算法 → Quantization → Numerical Format → Compiler → RISC-V → D-IMC Circuit。
这就是所谓 Hardware-Software Co-Design。
Rain AI甚至希望设备自己训练AI
Rain AI 一个比较特别的目标，是 On-device Fine-Tuning。
今天手机、汽车或者机器人中的 AI，大多数模型都是：在 Data Center 训练 → 下载到设备 → 设备只负责 inference。
但是现实环境和训练数据永远不会完全相同。
例如机器人进入新的工厂、汽车进入新的道路环境、摄像头安装在不同光线条件下，原来的模型可能并不是最适合当前环境。
解决方法之一就是 Fine-Tuning。
但 Fine-Tuning 本身需要较大的计算能力和内存，因此目前通常还是在服务器完成。
Rain AI 希望利用支持 training 的 D-IMC 架构，让设备自己进行部分实时微调，例如执行 LoRA fine-tuning。
按照公司公布的研发结果，在一些现实 deployment 环境中，通过这种本地微调可以把 AI accuracy 提高超过 10%。
如果这一方向未来真正成熟，将使 Rain AI 与很多只负责 inference 的 Edge NPU 形成明显区别。
Rain AI不仅瞄准Edge AI
Rain AI 最初的“Neuromorphic AI”概念很容易让人认为它只针对低功耗 edge device。
但现在公司的目标已经扩大。
Rain AI 当前把技术定位于 generative AI inference 和 training，希望 D-IMC 从极低功耗终端一直扩展到更大型 AI 系统。
与 Andes 合作时，公司已经明确把 generative AI 列为重要应用方向。
Rain AI 的长期愿景甚至是：让最先进的 AI 模型可以在任何 form factor 上运行。
也就是说，不一定所有 AI 都需要发送到拥有数千颗 GPU 的数据中心。
未来汽车、机器人、PC、手机甚至更加小型的设备，都可能拥有强大的本地 AI。
这和 Qualcomm、Apple、Hailo、MemryX、Mythic 等企业推动 Edge AI 的大趋势是一致的，只是 Rain AI 选择了 D-IMC 这条路线。
Rain AI目前主要还是IP公司
这里必须特别区分 Rain AI 的技术目标和目前真正可以买到的产品。
截至 2026 年 9 月，Rain AI 官方产品页面显示：D-IMC Tile 和软件栈 IP 已经可以提供授权。
客户可以把 Rain 的 Digital In-Memory Compute IP 集成到自己的 custom SoC 中。
但是 Rain AI 自己的独立 AI accelerator chip，官方网站仍然标记为 Available Soon。
公司还提供 Priority Access Program，允许潜在客户申请 hardware samples 或讨论 IP licensing。
因此，如果严格按照商业化阶段分类，目前的 Rain AI 更接近：
AI Accelerator IP + Pre-production Hardware Company。
而不是已经像 NVIDIA、Hailo 或 MemryX 那样拥有大量公开量产加速卡的成熟 AI 芯片供应商。
产品推出实际上比原计划更慢
这一点也值得关注。
Rain AI 在 2024 年接受采访时曾表示，IP licensing 将从 2024 年第一季度开始，而 physical accelerator 或 chip 原计划在 2024 年底至 2025 年初提供给客户。
但截至 2026 年 9 月，公司官网仍然把独立硬件标记为“Available Soon”。
这意味着 Rain AI 的硬件商业化时间明显晚于当初计划。
从架构设计、EDA、Tape-out，到 foundry 流片、封装、bring-up、driver、compiler、validation 和量产，中间任何一个环节都可能让产品推迟数月甚至数年。
因此 Rain AI 接下来真正需要证明的，不只是 D-IMC 在论文或者测试芯片中具有很高能效，而是能否把这种架构稳定地转化成客户真正能够部署的大规模商业产品。
Sam Altman很早就投资Rain AI
Rain AI 最受外界关注的一个原因，是它与 Sam Altman 的关系。
Rain AI 官方目前仍然把 Sam Altman 列为公司早期重要投资者之一，同时还包括 Daniel Gross、Y Combinator、Airbus Ventures、Liquid 2 Ventures 和 Deepwater 等。
Sam Altman 很早就看到了 AI 算力可能成为人工智能发展的核心瓶颈。
他在 Rain AI 早期 seed round 就进行了个人投资。
后来公开资料还显示，OpenAI 在 2019 年曾经与 Rain AI 签署一份 non-binding Letter of Intent，也就是非约束性意向书，计划在 Rain 芯片达到要求并能够交付以后购买最高约 5100 万美元的 Rain AI 芯片。
不过这里必须特别强调：这不是已经完成的5100万美元芯片订单。
OpenAI 后来明确表示，这只是早期非约束性意向协议，双方并没有继续完成后续采购。
因此把它简单描述成“OpenAI购买了5100万美元Rain AI芯片”是不准确的。
2022年完成2500万美元Series A
2022 年，Rain AI 宣布完成 2500 万美元 Series A 融资。
当时这轮融资由 Saudi Aramco 旗下 Aramco Ventures 管理的 Prosperity7 Ventures 领投，资金主要用于扩大工程团队，并推动 prototype chip 向下一阶段发展。
但这笔投资后来又发生了一件非常少见的事情。
2023 年，美国外国投资委员会 CFIUS 对相关投资进行国家安全审查以后，要求 Prosperity7 出售其所持有的 Rain AI 股份。
之后 Prosperity7 将股份出售给 Grep VC。
这一事件反映出一个越来越明显的趋势：
先进 AI 芯片已经不仅是商业技术，同时正在成为国家安全和地缘政治高度关注的技术。
Rain AI 虽然规模很小，但它研究的 Compute-in-Memory、AI accelerator 和先进半导体技术仍然进入了美国政府的敏感技术审查范围。
Rain AI仍然是一家Series A公司
与 Cerebras、Groq、Tenstorrent 或一些已经融资数亿美元甚至数十亿美元的 AI 芯片企业相比，Rain AI 的融资规模明显较小。
截至 2026 年 9 月，公司官方网站仍然明确把 Rain AI 描述为 Series A company。
这说明 Rain AI 目前仍然是一家相对早期的 AI semiconductor startup。
它的技术野心非常大，但是公司规模、资金和商业化阶段都无法与 NVIDIA、AMD 或大型 AI accelerator 企业相比。
这也意味着 Rain AI 的技术路线如果要真正进入大规模市场，未来仍需要大量资金、合作伙伴和客户。
管理团队也发生了变化
Rain AI 的早期 CEO 是联合创始人 Gordon Wilson，后来由 William Passo 担任 CEO。
而根据 Rain AI 截至 2026 年的官方网站，目前 联合创始人 Jack Kendall 已经担任 CEO。
Jack Kendall 是 Rain AI 最早技术理念的重要提出者之一，公司早期对模拟神经形态计算和新型 AI architecture 的很多探索都与他的研究有关。
现在由创始人重新直接领导公司，也意味着 Rain AI 当前非常强调核心技术研发和下一阶段产品落地。
Apple和Meta芯片人才曾加入Rain AI
Rain AI 为了推进商业芯片，也吸引过一些大型半导体公司的高级技术人才。
2024 年，曾在 Apple 工作 17 年的 Jean-Didier Allegrucci 加入 Rain AI，负责 hardware engineering。
Rain AI 当时介绍，他曾参与和管理大量 Apple SoC、CPU、GPU、NPU、ISP 等芯片开发体系。
同年，曾参与 Meta MTIA AI accelerator architecture 的 Amin Firoozshahian 也加入 Rain AI，担任 Lead Architect。
这些人员的加入说明 Rain AI 已经从早期大学科研和 neuromorphic prototype 阶段，逐渐转向更标准的商业 AI semiconductor development。
因为真正把一颗 AI 芯片做成量产产品，需要的不只是一个好架构，还需要 SoC integration、physical design、verification、compiler、packaging 和完整 silicon execution 能力。
与Yoshua Bengio的Mila合作
Rain AI 还曾与加拿大著名 AI 研究机构 Mila 建立合作。
Mila 由深度学习先驱 Yoshua Bengio 创立，是全球重要的机器学习研究机构之一。
Rain AI 与 Mila 合作的重点不是制造芯片，而是研究 algorithm-hardware co-design，也就是让 AI 算法与 Rain 的硬件架构共同优化。
它不认为未来 AI accelerator 只是简单增加更多 TOPS，而认为芯片 architecture、number format、quantization、compiler 和 AI algorithm 必须一起设计。
Rain AI和Mythic怎么选？
如果把 Rain AI 和上一篇介绍的 Mythic 放在一起，两家公司非常值得比较。
它们解决的是同一个大问题：Memory Wall。
而且两家公司早期都深受 Analog Computing 和类脑计算启发。
但现在的路线不同。
Mythic：Analog Compute-in-Memory + Flash。
Rain AI：Digital In-Memory Computing + RISC-V。
Mythic 把模拟存内矩阵运算作为核心优势，希望利用物理电气特性获得极高能效。
Rain AI 则认为数字存内计算更容易兼顾 accuracy、programmability、training 和大规模半导体制造。
两种路线的目标都不是简单做“一颗比 NVIDIA 更大的芯片”，而是重新思考 AI processor 和 memory 之间的关系。
Rain AI和d-Matrix有什么不同？
Rain AI 与 d-Matrix 的距离实际上更近，因为两家公司都选择 Digital Compute-in-Memory。
d-Matrix 目前已经把 Digital In-Memory Computing 推向专门面向 Generative AI inference 的产品，例如 Corsair 平台，其产品方向主要针对 Data Center LLM inference。
它不仅关注 Generative AI inference，还希望支持 training、on-device fine-tuning，以及从 Edge Device 到更大型 AI 系统的不同 form factor。
Rain AI 另外还把 RISC-V programmable core 深度集成进自己的架构，这也是其设计中的一个重要特色。
从商业阶段来看，d-Matrix 已经更加接近完整 AI accelerator 产品公司，而 Rain AI 当前仍以 IP licensing 和即将推出的硬件为主。
Rain AI和MemryX也在解决同一个问题
MemryX 同样认为 AI 的关键问题之一是 data movement。
不过 MemryX 使用的是：Pure Dataflow + At-Memory Computing。
Rain AI 使用的是：Digital Compute-in-Memory。
MemryX 让数据像流水一样穿过大量 Compute Engines，同时尽量让 memory 靠近 computation。
Rain AI 则进一步把矩阵运算放进 memory structure 本身。
因此从传统架构走向存内计算，可以大致看到这样一个变化：
Mythic：Analog Memory 本身参与 Compute。
这些公司实际上代表了 AI 芯片行业不同程度解决 Memory Wall 的几种方式。
Rain AI最大的优势
如果未来大型 AI 模型真正受到 memory bandwidth 和 power consumption 的限制，那么 Compute-in-Memory 确实可能成为非常重要的 AI architecture。
第一，D-IMC 可以显著减少模型权重移动。
第二，4-bit 和 8-bit 计算可以进一步降低能耗。
第三，RISC-V 保留了可编程能力。
第四，架构同时考虑 inference 和 training。
第五，On-device Fine-Tuning 可能让机器人、汽车和终端设备拥有真正的本地学习能力。
这使 Rain AI 不只是一个“低功耗 NPU”概念，而试图建立一种新的 AI computing architecture。
Rain AI最大的风险
首先是商业化时间。
公司已经研发多年，但截至 2026 年 9 月，官方网站仍然显示独立 AI accelerator hardware “Available Soon”。
第二是资金。
半导体行业极其烧钱。一次先进制程 tape-out 就可能需要数千万美元，而完整 AI processor 产品还需要 compiler、board、driver、software ecosystem 和客户支持。
第三是竞争。
NVIDIA、AMD、Google、Amazon、Microsoft、Meta 都在开发自己的 AI hardware。
同时还有 Cerebras、Groq、Tenstorrent、d-Matrix、Mythic、Hailo、MemryX、Expedera、Quadric 等大量 AI accelerator 企业。
最后是技术风险。
Digital Compute-in-Memory 理论上非常漂亮，但是能否在先进制程、大模型、不同 operator 和真实 workload 中保持稳定的性能优势，最终必须通过量产 silicon 证明。
Rain AI值得关注吗？
Rain AI 是目前 AI Accelerator 行业里技术路线非常值得关注的一家公司。
它最大的特点不是拥有多少 TOPS，也不是已经销售了多少加速卡，而是它试图从最底层改变计算机处理 AI 的方式。
传统计算机几十年来基本遵循：Memory 和 Compute 分开。
Rain AI 则认为，对于 AI 来说，这种架构正在变得越来越昂贵。
随着模型从百万参数发展到十亿、百亿甚至万亿参数，越来越多能源被消耗在移动数据，而不是计算数据。
公司早期曾经尝试非常激进的模拟 neuromorphic architecture，但在认识到新材料难以成熟量产以后，转向更加现实的 Digital In-Memory Computing，并加入 RISC-V、低精度计算、Quantization 和 On-device Fine-Tuning，形成今天的架构。
这种转型本身其实很值得关注。
它说明 Rain AI 并不是为了坚持一种漂亮但难以商业化的技术，而是在保留“Memory + Compute”核心理念的同时不断寻找更现实的工程实现。
截至 2026 年，Rain AI 已经能够提供 D-IMC IP 和软件栈授权，但真正独立 AI 芯片仍然没有完成大规模公开商业化。
因此，现在给 Rain AI 下“已经成功挑战 NVIDIA”的结论显然太早。
但是，如果未来 AI 算力真正越来越受到电力和 memory bandwidth 限制，那么 Digital Compute-in-Memory 很可能成为一个越来越重要的方向。
在这个领域里，Rain AI、d-Matrix 和 Mythic 分别代表了几种非常不同的技术选择。
如果把 NVIDIA 的路线概括为：更强的计算核心 + 更快的HBM。
那么 Rain AI 的路线可以概括成一句话：不要继续把数据搬来搬去，让存储器直接参与AI计算。
Rain AI 最终能否把这种理念变成真正的大规模商业芯片，还需要等待下一代硬件证明。
但从 AI accelerator architecture 的角度来看，它无疑是一家非常值得长期观察的企业。