NEO 发布 HBM 内存技术 3D X-AI ，宣称拥有现有方案百倍 AI 能力

gythy1978

IT之家 8 月 6 日消息，NEO Semiconductor 当地时间本月 5 日发布了 3D X-AI 芯片技术，宣称该技术可实现目前 HBM 内存方案百倍的 AI 处理能力，同时功耗也可降低 99%。



IT之家注意到，3D X-AI 可理解为两项技术的结合：其采用 3D DRAM 技术构建 HBM 内存的 DRAM Die，以实现更高容量；同时在 DRAM Die 中引入本地处理器，类似于此前提出的 PIM 概念。

在前一项技术上，单个 3D X-AI 芯片包含 300 层 3D DRAM 单元，整体容量达 128Gb，12 层堆叠后可实现 192GB 的单堆栈容量，允许存储更大的 AI 模型。而目前的 HBM3 (E) 内存最大单堆栈容量仅有 36GB。



而在后一项技术上，NEO Semiconductor 称其每个 3D X-AI 芯片均配备一层神经回路单元，包含 8000 个神经元电路，可直接在 3D 内存内部实行 AI 处理，大幅减少了数据传输至 GPU 产生的功耗。

NEO Semiconductor 预计每层神经回路单元可提供 10TB/s 的 AI 处理吞吐量，对于 12 层堆叠的 3D X-AI 内存堆栈而言就是 120TB/s，较传统方案提升了 100 倍。

NEO Semiconductor 创始人兼首席实行官 Andy Hsu 表示：

由于架构和技术效率低下，当前的 AI 芯片浪费了大量的性能和功率。

目前的 AI 芯片架构将数据存储在 HBM 中，并依靠 GPU 实行所有计算。这种数据存储和数据处理分离的架构使数据总线成为不可避免的性能瓶颈。通过数据总线传输大量数据会导致性能受限、功耗飙升。

3D X-AI 可以在每个 HBM 芯片中实行人工智能处理。这可以大幅减少 HBM 和 GPU 之间的数据传输，从而提高性能并显著降低功耗。