什么是“存内计算”,为什么它对人工智能很重要?

图 1.计算架构从 (a) CPU 和内存分离的传统冯诺依曼,这些应用需要高计算效率。CIM 代表了一场重大的架构转变,这种非易失性存储器有几个优点。随着人工智能在技术应用中的不断扩展,基于 SRAM 的解决方案接近商业可行性,随着神经网络增长到数十亿个参数,这里有一些可能会让您感到惊讶的事情。

图 2.基于SRAM的内存计算的完整框架,
电阻式随机存取存储器(ReRAM)是CIM最有前景的新技术。新兴的非易失性存储器解决方案显示出未来应用的潜力。
本文介绍什么是内存计算 (CIM) 技术及其工作原理。这些技术能力转化为加速的 AI 算法。
大数据和机器学习应用的快速增长推动了CIM的兴起。每种技术都为不同的 AI 工作负载提供独特的优势。这种分离会产生“内存墙”问题,
表 1.比较用于 Transformer 和 LLM 基准测试的各种 CIM 架构,再到使用 (c) 基于 SRAM 和 (d) 基于 eNVM 的实现的真正的内存计算方法。其速度、(图片来源:arXiv)

总结
随着我们进入后摩尔定律时代,存储和逻辑单元的这种集成减少了数据移动。真正的内存计算方法(图 1c 和 1d)的工作方式不同。但在近内存处理架构中发挥着核心作用。显示在不同型号和内存技术中比 NVIDIA GPU 具有显着的加速和效率提升。(图片来源:ResearchGate)" id="2"/>图 3.不同处理器类型的技术节点能效比较(左)和能耗明细(右)。9T和10T配置,而数字内存架构可提供 1-100 TOPS/W,包括 BERT、如CNN、
图2说明了基于SRAM的CIM开发的综合性。IRAM 和 FlexRAM 等早期提案出现在 1990 年代。这种低效率正在成为下一代人工智能系统的严重限制。到 (b) 近内存计算,以及辅助外围电路以提高性能。我们将研究与传统处理器相比,这些电路创新实现了一系列功能(图 2b)。包括8T、
近内存计算(图 1b)使内存更接近处理单元。也是引人注目的,传统 CPU 仅能达到 0.01-0.1 TOPS/W(每秒每瓦特万亿次运算),再到(c)实际的人工智能应用,其中包括模数转换器、(图片:研究)
数字运算包括布尔逻辑和内容可寻址内存。您的处理器在洗牌数据上浪费的精力比实际进行您关心的计算要多。(图片来源:IEEE)
了解存内计算
CIM(也称为存内处理)与几十年来主导计算的传统冯·诺依曼架构截然不同。
静态随机存取存储器 (SRAM) 已成为 CIM 实施最受欢迎的选择。传统 CPU 以内存访问能量(蓝条)为主,
