昇腾芯片硬件架构

目录

昇腾芯片硬件架构

1. 昇腾AI处理器逻辑架构

2. 昇腾AI计算引擎—达芬奇架构

3. 达芬奇架构—计算单元

4. 达芬奇架构—存储系统

5. 达芬奇架构—控制单元

---

学习目标：

①昇腾AI处理器逻辑架构

②昇腾AI计算引擎—达芬奇架构

③计算单元(达芬奇架构)

④达芬奇架构—存储系统

⑤达芬奇架构—控制单元

1. 昇腾AI处理器逻辑架构

主要架构组成：

（1）芯片系统控制CPU(芯片中套芯片，负责控制该做什么事)

（2）AI计算引擎(负责执行，通用计算交给AI CPU，矩阵计算卷积计算交给AI Core)

（3）多层级的片上系统缓存(Cache)或缓冲区(Buffer)：降低时延

（4）数字视觉预处理模块DVPP：把传进来的数据处理为标准数据，统一类型

2. 昇腾AI计算引擎—达芬奇架构

AI芯片就是为了提高AI运算速度，而昇腾芯片的速度就在AI Core(达芬奇架构)

达芬奇架构主要部分：

（1）计算单元：包含三种基础计算资源(矩阵计算单元、向量计算单元、标量计算单元)

（2）存储系统：AI Core的片上存储单元和相应的数据通路(数据到计算单元过程，设计的好坏决定了运算效率)构成了存储系统

（3）控制单元：整个计算过程提供了指令控制，相当于AI Core司令部，负责调度和整个AI Core运行

3. 达芬奇架构—计算单元

（1）矩阵计算单元：矩阵计算单元和累加器完成矩阵相关计算。一拍则能完成，不像CPU还需要遍历

（2）向量计算单元：可以完成向量和标量运算

（3）标量计算单元：相当于一个微型CPU，控制整个AI Core运行，同时可以完成与标量相关计算(基本的算术运算)

4. 达芬奇架构—存储系统

存储系统由存储单元和相应的数据通路组成

存储单元由存储控制单元、缓冲区和寄存器组成

（1）存储控制单元：控制从内存或缓存中读数据，还设置了存储转换单元做一些简单的数据处理

（2）缓冲区：存储中间数据，减少频繁从外部读取数据，提高计算效率

（3）寄存器：存储数据地址供标量计算单元使用

数据通路：指在AI Core完成一次计算任务时，数据流经路径

达芬奇架构数据通路特点是多进单出(适应卷积网络)，可以节约芯片硬件资源

5. 达芬奇架构—控制单元

控制单元主要组成分为系统控制模块、指令缓存、标量指令处理队列、指令发射模块、矩阵运算队列、向量运算队列、存储转换队列和事件同步模块

（1）系统控制模块：控制任务块(AI Core最小计算任务粒度)的执行过程，在任务块执行完成后，系统控制模块会进行中断处理和状态申报。如果执行过程出错，会把执行的错误状态报告给任务调度器

（2）指令缓存：提前预取后续指令，一次读入多条指令进入缓存，提升指令执行效率

（3）标量指令处理队列：指令被解码会导入标量队列，实现地址解码和运算控制，这些指令包括矩阵计算指令、向量计算指令、存储转换指令

（4）指令发射模块：读取标量指令队列中配置好的指令地址和参数解码，然后根据指令类型分别发送到对应的指令执行队列，而标量指令会驻留在标量指令处理队列中进行后续执行

（5）指令执行队列：指令执行队列由矩阵运算队列、向量运算队列、存储转换队列组成，不同指令进入相应的运算队列，队列中的指令按进入顺序执行

（6）事件同步模块：有些数据计算是有依赖关系的，不能一直并行计算，需要事件同步模块分析依赖关系