智能计算系统 AI Computing Systems 陈云霁
《智能计算系统》是一门全面贯穿人工智能整个软硬件技术栈的系统性课程,课程采用“全栈贯通,应用驱动”的核心理念,以一个图像风格迁移的驱动范例带动,重点围绕智能计算系统的设计理论、方法、关键技术等展开讨论,从基本概念开始,由浅入深帮助学生建立智能计算系统设计及应用的知识体系,培养智能时代急需的芯片设计、软件开发、算法研发等各个层次的人才。
本课程为核心专业类实训课程,旨在培养学生对智能计算系统完整软硬件技术栈(包括基础智能算法、智能计算编程框架、智能计算编程语言、智能芯片体系结构等)融会贯通的理解,帮助学生能够:
国内的陈云霁老师开的课,在其他若干个大学也都有开对应的课程。这门课用一个个实验带大家以一个完整的视野理解人工智能的技术栈。从上层的深度学习框架,到用底层语言编写算子,再到硬件中 MLU 的设计,让大家形成系统思维,体会自上而下,融会贯通的乐趣。
个人感觉,这门课非常系统;
有一定基础的,前四章不用听,从第五章往后才是有意思的内容,但是也不建议听;
陈老师很 nb,讲课一般,语速慢,睡得真的香,得 1.25 倍速听也能睡着;
附带的实验很 nb,几乎包含了一个 ai 系统的所有。
结合智能计算系统的软硬件技术栈,本书设计了如图所示的分阶段实验和综合实验。
其中,分阶段实验以图像风格迁移作为驱动范例,通过逐步完成算法实验(第 2-3 章)、 编程框架实验(第 4 章)、智能编程语言实验(第 5 章)、DLP 运算部件实验(第 6 章)等, 点亮知识树(如图1.2所示),开发出实现图像风格迁移的智能计算系统;
综合实验包括目标检测、文本检测、自然语言处理等不同应用领域的实验,巩固对相关知识的系统理解和 掌握,了解不同应用对智能计算系统的需求,并开发出相应的智能计算系统,进阶为智能计算系统全栈工程师。
利用三层全连接神经网络实现手写数字分类的两个实验,包括在 CPU 平台和 DLP 平台上实现手写数字分类,以帮助读者深入理解神经网络训练及预测原理。
采用 Python 语言实现神经网络的基本单元,包括全连接层、激活函数、损失函数(涉及知识可参考《智能计算系统》教材第 2.3 节),该实验有助于理解神经网络中正向 传播和基于随机梯度下降法的反向传播的原理及计算复杂度(涉及知识可参考《智能计算 系统》教材第 2.2 节)
此外,通过训练一个简单完整的神经网络,以帮助读者理解隐层个 数、神经元数、激活函数、损失函数和学习率等对网络训练及分类精度的影响。通过对网 络层的作用及层间关系的深入理解,为后续更复杂的综合实验(如风格迁移等)奠定基础。
调用 DLP 上 Python 语言封装的深度学习编程库 pycnml,将实验一中神经网络前向 相关的模块移植到 DLP 平台上,最终在 DLP 平台上实现手写数字分类。通过该实验,读 者可以对 DLP 编程和处理效率有初步了解。
包括 CPU 平台、DLP 平台上的 VGG 图像 分类以及非实时风格迁移等。其中,VGG 是风格迁移应用中用到的深度学习算法,涉及到 卷积层、池化层、全连接层、softmax 损失函数等
主要面向如何用 Python 实现 VGG 网络 结构、加载模型参数、模型分类测试,并分析 VGG 网络的计算量及性能瓶颈,为风格迁移实验中使用 VGG 网络计算风格特征相似度做准备。
需要调用 pycnml 库中的相关接口将实验一中的相关模块移植到 DLP 平台上,最终在 DLP 平台上实现图像分类。
利用 VGG 对输入图像进行训练来获得风格化后的图像,包括如何用 VGG 网络提取图像特征,如何计算内容/风格损失,如何迭代训练来求解风格化图像等。
包括利用编程框架实现图像分类、利 用图像转换网络预测实现实时风格迁移、图像转换网络的训练、编程框架的 CPU 自定义算子
如何利用 TensorFlow 框架实现 CPU 和 DLP 两种 平台上的图像分类,帮助读者熟悉 TensorFlow 的编程模型及基本用法。
在实验一的基础上基于 TensorFlow 实现实时风格迁移中图像转换网络的预 测。其中涉及多种网络层的定义、神经网络模型的创建、模型参数的加载、神经网络模型 的计算及输出等。
基于 TensorFlow 实现图像转换网络的 训练,包括加载数据并进行预处理、对模型迭代训练、实时保存模型结果等。通过与第 3 章使用 Python 语言实现深度学习算法对比,读者可以体会采用编程框架开发的便利性和高效性。
介绍如何在 TensorFlow 中新增自定义算子,以解决 原生编程框架不支持特定算子的问题。
介绍智能编程语言方面的两个实验,包括 BCL 算子开发与集成、BCL 性能优化。
介绍如何使用智能编程语言 BCL 定义新 的算子以扩展高性能库算子,并将其集成到编程框架中,从而加速实时图像风格迁移。通 过该实验,可以掌握对高性能库及编程框架进行扩展的能力,并可以根据特定应用场景需 求自主定义 DLP 算子,以满足快速演进的智能算法的需求。
以矩阵乘为例,介绍如何利用智能编程语言 BCL 来充分利用 DLP 上的计算和存储资源实 现性能优化。通过该实验,掌握 DLP 平台算法性能瓶颈分析方法、多核流水优化技术,从 而加深对智能计算系统和智能编程语言的理解和应用。
以深度学习算法中时间最核心的卷积运算和矩阵运算为例,介绍如何设计深度 学习处理器运算器,包括串行内积运算器、并行内积运算器、以及矩阵运算子单元等。
实验一:串行内积运算器实验
实验二:并行内积运算器实验
分别介绍如何使用 Verilog HDL(Hardware Description Language, 硬件描述语言)编写实现深度学习卷积和全连接层中的内积运算,然后在 Modelsim 仿真环 境下进行仿真。为保证该内积运算器是真正通过具体物理电路实现的,不仅其内部各模块是可仿真且可综合成门级网表,还需要评估内积运算器的性能。
实验三:矩阵内积运算子单元实验
介绍如何设计运算单元的整体架构,如何设计各子模块的功能、接 口和结构,实现具体的 Verilog 代码,并通过仿真评估矩阵运算单元的性能。第 6 章实验供 有芯片设计基础的同学选做。
介绍了目标检测、文本识别和自然语言处理三个不同领域的人工智 能应用。通过将智能算法、编程框架、智能编程语言和深度学习处理器的相关知识点串联起来,在智能计算平台上实现应用部署及优化,从而使读者具备融会贯通的智能计算系统 设计开发能力。
实验一:目标检测实验
介绍面向 DLP 平台如何实现经典的目标检 测算法——YOLOv3 网络,并进行性能优化和离线部署,最终完成在 DLP 平台上的目标检 测应用。
实验二:文本检测实验
介绍面向 DLP 平台如何实现文本检测的代表性算法—— EAST 网络,并进行性能优化和离线部署,最终完成在 DLP 平台上的目标检测应用。
实验三:自然语言处理实验
介绍如何实现自然语言处理的代表性算法——BERT 网络,并进 行性能优化和离线部署,最终完成在 DLP 平台上的自然语言处理应用。
采用的实验平台包括通用 CPU 平台和智能计算系统平 台。其中智能计算系统平台集成了深度学习处理器硬件,并提供了配套软件开发环境。
本书实验所采用的 DLP 芯片内部集成了 4 个深度学习处理器簇(Cluster),其中每个 Cluster 包括 4 个智能处理器核及 1 个存储核。
每个智能处理器核包括并行的向量和矩阵运 算单元、神经元存储单元(Neuron RAM,NRAM)和权值存储单元(Weight RAM,WRAM),
而存储核中则包括共享的片上存储(Shared RAM,SRAM)。其具体结构如图所示。该 DLP 硬件以 PCIe 加速卡的形式提供给用户使用,其峰值算力为 128T,支持包括 INT16、 INT8、INT4、FP32 及 FP16 等多种不同的数据类型,满足多样化的智能处理需要,兼具通 用性和高性能。
实验所采用的 DLP 硬件架构
除了直接在 PC 或者服务器中使用 DLP 硬件进行编程外,还提供了云平台环 境方便用户使用 DLP 硬件。
云平台的基本功能和使用方法参见附录章节 B 或课程网址 http://novel.ict.ac.cn/aics/。
大致包括 6 个部分:编程框架、高性能库 CNML、 智能编程语言 BCL 及编译器、运行时库 CNRT 及驱动、开发工具包及领域专用开发包等。 其中,
上层智能应用可以通过两种方式来运行:在线方式和离线方式。其中,
实验所采用的 DLP 硬件的软件环境
3.1 适合图像处理的卷积神经网络
3.2 基于卷积神经网络的图像分类算法
3.3 基于卷积神经网络的图像目标检测算法
3.4 序列模型:循环神经网络
3.5 生成对抗网络GAN
3.6 驱动范例,Image style transfer
3.7 章节实验二:深度学习设计实验
5.1 TensorFlow的设计原则
5.2 TensorFlow计算图机制
5.3 TensorFlow系统实现
5.4 编程框架对比
5.5 章节实验三:编程框架实验
6.1 深度学习处理器概述
6.2 目标算法分析
6.3 深度学习处理器DLP结构
6.4 优化设计
6.5 性能评价
6.6 加速器对比
7.1 单核深度学习处理器
7.2 多核深度学习处理器
7.3 章节实验(选修):深度学习处理器运算器设计
第九章:综合实验
暂无开放 Issues,或尚未同步最近议题。