TensorRT_Tutorial

中文翻译文档

• 2023-9-27 增加 TensorRT8.5.3的中文翻译文档，使用Chat-GPT翻译+精校，chapter1-2

建议看最新视频版本！列表如下

• 《TensorRT Tutorial（一）如何选择TensorRT版本》

• 《TensorRT Tutorial（二）编译 TensorRT 的开源源码》

• 《TensorRT Tutorial（3.1）讲解 TensorRT 文档-基本使用》

• 《TensorRT Tutorial（3.2）讲解 TensorRT 文档-TRT可借鉴的代码样例》

• 《TensorRT Tutorial（3.3.1）plugin 例子和原理》

• 《TensorRT Tutorial（3.3.2）如何打造自己的plugin库》

• 《TensorRT plugin 16 加速经验》

• 视频版资料见目录-视频版资料

进度记录

• 2017-04-27 项目发起，创建GitHub仓库。
• 2017-09-30 TensorRT 3最近发布，整理一下目前的资源。
• 2017-10-18 增加博客-使用TensorRT实现leaky relu层
• 2017-11-11 资源：新增google的INT8开源库
• 2017-11-25 增加博客-TensorRT Plugin使用方式简介-以leaky relu层为例
• 2020-8-31 增加博客《TensorRT Github 开源部分介绍》
• 2020-9-7 增加博客《TensorRT 可借鉴代码汇总》
• 2022-11-2 增加博客《Conformer Encoder GPU 加速策略较全面汇总》
• 2022-11-2 增加博客《TensorRT 转换模型的几种方式比较》

---

资源整理

• TensorRT 3 RC和TensorRT 2.1 下载链接
• TensorRT 2.1 官方在线文档
• NVIDIA 介绍TensorRT的blog-Deploying Deep Neural Networks with NVIDIA TensorRT
• GTC 2017介绍TensorRT 的PPT和视频，内含INT8 Quantization和Calibration的实现原理。
• 新增cublas 和 cudnn的INT8 demo
• 新增本人在GTC China 2017 Community Corner主题NVIDIA INT8的PPT， GTC-China-2017-NVIDIA-INT8.pdf
• 新增google的INT8开源库gemmlowp，目前支持ARM和CPU优化
• “子棐之GPGPU”公众号所写的《TensorRT系列》博客，NVIDIA的工程师出的，从入门篇到INT8篇再到FP16篇最后收尾于Custom Layer篇，内容逻辑清楚，干货满满，自愧不如。附四篇博客链接：TensorRT 系列之入门篇，TensorRT系列之INT8篇，TensorRT系列之FP16篇，TensorRT系列之Custom Layer篇。
• 《高性能深度学习支持引擎实战——TensorRT》，主要内容：一、TensorRT理论介绍：基础介绍TensorRT是什么；做了哪些优化；为什么在有了框架的基础上还需要TensorRT的优化引擎。二、TensorRT高阶介绍：对于进阶的用户，出现TensorRT不支持的网络层该如何处理；

---

博客

• 使用TensorRT实现leaky relu层
• TensorRT Plugin使用方式简介-以leaky relu层为例

TensorRT_Tutorial

TensorRT作为NVIDIA推出的c++库，能够实现高性能推理（inference）过程。最近，NVIDIA发布了TensorRT 2.0 Early Access版本，重大更改就是支持INT8类型。在当今DL大行其道的时代，INT8在缩小模型大小、加速运行速度方面具有非常大的优势。Google新发布的TPU就采用了8-bit的数据类型。

本人目前在使用TensorRT进行INT8的探究。已经被TensorRT不完善的文档坑了一次了。所以想自力更生做一个TensorRT Tutorial，主要包括三部分：

• TensorRT User Guide 翻译；
• TensorRT samples 介绍分析讲解；
• TensorRT 使用经验。

感谢每一位为该翻译项目做出贡献的同学.

内容来源： TensorRT 下载页面： https://developer.nvidia.com/nvidia-tensorrt-20-download

TensorRT 文档、Samples 安装后对应目录中

参与者（按参与时间排序）

TensorRT User Guide 翻译

• LitLeo

TensorRT samples 介绍分析讲解

• LitLeo

TensorRT 使用经验。

欲参与者请加QQ群：483063470

支持捐赠项目

招实习生

【实习】【腾讯北京AILAB】招募AI异构加速实习生
简历直接给负责人，给简历保证迅速反馈。
基本条件: 熟悉c++，至少实习6个月
工作内容：

1. 使用c++复现框架训练的模型并进行CPU、GPU、ARM加速，达到上线的性能要求。
2. 调研各种inference框架并投入生产 加分项：
3. 写过或者维护过深度学习框架代码；
4. 会CUDA 开发，能自己写kernel，会用cublas，cudnn等库；
5. linux cpu c++编程能力，会写avx、会用mkl；
6. 熟悉深度学习计算过程
7. 学习能力强，实习时间长 联系方式: [email protected]