tkDNN

tkDNN 是一个基于 cuDNN 和 tensorRT 原语构建的深度学习库,专门用于 NVIDIA Jetson 板。它已在 TK1(分支 cudnn2)、TX1、TX2、AGX Xavier、Nano 和多个独立 GPU 上进行了测试。本项目的主要目标是尽可能充分利用 NVIDIA 板来获得最佳推理性能。它不允许进行训练。

什么是新的

2021 年 7 月 20 日

• 支持语义分割 README
• 支持 2D/3D 对象检测和跟踪 README

2021 年 11 月 24 日

• 支持在 cuda 11 上的语义分割
• 支持 TensorRT8。 (感谢 Harshvardhan Chandirasekar)

2022 年 3 月 30 日

• 支持单眼深度估计 README (感谢 Harshvardhan Chandirasekar)

FPS 结果

使用 tkDNN 的 yolov4 推理 FPS，平均 1200 张图像，其大小与输入大小相同，在

• RTX 2080Ti (CUDA 10.2、TensorRT 7.0.0、Cudnn 7.6.5)；
• Xavier AGX, Jetpack 4.3 (CUDA 10.0、CUDNN 7.6.3、tensorrt 6.0.1)；
• Xavier NX, Jetpack 4.4 (CUDA 10.2, CUDNN 8.0.0, tensorrt 7.1.0)。
• Tx2, Jetpack 4.2 (CUDA 10.0、CUDNN 7.3.1、tensorrt)