QNNPACK

QNNPACK (Quantized Neural Networks PACKage) 是一个针对移动设备优化的库,用于低精度高性能的 神经网络 推理。QNNPACK 提供了对量化 8 位张量上的常见 神经网络 运算的实现。QNNPACK 并非专门为 机器学习 研究人员而设计,而是为高级 深度学习 框架提供了低级别的性能原语。截至目前,QNNPACK 已经集成到 PyTorch 1.0 中,并支持 Caffe2 的图形表示。

• 2D 卷积
• 2D 反卷积
• 通道混合
• 全连接
• 局部连接
• 2D 最大池化
• 2D 平均池化
• 全局平均池化
• sigmoid
• 微泄漏 ReLU
• 限幅 (可用于 ReLU、ReLU6，如果未在其他运算符中融合)

要进行 Android 交叉编译,请设置 $ANDROID_NDK 环境变量(其中 $ANDROID_NDK 是指向 Android NDK 目录的路径,例如 /opt/android-ndk-r15c),并使用下表中的一个脚本:

注意事项: - 在 armeabi-v7a 上,如果移动 CPU 不支持 ARM NEON,则 qnnp_initialize 将出现 qnnp_status_unsupported_hardware 错误。对于 QNNPACK 编译,请不要设置 -DANDROID_ARM_NEON=1,因为这可能会使在不支持 ARM NEON 的 CPU 上的 qnnp_initialize 发生崩溃。