aimet

AI模型效率工具包（AIMET）

AIMET">AIMET 是一个用于量化已训练机器学习模型的软件工具包。

AIMET 通过降低计算负载和内存占用，提升了 深度学习 模型的运行时性能。 使用 AIMET 量化的模型通过减少内存占用，便于在手机或笔记本电脑等边缘设备上部署。

AIMET 采用训练后量化和微调技术，以最小化量化和压缩过程中的精度损失。 AIMET 支持来自 ONNX 和 PyTorch 框架的模型。

AIMET 旨在与 PyTorch 和 ONNX 模型配合使用。

您可以在 Qualcomm AI Hub Models 上找到使用 AIMET 量化的模型——这是一个经过优化和量化的模型集合。

为什么选择 AIMET？

• 高级量化技术：使用整数运行时进行推理的速度显著快于浮点运行时。例如，模型在Qualcomm Hexagon DSP上的运行速度比在Qualcomm Kyro CPU上快5倍至15倍。此外，8位精度模型的体积比32位精度模型小4倍。然而，在对机器学习模型进行量化时，保持模型精度通常颇具挑战。AIMET通过数据无关量化等创新技术解决了这一问题，在多种流行模型上提供了最先进的INT8结果。
• 支持先进的模型压缩技术，使模型在推理时运行更快，且所需内存更少
• AIMET 旨在自动化优化神经网络，避免耗时且繁琐的手动调整。AIMET 还提供用户友好的 API，使用户可以直接从其 PyTorch 中调用。