在不同硬件上对 深度学习 操作进行基准测试
DeepBench 的主要目的是在不同的硬件平台上对 深度学习 重要的操作进行基准测试。虽然 深度学习 后面的基本计算已经被很好地理解,但在实际应用中它们的使用方式却令人惊讶地多样。例如,矩阵乘法可能是计算密集型、带宽密集型或占用密集型,具体取决于要乘积的矩阵大小和内核实现。由于每个深度学习模型都使用了这些操作,但具有不同的参数,因此针对 深度学习 的硬件和软件的优化空间很大,而且还没有明确规定。
DeepBench 试图回答"哪种硬件在用于深度神经网络的基本操作上提供了最佳性能?" 我们在低级别上指定了这些操作,适合用于针对 深度学习 目标的新处理器正在开发中的硬件模拟器。 DeepBench 包括对训练和推理都很重要的操作和工作负载。
深度学习 生态系统由多个不同的组件组成。我们希望突出 DeepBench 在该生态系统中的位置。下图说明了 深度学习 中涉及的软件和硬件组件。最上面是 深度学习 框架,如百度的 PaddlePaddle、Theano、TensorFlow、Torch 等。这些框架都允许 深度学习 研究人员构建模型。它们包括基本的构建块,如可通过不同方式连接的层,用于创建模型。为了训练 深度学习 模型,这些框架与底层 神经网络 库(如 NVIDIA 的 cuDNN 和 Intel 的 MKL)一起工作。这些库实现了对 深度学习 模型重要的操作,如矩阵乘法。最后,Mo
暂无开放 Issues,或尚未同步最近议题。