NVIDIA 推理传输库 (NIXL)
NVIDIA 推理传输库 (NIXL) 旨在加速 AI 推理框架 (如 NVIDIA Dynamo) 中的点到点通信,同时通过模块化插件架构为各种类型的内存 (例如 CPU 和 GPU) 和存储 (例如 文件、块和对象存储) 提供抽象。
NIXL 概述 - 核心概念/架构概述(docs/nixl.md)
Python API - Python API 使用和示例(docs/python_api.md)
后端指南 - 后端/插件开发指南(docs/BackendGuide.md)
遥测 - 可观测性和遥测详情(docs/telemetry.md)
nixl Python API 和库(包括 UCX)可直接通过 PyPI 进行下载。例如,如果您的 GPU 运行在 Linux 主机、容器或虚拟机上,则可以执行以下安装操作:
暂无开放 Issues,或尚未同步最近议题。