exo

工具介绍

在当地运行前沿AI.

-- -- exo 将您的设备连接到一个 AI 集群中。 exo不仅可以使运行的模型比一个单个设备的尺寸更大,而且随着日-0对RDMA的支持超过Sunderbolt,使得模型在添加更多设备时运行得更快. 特性 - 自动设备发现:运行外出设备自动发现彼此 - 没有手动配置. - 雷电上方RDMA:在雷电上方为RDMA提供0天支援的外出舰艇,使各装置之间的延迟度降低99%。 - 地形学- 智能 Aware Auto 并行: exo根据对设备地形的实时视图, 找出将模型分成所有可用设备的最佳方法。它考虑到了设备资源以及每个链接之间的网络延迟/带宽. - Tensor并行主义:exo支持硬化模型,用于2个设备上最高1.8x快取和4个设备上3.2x快取. - MLX支持:exo使用MLX作为推论.

核心特点

•Automatic Device Discovery: Devices running exo automatically discover each other - no manual configuration.

•RDMA over Thunderbolt: exo ships with day-0 support for RDMA over Thunderbolt 5, enabling 99% reduction in latency between devices.

•Tensor Parallelism: exo supports sharding models, for up to 1.8x speedup on 2 devices and 3.2x speedup on 4 devices.

•MLX Support: exo uses MLX as an inference backend and MLX distributed for distributed communication.

•Multiple API Compatibility: Compatible with OpenAI Chat Completions API, Claude Messages API, OpenAI Responses API, and Ollama API - use your existing tools and clients.

•Custom Model Support: Load custom models from HuggingFace hub to expand the range of available models.

•Xcode (provides the Metal ToolChain required for MLX compilation)

•brew (for simple package management on macOS)

•uv (for Python dependency management)

•node (for building the dashboard)

工具介绍

核心特点

> 标签

> 工具信息

> 相关工具

exo

工具介绍

核心特点

> 标签

> 讨论区

> 工具信息

> 相关工具