在本地或边缘运行自定义和微调的 LLM 的最简单、最快捷的方法
LlamaEdge 项目可让您轻松运行 LLM 推理应用程序,并在本地为开源 LLM 创建与 OpenAI 兼容的 API 服务。 ⭐ 喜欢我们的作品吗? 给我们点赞! 请查看我们的 官方文档 和 Manning 电子书,了解如何自定义 开源 模型。 使用 LlamaEdge 运行多个模型! LLM (文本生成) | 嵌入 | 语音转文本 | 文本转语音 | 文本转图像 | 多模态
前提条件: 通过以下命令行安装 WasmEdge。
curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install_v2.sh | bash步骤 1:下载一个 LLM 模型文件。这里我们以 Meta LLaMA 3.2 1B 模型为例。
步骤 2:下载 LlamaEdge CLI 聊天应用程序。它也是一个跨平台的可移植 WASM 应用程序,可在许多 CPU 和 GPU 设备上运行。
暂无开放 Issues，或尚未同步最近议题。