minions

设备端和云端 LLM 的交互场景_这是什么?_Minions 是一种通信协议,可让小型设备端模型与云端的前沿模型进行协作。通过仅在本地读取长文本上下文,我们可以在质量损失最小或没有损失的情况下降低云端成本。本仓库提供了该协议的演示。请参阅下面的内容或阅读我们的论文和博客文章以了解更多信息。

正在寻找 Secure Minions Chat? 如果您对我们的端到端加密聊天系统感兴趣,请参阅 Secure Minions Chat README 以获取详细的设置和使用说明。

• 设置
• 步骤 1:克隆并安装
• 步骤 2: 安装本地模型服务器
• 步骤 3: 为以下至少一个云 LLM 供应商设置 API 密钥
• Minions 演示应用
• Minions WebGPU 应用
• 示例代码
• Minion（单数）
• Minions (复数)
• Python 笔记本
• Docker 支持
• 命令行界面
• 安全的 Minions 本地-远程协议
• 安全的 Minions 聊天
• 应用程序
• 推理估算器
• 命令行使用
• Python API 使用
• 各种设置
• 使用 Azure 和 OpenAI 与小兵
• 维护者

设置 _我们已经在 Mac 和 Ubuntu 上使用 Python 3.10-3.11 测试了以下设置 (注意: Python 3.13 不受支持)