完全私有的 LLM 聊天机器人,完全使用浏览器运行,不需要服务器。支持 Mistral 和 LLaMA 3.
完全在浏览器中运行、完全私密的 LLM 聊天机器人，支持 LLaMA 3、Mistral 及其他 开源 模型。
衷心感谢 webllm 提供的推理引擎。
加入我们的 Discord 社区 https://discord.gg/QkVzykMc9V
要运行此应用，您需要一个支持 WebGPU 的现代浏览器。根据 caniuse 的数据，WebGPU 在以下浏览器中受支持：
Firefox 也支持该功能，但需要通过 dom.WebGPU.enabled 标志手动启用。MacOS 上的 Safari 对 WebGPU 也有实验性支持，可通过 WebGPU 实验性功能开启。
除了 WebGPU 支持外，不同模型可能对内存有特定要求。
你可以在这里尝试。
若要自行编译 React 代码，请下载仓库，然后运行：
yarn
yarn build-and-preview如果你想进行修改，请运行带实时重载的开发环境：
yarn
yarn dev| 模型 | 模型大小 |
|---|---|
| TinyLlama-1.1B-Chat-v0.4-q4f32_1-1k | 600MB |
| LLaMA-3-8B-Instruct-q4f16_1 ⭐ | 4.3GB |
| Phi1.5-q4f16_1-1k | 1.2GB |
| Mistral-7B-Instruct-v0.2-q4f16_1 ⭐ | 4GB |
我们非常欢迎贡献，以改进界面、支持更多模型、加快初始模型加载速度并修复错误。
暂无开放 Issues，或尚未同步最近议题。