cross-platform-llm-client

PrivateLM 是一款基于 Flutter 开发的生产就绪、跨平台的 AI 聊天客户端。它将本地设备上的 LLM 推理（Android）与云 API 访问相结合，让用户完全控制模型的运行方式。

• Android 端本地推理 — 使用 GPU 加速推理（Vulkan）直接在手机上下载并运行 GGUF 模型。下载后不需要互联网连接。

技术架构

堆栈

• 框架: Flutter 3.x (Dart >=3.3.0)
• 状态管理: GetX
• 本地存储: Hive
• 网络: Dio + package:http
• 后台执行：flutter_background_service + flutter_local_notifications
• 推送通知： Firebase Core + Firebase Messaging

推理流程

…

本地推理 (Android)

应用程序使用 llama_flutter_android, 这是一个用于包装 LLaMA.cpp 的自定义 Flutter 插件,适用于 ARM64 设备。在运行时,它:

1. 通过 Vulkan 检测 GPU 功能,以确定卸载层。 2. 根据设备级别(超高/高/中/低)选择线程数。 3. 加载带进度流的 GGUF 模型。 4. 通过 generateChat() 生成令牌,使用本机聊天 API。