ChatterUI

ChatterUI - 一个用于大语言模型的简单应用

ChatterUI 是一个面向大语言模型的原生移动端前端。

在设备上运行大语言模型，或连接各种商业或 开源 API。ChatterUI 旨在提供移动友好的界面，并对聊天结构进行精细控制。

如果你喜欢这个应用，欢迎在这里支持我：

功能：

• 在本地模式下于设备上运行大语言模型
• 在远程模式下连接各种 API
• 与角色聊天。（支持角色卡 v2 规范。）
• 为每个角色创建和管理多个聊天。
• 自定义采样器字段和指令格式
• 与设备的文本转语音（TTS）引擎集成

使用方法

从 releases 页面下载并安装最新的 APK。

由于缺乏 iOS 开发硬件，目前 iOS 版本暂不可用

本地模式

ChatterUI 在底层使用 LLaMA.cpp 在设备上运行 gguf 文件。一个自定义适配器用于与 React 原生集成：cui-LLaMA.rn

要使用设备端推理，请先启用本地模式，然后前往“模型 > 导入模型 / 使用外部模型”，选择一个适合您设备内存的 gguf 模型。导入功能如下：

• 导入模型: 将模型文件复制到 ChatterUI 中,从而可能缩短启动时间。

• OpenAI

• Claude （支持使用代理）

• Cohere

• 打开路由器

• Mancer

• AI 部落

通用后端：

• 通用文本组件