与峰哥交谈 — 克隆任何人的声音和性格,实时语音对话,工程延迟 < 1 秒 | 克隆任何人的声音和性格,进行实时对话。工程延迟 < 1 秒。
与峰哥交谈 — 克隆任何人的声音和性格,实时语音对话,工程延迟 < 1 秒 | 克隆任何人的声音和性格,进行实时对话。工程延迟 < 1 秒。
**实时语音对话 + 音色克隆 + 人格注入,工程延迟 Demo 视频(5.6 万+ 围观)
市面上有很多语音克隆项目,也有很多实时语音对话项目。但它们通常是割裂的:
这个项目把三件事合在了一起:
用户说话 → STT(语音识别)→ LLM(大语言模型)→ TTS(音色克隆合成)→ 用户听到回复
↑
人格注入 + 记忆召回(可选)| 模块 | 默认方案 | 说明 |
|---|---|---|
| 实时音视频 | LiveKit | WebRTC 框架,处理浏览器与 Agent 之间的音频流 |
| 语音识别 (STT) | Cartesia ink-whisper(推荐) | 免费层可用,中文效果好,延迟低 |
| 大语言模型 (LLM) | MiniMax-M2.7-highspeed(推荐) | 国产模型,TTFB 极低,无需 VPN |
| 语音合成 + 音色克隆 (TTS) | VoxCPM(推荐) | 开源音色克隆,效果最好,需 GPU(云或本地) |
| 人格系统 | 基于 女娲 Skill 蒸馏 + 峰哥 Skill + 直播语料补充 | 说话风格 + 口头禅 + 思维方式 |
| 记忆系统 | OpenViking(可选) | 对话记忆沉淀与召回 |
通过 .env.local 一行切换:
git clone https://github.com/YeJe-cpu/talk-to-fengge.git
cd talk-to-fengge然后把这个项目扔给任何 AI 编程助手——Claude Code、Cursor、Codex、Windsurf,或者你用的其他工具都行。告诉它「帮我配置并启动这个项目」,Agent 会读取 .env.example,引导你填 API key、装依赖、启动服务。
展开手动配置步骤
# 安装 Python 依赖
uv sync
# 安装 LiveKit(macOS)
brew install livekitcp .env.example .env.local
# 编辑 .env.local,填入你的 API key你至少需要:
方案 A:VoxCPM(推荐,开源免费,克隆效果最好)
需要 GPU(NVIDIA,显存 >= 8GB)。本机有 GPU 直接本地跑效果最好、延迟最低;也可以用云 GPU(如 RunPod L4)。
峰哥的参考音频已包含在仓库 assets/voice_samples/fengge_ref.wav 中(整理自峰哥公开直播内容),配好 VoxCPM 服务后可直接使用:
# 在 GPU 机器上
bash runpod_setup.sh # 安装依赖 + 下载模型(首次约 10 分钟)方案 B:MOSS-TTS(CPU 可跑,兜底方案)
不需要 GPU,但音色克隆效果和速度不如 VoxCPM。在 .env.local 设置 TTS_PROVIDER=moss。
方案 C:Cartesia Sonic(云端,无需 GPU)
需要 Cartesia Pro 订阅($5/月)才能克隆音色。在 .env.local 设置 TTS_PROVIDER=cartesia。
# 方式一:双击启动脚本(macOS)
./Talk-to-Me-V3.6.command
# 方式二:手动启动各组件
livekit-server --dev --node-ip=127.0.0.1 # 终端 1
LLM_PROVIDER=minimax python -m worker.main start # 终端 2
python -m worker.web_server # 终端 3打开 http://127.0.0.1:8766 开始聊天。
峰哥是内置的完整示例。如果你想换成其他人,需要准备两样东西:
录一段 15-45 秒的清晰人声(无背景音乐、无噪音),用 VoxCPM 克隆音色。
最省事的方式:把这个 repo 用 AI 编程助手打开,告诉它:
「我想把人格换成 XXX。这是 ta 的一些素材:[粘贴文字 / 链接 / 你对 ta 的描述]。请参考
docs/persona-*.md和worker/persona.py里峰哥的写法,帮我生成新的人格配置。」
AI 助手会读现有的峰哥人格作为模板,通过跟你对话提取关键特征,生成新的 persona 代码。
如果你有更丰富的素材(聊天记录、语音转文字、社交媒体内容、直播切片),效果会更好。
…欢迎在 Issues 告诉我你最想要哪个功能。
如果你觉得这个项目有意思,请给个 Star。
想贡献代码、新的人格模板、或者改进建议?欢迎 Fork + PR。
有问题?开 Issue 聊。
想了解更多、交流想法、或者聊合作:
— Leaf
本项目基于 LiveKit Agents(Apache-2.0)框架开发,详见 NOTICE 文件。
暂无开放 Issues,或尚未同步最近议题。