# GeneFace：通用且高保真的音频驱动三维说话人脸合成 | ICLR'23
#### 叶振辉，蒋子悦，任毅，刘静林，何金政，赵洲 | 浙江大学，字节跳动
| [](https://github.com/yerfor/GeneFace) | | [](https://github.com/yerfor/GeneFace/releases) | [中文文档](README-zh.md)
本仓库是我们 [ICLR-2023 论文](https://arxiv.org/abs/2301.13430) 的官方 PyTorch 实现，其中我们提出了 **GeneFace**，用于通用且高保真的音频驱动说话人脸生成。推理流程如下：
我们的GeneFace在域外音频上实现了更好的唇形同步和表现力。观看[此视频](https://geneface.github.io/GeneFace/example_show_improvement.mp4)可清晰对比与先前基于NeRF的方法的唇形同步效果。您也可以访问我们的[项目页面](https://geneface.github.io/)了解更多详情。
# MimicTalk 发布
**我们已发布MimicTalk的代码（[https://github.com/yerfor/MimicTalk/](https://github.com/yerfor/MimicTalk/)），这是一种基于NeRF的SOTA人物特定说话人脸方法，实现了更好的视觉质量，并支持说话风格控制。**
# GeneFace++ 发布
**我们已发布 GeneFace++ 的代码（[https://github.com/yerfor/GeneFacePlusPlus/](https://github.com/yerfor/GeneFacePlusPlus/)），这是 GeneFace 的升级版本，在唇形同步、视频质量和系统效率方面均有提升。**
## 更新内容：
- `2023.3.16` 我们在[此版本](https://github.com/yerfor/GeneFace/releases/tag/v1.1.0)中发布了重大更新，演示视频见[此处](assets/zozo_radnerf_torso_smo.mp4)。包括：1) 基于 RAD-NeRF 的渲染器，可实时推理，训练仅需 10 小时。2) 基于 PyTorch 的 deep3d_reconstruction 模块，安装更简便，速度比之前基于 TF 的版本快 8 倍。3) 支持音高感知的 audio2motion 模块，可生成更精准的唇形同步关键点。4) 修复了导致内存占用过大的若干问题。5) 我们很快将上传关于此更新的论文。
- `2023.2.22` 我们发布了一段 1 分钟长的[演示视频](https://geneface.github.io/GeneFace/how_i_want_to_say_g)。