uLipSync

> 编程语言

开源

基于 MFCC 的 LipSync 插件,可在 Unity 中使用作业系统和 Burst 编译器

1.6K stars0 点赞1 次浏览

访问官网 GitHub

工具介绍

基于 MFCC 的 LipSync 插件,可在 Unity 中使用作业系统和 Burst 编译器

uLipSync 是 Unity 中用于同步嘴唇的资源。它具有以下特性：

Unity 包
- 从发布页面下载最新的 .unitypackage。
- 从包管理器中导入 Unity.Burst 和 Unity.Mathematics。
Git URL (UPM)
- 将 `https://github.com/hecomi/uLipSync.git#upm`` 添加到包管理器中。
有限注册表 (UPM)
- 为项目添加有限注册表。
  - URL: `https://registry.npmjs.com``
  - 作用域: com.hecomi
- 在包管理器中安装 uLipSync。
  - 如果在列表中找不到 uLipSync，请直接输入 com.hecomi.ulipsync 进行搜索。

当通过 AudioSource 播放声音时,声音的缓冲区会进入与同一个 GameObject 关联的组件的 OnAudioFilterRead() 方法。我们可以修改此缓冲区,应用如混响等声音效果,但同时由于我们知道正在播放的波形类型,我们还可以分析它,计算梅尔频率切斯特分量 (MFCC),这些分量代表人类声道的特征。换句话说,如果计算得当,当正在播放的波形为 "a" 时,您可以获得类似 "ah" 的参数,当当前波形为 "e" 时,可以获得类似 "e" 的参数 (除了元音外,还可以分析 "s" 等辅音)。通过将这些参数与每个 "aieou" 语音单元的预先注册参数进行比较,我们可以计算每个语音单元与当前声音的相似度,并使用此信息调整 SkinnedMeshRenderer 的混合形状。