Chatterbox Turbo:19个准语言标记中有10个标记正确,但没有可听效果

{\fn方正粗倩简体\fs12\an8\1cHFFFF00\b0}Turbo:19个准语言标记中有10个是正确标记的 但没有明显效果

** 包装:**mlx-audio =0.4.5' ** 模式:**chatterbox turbo' (mlx-community/chatterbox-turbo-4bit',也转载于8bit') **平面:**macOS,苹果硅(M4 Pro)

-- -- . . .

□ 总结

ResembleAI/chatterbox-turbo ' 号舰 add tokens.json'中的19个准语言标记 (编号50257-50275). 在`mlx-audio'下,9"声音"标记产生可发音 输出,而10 “情绪/交付”标记在 所有——没有低语,没有愤怒,没有任何效果. 他们默默地被忽视。

工作(9): ‘[取出. ][取出. ][取出. ][取出. ][取出. ][取出.

无效果(10): 出自"相去相去""相去相去""相去相去""相去相去""相去相去""相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相相相相去相相去相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相

用户报告所有19个在 ONNX 运行时间下工作 (resemble-ai/chatterbox#492),表示标签本身经过了训练, 在执行中存在分歧。

-- -- . . .

□ 预期行为

曰[口. 走廊里有人,`应如悄悄地说出。 当其他9个标记发出各自的声音时

□ 实际行为

与同一句相同,标记被去掉。 标签不是 ——它。 仅仅对输出没有影响。

-- -- . . .

□再现.

导入 Os
os.environ.setdefault ("HF HOME","./型号") (中文(简体) ).
从 mlx adio.ts.utils 导入负载 模型
导入 numpy 为 np, 声音文件为 sf

型号=负载 型号 ("mlx-community/chatterbox-turbo-4bit").

用于标记在 ["","[低声]","[干 [","[笑]"中:
音频=无
用于 r 在 model.generate(f"{tag}) 中 走廊里有人", 溪来道:
音频=r.adio
名称 = (teg.strip ("["]") 或 "平面")
sf.write(f"out-{name}.wav"), np.asarrey(音频, dtype=np.float32).reshape(-1), 24000) (中文(简体) ).

out-laugh.wav'与out-plain.wav'明显不同。 出声.wav'和出声.wav'是无法区分的。 (原始内容存档于2018-10-10). Out-plan.wav.

-- -- . . .

已经排除#

** 学问化。 ** 所有19个标记都通过已装入的标记确定为单一的代号 活化剂和推论使用同样的活化剂(`chatterbox turbo.py:916', 而不是“ord()”在:925倒计时:

标致器类: GPT2 切换器
词汇大小: 50276

[笑 -- > [50275] Single Token
[扣 -- > [50274] Single Token
[喘 -- > [50273] Single Token
[咳嗽] - > [50270] Single Token
[叹 -- > [50268] Single Token
[呻 -- > [50271] Single Token
[嗅 -- > [50272] Single Token
[嘘] -- > [50269] Single Token
[清 -- [50267] Single Token
^ 9/9 确认

[耳 -- > [50260] Single Token
[愤怒] - > [50257] Single Token
[恐惧] -- > [50258] Single Token
[惊喜] -- > [50259] Single Token
[哭泣]
. . . . . . .