mimi 使用交错的 RoPE 约定,但检查点存储在变换器布局中

作者: jorge-menjivar创建于 2026年9月3日更新于 2026年9月3日

transformers 4.57.3 中的代码：

zzterm5zz

import torch, soundfile as sf
from transformers import MimiModel
wav, _ = sf.read("audio.wav", dtype="float32")            # mono, 24 kHz
m = MimiModel.from_pretrained("kyutai/mimi", dtype=torch.float32).eval()
with torch.no_grad():
    codes = m.encode(torch.from_numpy(wav)[None, None, :], num_quantizers=16).audio_codes

从 candle 中的代码，相同的检查点，相同的音频：

bash

cargo run --example mimi --features mimi -r -- --cpu audio-to-code audio.wav codes.safetensors

359 个 1008 个代码匹配，没有一个 63 帧完全匹配。 相似性最高在第一帧，14 个 16 个代码，并在之后立即下降，这是一个位置依赖的差异而不是数值差异的特征。

内容来源: huggingface/candle

查看 GitHub 原文在 GitHub 查看讨论