Apple Silicon 上的 MLX 的无损 DFlash 推测解码
dflash-mlx Apple Silicon (MLX) 的 DFlash 探测性解码 论文: DFlash: Block Diffusion for Flash Speculative Decoding (Chen 等, 2026) 块扩散草稿在一次迭代中生成 16 个令牌。目标在一次迭代中进行验证。输出是无损的 — 在提交之前，每个发出的令牌都会与目标模型进行验证。 https://github.com/user-attachments/assets/a9be2b48-3264-4970-b836-c876b0b7fdda
一个小型草稿模型 (~1B 参数) 与块扩散并行生成 16 个 token。 - 目标模型在单个前向传播中验证这些 16 个 token。 - 贪心接受保留正确的前缀，拒绝其余部分。 - 无损失：每个输出的 token 在验证时都是目标模型的贪心 argmax。由于 MLX 分派的差异，输出仍可能与纯 AR 不同，但从未输出过未验证的 token。 - 以标准 MLX 为基础，在少量目标 Metal 内核中，回滚和长上下文验证需要更严格的数值控制。
磁带回放回滚 — 而不是对整个 GatedDeltaNet 状态进行快照和恢复，dflash-mlx 在验证期间记录创新磁带，并通过自定义 Metal 内核仅重放接受的步骤。这可降低回滚成本，并保持长期代代之间的验收一致性。
暂无开放 Issues，或尚未同步最近议题。