[ICML 2024] 利用前瞻性解码打破 LLM 推断的顺序依赖
| 论文 | 博客 | 发展路线图 |
前瞻性解码是基于Jacobi 解码而产生的,该解码将自回归解码视为解决非线性系统,并使用固定点迭代方法同时解码所有未来的标记。下面是一个 Jacobi 解码示例。
为了提高此过程的效率,每个前瞻性解码步骤都分为两个并行分支:前瞻分支和验证分支。前瞻分支维持一个固定大小的 2D 窗口,从 Jacobi 迭代轨迹中生成 n-gram。同时,验证分支选择并验证有前景的 n-gram 候选。
前瞻分支的目的是生成新的 N-gram。该分支使用由两个参数定义的二维窗口进行运行：- 窗口大小 W：我们在未来的 token 位置中向前查看多远，以进行并行解码。- N-gram 大小 N：我们在过去的 Jacobi 迭代轨迹中向后查看多少步，以检索 N-gram。
暂无开放 Issues，或尚未同步最近议题。