token填充问题
Author: wwx13Created Jan 28, 2026Updated Jan 30, 2026
您好,RWKV7 当输入是左填充的时候填充会影响后续token计算吗? transformer通过mask解决的,RWKV有什么方案解决填充影响的问题吗?当batch计算的时候肯定需要填充,但是不希望引入pad影响token计算。
Source: BlinkDL/RWKV-LM
您好,RWKV7 当输入是左填充的时候填充会影响后续token计算吗? transformer通过mask解决的,RWKV有什么方案解决填充影响的问题吗?当batch计算的时候肯定需要填充,但是不希望引入pad影响token计算。
Source: BlinkDL/RWKV-LM