CoreBPE::new 具有无约束的 NSE 类型参数,导致正常的下游调用无法进行类型推断
作者: fallintoplace创建于 2026年5月24日更新于 2026年5月24日
已在当前 main 中验证 08a5f3b (2026 年 5 月 24 日)。
CoreBPE::new 目前在 src/lib.rs 中具有以下签名：
pub fn new<E, SE, NSE>(
encoder: E,
special_tokens_encoder: SE,
pattern: &str,
) -> Result<Self, Box<dyn std::error::Error + Send + Sync>>
where
E: IntoIterator<Item = (Vec<u8>, Rank)>,
SE: IntoIterator<Item = (String, Rank)>,
NSE: IntoIterator<Item = (String, (Rank, Rank))>,NSE 类型参数在函数参数或返回类型中没有使用，因此正常的下游调用无法推断它。
内容来源: openai/tiktoken