响应: 当没有可流式传输的令牌时,Ollama 后端会注入令牌 0

□ 总结

gpt oss. references api.inference.ollama.infer next token () ' 返回整数0',因为Ollama在短片投票前还没有产生出另一个符号,但总的不活动时间没有到期:

返回 EOS Token 如果 False 其它 0

评论称这是一个无害的PAD/NOOP占位符. 反应 API 推论接口没有无托肯 sentinel,服务器将每个返回的整数附加到'self.tokens',并立即传递给和谐解析器.

□ 影响

一个暂时缓慢的Ollama流可以将符号id 0注入生成的序列. 这种合成的代币从未被模型所出产,可能腐蚀剖析/输出或改变后来提供给后端的代币历史.

□ 拟议决议

当没有模型符号准备好时,不要制造一个符号. 继续等待一个合法的终点站条件:

• 有了真正的流出物;
• Ollama流报告出错;
• 溪流完成时没有其他标志;
• 现有整体不活动时间到期,在这种情况下发出现有的EOS令牌。

添加回归来证明正常的无键投票路径从不返回符 0 , 并且延迟的真实符号返回不变 .