[pip 包] 功能请求: pipeline.generate: 添加获取状态的功能,如果未提供则返回空
作者: Maykeye创建于 2024年3月18日更新于 2024年3月26日
现在,如果我想在生成后保留状态,`PIPELINE.generate` 不允许我这样做,除非我已经有了它:默认值为 `None`。因此,我需要做一些愚蠢的事情,例如使用 `model.forward` 生成一个单个 token,并从中传递状态,或者创建一个具有 `forward` 并记住状态的模型包装器。因此,从 generate 获取模型状态的可能解决方案包括:
内容来源: BlinkDL/ChatRWKV