#211·dolly

在运行 .generate 函数时会打印张量大小

作者: chopra-anuj创建于 2023年10月19日更新于 2023年10月19日

当我运行 3b/7b/12b 模型中的 .generate 函数时,会不断打印张量大小,如 torch.Size([1, 510]), torch.Size([1, 40, 509, 128]), torch.Size([1, 1]), torch.Size([1, 511]), torch.Size([1, 40, 510, 128]), torch.Size([1, 1])…… 我认为代码中某处写了 print( X.shape ) 语句,这导致了问题。我还尝试使用 Huggingface pipeline,但问题依然存在。 使用其他 LLM 模型时,我没有遇到这个问题。

内容来源: databrickslabs/dolly