8卡 fastertransformer 推理报错RuntimeError: [FT][ERROR] 断言失败: /home/young.ruan/FasterTransformer/src/fastertransformer/th_op/glm/GlmOp.h:539
作者: rGitcy创建于 2023年11月22日更新于 2023年11月22日
您好，使用 THUDM/Fastertransformer 8 卡推理时出现错误，脚本为 FasterTransformer/examples/pytorch/glm/benchmark-generation.sh
内容来源: zai-org/GLM-130B