如何使用已经下载的模型?
作者: AntonioZC666创建于 2024年1月7日更新于 2024年10月16日
你好,我正在尝试使用 FlexGen。我想知道我是否可以使用已经下载好的模型来运行项目?我使用了 case 命令行 `python3 -m flexgen.flex_opt --model facebook/opt-1.3b`,它会自动从 Huggingface 下载模型,但我已经提前自行下载了。我尝试使用其他参数,如 `--path` 并添加模型所在的文件路径,但这并没有起作用。
内容来源: FMInference/FlexLLMGen