在运行 Python 脚本时,解决了 flexgen 问题
作者: foreverpiano创建于 2024年4月15日更新于 2024年4月18日
python3 -m flexgen.flex_opt --model facebook/opt-30b --percent 0 100 100 0 100 0 --offload-dir /scratch/bcjw/ding3/flexgen_offload_dir --path /scratch/bcjw/ding3/opt_weights <run_flexgen>: args.model: facebook/opt-30b 模型大小: 55.803 GB, 缓存大小: 2.789 GB, 隐藏大小(预填): 0.029 GB 初始权重... 已被杀死
内容来源: FMInference/FlexLLMGen