[错误]: 预量化 AWQ/GPTQ/INT4 仓库报告的打包元素数量作为参数 - 低估了 6 倍内存,评级为"完美"
作者: JarnDev创建于 2026年9月15日更新于 2026年9月15日
标签bug
Correct parameters_raw when safetensors reports quantized element counts instead of true parameter count (common in FP8/INT4/INT8 repos). arch_params = estimate_params_from_arch(full_config) if arch_params and arch_params > total_params * 2: total_params = arch_params
内容来源: AlexsJones/llmfit