Llama3.1 405B 使用 FP8 类型 Error : 找不到存储对象 Float8 e4m3fnStorage
作者: Corsky创建于 2024年7月25日更新于 2025年7月15日
文件“/workdir/user_repository/inference/local_deploy_demo.py”，第 41 行，在 load_model 中 self.model = AutoModelForCausalLM.from_pretrained(path, device_map="auto", trust_remote_code=True,
内容来源: meta-llama/llama3