垃圾输出
作者: jaideep11061982创建于 2023年8月8日更新于 2024年3月26日
model = AutoModelForCausalLM.from_pretrained( 'WizardLM/WizardLM-7B-V1.0', load_in_8bit=True, torch_dtype=torch.float16, #device_map="auto", ) _output = evaluate(data, tokenizer, model) final_output = _output[0].split("### Response:")[1].strip() final_output
内容来源: nlpxucan/WizardLM