Llama-Chinese · Issues· 195 open

安装依赖报错，在爬的情况下

微调后的模型怎么在本地部署

运行sh脚本后，提示：ds: error: the following arguments are required: user_script, user_args

虚拟环境安装deepspeed依赖报错后和其他冲突问题的一种解决方案

llama-2-13b多卡推理报错 RuntimeError: CUDA error: device-side assert triggered Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.

本地部署llama 3 70B，微调与推理，需要的硬件配置

llama3 8B中文微调模型Llama3-Chinese-8B-Instruct 存在对生成的答案一直重复的问题

httpx.ConnectError: EOF occurred in violation of protocol (_ssl.c:1002)

API部署出错

llama3-8b-Chinese 一次回答会回答多次

有 vllm chat-template 吗

使用ollama本地部署后的llama3模型生成xml格式的脚本时突然就停止输出，是超出输出限制了吗，但是有的时候又能完整输出，只是偏后面的结果不是很准确

pretrain.sh 中预训练样例数据未提供

我用你们提供的llama3 chinese版本推理速度超慢

社区在线体验推理与直接部署模型推理结果不一致