本地部署llama 3 70B,微调与推理,需要的硬件配置

Author: P11GHCreated May 10, 2024Updated Feb 18, 2025

你好,我想本地部署llama 3 70B,想问下大概需要什么样的硬件?比如两张A100/A800 80G足够吗?

Source: LlamaChinese/Llama-Chinese