在使用批量大于 1 的基准测试工具时, CUDA 发生内存不足

系统信息

• TGI v3.0.1
• 操作系统: GCP 容器优化的操作系统
• 4 个 L4 GPU (每个 24GB 内存)
• 模型为 hugging-quants/Meta-LLaMA-3.1-70B-Instruct-AWQ-INT4 一旦我使用我们的用例所需的输入长度和批量大小为 2 运行 TGI 基准测试工具 (text-generation-benchmark)，我就收到 CUDA 无内存并停止 TGI 服务器。