针对现实世界推理需求,评估和提升您的 LLM 部署
**GuideLLM** 是一个用于评估语言模型在真实工作负载和配置下表现的平台。它模拟与 OpenAI 兼容和 vLLM 原生服务器的端到端交互，生成反映生产使用情况的工作负载模式，并生成详细报告，帮助团队了解系统行为、资源需求和运营限制。GuideLLM 支持真实和合成数据集、多模态输入以及灵活的执行配置，为工程和 ML 团队提供了一种一致的框架，用于评估模型行为、调整部署以及随着系统发展而计划容量。 GuideLLM 为团队在生产环境中部署 LLM 时提供了对性能、效率和可靠性的清晰了解。 - **捕获完整的延迟和令牌级统计信息,用于基于 SLO 的评估**,包括 TTFT、ITL 和端到端行为的完整分布。- **生成适用于同步、并发和基于速率的模式的真实且可配置的流量模式**,包括可重现的扫描,用于确定安全运行范围。- **支持真实和合成的多模数据集,在一个框架中实现受控实验和生产式评估。- **生成标准化的、可导出的报告,用于仪表板、分析和回归跟踪,确保在不同环境中保持一致性。 [](https://github.com/vllm-project/guidellm/tree/main/docs) [](https://github.com/vllm-project/guidellm/blob/main/LICENSE) [](https://pypi.python.org/pypi/guidellm) [](https://pypi.python.org/pypi/guidellm) [](https://github.com/vllm-project/guidellm/actions/workflows/nightly.yml)
暂无开放 Issues，或尚未同步最近议题。