大规模 LLM 推理引擎
Sonar 是一个用于 Hugging Face 兼容语言和多模型的推理引擎。它提供了连续批处理、分页 KV 缓存管理、优化内核、量化、推测性解码和分布式服务等功能。
默认情况下，服务器监听 `http://127.0.0.1:2242``。它提供与 OpenAI 兼容的 API、健康检查、指标和 OpenAPI 方案。请参阅 与 OpenAI 兼容的 API 指南，了解流式传输、嵌入、工具调用、推理输出和 Sonar 请求参数。
暂无开放 Issues，或尚未同步最近议题。