#4855·TensorRT

trtllm-serve 接受 `response_format` 但从不强制执行

作者: Yunzez创建于 2026年9月17日更新于 2026年9月17日

描述

trtllm-serve 接受了 OpenAI response_format 请求,返回 HTTP 200,并生成不满足请求格式的输出,没有错误和警告。 这只是一个默默无声的正确性错误。 服务器保持健康,所有其他请求都正常处理。 它有两种方式发生:(1) 当服务器启动时没有指导解码后端,则约束被完全删除,并以自由格式文本回答请求;(2) 即使配置了后端,但类型为"json_schema"的请求其声明的模式也被删除,因为 OpenAI 包装对象 ({"name": ..., "schema": ...}) 传递给语法后端,而不是内部模式 - 因此输出不受约束的 JSON,而非与模式匹配 (例如,对于 {"x": } 的请求返回一个简单的 100)。 在两种情况下,依赖结构化输出的客户端都会默默地接收非结构化或不符合模式的文本。

内容来源: NVIDIA/TensorRT