[错误]: llama3_json 流式传输丢失以 '{' 开头但不是工具调用的辅助内容(非流式传输会返回此内容)
作者: redd34创建于 2026年9月26日更新于 2026年9月29日
标签tool-calling
from vllm.entrypoints.OpenAI.chat_completion.protocol import ChatCompletionRequest from vllm.tokenizers import get_tokenizer from vllm.tool_parsers.llama_tool_parser import Llama3JsonToolParser
内容来源: vllm-project/vllm