当 LLM 流开始时是否存在文档记录的恢复情况,但在句子完成之前出现卡顿?
作者: mannyb223创建于 2026年9月16日更新于 2026年9月16日
pipecat 1.10.0 中的 `OpenAIResponsesLLMService` 具有流式传输和 Telnyx 传输,电话音频采用 8 kHz。在一次实时通话中,LLM 首先快速返回了第一个 token(ttfb 平均 1.4 秒,最大 2.9 秒),但随后四个回复连续流式传输得如此缓慢,以至于在 3.5 到 8.9 秒内没有达到句子边界,因此没有任何内容被发送到 TTS。每个回复随后都被呼叫者的下一个词取消,管道多次记录了"PipelineWorker 心跳帧未在 10.0 秒内收到",呼叫者听到的静音直到挂断。同一半小时内的另外两个通话记录了 20 到 22 秒的回复。文档中描述了 LLM 服务上的 `retry_on_timeout` 和 `retry_timeout_secs`。在这种情况下,请求已经产生了 token,因此我不确定该设置是否适用。是否存在一种已启动但随后卡死的流的文档化模式,例如每个流的空闲超时取消和重试,或者回退到 LLM 服务?如果没有,是否欢迎对 LLM 服务的流空闲超时的功能请求?如果有帮助,我可以添加一个带有模拟 LLM 服务的标准重现,该服务以较慢的速度进行流式传输。
内容来源: pipecat-ai/pipecat