用户讲话期间的推测执行?

对于在用户仍然活动时支持推测生成的想法有什么看法吗? 目标是尽可能降低响应延迟。 这是可能的,我在最近的论文中已经探讨了这个问题 - https://arxiv.org/abs/2606.13450。 这将依赖于另一个轮次交替信号,以持续预测即将到来的轮次结束。 这将导致响应延迟远低于当前的推测框架。 音频只会在预测到实际的轮次结束时播放。