InferenceRequest.async_exec(decoupled=True) 在并行运行的 BLS 中定期抛出 `RuntimeError: Invalid argument` 到解耦模型
作者: protonicage创建于 2026年8月7日更新于 2026年8月15日
Summary
When an async Python model (async def execute) issues BLS requests to a decoupled model using
pb_utils.InferenceRequest.async_exec(decoupled=True), and more than a handful of these are in flight
concurrently, the call intermittently fails with:
内容来源: triton-inference-server/server