[Feature/optimization] OvisOCR2 (finneted Quen3.5-0.8B) 视觉编码器推想纬度在MNN上显著高
作者: dr3334创建于 2026年9月18日更新于 2026年9月18日
在使用 MNN 部署 OvisOCR2 (基于 Qwen3.5-0.8B 的端到端文档解析模型) 时,我发现其视觉编码器的编码时间明显过长,使其成为整个推理管线的主要瓶颈。像素越多,所需的时间也会以指数级增长。 请为 OvisOCR2 / Qwen3.5-0.8B 在 MNN 中使用的视觉编码器路径提出优化建议。该编码器延迟不仅很高,而且似乎随着输入分辨率和/或视觉标记数量而呈指数增长。这使得高分辨率的设备端文档解析变得不切实际,因为视觉编码器主导了整个推理时间,并导致了非常高的第一个标记延迟 (TTFT)。 如果 MNN 团队目前没有计划优化此问题,您能否向用户建议我们应该关注哪些方面?
内容来源: alibaba/MNN