#13333·ipex-llm

ipex_llm 如何克服动态输入在 NPU 上无法使用的限制?

作者: jungyin创建于 2025年12月13日更新于 2025年12月13日

目前使用 NPU 时,如果模型的某一层有动态输入,我需要使用 resize 方法来修复输入,才能正常使用。我不太明白 ipex_llm 如何突破了这一限制(目前在 NPU 设备上运行时)。请您解释一下这是如何实现的?我曾考虑直接修改输入层的大小,但如果我的目标最大 token 为 8kb,而我的初始输入可能小于 100b,那么掩码会浪费太多计算能力。我找不到这样完美的解决方案,所以我提出了这个问题,期待您的回复!