[BUG: 发生故障] vLLM EngineCore 在启动时加载 `datalab-to/surya-ocr-2` 时发生 SIGSEGV(`realloc(): 无效指针`/ `EngineCore: -11`) 而崩溃

中途引擎Core启动崩溃, 加上“ SIGSEGV” /“ realloc (): 装入“ datalab- to/ surya-ocr-2” 时无效指针

□ 总结

在启动“datalab-to/surya-ocr-2”的vLLM服务器时,引擎核心进程在初始化过程中偶尔会崩溃。

失败是暂时的。 完全相同的命令可能:

• 带有`realloc (): 无效指针' 的崩溃
• 与 " 发电机: -11 " (SIGSEGV)相撞
• 或顺利启动而无需修改。

这似乎是引擎公司内部的原生相撞,而不是Python的例外.

□ 环境

• VLLM:0.20.1
• 模型:`数据实验室到/上-ocr-2'
• GPU: NVIDIA RTX 4070 (12 GB) (英语).
• 司机:580.173.02
• 12点X分
• 齐特姆2ZZ: 3.12
• 齐特曼克
• " 增强能力 "
• 已启用的光谱解码(方法=mtp'、num-speculative tokens=2')

□ 预期行为

服务器应持续初始化。

□ 实际行为

起动是非决定性的.

有时服务器会正常启动.

其他时间引擎Core在初始化时会崩溃.

-- -- . . .

□ 失败模式 1

Engine Core 到达编码器缓存初始化后中止 :

页:1 型号加载占用了1.41 GiB内存 设置注意块大小... 铺上曼巴页面大小... 编码器缓存将初始化,预算为6144个令牌. . realoc (): 无效的指针

API服务器随后退出,因为EngineCore终止了.

-- -- . . .

□ 失败模式 2

引擎Core立即用SIGSEGV退出:

页:1
运行时错误: 引擎核心初始化失败 。
失败的核心 proc: {'Engine Core' : -11}

11'对应SIGSEGV'。

-- -- . . .

□ 观察

• 模型重量负载成功。
• CUDA成功初始化。
• GPU内存足够了
• 没有发生CUDA OOM。
• 司机没有报告NVIDIA Xid错误。 `nvidia-smi ' 报告GPU是健康的。
• 完全相同的发射有时会成功而不改变任何东西.

由于相同的发射有时成功,有时也失败,这似乎是间歇地本土初始化问题,而不是决定性的配置错误.

□ 有问题

• 这是一个已知的问题 在vLLM0.20.1?
• 这是否涉及:
• MTP投机解码?
• 多式联运编码器缓存初始化?
• 三通/闪存初始化? -引擎公司启动时的比赛条件?

□ 完整日志

QQ Crash 1 (` realloc (: 无效指针' )

< 细节> <摘要>扩展 </摘要>

页:1 警告 07-28 06:46:23 [argparse utils.py:257] (英语). 有了vllm service',你应当提供模型作为立场论证或配置文件,而不是通过-型'选项。 今后将删除 " 模式 " 选项。 (APIServer pid=1) INFO 07-28 06:46:23 [utils.py:299]. (APIServer pid=1) INFO 07-28 06:46:23 [utils.py:299] * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * ************************************** (APIServer pid=1) INFO 07-28 06:46:23 [utils.py:299] QQQQQQQQ版本0.20.1 (APIServer pid=1) INFO 07-28 06:46:23 [utils.py:299] QQQQ 模型数据lab-to/surya-ocr-2 (APIServer pid=1) (韩语). . . . . . . .