NV eGPU (TinyGPU, RTX 4090): 默认情况下, tinygrad.LLM 解码速度约为 VRAM 带宽的 1%; JITBEAM=2 在 Q8_0 上可获得 9 倍性能提升,但一个 BEAM 候选项导致设备故障
作者: deacix创建于 2026年9月17日更新于 2026年9月17日
在 Mac mini 上 (macOS 27, TinyGPU `org.tinygrad.tinygpu.driver2` 1.0.0/3), 使用 RTX 4090 (AD102) 连接到 Intel Thunderbolt 5 Dock, `tinygrad==0.14.0` + `tinymesa==25.2.7.2`, `DEV=NV:NAK`, 从 `Python -m tinygrad.LLM --model ... --benchmark 20` 中的 Qwen3-8B (解码 = 每个 token 线稳定; 预填 = 在 3.7k token 提示中使用 `--serve`; 内核时间 = 从 `PROFILE=1` 中的 JIT 图形的 GPU 端跨度之和):
内容来源: tinygrad/tinygrad