蜡烛叶子 ~ Spark 上未使用的内存的模型大小
作者: sempervictus创建于 2026年5月11日更新于 2026年8月16日
$ free -g total used free shared buff/cache available Mem: 119 81 38 0 0 37 Swap: 15 0 15 乍一看,好像是 80B NVPF4 模型的大小,这让我想知道是否它被映射到内存中,然后复制到同一内存中,从而在计算边界时将其大小计算两次。
内容来源: huggingface/candle