量化和解量化的时间和性能开销

作者: Szh1107创建于 2026年4月13日更新于 2026年4月13日

这个仓库中的基准是否包括量化和解量化的时间和性能开销? 具体来说,解量化占总推理时间的比例,以及解量化占用内存的比例在整个推理中。

内容来源: TheTom/turboquant_plus