<p align="center" <picture <source media="(prefers-color-scheme: dark)" srcset="https://ollm.s3.us-east-1.amazonaws.com/files/logo2.png" </…
LLM 面向长上下文离线工作负载的推理
oLLM 是一个轻量级的 Python 库，用于长上下文 LLM 推理，基于 Huggingface Transformers 和 PyTorch 构建。它支持在 100k 上下文长度下运行如 [gpt-oss-20B](https://huggingface.co/openai/gpt-oss-20b)、[qwen3-next-80B](https://huggingface.co/Qwen/Qwen3-Next-80B-A3B-Instruct) 或 [LLaMA-3.1-8B-Instruct](https://huggingface.co/meta-llama/Llama-3.1-8B-Instruct) 等模型，仅需约 $200 的消费级 GPU（8GB 显存）。不使用任何量化——仅采用 fp16/bf16 精度。
Latest更新（1.0.3）
- 任何 Llama3 / gemma3 模型均可使用
AutoInference，并支持 PEFT适配器
kvikio 和 flash-attn 现在为可选依赖，意味着除 HF transformers 外无硬件限制- 新增多模态 voxtral-small-24B（音频+文本）。[sample音频示例]
- 新增多模态 gemma3-12B（图像+文本）。[sample图像示例]
- 新增 qwen3-next-80B（160GB 模型），吞吐量达 ⚡️1tok/2s（目前最快的模型）
- 为 gpt-oss-20B 添加了类似 flash-attention 的实现，以减少显存占用
- 为 gpt-oss-20B 添加了分块 MLP，以减少显存占用
### 8GB Nvidia 3060 Ti 推理内存使用情况：
| 模型 | 权重 | 上下文长度 | KV 缓存 | 基线显存（无卸载） | oLLM GPU 显存 | oLLM 磁盘（SSD） |
| ------- | ------- | -------- | ------------- | ------------ | ---------------- | --------------- |
| [qwen3-next-80B](https://huggingface.co/Qwen/Qwen3-Next-80B-A3B-Instruct) | 160 GB (bf16) | 50k | 20 GB | ~190 GB | ~7.5 GB | 180 GB |
| [gpt-oss-20B](https://huggingface.co/openai/gpt-oss-20b) |