llama-cpp-python · Issues· 678 开放

对 Gemma 3 4B 和 Gemma 4 与 LLaMA-cpp-Python 的集成支持的请求

长的空白标记会被解析为空字节,从而中断 tokenize/detokenize 的往返过程

[错误] 由于缺少 ctx_other 和非自回归图执行, DFlash 2 的推测解码在 Python 中崩溃并失败

无法在使用 Cuda 工具包 12.9 和 Cuda 12.9 的情况下安装支持 GPU 的版本

对于版本高于 0.3.30 的系统,uv add LLaMA-cpp-Python 会失败

Docker LLaMA-cpp libcuda.so.1: 无法打开共享对象文件: 找不到此文件或目录

支持 CUDA 预构建的 sm100 和 sm120

使用 pyinstaller 创建的 exe 文件遇到访问违规问题

LLaMA.embed() 调用 LlamaBatch.add_sequence 方法，使用旧的 3 个参数签名；缺少 logits_array 参数

记录服务器命令行参数。

如何使用"Gemma-4-E4B-it-heretic-GGUF"?

CUBLAS 和 CLBLAST 在 Windows 上进行构建

OpenBLAS blas_thread_init 错误 - Linux Centos 7 使用 LLaMA-cpp-Python == 0.1.67

无法找到 nvcc,请设置 CUDAToolkit_ROOT

提示要在服务器中使用的指令模型