mistral.rs · Issues· 390 开放

serve: 投影仪自动发现将目录中的唯一 mmproj 绑定到任意模型 - 导致仅包含文本的 GGUF 发生崩溃(多模态加载器不支持该架构)

[BUG] 在使用 GCC-13 编译时,在多模态 CUDA 图形预捕获期间出现 CUDA_ERROR_NOT_FOUND

默认使用 GGUF 采样参数

[BUG] 在 GCC 13+ 上 CUDA 编译失败 (radix_topk.cuh 中的 cudaLaunchCooperativeKernel 模板推导错误)

模型愿望清单

从 tokenizer_config.json 中解析了 pad_token,但从未将其绑定到 chat-template 上下文中

`tojson` 会默默忽略 `sort_keys`、`ensure_ascii` 和字符串 `indent`

推理模式内容未进行工具调用剥离: 未剥离的原始 <tool_call> 标签与正确解析的工具调用一起泄露

从 stdin 中读取上下文 / 避免命令缓冲区过载

为语法约束的生成添加跳转/快进解码(llguidance 跳转解码支持)

macOS 可用内存可能被报告为 0 MB

运行 Idefics3 架构 ibm-granite/granite-docling258m 并加载图像时出现恐慌

CUDA 轮: 0.9.1/0.9.2 版本的轮子中存在不完整的 ELF 版本表,以及在本地 maturin 构建中 libcuda.so.1 存在错误的包装

不要强制图像和其他媒体在 VLMs 的上下文中排在第一位

重新出口固定蜡烛版本(或者至少是蜡烛核心::设备)