不要强制图像和其他媒体在 VLMs 的上下文中排在第一位

我有一个模式,需要在一组不同的图像中有效地"问相同的问题"。我的文本提示相当长,涉及结构化生成模式的描述和一些其他上下文,因此我想将该前缀与我要询问的图像分开缓存,因为它将保持不变,而我将输入一组不同的图像作为后缀。 遗憾的是,看起来 Mistral.rs 假定你总是希望图像在上下文中先行。我不确定我是否理解逻辑正确,但 此代码块 似乎确保所有媒体在上下文中先行。据我所知,模板化模型和非模板化模型之间的故事是不同的,但这两种路径都确保图像在上下文中先行。 也许有更低级的方式来向模型提供上下文,让我将图像放在文本之后?我没有看到任何明显的方法。