[Bug] Ollama 请求在包含图像时失败

发生了什么事?

顿! 非常有趣的项目。

我试图用dspy来进行图像分类. 作为第一步,我只想制作一个图像的描述,在ollama上使用`minicpm-v'模型。

以下例子导致错误:

导入 dspy

类描述( dspy. signal) :
""详细描述画面. "只用英语回答"

图像: dspy.Image = dspy. Input Field(desc ="一相")
描述: str = dspy. Output Field(desc="图像的详细描述").

图像  path="/tmp/9221487.jpg"
midcpm = dspy.LM ('ollama/minicpm-v:latest', api base='http://localhost:11434', api key=') 互联网档案馆的存檔,存档日期2011-12-21.

p = dspy. 预测(描述)
p. set lm(最小值)
结果=p(图像=dspy)。 图像. from url(图像 路径)
打印( 结果. 描述)

输出 : {\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080}你觉得呢? 2025/04/13 13:22:40 Warning dspy.adapters.json adapter:使用结构化输出格式失败. 回归JSON模式. 错误: litellm. 错误请求错误: 在 {'role': 'system', 'content' 中传递的无效信件 : “ 您的输入字段是 :\n1 。 `图像' (图像):一个相片\n 您的输出字段是:\n1. ‘描述' (str):对图像的详细描述.\n 所有的交互将按以下方式排列,并填入适当的数值.\n\n输入将具有以下结构:\n [ [ [□ 图像 □]]\n{image}\n\n输出将是 JSON 对象,并有以下字段. \ n\ n [ [ □ 描述 □ ]\ n\ n 在坚持这一结构时,你的目标是:\n 详细描述图像。 仅以英语回答。'} 回溯( 最近最后一次通话) : 文件". local/lib/python3.12/ site-packages/dspy/dapy/adapter/chat adapter.py", 第41行,收录于 call . 返回超级 (. ) call ( lm, lm kwargs, 签名, 演示, 输入) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 文件". local/lib/python3.12/ site-packages/dspy/adapters/base.py", 第33行,收录于 call . 输出 = lm(消息=输入,**lm kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 文件".local/lib/python3.12/ site-packages/dspy/utils/callback.py", 第266行,以包装为单位. 返回 fn( 默认, *args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 文件". local/lib/python3.12/ site-packages/dspy/clients/base lm.py", 第52行,以 call . 响应=自.forward(即时=即时,消息=消息,**kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 文件".local/lib/python3.12/ site-packages/dspy/utils/callback.py", 第266行,以包装为单位. 返回 fn( 默认, *args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 文件". local/lib/python3.12/ site-packages/dspy/clients/lm.py", 第112行,前行 成果=完成( ^^^^^^^^^^^ 文件".local/lib/python3.12/ site-packages/dspy/clients/lm.py", 第268行,以包装为单位. 输出 = func cached( 键, 请求, *args, ** kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 文件".local/lib/python3.12/ site-packages/cachetools/ decorators.py",第94行,以包装为单位. . . . . . . .