[错误] Qwen 3.5 系统专用提示仍然无法通过连续令牌
作者: zzzzzzzxh创建于 2026年9月9日更新于 2026年9月14日
□ 环境
- 主动词:`cf1649b2244a96c0ec7ec7abea50cda9df291ee411b'
- 变压器 5.10.4
- 火炬2.11.0+cu130
- Qwen/Quen3.5-9B处理器
□再现.
此复制器沿用了 ` AgentLooperWorker.ct building first tokens' 所使用的执行器调用; 它不直接调用 'apply chat template' :
导入 Ayncio
从变压器导入自动处理器
从 verl.utils.tokenizer. 接续 token wiring 导入创建 接续 token builder
MODEL = “/path/to/Quen3.5-9B”
async def 主线( ):
处理器 = AutoProcessor. from pretrained(MODEL, trust remote code=True) 处理器 :
构建器 = 创建 连续 token 构建器 ()
处理器.tokenizer,
hf model type="qwen3 5", (中文(简体) ).
处理器=处理器,
(中文(简体) ).
消息 = [{'作用':"系统","内容":"系统指令"]
返回等待 ayncio.get running loop (. run in executor ()
无
Lambda: buildinger.building instatural tokens(消息),, 互联网档案馆的存檔,存档日期2013-12-21.
(中文(简体) ).
ayncio.run(主要())□ 观察行为
在 " Cf1649b2 " 的干线上:
构建者: QuenVLContinuous Token 构建器
jinja2. 例外。 TemplateError:系统消息必须在开头.追踪通过:
代理LoopWorker.ct building 初始页 tokens
- > QuenVL 连续托肯建筑。 构建 初始键
- > 渲染为以 mm为单位的
- > verl.utils.tokenizer.chat template. 应用 chat template
- > 处理器. apply chat template在一棵补丁树上的同名呼叫返回了12个令牌ID.
本地的 Quen3.5 处理器拒绝一个只包含“ 在信件中找不到用户查询” 的系统历史; 字典包装器通过插入和去除一个合成用户间距来适应这个有效的输入 。
□ 预期行为
如果只支持系统的历史用于连续托肯或SFT,那么统一的连续托肯路径应该使历史不引起模板错误. 如果它们被故意不支持,请记录该约束并识别所支持的信息形状。
这是对#7725的有重点的后续,在"Concept Token"在#6804成为默认推出路径后隔离行为.
内容来源: verl-project/verl