#48826·transformers

[Qwen3.8-flash-next] QSAIndexer 无法进行训练

作者: cxiaolong创建于 2026年9月15日更新于 2026年9月17日
标签bug

QQ 系统信息

在官方技术报告中,QSA索引器可以使用KL损失来训练,但在目前的代码中,索引器的参数无法训练.

  • 谁能帮忙?

无回复( N)

  • 资料
  • [ 官方示例脚本
  • [ 我自己修改过的脚本

QQ 任务

  • [ 在“实例”文件夹中正式支持的任务(例如GLUE/SQuAD,.)
  • [ 我的任务或数据集(下面有详细信息)
  • 复制

所选的 block indices=分数.topk(min(self.block topk,num complete blocks)),dim=0.indices. 梯度在此被截断 。

预期行为

支持培训QSA索引器的参数.

内容来源: huggingface/transformers