[Qwen3.8-flash-next] QSAIndexer 无法进行训练
作者: cxiaolong创建于 2026年9月15日更新于 2026年9月17日
标签bug
QQ 系统信息
在官方技术报告中,QSA索引器可以使用KL损失来训练,但在目前的代码中,索引器的参数无法训练.
- 谁能帮忙?
无回复( N)
- 资料
- [ 官方示例脚本
- [ 我自己修改过的脚本
QQ 任务
- [ 在“实例”文件夹中正式支持的任务(例如GLUE/SQuAD,.)
- [ 我的任务或数据集(下面有详细信息)
- 复制
所选的 block indices=分数.topk(min(self.block topk,num complete blocks)),dim=0.indices. 梯度在此被截断 。
预期行为
支持培训QSA索引器的参数.
内容来源: huggingface/transformers