消融技术 - 预偏置

想要从你身上弹出一些东西。 你有没有尝试过路由器预比作为 MOE模型的消化机制?

这个想法:我们不是(或除此之外)通常的残余方向正交化或专家零出局,而是在上行-k路由决定之前偏向于门对数. Quen3.5-MoE / Quen3.6-MoE(256名专家, 每个符牌的上到下8个),门产生出将软马克斯+topk输入被选中的专家的对数. 我们增加一个每个专家偏差 b = -α × log ratio,其中log ratio[L,e] =log(p refused routes to e/p complied routes to e)来自 一个激活通道。

效果是:专家优先选择在被拒绝的提示上走的路线被推倒,在遵守提示上开火的专家被推倒。 路由器仍然选择了前8名,但"上8"的人口 远离拒绝相关子集。 我们不是删除专家,不是编辑权重——只是重新定位路由.

实验结果(Quen3.5-35B-A3B和Quen3.6-35B-A3B,闪烁安全拒绝):

• 0.5的尖锐非模拟最佳:+0.093 复合得分增益超过基线(单步单跳,我们自第3级次空间正弦以来见过) -==YTET -伊甸园字幕组=- 翻译:
• 与残留正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛醇-正辛-正辛-正辛-正辛-正辛-正辛-正辛-正辛-正辛-正辛-正辛-正辛-

在Qwen3.6-35B-A3B与NSGA-II组合搜索(40个试验)上,我们最干净的发烧来自纯路由器-比斯计划:4层(L5 α=2.0,L8 α=0.5,L14 α=0.5,L20 α=1.0),别无其他. 结果:翻转率 0.9375,MMLU/GSM8K/PPL损害0.000,复合得分0.9375. 没有抵押品,没有乌提尔滴水——拒绝只是绕来绕去.