pruning_bert_glue 示例修剪错误

** 说明问题**:

** 环境**:

• NNI版本:3.0
• 培训服务(地方培训)
• 客户端OS:ubuntu
• 服务器 OS(仅限远程模式):
• Python版本:3.10.9
• PyTorch/TensorFlow版本:PyTorch 2.1.0+cu121
• 是否使用conda/virtualenv/venv?:没有
• 运行在Docker?

** 计算**:

• 实验配置(记住去除秘密!) :
• 搜索空间:

** 日志信息**:

• 尼曼纳格。
• 调度员.log:
• 不,不,不,不,不。

{\fn华文仿宋\fs16\1cHD1D1D1}快跑! 您可以在哪里找到日志文件 : LOG: https://GitHub.com/microsoft/nni/blob/master/docs/en US/Tutorial/HowTo Debug.md#实验-root-指针 STDOUT/STDERR: https://nni.readthedocs.io/en/stable/reference/nnictl.html#nnictl-log-stdout 互联网档案馆的存檔,存档日期2013-12-21. . > 时间

如何复制? **: 运行 pruning bert glue 教程

从 nni. compress. pruning 导入 MovementPruner 从 Nni. compress. pruning 导入移动程序 从 nni.compress.speedup 导入模型 从 nni. compress. utils. 外部. 外部 替换器导入变压器

def pruning attn (): (中文(简体) ). 路径('./output/bert finetuned/'). mkdir(家长=True,存在 ok=True). model = build fineturn model(任务 名称,f'./output/bert finetuned/{任务 名称}.bin') 教练员=准备 追踪 教练员(型号,任务 名称) 评价员=变革者 评价员(培训员)

配置 list=[{ 'op types': ['Linear''], , , ["Linear'']], 'op names re':['bert.encoder.layer.[0-9]}} 注意.*], “ sparse 阈值” : 0.1, '"广雅": [64, 64. [

pruner = MovementPruner(型号,配置 列表,评估者,取暖 步数=9000,冷却 起起步 步数=36000,正则 尺度=10) pruner.compress(无,4) pruner.unwrap model () () (中文(简体) ).

口罩 = pruner.get masks () 路径('./output/pruning/'). mkdir(家长=True,存在 ok=True). 火炬.save(火炬, './输出/喷出/atn masks.pth') 火炬.save(型号,`./输出/推出/atn masked model.pth')

如果不是跳过 执行: pruning attn() () (帮助)

BertForSequenceClassization的一些权重没有从Bert-base-uncase上的模型检查站初始化,而是被新初始化: ['classifier.bias','classifier.wight'].
你也许应该训练这个模型 在一个下游的任务, 能够用它来预测和推断。
[/tmp/ipykernel 56471/3847997197.py:3] (https://vscode-remote+ssh-002dremote-002b7b22686f73744e616d6523a2243617073746f6e65227d.vscode-resource.vscode-cdn.net/tmp/ipykernel 56471/384797197.py:3):未来警告:负载-量被去去去去去去去去去去去去去去去去去去去去去去去去去去去的数据集的主要版本. 使用“ value. load” 代替, 取自新库“ value: https://huggingface.co/docs/ value”
公尺 = 负载  度量 ('glue', task name)
[2023-11-06 02:54:46] Warning: trainer.opimzer不是被nni.trace包裹,或者trainer.opimzer是None,将使用拥抱面默认优化器.
[2023-11-06 02:54:46] Warning: trainer.lr chellenger 不由 nni.trace 包裹,或 trainer.lr chellenger 为 None,将使用拥抱面默认 lr chellenger.
[2023-11-06 02:54:46] (中文(简体) ).
. . . . . . .