百科.dev
全部条目AI 编程趋势榜开源项目技术资讯提交条目
登录
返回工具页/返回 Issues 列表
#192·LoRA

ValueError: 目标模块为 CLIPEncoderLayer,只支持以下模块:`torch.nn.Linear`、`torch.nn.Embedding`、`torch.nn.Conv2d`、`transformers.pytorch_utils.Conv1D`。

作者: Crystal-twy998创建于 2025年3月17日更新于 2025年9月26日

ValueError: 目标模块 CLIPEncoderLayer( (self_attn): CLIPAttention( (k_proj): Linear4bit(in_features=1024, out_features=1024, bias=True) (v_proj): Linear4bit(in_features=1024, out_features=1024, bias=True) (q_proj): Linear4bit(in_features=1024, out_features=1024, bias=True) (out_proj): Linear4bit(in_features=1024, out_features=1024, bias=True) ) (layer_norm1): LayerNorm((1024,), eps=1e-05, elementwise_affine=True) (mlp): CLIPMLP( (activation_fn): QuickGELUActivation() (fc1): Linear4bit(in_features=1024, out_features=4096, bias=True) (fc2): Linear4bit(in_features=4096, out_features=1024, bias=True) ) (layer_norm2): LayerNorm((1024,), eps=1e-05, elementwise_affine=True) ) 不受支持。目前只支持以下模块: torch.nn.Linear, torch.nn.Embedding, torch.nn.Conv2d, transformers.pytorch_utils.Conv1D。

内容来源: microsoft/LoRA

查看 GitHub 原文在 GitHub 查看讨论