由 summary 打印的模型的 Total params 和 Params size (MB) 与 timm 库中的 bit_base 模型不同。理论上,相同的设置应该相同。原因是什么?

作者: lucker26创建于 2024年9月26日更新于 2024年9月26日

import torch from vit import ViT from torchsummary import summary import timm v = ViT( image_size=224, patch_size=16, num_classes=1000, dim=768, depth=12, heads=12, mlp_dim=3072, dropout=0.1, emb_dropout=0.1 )

使用 summary 显示模型的摘要

summary(v, input_size=(3, 224, 224), device='cpu') # 传入输入的形状 (C, H, W)

内容来源: lucidrains/vit-pytorch