我可以问你一个关于"scale_emb_or_prj"参数的问题吗?
作者: aitch25创建于 2023年6月12日更新于 2023年6月12日
我可以问你一个关于"scale_emb_or_prj"参数的问题吗?据我所知,"Attention is all you need"的作者在模型中同时使用了'prj'和'emb'。但是,你的代码选择了两者中的一个(即'prj'或'emb')或'none'。我想问你为什么你在原论文中做了这种区分。我相信你是出于某些原因做出了这种区分,例如性能等。或者,如果我对原论文有误,请耐心地告诉我。
内容来源: jadore801120/attention-is-all-you-need-pytorch