#3688·flair

[问题]:多前向、多后向和多给定的堆叠,cos 相似度非常低

作者: wildfluss创建于 2025年10月29日更新于 2026年5月23日
标签question

问题

首先,谢谢你的 奇妙的瘦图书馆,

正如@alanakbik建议的那样,我试图用"变形金刚"代替"变形金刚"(bart-base-多语言-uncased Transformer WordEmbeddings), 像这样

导入花纹
打印(flair. version )

从 flair.embeds 导入(
堆积的床铺,
火狱,
字节PairEmbeddies,
变形器WordEmbeddings,,,
文字编辑,
(中文(简体) ).
从 flair.data 导入句子

# https://GitHub.com/flairNLP/flair/issues/1518#issuescomment-625321847 (2020) (中文(简体) ).
{\fn方正粗倩简体\fs12\an8\1cHFFFF00\b0}为什么这能给人如此低迷?
嵌入 = StackedEmbeddings ([
火焰('多向'),
火焰弹('多向后'),
字节PairEmbeddings ("多"),
) )

# 建议https://flairnlp.ZGitHub.io/docs/torial-embeddings/flair-embeddings#建议-flair-usage
但只有英语
嵌入 = 堆积 Embeddings(
# [
{\fn方正粗倩简体\fs12\an8\1cHFFFF00\b0}"Glove" {\fn方正粗倩简体\fs12\an8\1cHFFFF00\b0}
{\fn方正粗倩简体\fs12\an8\1cHFFFF00\b0}"新闻前行"
# FlairEmbeddings ("新闻背面"),
# # 说到做到 #
# # 开始 #

导入火炬
打印(torch. version )

导入 pillage.nn 为 nn

COS = nn. Cosine 相似度( dim = 0)

sent en=句子 ("为了利用这个提议,请访问伊斯坦布尔机场").
嵌入.embed( 发送  en)

sent es = 句子 (“Para aprovechar esta oferta, visite el aeropuerto de Estambul ”).
嵌入.embed( 发送  sent es)

提供
en tensor = send en [5]. 嵌入
打印(sent en [5]),en tensor。 形状

{\fn方正粗倩简体\fs12\an8\1cHFFFF00\b0}# 地狱
es tensor = send es [3]. 嵌入
打印(sent es [3])

打印(cos(en tensor, es tensor))

但它的相似度很低

4zz
0.15.1 国家
为多语言的BPEmb设置平分=300
2.9.0 国家
托肯 [5]:"出价"
托肯 [3]:"oferta" (英语).
变压器( 0. 1605)

同一个代码,但是

zz
嵌入 = 变形器 WordEmbeddings ('bert- base-多语言- uncased', fine tune=False, 层数='all') #, 使用 scalar mix=True),

产量

6zz
0.15.1 国家
2.9.0 国家
托肯 [5]:"出价"
托肯 [3]:"oferta" (英语).
变压器(0.7702)