旋转位置编码

• 这个问题存在吗?

• 我查了一下现在的问题

当前的行为

代码中将输入的前半部分进行旋转位置编码,后半部分不做处理,直接拼接。. <img宽="694" alt="图像" src="https://GitHub.com/THUDM/ChatGLM2-6B/assets/59642832/9fb17f9d-eabb-4f76-880f-d820f21d5a3f".

• 预期行为

想知道这样做的原因

正常环境

环境

减记

• OS:Ubuntu 20.04 (英语). {\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080}你觉得呢?
• 变压器:
• PyTorch: - 说吧 - PyTorch:
• CUDA支助(`Python-c' “进口火炬;打印(torch.cuda.is 可使用性()”)' :

还有别的吗?

无回复( N)