支持与 `hidden_size / num_attention_heads` 无关的显式注意力 `head_dim`
作者: aflah02创建于 2026年9月20日更新于 2026年9月20日
标签feature request
These dimensions describe different parts of the Transformer:
内容来源: EleutherAI/gpt-neox
These dimensions describe different parts of the Transformer:
内容来源: EleutherAI/gpt-neox