bitnet-b1.58-2B-4T 使用 SiLU 运行FFN 而不是 relu2 - 每个后端的错误对数

作者: msrovani创建于 2026年8月8日更新于 2026年9月7日

bitnet-b1.58-2B-4T 使用 SiLU 而不是 relu² 运行 FFN — 每个后端的 logits 都错误

内容来源: microsoft/BitNet