基于大脑的大型模型,将混合高效注意力、MoE 模块和脉冲编码集成到其架构中
受大脑机制启发, SpikingBrain 将 混合高效注意力、MoE 模块 和 脉冲编码 集成到其架构中,并由与开源模型生态系统兼容的通用转换管线提供支持。这使得在使用少于 2% 的数据的情况下,可以持续进行预训练,同时实现与主流开源模型相媲美的性能。我们还针对 非 NVIDIA (MetaX) 集群 进行了框架、运算器、并行策略和通信原语的调整,确保稳定的大规模训练和推理。SpikingBrain 在 4M 令牌序列的 TTFT 中实现了 100 倍以上的加速,而脉冲编码在微观层面实现了 69% 以上的稀疏性。结合宏观层面的 MoE 稀疏性,这些进展为下一代神经形态芯片的设计提供了宝贵的指导。
此仓库提供了 SpikingBrain-7B 的完整实现和权重,包括 HuggingFace 版本、vLLM 推理版本 和 量化版本,可在不同场景中灵活部署和进行研究。
SpikingBrain-7B/
├── hf_7B_model/ # HuggingFace 版本
├── hf_7B_VLM/ # VLM 模型 HuggingFace 版本
├── run_model/ # 模型运行示例
├── vllm_hymeta/ # vLLM 插件和推理支持
├── W8ASpike/ # 量化推理版本
├── setu暂无开放 Issues，或尚未同步最近议题。