SAELens

开源

在语言模型上训练稀疏自编码器

1.5K stars0 点赞1 次浏览

工具介绍

在语言模型上训练稀疏自编码器

SAELens 的存在是为了帮助研究人员: - 训练稀疏自编码器。 - 分析稀疏自编码器/研究机制解释性。 - 生成有助于创建安全和一致的 AI 系统的见解。 SAELens 推理可与任何基于 PyTorch 的模型一起使用,不仅仅是 TransformerLens。虽然我们通过 HookedSAETransformer 与 TransformerLens 进行了深入集成,但也可以通过提取激活并将其传递给 SAE 的 encode() 和 decode() 方法,来与 Hugging Face Transformer、NNsight 或其他框架一起使用 SAE。请参阅文档了解如何:

下载和分析预先训练的稀疏自编码器。 - 训练自己的稀疏自编码器。 - 使用 SAE-Vis 库生成特征仪表板。 SAE Lens 是许多贡献者共同努力的结果,旨在提高人类对神经网络的理解,其中许多人是出于对人工智能带来的风险的保护意识。该库由 Joseph Bloom、Curt Tigges、Anthony Duong 和 David Chanin 维护。