考虑通过“内核”使用预建的闪光关注内核

顿

我是来自GitHub的Sayak(https://GitHub.com/huggingface/内核)团队, 我注意到这个项目使用了Flash Reference 包括很长的建设时间. 我们运送预先建造的二进制(作为上游提供比特精确的输出),从而方便使用.

在支持的机器上使用FA3同样容易:

py

确保“内核”安装:“pip安装-U内核”

从内核导入得到 内核

内核 模块=得到 内核 ("内核-社区/flash-attn3"). flash attn func=内核 模块.flash attn func

闪出 atn func (.)

请告诉我们,如果你有兴趣 并且我们很乐意提供一个草案 它会是什么样子 在你的回购.