一个极其快速的有限状态机和正则表达式操作库。
大家好,我们是一支名为 Bling (Beyond Language Understanding) 的 Microsoft 团队,我们帮助 Bing 变得更加智能。在这里,我们想与大家分享我们的 FInite State 机器和 REgular expression 处理库 (FIRE)。我们在 Bing 中使用 Fire 来执行许多语言操作,例如词汇化、多词表达匹配、未知词猜测、词干化/词根化,仅举几例。
Bling Fire Tokenizer 提供了最先进的性能,用于自然语言文本的分词。Bling Fire 支持以下分词算法:
模型文件描述了它们所用的算法，并可根据需要从外部文件加载。此外，还有一个默认的模型用于 NLTK 风格的词汇化和句子分割，不需要加载。默认的词汇化模型遵循 NLTK 的逻辑，除了将连字符分割的词汇以及修复了一些"错误"之外。 可以为每个模型添加正则化，但这是可选的。 算法之间的区别 在此处总结。 Bling Fire Tokenizer 的高级 API 设计得非常简单，只需要最少或完全不需要配置、初始化或额外文件，并且非常适合从 Python、Ruby、Rust、C#、JavaScript（通过 WASM）等语言中使用。
我们已经预编译了一些常用模型,并列出了源代码参考如下:
暂无开放 Issues，或尚未同步最近议题。