一个工具包,可通过可靠、高效且可自适应的方式将文本分割成句子或其他语义单元。
本仓库允许您将文本分割为句子或其他语义单元。它实现了以下模型： - SaT — Segment Any Text: A Universal Approach for Robust, Efficient and Adaptable Sentence Segmentation 由 Markus Frohmann、Igor Sterner、Benjamin Minixhofer、Ivan Vulić 和 Markus Schedl 编写（最先进的模型，鼓励使用）。 - WtP &mdash； Where’s the Point? Self-Supervised Multilingual Punctuation-Agnostic Sentence Segmentation 由 Benjamin Minixhofer、Jonas Pfeiffer 和 Ivan Vulić 编写（先前版本，维护以保持可重现性）。
为了保持一致性,我们保留了名为 WtP 的模型。我们的新的后续 SaT 模型在 85 种语言中提供了强大、高效且可自适应的句子分割,性能更高,计算成本更低。请查看我们的 Segment any Text 论文 中展示的 8 个不同语料库和 85 种语言的最先进结果。
use_lora: True 和适当的 output_dir: 运行 scripts/export_to_onnx_sat.py。 - 如果您有本地的 LoRA 模块,请使用 lora_path。 - 如果您希望从 HuggingFace hub 加载 LoRA 模块,请使用 style_or_domain 和 language。 - 加载包含合并的 LoRA 权重的 ONNX 模型: sat = SaT(, onnx_providers=["CUDAExecutionProvider", "CPUExecutionProvider"])暂无开放 Issues，或尚未同步最近议题。