HanLP

工具介绍

后十年自然语言处理. Tokenization, 部分语法 Tagging, 命名实体识别, 语言学和语义学依赖分析, Docume

核心特点

• •词干提取、词法语法特征提取请参考英文教程；词向量和完形填空请参考相应文档。
• •简繁转换、拼音、新词发现、文本聚类请参考1.x教程。
• •HanLP每次发布都通过了Linux、macOS和Windows上Python3.6至3.10的单元测试，不存在安装问题。
• •灵活的tasks任务调度，任务越少，速度越快，详见教程。在内存有限的场景下，用户还可以删除不需要的任务达到模型瘦身的效果。
• •高效的trie树自定义词典，以及强制、合并、校正3种规则，请参考demo和文档。规则系统的效果将无缝应用到后续统计模型，从而快速适应新领域。
• •根据我们的最新研究，单任务学习的性能往往优于多任务学习。在乎精度甚于速度的话，建议使用单任务模型。