Kiwi

开源

Kiwi(智能韩语词素分析器)

760 stars0 点赞2 次浏览

工具介绍

Kiwi(智能韩语词素分析器)

Kiwi: 智能韩语词形分析器(Korean Intelligent Word Identifier)

x86_64: 其他: Kiwi 是一款面向高速性能和通用性的韩语词素分析库。它是开源的，任何关心韩语处理的人都可以轻松使用，并且正在准备通过封装 C++ 实现的核心库，以便支持各种编程语言。词素分析基于「세종词性标记体系」,模型学习使用「세종计划语料」和「所有人语料」。对于网页文本,可以以约 87% 的准确度分析韩语句子的词素;对于文言文本,可以以约 94% 的准确度分析韩语句子的词素。此外,对于简单的拼写错误,模型还支持自行校正(0.13.0 版本之后)。由于仍有许多缺陷,因此请开发人员多加关注并提供帮助。

特点

文本分析速度与其他韩语词汇分析工具相比相当快。详细的基准测试结果请参阅此文档。

此外,它还自行搭载了轻量级语言模型,即使存在模糊性,也能够相当精确地分析词根。自CoNg 模型以来,模糊性消除性能得到了显著提升(模糊性消除性能评估可在此页面进行)。提供了多种便利功能,包括句子分离功能。 (句子分离性能评估可在此页面中进行。) 由于支持库层面的多线程处理,因此在需要分析大量文本时,可以利用多核处理实现快速分析。

Web 演示页面

我们提供了一个网页演示页面,您可以在其中尝试使用最新版 Kiwi。如果您只是简单地进行测试,可以使用网页演示页面;如果需要处理大量文本,建议您按照下面的说明安装 Kiwi 并在本地运行。

安装

C++

已编译的二进制文件下载

您可以从 https://github.com/bab2min/Kiwi/releases 下载编译为 Windows、Linux、macOS 和 Android 版本的库文件和模型文件。

Windows

您可以使用 Visual Studio 2019 以上版本运行 Kiwi.sln 文件以进行编译。

Linux

克隆此仓库后,使用 cmake>=3.12 进行编译。由于模型文件的大小,它们通过 Git LFS 进行共享。因此,请确保在执行 git clone 之前已安装 Git LFS。

使用 gcc >= 7 或其他 c++17 兼容编译器的环境

bash

$ git clone https://github.com/bab2min/Kiwi
$ cd Kiwi
$ git lfs pull
$ git submodule sync
$ git submodule update --init --recursive
$ mkdir build && cd build
$ cmake -DCMAKE_BUILD_TYPE=Release ../
$ make
$ make install
$ ldconfig

要确认安装是否成功,请运行 kiwi-evaluator。