ltp

Language	version
Python
Rust

LTP 4

LTP（Language Technology Platform） 提供了一系列中文自然语言处理工具，用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。

引用

如果您在工作中使用了 LTP，您可以引用这篇论文

…

参考书： 由哈工大社会计算与信息检索研究中心（HIT-SCIR）的多位学者共同编著的《自然语言处理：基于预训练模型的方法 》（作者：车万翔、郭江、崔一鸣；主审：刘挺）一书现已正式出版，该书重点介绍了新的基于预训练模型的自然语言处理技术，包括基础知识、预训练词向量和预训练模型三大部分，可供广大 LTP 用户学习参考。

更新说明

• 4.2.0
  • [结构性变化] 将 LTP 拆分成 2 个部分，维护和训练更方便，结构更清晰
    • [Legacy 模型] 针对广大用户对于推理速度的需求，使用 Rust 重写了基于感知机的算法，准确率与 LTP3 版本相当，速度则是 LTP v3 的 3.55 倍，开启多线程更可获得 17.17 倍的速度提升，但目前仅支持分词、词性、命名实体三大任务
    • [深度学习模型] 即基于 PyTorch 实现的深度学习模型，支持全部的 6 大任务（分词/词性/命名实体/语义角色/依存句法/语义依存）
  • [其他改进] 改进了模型训练方法
    • [共同] 提供了训练脚本和训练样例，使得用户能够更方便地使用私有的数据，自行训练个性化的模型
    • [深度学习模型] 采用 hydra 对训练过程进行配置，方便广大用户修改模型训练参数以及对 LTP 进行扩展（比如使用其他包中的 Module）
  • [其他变化] 分词、依存句法分析 (Eisner) 和 语义依存分析 (Eisner) 任务的解码算法使用 Rust 实现，速度更快
  • [新特性] 模型上传至 Huggingface Hub，支持自动下载，下载速度更快，并且支持用户自行上传自己训练的模型供 LTP 进行推理使用
  • [破坏性变更] 改用 Pipeline API 进行推理，方便后续进行更深入的性能优化（如 SDP 和 SDPG 很大一部分是重叠的，重用可以加快推理速度），使用说明参见Github 快速使用部分
• 4.1.0
  • 提供了自定义分词等功能
  • 修复了一些 bug
• 4.0.0
  • 基于 Pytorch 开发，原生 Python 接口
  • 可根据需要自由选择不同速度和指标的模型
  • 分词、词性、命名实体、依存句法、语义角色、语义依存 6 大任务

快速使用

Python

# 方法 1： 使用清华源安装 LTP
# 1. 安装 PyTorch 和 Transformers 依赖
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch transformers
# 2. 安装 LTP
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ltp ltp-core ltp-extension

# 方法 2： 先全局换源，再安装 LTP
# 1. 全局换 TUNA 源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
# 2. 安装 PyTorch 和 Transformers 依赖
pip install torch transformers
# 3. 安装 LTP
pip install ltp ltp-core ltp-extension

注： 如果遇到任何错误，请尝试使用上述命令重新安装 ltp，如果依然报错，请在 Github issues 中反馈。

…

详细说明

Rust

…

模型性能以及下载地址

深度学习模型(HF/HF-mirror)	分词	词性	命名实体	语义角色	依存句法	语义依存	速度(句/S)
Base Base-mirror	98.7	98.5	95.4	80.6	89.5	75.2	39.12
Base1 Base1-mirror	99.22	98.73	96.39	79.28	89.57	76.57	--.--
Base2 Base2-mirror	99.18	98.69	95.97	79.49	90.19	76.62	--.--
Small Small-mirror	98.4	98.2	94.3	78.4	88.3	74.7	43.13
Tiny Tiny-mirror	96.8	97.1	91.6	70.9	83.8	70.1	53.22

感知机算法模型(HF/HF-mirror)	分词	词性	命名实体	速度(句/s)	备注
Legacy Legacy-mirror	97.93	98.41	94.28	21581.48	性能详情

注：感知机算法速度为开启 16 线程速度

如何下载对应的模型

# 使用 HTTP 链接下载
# 确保已安装 git-lfs (https://git-lfs.com)
git lfs install
git clone https://huggingface.co/LTP/base

# 使用 ssh 下载
# 确保已安装 git-lfs (https://git-lfs.com)
git lfs install
git clone [email protected]:LTP/base

# 下载压缩包
wget http://39.96.43.154/ltp/v4/base.tgz
tar -zxvf base.tgz -C base

如何使用下载的模型

from ltp import LTP

# 在路径中给出模型下载或解压后的路径
# 例如：base 模型的文件夹路径为 "path/to/base"
#      "path/to/base" 下应当存在 "config.json"
ltp = LTP("path/to/base")

构建 Wheel 包

make bdist

其他语言绑定

感知机算法

• Rust
• C/C++

深度学习算法

• Rust
• C++
• Java

作者信息

• 车万翔 <<[email protected]>>
• 冯云龙 <<[email protected]>>

开源协议

1. 语言技术平台面向国内外大学、中科院各研究所以及个人研究者免费开放源代码，但如上述机构和个人将该平台用于商业目的（如企业合作项目等）则需要付费。
2. 除上述机构以外的企事业单位，如申请使用该平台，需付费。
3. 凡涉及付费问题，请发邮件到 [email protected] 洽商。
4. 如果您在 LTP 基础上发表论文或取得科研成果，请您在发表论文和申报成果时声明“使用了哈工大社会计算与信息检索研究中心研制的语言技术平台（LTP）”. 同时，发信给[email protected]，说明发表论文或申报成果的题目、出处等。