韩语语料库
随着对自然语言处理的兴趣日益高涨,政府、企业以及热心人士都开始免费公开数据。
但是由于数据分布在各个地方,即使是高质量的文本,其存在也往往不为人知。
文件格式和存储格式各不相同,使用起来不方便。
单个用户需要自己开发和使用下载或预处理代码,这很麻烦。
Korpora 是一个开源的 Python 包,旨在减轻这种不便。
Korpora 这个名字是借用了英语单词 corpus 的复数形式 corpora，意思是词汇集。
Korpora 是 Korean Corpora 的简称。
Korpora希望能成为推动韩语数据集更多地公开的助推器,并通过此来提升韩语自然语言处理的水平。
Korpora 提供的词汇库列表如下。
| corpus_name | 描述 | 链接 |
|---|---|---|
| korean_chatbot_data | 用于聊天机器人训练的问答对 | https://github.com/songys/Chatbot_data |
| kcbert | KcBERT 模型训练用评论数据 | https://github.com/Beomi/KcBERT |
| korean_hate_speech | 韩语仇恨数据集 | https://github.com/kocohub/korean-hate-speech |
| korean_petitions | 总统府民众请愿 | https://github.com/lovit/petitions_archive |
| kornli | 韩国 NLI | https://github.com/kakaobrain/KorNLUDatasets |
| korsts | 韩国 STS | https://github.com/kakaobrain/KorNLUDatasets |
| kowikitext | 韩语维基文本 | https://github.com/lovit/kowikitext/ |
| namuwikitext | 나무위키文本 | https://github.com/lovit/namuwikitext |
| naver_changwon_ner | Naver x Changwon 大学实体名识别数据集 | [https:// |
暂无开放 Issues，或尚未同步最近议题。