AutoPhrase

AutoPhrase: 从大量文本语料中自动提取短语

发表的论文

如果您使用我们的工具,请引用以下两篇论文。谢谢!

• Jingbo Shang, Jialu Liu, Meng Jiang, Xiang Ren, Clare R Voss, Jiawei Han, "Automated Phrase Mining from Massive Text Corpora", 已被 IEEE Transactions on Knowledge and Data Engineering 接受, 2018 年 2 月。
• Jialu Liu*, Jingbo Shang*, Chi Wang, Xiang Ren 和 Jiawei Han, "从大量文本语料中挖掘质量短语", 2015 年 ACM SIGMOD 数据管理国际会议 (SIGMOD'15) 论文集, 澳大利亚墨尔本, 2015 年 5 月。(* 同等贡献, 幻灯片)

最近的变更

2020.06.14

• 更新 Docker 图像，使用 git master。

2017.10.23

• 支持极大的语料库(例如4GB或更多)。在运行AutoPhrase在如此大的语料库上之前,请将

// define LARGE 注释掉。

• 知识库中提供的高质量短语(每个词被看作在原始语料库中出现的)将在短语分割过程中被纳入考虑,即使它们的频率小于

MIN_SUP 。

• 词汇表中的停用词将被视为低质量的单词短语。
• 模型文件被单独保存。请检查

MODEL 在 auto_phrase.sh 和 phrasal_segmentation.sh 中的变量。

• 换行符也是句子分割的分隔符。

• 减少人工工作。我们开发了一种强大的仅使用正样本的远程训练方法，用于估计短语质量。