word2vec

word2vec

原始文件来自 https://code.google.com/p/word2vec/ 我已经将其复制到一个 GitHub 项目中,这样我就可以根据自己的需求应用和跟踪社区补丁(从支持 Mac OS X 编译开始)。

• makefile 和一些源代码已针对 Mac OS X 编译进行了修改 请参阅 https://code.google.com/p/word2vec/issues/detail?id=1#c5
• 已应用了用于 word2vec 的内存补丁 请参阅 https://code.google.com/p/word2vec/issues/detail?id=2
• 项目文件布局发生变化 计算精度工具中似乎出现了 segfault。 要开始使用: cd scripts && ./demo-word.sh

原始 README 文本如下:

该工具提供了连续词袋和跳词架构的高效实现，用于计算词的向量表示。这些表示可用于许多自然语言处理应用程序，以及进一步的研究。

对于给定的文本语料库,word2vec 工具会使用连续词袋或跳词模型,为词汇表中的每个词学习一个向量。用户需要指定以下参数: - 所需的向量维度 - Skip-Gram 或连续词袋模型的上下文窗口大小 - 训练算法:层次性软最大似然估计和/或负采样 - 降采样频繁词的阈值 - 要使用的线程数 - 输出词向量文件的格式(文本或二进制)

脚本 demo-word.sh 从网络下载一个小型(100MB)的文本语料库,并训练一个小型的词向量模型。训练完成后,用户可以通过交互方式探索词语的相似性。有关脚本的更多信息请参阅 https://code.google.com/p/word2vec/。