保持多个词的 token 保持一起

作者: rjalexa创建于 2024年3月8日更新于 2025年12月14日

我想从新闻文章中构建一个词云,而其中的人和地点可能有多个词来描述它们(例如"纽约"或"乌尔苏拉·冯德莱恩"。 使用当前的标记化, "New" 会与 "York" 分开, 同理, 名字的部分也会如此。

内容来源: amueller/word_cloud