例如日语的 nlp 流程的 max_length
作者: JWittmeyer创建于 2023年12月21日更新于 2026年7月15日
标签docslang / ja
不确定是否这是要发生的事情,还是我有误解。我假定是误解,所以我选择了文档报告。Language (nlp) 类有一个 `max_length` 参数,对于例如日语来说似乎有所不同。 我目前正在尝试根据最大长度来分块过长的文本,并根据此进行分割。对于英语文本来说,这似乎没有问题。 基本方法代码:
内容来源: explosion/spaCy