DocumentSplitter 为基于字符的分割模式生成重复的仅包含重叠的后续分块(token 模式已在 #12661 中修复)
作者: feiiiiii5创建于 2026年9月10日更新于 2026年9月18日
描述错误
使用 split_by="token" 的 DocumentSplitter 从 #12661 开始不再输出仅包含重叠单元的后续块,但基于字符的模式(共用 _concatenate_units(word,period,page,passage,line,sentence))仍然会。仅由已覆盖的重叠单元组成的后续窗口(加上后续分隔符的空艺术品)将成为自己的块,重复了已经完全包含在前一个块中的文本。
内容来源: deepset-ai/haystack