[FEAT]: 附加的文本分割/分块选项

你想看点什么?

我请求在“任何LLLM”中增加文本分拆和分块选项,最好作为高级工作空间设置曝光,如果可能,可按文件类型配置。 目前用于一般用途的分解工作,但对于RAG工作流程,如技术文件、代码和结构化报告或操作材料等内容混合,支持基于句法的分解、语义分解、递归分解以及文件类型的分解战略等替代方法将很有帮助。 任意 LLM 已经支持 Docker 和桌面的文本分割配置, 并且有已有的特性请求讨论更灵活的块化方法, 包括 SemanticChunker 和 PleaseSplitter 支持 。 如果可行,我还将感谢在基于Docker的安装中,通过环境变量、类似插件的机制,或在自备图像中自定义代码路径,部署或推翻这一逻辑。 这将使在没有外部预处理文件的情况下调取质量更容易,在试验不同的嵌入模型和RAG管道时特别有用。

谢谢你考虑这个特点。 这将大大提高检索质量,使AnythingLLM更能适应先进使用案例。

波浪公园