[Feature request]:基于WFGY 16个问题地图的结构化 RAG故障模式核对表

您需要提交特性请求吗 ?

• 我已搜索了已有的特性请求, 此特性请求尚未提交 。
• 我认为这是一个合法的特征请求, 不只是一个问题或错误。

QQ 特性请求描述

嗨,RAG - 任何团队,

RAG-任何东西都为跨越不同文件类型和检索战略建立RAG系统提供了一个灵活的框架. 随着更多的用户将其部署在真正的管道中,反复出现的故障模式开始出现,这些故障模式往往被错误地分配给了LLM本身.

我维持一个开源诊断分类法,称为WFGY RAG 16问题地图(MIT),将常见的RAG和代理故障模式分入了16个结构类别.

仓库 : https://GitHub.com/onestardao/WFGY (中文(简体) ).

问题映射参考 : https://GitHub.com/onestardao/WFGY/tree/main/ProblemMap/README.md.

特性建议:

在文件中增加一页“RAG-任何故障模式清单”:

将典型的RAG-任何故障症状映射到16个结构化故障类别中的一个子集(如吞噬漏洞,滤波器不匹配,取回漂移,解析崩溃,链条相差,内存不一致等).

提供RAG-任何东西配置(检索设置、索引选项、分块策略、更新模式、工具集成)中检查内容的简短清单。

建议进行最低限度的验证测试,这样用户就可以确认这个问题是检索级,管弦级,还是模型级.

目标不是引入新的基础设施,而是给用户一个用于调试的共享词汇,并减少重复的“LLM幻觉”报告,这些报告实际上是管道配置问题。

如果有帮助的话,我可以编写一个符合您现有文件样式的文件页草稿,并开放一份公关供审查。

++ 附加上下文

同样的16个问题分类学已被引用或纳入与RAG有关的多个项目和研究背景,包括:

RAGFLO( RAG 故障排除文件) LlamaIndex(RAG诊断文件) ToolUniverse(哈佛MIMS实验室) 排名(因斯布鲁克大学) 多式联运 RAG 测量(QCRI LLM实验室)

编译列表,如: 优酷LLM Apps和优酷数据科学(学术)

我将特别根据RAG-任何东西的架构和例子来调整清单,侧重于可复制的调试情景,而不是抽象的理论。

乐于根据维护者的反馈进行适应.