[需求建议] 增加面向 Agentic RAG 的持久化纠错记忆与跨会话评估
Author: GoldentriiCreated Jul 23, 2026Updated Jul 23, 2026
Labelsenhancement
提交前检查
- 我已在 Issues 中搜索,未找到相同或高度相似的建议
希望新增的教程主题/模块
面向 Agentic RAG 的持久化纠错记忆(Correction-aware Memory)与跨会话行为评估
背景与痛点
当前教程已经系统覆盖数据处理、索引、检索、生成和单次 RAG 评估,但尚未区分“外部知识库检索”与“Agent 的持久化记忆”。向量数据库主要回答“哪些资料与当前查询相关”,并不能单独解决用户偏好、历史决策和纠正信息如何跨会话持续生效。
对于 Agentic RAG,仅保存聊天记录或按相似度召回仍会遇到以下问题:
- 什么时候应该写入、更新、合并或删除记忆?
- 新旧记忆冲突、信息过期时应该相信哪一条?
- 如何避免无关记忆污染当前回答?
- 用户纠正 Agent 后,如何验证后续会话真的不再重复同一错误?
- 如何支持隐私删除和抵抗记忆型提示注入?
Chapter 7 目前主要覆盖 Graph RAG;Datawhale 贡献任务中也已经提出 Agentic RAG 扩展。本建议可以作为其中的“持久化记忆与评估”子专题,或放入 Extra Chapter。
与 #67 的区别:#67 面向数据库与 AI Memory 的宽泛课程规划;本建议聚焦纠错优先的记忆生命周期、冲突处理,以及跨会话行为是否改变的可验证实现,不是单纯增加向量存储或聊天历史。
建议覆盖的内容范围
概念边界与系统架构
- 区分外部知识库、短期对话状态、长期用户画像、情节记忆、程序性规则与纠正记录
- 展示知识检索路径和记忆读写路径的差异
记忆生命周期
- recall / write / update / deduplicate / consolidate / expire / delete
- 写入策略、来源与时间信息、冲突解决和优先级
最小可运行实现
- 使用本地 Markdown、JSONL 或 SQLite,避免额外基础设施
- 展示两个连续会话:第一次犯错并收到纠正;第二次召回纠正并避免重复错误
- 对比无记忆、仅向量相似度记忆、纠错优先记忆三种方案
跨会话评估
- Correction Adherence:纠正遵循率
- Repeat-Mistake Rate:重复错误率
- Stale-Conflict Resolution:过期/冲突记忆处理准确率
- Irrelevant-Memory Intrusion:无关记忆干扰率
- Deletion Compliance:删除后残留率
- 同时记录召回率、延迟和 Token 开销
安全与隐私
- 敏感信息最小化、可追溯来源、显式删除
- 防止外部文档或用户输入把恶意指令写入长期记忆
建议目录结构
- Extra-chapter/correction-aware-agent-memory/readme.md
- code/memory_store.py、memory_policy.py、demo_two_sessions.py、evaluate.py
- data/correction_cases.jsonl
- requirements.txt 与可复现实验结果
目标读者与预期效果
面向已经掌握基础 RAG、准备学习 Agentic RAG 或构建长期运行助手的进阶开发者。
完成后,读者应能够:
- 判断知识库检索与 Agent Memory 的边界
- 实现一个本地、可持久化、可纠错、可删除的最小记忆模块
- 用跨会话行为指标验证记忆是否真正改善 Agent,而不只评估是否召回了相似文本
相关资料/链接(选填)
- 当前“记忆载体(向量数据库)”表述:https://github.com/datawhalechina/all-in-rag/blob/main/docs/chapter1/01_RAG_intro.md#L175
- Chapter 7:https://github.com/datawhalechina/all-in-rag/tree/main/docs/chapter7
- Datawhale Agentic RAG 贡献任务:https://contributor.datawhale.cn/tasks/113
- 相关但范围不同的 Issue #67:https://github.com/datawhalechina/all-in-rag/issues/67
- Extra Chapter 贡献指南:https://github.com/datawhalechina/all-in-rag/blob/main/Extra-chapter/README.md
Source: datawhalechina/all-in-rag