[需求建议] 增加面向 Agentic RAG 的持久化纠错记忆与跨会话评估

Author: GoldentriiCreated Jul 23, 2026Updated Jul 23, 2026
Labelsenhancement

提交前检查

  • 我已在 Issues 中搜索,未找到相同或高度相似的建议

希望新增的教程主题/模块

面向 Agentic RAG 的持久化纠错记忆(Correction-aware Memory)与跨会话行为评估

背景与痛点

当前教程已经系统覆盖数据处理、索引、检索、生成和单次 RAG 评估,但尚未区分“外部知识库检索”与“Agent 的持久化记忆”。向量数据库主要回答“哪些资料与当前查询相关”,并不能单独解决用户偏好、历史决策和纠正信息如何跨会话持续生效。

对于 Agentic RAG,仅保存聊天记录或按相似度召回仍会遇到以下问题:

  1. 什么时候应该写入、更新、合并或删除记忆?
  2. 新旧记忆冲突、信息过期时应该相信哪一条?
  3. 如何避免无关记忆污染当前回答?
  4. 用户纠正 Agent 后,如何验证后续会话真的不再重复同一错误?
  5. 如何支持隐私删除和抵抗记忆型提示注入?

Chapter 7 目前主要覆盖 Graph RAG;Datawhale 贡献任务中也已经提出 Agentic RAG 扩展。本建议可以作为其中的“持久化记忆与评估”子专题,或放入 Extra Chapter。

与 #67 的区别:#67 面向数据库与 AI Memory 的宽泛课程规划;本建议聚焦纠错优先的记忆生命周期、冲突处理,以及跨会话行为是否改变的可验证实现,不是单纯增加向量存储或聊天历史。

建议覆盖的内容范围

  1. 概念边界与系统架构

    • 区分外部知识库、短期对话状态、长期用户画像、情节记忆、程序性规则与纠正记录
    • 展示知识检索路径和记忆读写路径的差异
  2. 记忆生命周期

    • recall / write / update / deduplicate / consolidate / expire / delete
    • 写入策略、来源与时间信息、冲突解决和优先级
  3. 最小可运行实现

    • 使用本地 Markdown、JSONL 或 SQLite,避免额外基础设施
    • 展示两个连续会话:第一次犯错并收到纠正;第二次召回纠正并避免重复错误
    • 对比无记忆、仅向量相似度记忆、纠错优先记忆三种方案
  4. 跨会话评估

    • Correction Adherence:纠正遵循率
    • Repeat-Mistake Rate:重复错误率
    • Stale-Conflict Resolution:过期/冲突记忆处理准确率
    • Irrelevant-Memory Intrusion:无关记忆干扰率
    • Deletion Compliance:删除后残留率
    • 同时记录召回率、延迟和 Token 开销
  5. 安全与隐私

    • 敏感信息最小化、可追溯来源、显式删除
    • 防止外部文档或用户输入把恶意指令写入长期记忆
  6. 建议目录结构

    • Extra-chapter/correction-aware-agent-memory/readme.md
    • code/memory_store.py、memory_policy.py、demo_two_sessions.py、evaluate.py
    • data/correction_cases.jsonl
    • requirements.txt 与可复现实验结果

目标读者与预期效果

面向已经掌握基础 RAG、准备学习 Agentic RAG 或构建长期运行助手的进阶开发者。

完成后,读者应能够:

  • 判断知识库检索与 Agent Memory 的边界
  • 实现一个本地、可持久化、可纠错、可删除的最小记忆模块
  • 用跨会话行为指标验证记忆是否真正改善 Agent,而不只评估是否召回了相似文本

相关资料/链接(选填)

Source: datawhalechina/all-in-rag