审查请求:开放的、匹配的内存基准协议

您好, Mem0 维护者们, 我维护着 Agent Memory, 这是一个 OSS 本地内存 SDK。我们正在准备一个公开的基准套件, 并且明确不希望在没有您认为公平的配置的情况下发布"比 Mem0 更好"的声明。 提出的协议将这些轨迹分开: - 检索: 一个 LongMemEval 版本和一个适用于每个系统的检索单元; - 端到端问答: 相同的阅读器模型、提示、前 k、温度、上下文预算和官方评委; - 决策安全性: 重复、过时的事实、矛盾的更新、TTL、弃权和错误重放率; - 本地资源: 与 CPU、RSS、提取时间以及 p50/p90/p95/p99 延迟相同的机器/操作系统/语料库。 我们将公开每个案例的原始输出、数据集哈希、命令行、依赖版本、失败情况和不支持的功能。 托管/ API 的结果将与自主托管的 OSS 结果分开报告。 您能否为此比较推荐标准的自主托管 Mem0 配置, 包括检索单元、嵌入/LLM 配置以及我们的架构应捕获的任何功能或故障模式吗? 在发布比较结果之前, 我们很乐意接受维护者提供的适配器或配置更正。 感谢您帮助我们将此项目做成有用的, 而不是以营销为导向的。