Quality assessment and attribution
Quality assessment and attribution
GEO 评估需要把静态内容质量、AI 平台真实输出、用户行为和因果归因结合起来。以下方法可以组合使用。
方法 1:静态内容审计用评分卡检查页面结构、证据、实体、schema、作者、日期、FAQ、图注和内容块。适合发布前和竞品拆解。
输出:页面质量分、缺口清单、修改优先级。
方法 2:检索层模拟用传统搜索、站内搜索、向量检索或自建 RAG 检查页面是否能在相关提示下进入候选集。适合诊断 Selection 前端问题。
输出:候选排名、命中片段、相似竞品来源。
方法 3:生成层模拟把目标页面与竞品页面放入受控 RAG 环境,观察模型如何选择、引用和吸收。适合比较页面改写前后差异。
输出:答案贡献、引用片段、证据对齐。
方法 4:Live Engine 重复测量在真实 AI 搜索平台上运行提示集,按引擎、地区、时间、账号和模型版本记录多次结果。
输出:引用率、提及率、吸收率、稳定性和情感倾向。
方法 5:引用精确度与召回评估对每条答案句子判断是否有引用支持,对每个关键引用判断是否真的支持答案。适合防止“被引用但不支撑”的幻觉。
输出:Citation Precision、Citation Recall、Unsupported Claim 列表。
方法 6:准因果归因用处理组/对照组、上线前后、自然实验或 interrupted time series 评估优化增量。适合向管理层证明投入产出。
输出:增量引用率、增量 referral、置信区间和解释边界。
方法 7:LLM judge + 人审治理用 LLM 进行初筛评分,再用人审抽样校验,降低规模化评估成本,同时记录评审一致性。
输出:评分日志、争议样本、评审校准文档。
7.1 推荐实验设计
| 实验对象 | 设计方式 | 样本建议 | 注意事项 |
|---|---|---|---|
| 页面改写 | 选择相似页面做处理组和对照组 更高 | 每组 10 到 30 页 | 避免处理组本身品牌权威明显 |
| 提示集 | 核心提示 + 长尾提示 + 多角色提示 | 每个页面 10 到 50 个提示 | 提示不能只围绕品牌词 |
| 运行次数 | 每个提示多次运行 | 每引擎至少 3 到 5 次 | 记录时间、地区、账号、模型版本 |
| 结果指标 | 引用、吸收、归因、情感、referral | 至少连续 2 到 4 周 | 不要只看首日波动 |
| 归因判断 | 上线前后 + 对照组差异 | 按周复盘 | 平台整体流量上涨要剔除 |