新指标: RAG/代理响应的 PII 泄漏检测

** 描述特征** Ragas目前没有衡量标准来检查生成的答复'是否披露个人可识别的信息(PII)——姓名、地址、医疗/财务细节、政府身份证、联系信息。 我想提出一个PIIleakage'的度量标准,对这个评分从0'(重度披露)到1'(没有发现)。

为什么这个特点对你很重要 RAG和代理系统经常在包含敏感数据的文件上回答问题——病人记录,HR文件,财务报表,支持票. 检索本应该浮出相关内容,但目前没有任何内容可以检查代步是否过度共享——例如用户问"这个病人是否有积极的政策?",模型用病人的全面诊断而不是是/否来回答.

具体使用案例:

• 保健RAG:在问题没有要求的情况下,核实一名临床助理不重复病人的诊断/药物。
• ** HR/内部文件聊天员**:从检索的上下文中提取意外披露工资、SSN或业绩审查内容。
• ** 金融服务支助项目**:在答复一个无关问题时标出账户号码或余额。
• ** 一般性回归测试**:建造RAG eval套房的团队可以使用Faithiness ' /Context精度 ' 来捕捉与捕捉实际回归相同的隐私回归。

拉加斯具有很强的正确性/忠诚度覆盖范围,但没有第一当事方安全/隐私的衡量标准,尽管安全评价是受管制领域RAG部署的一个共同要求。

** 其他情况** 讨论范围是开放的——例如,这是否只捕捉可明确识别的PII(SSN,电子邮件,电话号码),还是像几个个别无伤害的细节一起识别某人的更模棱两可的情况. 一个相关但截然不同的后续行动(证书/秘密泄漏——API密钥,密码,令牌)是PII之外的一个单独关切,并且作为它自己的衡量标准以后会更有意义,而不是折叠成这个指标. 乐于在总方向和粗略范围达成一致后,提交一份执行的PR.