data-validation

TensorFlow 数据验证 (TFDV) 是一个用于探索和验证 机器学习 数据的库。它具有高度可扩展性，并且与 TensorFlow 和 TensorFlow Extended (TFX) 兼容。

• 可扩展地计算训练和测试数据的摘要统计信息。 * 集成了用于显示数据分布和统计信息的查看器,以及用于对特征对进行分层比较的工具(Facets)。 * 自动生成数据模式,用于描述对数据的期望,例如所需值、范围和词汇。 * 提供模式查看器,帮助您检查模式。 * 异常检测,可识别异常,例如缺失特征、超出范围的值或错误的特征类型等。 * 异常查看器,可帮助您查看哪些特征存在异常,并了解更多信息,以便进行修正。

有关如何使用 TFDV 的说明，请参阅入门指南并尝试示例 notebook。TFDV 中实现的一些技术描述在SysML'19 发布的技术论文中。