OpenLineage

概述

OpenLineage 是一个用于元数据与血缘收集的开放标准，旨在对正在运行的作业进行检测。 它定义了一个通用的运行、作业和数据集实体模型，并通过一致的命名策略进行标识。 核心血缘模型可通过定义特定方面（facets）来扩展，以丰富这些实体。

OpenLineage 是 LF AI & Data Foundation 的毕业项目，目前正处于积极开发中，我们欢迎各方贡献。

问题

之前

• 重复劳动：每个项目都需要对所有作业进行检测
• 集成是外部的，且可能随新版本而失效

使用 OpenLineage 后

• 集成的工作量由各方共同承担
• 每个项目都可以独立推进集成：无需追赶进度

范围

OpenLineage 定义了运行作业的元数据及相应事件。 可配置的后端允许用户选择将事件发送到哪个协议。

核心模型

一个 facet 是附加到某个核心实体上的原子元数据片段。 更多详情请参阅规范。

规范

规范 使用 OpenAPI 定义，并允许通过自定义 facet 进行扩展。

集成

OpenLineage 支持与 Spark、Airflow、dbt、Flink 等工具的集成。有关最新且完整的受支持集成列表、其功能及矩阵，请参阅官方 OpenLineage 集成文档。

相关项目

• Marquez：Marquez 是一个 LF AI & DATA 项目，用于收集、聚合和可视化数据生态系统的元数据。它是 OpenLineage API 的参考实现。
  • OpenLineage 收集实现
• Egeria：Egeria 为企业提供开放的元数据与治理能力——无论供应商是谁，都能自动捕获、管理并在工具和平台之间交换元数据。

社区

• 网站：openlineage.io
• S