marquez

Marquez 是一个 开源 元数据服务，用于收集、聚合和可视化数据生态系统的元数据。它维护了数据集的消费和生成方式的来源，提供了对作业运行时和数据集访问频率的全局可见性，实现了数据集生命周期管理的集中化，以及更多功能。Marquez 由 WeWork 发布并开源。

• 天文学家
• Datakin
• 西北互助公司
• Ilum
• CsvPath

试试看!

快速入门

Marquez 提供了一种简单的方法来使用 OpenLineage 收集和查看 dataset、job 和 run 元数据。最简单的启动和运行方式是使用 Docker。从 Marquez 仓库的基础目录运行:

MacOS 和 Linux 用户:

$ ./docker/up.sh

Windows 用户:

在克隆 Marquez 之前,请配置 Git 以检查带有 Unix 风格文件结尾的文件:

$ git config --global core.autocrlf false

确认已安装 Bash 和 PostgreSQL 并将其添加到 PATH 变量中（推荐使用 Git Bash）。 启动所有服务:

$ sh ./docker/up.sh

提示： 使用 --build 标志来从源代码构建图像，以及 --seed 来启动 Marquez 并使用示例线索元数据。如果要使用示例元数据，请参阅我们的快速入门指南。