incubator-xtable

Apache XTable™ (Incubating) Apache XTable™ (Incubating) 是一种跨表格转换器,可促进数据处理系统和查询引擎之间的全方位互操作性。目前,Apache XTable™ 支持广泛采用的开源表格格式,如 Apache Hudi、Apache Iceberg 和 Delta Lake。

Apache XTable™ 通过利用表格表示的通用模型简化了数据湖操作。这使用户可以以一种格式写入数据,同时仍然可以受益于其他格式中的集成和功能。例如,Apache XTable™ 使现有 Hudi 用户能够与 Databricks 的 Photon 引擎无缝集成,或使用 Snowflake 查询 Iceberg 表。从一种格式转换到另一种格式非常简单,只需要实现几个接口,我们相信这将有助于在未来扩展支持的源和目标格式。

构建项目并运行测试。 1. 使用 Java 11 构建项目。如果您使用的是其他 Java 版本,可以使用 jenv 在本地使用多个 Java 版本。 2. 使用 ./mvnw clean package 构建项目。使用 ./mvnw clean package -DskipTests 在构建时跳过测试。 3. 使用 ./mvnw clean test 或 ./mvnw test 运行所有单元测试。如果只需要运行特定的测试,可以使用类似 ./mvnw test -Dtest=TestDeltaSync -pl xtable-core 的命令。 4. 同样,使用 ./mvnw clean verify 或 ./mvnw verify 运行集成测试。

自动化和编码代理也应遵循仓库特定的工作流程AGENTS.md,特别是对于依赖更新、阴影模块和目标验证。