工具介绍
Apache Amoro(正在孵化)是基于开放式数据湖格式构建的湖泊管理系统。
Apache Amoro（正在孵化中）是基于开放式数据湖格式构建的湖泊管理系统。与 Flink、Spark 和 Trino 等计算引擎一起使用，Amoro 为湖泊带来了可插拔和自主管理的功能，可提供即插即用的数据仓库体验，并帮助数据平台或产品轻松构建基础架构解耦、流与批融合和湖泊原生的体系结构。
- AMS: Amoro 管理服务提供湖表管理功能,如自动优化、数据过期等。 它还为所有计算引擎提供统一的目录服务,还可与现有的元数据服务相结合。 * 插件: Amoro 提供了各种外部插件,可满足不同的场景。 * 优化器: 自动优化执行引擎插件会异步对所有类型的表格格式表进行合并、排序、去重、布局优化和其他操作。 * 终端: SQL 命令行工具,提供了各种实现,如本地 Spark 和 Kyuubi。 * LogStore: 为基于 Kafka 和 Pulsar 等消息队列的实时数据处理提供毫秒至秒级的 SLA。
支持的表格格式 Amoro 可以管理不同表格格式的表格,类似于 MySQL/ClickHouse 可以选择不同的存储引擎。Amoro 通过使用不同的表格格式来满足不同的用户需求。目前,Amoro 支持四种表格格式:
- 冰山格式:用户可以直接委托 Amoro 维护其冰山表,这样用户不仅可以使用冰山表的所有功能,还可以享受 Amoro 带来的性能和稳定性提升。 * 混合冰山格式:Amoro 在冰山格式之上提供了一组更优化的格式,适用于流式更新场景。如果用户对流式更新有较高的性能要求,或对 CDC 增量数据读取功能有需求,可以选择使用这种格式。