cumulative-table-design

累计表设计 累计表设计是一种极其强大的数据工程工具,所有数据工程师都应当了解。 这种设计生成的表可以对任意大的(最多 数千 天)时间范围提供高效的分析。 以下是此模式的高级流程设计图： 我们首先构建了以实体为粒度的日度指标表。 这些数据来自我们上游的任何事件源。

在获得每日指标后,我们将昨天的累计表与今天的日数据进行 FULL OUTER JOIN, 并为每个用户构建指标数组。这样,我们就可以将新的历史数据带入而不必扫描所有数据。 (这大大提高了性能)

这些指标数组使我们能够通过使用 ARRAY_SUM 等功能,在数组允许的时间范围内轻松计算我们想要的任何指标,从而回答有关所有用户历史的查询。

所有查询语法均使用 Presto/Trino 语法和函数。对于其他 SQL 变体，需要修改此示例！

在这种情况下，我们的源表是 events。