sql-flow

SQLFlow: DuckDB 适用于流式数据。快速入门 | 教程 | | 文档

• 来源: Kafka、WebSockets、webhooks。
• 目标: Kafka、ClickHouse、Iceberg、控制台或任何 DuckDB 可以 COPY 到的目标 (PostgreSQL、S3、parquet、MotherDuck、DuckLake)。
• 基于 DuckDB 和 Apache Arrow: 在笔记本电脑上，在大约四分之一 GB 的内存中，每秒可处理约 900 万条消息。
• 每个流程一个 Go 二进制文件、一个 Docker 映像文件和一个 YAML 文件。没有集群。
• 覆盖率和不变矩阵: 什么被测试,以及 另外,已被证明的内容 — 每次推送时都会从套件中重新生成。

快速入门 (5 分钟即可开始)

1. 构建二进制文件（请参阅安装获取预构建的二进制文件和 Docker）：

make sqlflow

1. 使用测试数据验证流程,不需要中介。dev invoke 会在 JSONL 固定数据上运行配置的处理器,并打印结果: