pikkr

Pikkr 是一个 JSON 解析器,它直接提取值,而不需要在 Rust 中进行标记化。此 JSON 解析器基于 Y. Li, N. R. Katsipoulakis, B. Chandramouli, J. Goldstein, and D. Kossmann. Mison: a fast JSON parser for data analytics. In VLDB, 2017 实现。

1. [索引] 使用 SIMD 指令和位操作创建索引,将查询字段的逻辑位置映射到其物理位置。 2. [基本解析] 使用上一步中创建的索引扫描 JSON 记录,查找查询字段的值,并在早期阶段获取它们的逻辑位置(即 JSON 结构的模式)。 3. [推测解析] 使用已学习的结果信息推测查询字段的逻辑位置,直接跳转到其物理位置,并在后期阶段提取值。 如果推测失败,则回退到基本解析。

此 JSON 解析器在 JSON 数据流或 JSON 集合中存在有限数量的不同 JSON 结构变体时表现良好,这在数据分析领域是一种常见情况。请阅读开篇段落中提到的论文,了解 JSON 解析算法的详细信息。