湖屋社区本周花时间决定什么是前进的,什么是后遗症.
Iceberg投票反对在V4中删除新的平等,并辩论该格式是否仍然需要Avro的显示.
Parquet运送了1.18.0,然后花了后半个礼拜的时间去追寻两个阻碍通过同一发行的数据腐败bug.
Arrow, DataFusion,和Iceberg都从不同角度对相同的治理问题进行了摔跤:当AI生成的拉请求和AI生成的审查评论开始超过需要阅读的人类时,你会怎么做?
加入一个新的数据聚合主要发布, 欧西转换器贡献的浪潮, 和Polaris硬化它的持久性和加密故事, 你得到了一个最繁忙的星期 在阿帕奇dev列表 今年夏天。
下面的每一项索赔都与列表中的源线链接. apache.org,这样你就可以自己看完整的讨论了.
阿帕奇·冰山 V4 Spec工作本周主导了"冰堡"榜单,最大的单项发展是高华欣投票贬低了V4中的平等删除.
提案分三部分。
由于V4元数据不会将它们定义为允许的条目类型,所以在V4表格中写入新的等值删除被禁.
读取它们仍然支持后向相容性,无论是现有的V2和V3表格,还是带入升级后V4表格的平等删除.
而升级本身只保留元数据,不需要同步重写数据或删除文件.
Huaxin提出的理由就是这个社区已经盘旋了两年:平等删除会给每个读数带来不对称的成本,它们使格式复杂化,它们会阻断诸如疾控中心、行行和增量实景维护等特征。
删除向量将删除转换为平整的一次性成本, Flink 转换Equality 删除工作证明存在可行的替换路径 。
线条绘制了27条信息,由张曼努按压V2升级或V3升级到V4需要明显的重写,而Ryan Blue,Anurag Mantripragada,和Junwang Zhao在力学上称重.
这是最清楚的信号,流派作家需要一项移民计划,以便他们在V4土地之前删除管道。
升级问题在Shawn Chang开启关于V3到V4升级预期和迁移做法的讨论时,得到了自己的专用线程.
肖恩的担心是操作而非技术.
一个执行可以进行轻量级升级,方法是创建一个V4根表单,该表单会引用已有的V4前表单,然后用V4格式写出新的元数据前进.
无法界定的是这些遗产的生命周期。
Shawn担心格式将会在技术上支持干净的迁移,而实用路径则依赖于用户运行他们历史上跳过的可选维护工作.
他与平等删除状况的比较与线的参与者相接而来,包括罗素·斯皮策(Russell Spitzer),阿莫格·贾哈吉尔达尔(Amogh Jahagirdar)和玛努·张.
他提议社区要么确定预期的生命周期,要么公布明确的指南,并急切地转换廉价元数据,而只留下昂贵的数据迁移。
希望随着V4公司的崛起,这将成为反复出现的主题。
史蒂文,你好吗?
吴本周提出一个听起来小而不是的问题:V4的表单应该只写Parquet吗?
在列更新同步期间,最初的倾向是保留Avro选项,因为它已经存在,尽管Avro不能支持在显示文件上读取的投影.
在两种格式都可用的情况下,每个引擎和集成都必须选择,大多数都会选择Parquet进行投影读取支持.
史蒂文的论点是,要求Parquet减轻对整合的认知和决定负担,同时配合了Iceberg对扫描规划性能的优先考虑,其中从表单中投射出列统计数据.
马努·张、罗素·斯皮策、阿诺普·约翰逊和佩特·瓦里都订婚了 同步录音是公开的