特性: 添加复制选项 `MAX_FILE_WRITE_THREADS`
作者: youngsofun创建于 2024年5月22日更新于 2026年9月15日
标签C-feature
摘要
在 https://GitHub.com/datafuselabs/databend/pull/15596 之后,对 Parquet 的文件大小控制进行了改进。但是当有许多线程时,块可能最终会分配给写入线程,从而导致相对较小的文件。为了解决这个问题,我们使用了一个分组处理器,将小块分组到 MAX_FILE_SIZE 后再分配给写入线程。但是由于它基于未压缩的大小,因此可能会导致文件的大小为 MAX_FILE_SIZE/compress_ratio。用户可以更改设置 max_threads,但这将影响整个计划。
内容来源: databendlabs/databend