最小哈希去重的相关问题

Feature Description / 功能描述

目前最小哈希去重只能针对一个jsonl内的数据进行处理，对于跨jsonl去重实现起来可能比较困难。这里我前一阵子使用了huggingface的datatrove来进行跨jsonl去重，可以进行参考。 https://github.com/huggingface/datatrove

System Info (dataflow env) / 系统信息（dataflow env）

platform: linux

Additional Information / 其他补充

No response