单体是否可以从 HDFS 加载数据?
作者: colinlzh创建于 2023年10月11日更新于 2023年10月23日
我们正在环境中部署 Monolith。我们通过 Pyspark 管理数据。通常，我们会将 Pyspark 数据框架作为数据输入。在示例中，Monolith 可以从 TDFS 或 Kafka 加载数据。我想知道 Monolith 是否支持从 Pyspark 数据框架或 HDFS 目录加载数据？或者我们需要将文件从 Pyspark 载入本地内存，以便 Monolith 加载？
内容来源: bytedance/monolith