[BUG-REPORT]: 'TypeError: 期望为数组,实际为 <class 'pyarrow.lib.ChunkedArray'>'

我有一段代码，其中我使用了 applyinPandas 以及一个 udf 函数，该函数处理了两个数据框，其中一个使用了 groupby，另一个作为 udf 函数的参数传递。现在，无论我为一个较小的数据集运行该函数（例如约 200 万条记录），它都能顺利运行，并在一小时内完成。但是，当数据量增加到超过 800 万条记录时，它就会抛出以下错误：**错误描述** "Caused by: org.apache.spark.api.Python.PythonException: 'TypeError: Expected Array, got <class 'pyarrow.lib.ChunkedArray'>'。完整的追踪信息如下： 追踪（最近一次调用）： pyarrow/array.pxi，第 2377 行，pyarrow.lib.StructArray.from_arrays 中 TypeError: Expected Array, got <class 'pyarrow.lib.ChunkedArray'>" **描述** 请提供一个清晰、简洁的问题描述。该描述应包含重现问题所需的所有步骤。提供一个能暴露问题的最小代码示例将非常有用。