[BUG-REPORT]: 'TypeError: 期望为数组, 实际为 <class 'pyarrow.lib.ChunkedArray'>'

我有一段代码，其中我使用了 applyInPandas 以及一个 udf 函数，该函数处理两个数据框，其中一个使用了 groupBy，另一个作为 udf 函数的参数。现在，每当我为较小的数据集运行该函数时，例如大约 200 万条记录，它都能顺利运行，并在一小时内完成。但是，当数据量增加到 800 万条记录时，它就会抛出以下错误：**错误描述** "Caused by: org.apache.spark.api.Python.PythonException: 'TypeError: Expected Array, got <class 'pyarrow.lib.ChunkedArray'>'。完整的错误追踪如下：Traceback (most recent call last): File "pyarrow/array.pxi", line 2377, in pyarrow.lib.StructArray.from_arrays TypeError: Expected Array, got <class 'pyarrow.lib.ChunkedArray'>" ** 说明 ** 请提供一个清晰、简洁的问题描述。该描述应包含重现问题所需的所有步骤。提供一个能暴露问题的最小代码示例非常有用。