[ENH] 集装箱化基准测试
作者: jgyasu创建于 2026年7月31日更新于 2026年9月16日
标签enhancementmodule:metrics&benchmarking
目前, sktime 中的基准测试作为单个进程运行,对估计器和任务对象进行笛卡尔积运算。这种方式有时会出现问题,尤其是对于 FM 的情况,因为它们往往具有非常狭窄或特定的依赖集。如果运行具有相互冲突的依赖要求的估计器,则可能会导致失败。为了解决这个问题,理想情况下,每个任务-估计器对应该在单独的虚拟环境或容器中运行。这需要将基准测试分解为更小的子测试。但是,如果用户想要对 25 个估计器在 2 个任务上进行基准测试,则不希望用户需要设置 50 个单独的基准测试。因此,我们需要思考如何从单个用户定义的基准测试内部生成和运行这些子测试,如何在单独的容器或虚拟环境中执行每个子测试,以及这些独立运行的结果将如何被收集并合并到最终的基准测试结果中。
内容来源: sktime/sktime