问题:并行增强?

虽然 EBM 是一个令人难以置信的模型,但其主要的痛点是安装相对较慢(与随机森林相比)。Bagging 可以轻松并行化,而 boosting 是顺序的。然而,在 EBM 的特殊情况下,我感觉应该可以在特征上并行化 boosting 算法。在 EBM 的解释中提到,每个特征都会以轮流的方式安装一个微小的树,同时使用非常小的学习率,这样特征的顺序就不重要。如果顺序不重要,难道就不能同时安装所有特征吗?当然,结果会略有不同(同样,如果我们对特征进行随机排序,使用轮流算法的结果也会略有不同)。目前,这主要是一个理论性问题,因为我还没有研究 C++ 核心。当然,主要问题是,如果 boosting 确实可以并行化,那么可以获得多大的性能提升。毕竟,每安装一个树的每一轮 boosting 后都需要进行通信。这可能取决于安装树的成本与计算残差的成本相比有多高。