单体系统的 AB 测试设计

作者: uchiiii创建于 2025年1月10日更新于 2025年1月10日

感谢您分享了实时在线学习框架的伟大代码库。 我正在尝试使用它。 我很想知道您如何使用 Monolith 设计 AB 测试。 您的论文提到,用于预测的功能也用于训练,这意味着如果您不进行预测,则无法将其用于训练。 设想您进行了 AB 测试,并将 5% 的流量分配给 C 组和 T 组各一部分。 如果您仅使用 Monolith,则 C 组的模型会消耗 95% (= 5% + 60%) 的流量,而 T 组的模型则消耗 5%,这非常不公平。 您认为如何公平地进行 AB 测试是最佳做法。 您是否将预测请求镜像到所有模型中呢?

内容来源: bytedance/monolith