LightCTR

LightCTR 是一个轻量级且可扩展的框架,它结合了基于计算 DAG 的点击率预测主流算法、参数服务器的哲学和 Ring-AllReduce 集合通信。该库适用于稀疏数据,并专门用于大规模分布式模型训练。同时,LightCTR 也是一个正在进行实验研究的项目,面向代码读者。清晰的执行逻辑将对机器学习相关领域的学习者有重要意义。

实现的算法列表

• 广泛而深入的模型
• 因子分解机、基于领域的因子分解机、神经因子分解机
• 梯度提升树模型
• 高斯混合聚类模型
• 主题模型 PLSA、嵌入模型
• N-gram 卷积 神经网络、自注意力递归 神经网络
• 变分自编码器
• 近似最近邻检索

简介 (zh)

用于群体发现

点击率预估是指为合适的用户群体投放合适的内容，以促进广告收益或交易转化率。具体来说，将收集到的用户点击和行为数据，通过离散值和连续值进行结构化描述、归一化和去偏差等处理后，选择合适的模型拟合流量的数据分布，以评估用户是否会对某一内容感兴趣并带来商业转化的概率；通常可以将所有特征组合输入到集成树模型LightCTR::GBM中，训练得到的每个叶子节点代表一个用户群，然后使用LightCTR::LR或LightCTR::MLP对树模型建立的低维0/1群体特征进行进一步分类。 当标识类别的离散特征过多，使输入变得高维稀疏，可能导致树模型和神经网络的处理瓶颈；通常可以使用LightCTR::FM或LightCTR::FFM对离散特征进行特征交叉训练，提高特征利用率并降低数据稀疏下的过拟合风险，每维特征映射到低维空间中，也方便作为连续特征输入其他模型。 与使用FM预训练特征低维映射后再输入DNN进行两阶段训练相比，通过DNN在输入层内部局部连接，在输入层直接端到端训练特征低维嵌入，可以更好地保证模型的时效性；或者采用将DNN嵌入FM模型中的LightCTR::NFM及其他相关变种，进行特征非线性高维组合，提升模型的表征能力，具有更好的AUC表现。

用于行为序列

用户点击内容序列往往包含内容之间的局部相关性信息，例如前后点击同一类商品或查看同一类网站。