集成学习之GBD

什么是GBDT 到底什么是梯度提升树?所谓的GBDT实际上就是: GBDT = Gradient Descent + Boosting + Desicion Tree 与Adaboost算法类似,GBDT也是使用了前向分布算法的加法模型。只不过弱学习器限定了只能使用CART回归树模型,同时迭代思路和Adaboost也有所不同。 ...

2023-03-16 19:35 · 6 min · 2682 words · Reid

GBDT+LR

概述 GBDT的加入,是为了弥补LR难以实现特征组合的缺点。 LR LR作为一个线性模型,以概率形式输出结果,在工业上得到了十分广泛的应用。 其具有简单快速高效,结果可解释,可以分布式计算。搭配L1,L2正则,可以有很好地鲁棒性以及挑选特征的能力。 ...

2023-03-16 19:35 · 4 min · 1932 words · Reid