集成学习之xgboost

一、XGBoost和GBDT xgboost是一种集成学习算法,属于3类常用的集成方法(bagging,boosting,stacking)中的boosting算法类别。它是一个加法模型,基模型一般选择树模型,但也可以选择其它类型的模型如逻辑回归等。 ...

2023-03-16 19:35 · 9 min · 4009 words · Reid

集成学习之AdaBoost

Boosting算法的工作机制 用初始权重D(1)从数据集中训练出一个弱学习器1 根据弱学习1的学习误差率表现来更新训练样本的权重D(2),使得之前弱学习器1学习误差率高的样本点的权重变高,使得这些误差率高的点在后面的弱学习器2中得到更多的重视。 然后基于调整权重后的训练集来训练弱学习器2 如此重复进行,直到弱学习器数达到事先指定的数目T,最终将这T个弱学习器通过集合策略进行整合,得到最终的强学习器。 现如今已经有很多的提升方法了,但最著名的就是Adaboost(适应性提升,是Adaptive Boosting的简称)和Gradient Boosting(梯度提升)。让我们先从 Adaboost 说起。 ...

2023-03-16 19:35 · 5 min · 2315 words · Reid

集成学习之Bagging,Boosting

生成子模型的两种取样方式 那么为了造成子模型之间的差距,每个子模型只看样本中的一部分,这就涉及到两种取样方式: 放回取样:Bagging,在统计学中也被称为bootstrap。 不放回取样:Boosting 在集成学习中我们通常采用 Bagging 的方式,具体原因如下: ...

2023-03-16 19:35 · 7 min · 3496 words · Reid

集成学习之GBD

什么是GBDT 到底什么是梯度提升树?所谓的GBDT实际上就是: GBDT = Gradient Descent + Boosting + Desicion Tree 与Adaboost算法类似,GBDT也是使用了前向分布算法的加法模型。只不过弱学习器限定了只能使用CART回归树模型,同时迭代思路和Adaboost也有所不同。 ...

2023-03-16 19:35 · 6 min · 2682 words · Reid

逻辑回归的常见面试题总结

1.简介 逻辑回归是面试当中非常喜欢问到的一个机器学习算法,因为表面上看逻辑回归形式上很简单,很好掌握,但是一问起来就容易懵逼。所以在面试的时候给大家的第一个建议不要说自己精通逻辑回归,非常容易被问倒,从而减分。下面总结了一些平常我在作为面试官面试别人和被别人面试的时候,经常遇到的一些问题。 ...

2023-03-16 19:35 · 9 min · 4309 words · Reid

随机森林(回归树)模型

调参 ★ 在 scikit-learn 中,Random Forest(以下简称RF)的分类类是 RandomForestClassifier,回归类是 RandomForestRegressor。 RF 需要调参的参数也包括两部分,第一部分是 Bagging 框架的参数,第二部分是 CART 决策树的参数。下面我们就对这些参数做一个介绍。 ...

2023-03-16 19:35 · 5 min · 2367 words · Reid

随机森林算法及其在特征选择中的应用

随机森林算法思想 随机森林(Random Forest)使用多个CART决策树作为弱学习器,不同决策树之间没有关联。当我们进行分类任务时,新的输入样本进入,就让森林中的每一棵决策树分别进行判断和分类,每个决策树会得到一个自己的分类结果,决策树的分类结果中哪一个分类最多,那么随机森林就会把这个结果当做最终的结果。 ...

2023-03-16 19:35 · 7 min · 3246 words · Reid

生成模型vs判别模型

什么是生成模型和判别模型? 从本质上讲,生成模型和判别模型是解决分类问题的两类基本思路。首先,您得先了解,分类问题,就是给定一个数据x,要判断它对应的标签y(这么naive的东西都要解释下,求面试官此时内心的阴影面积,嘎嘎)。生成模型就是要学习x和y的联合概率分布P(x,y),然后根据贝叶斯公式来求得条件概率P(y|x),预测条件概率最大的y。贝叶斯公式这么简单的知识相信您也了解,我就不啰嗦了。判别模型就是直接学习条件概率分布P(y|x)。 ...

2023-03-16 19:35 · 3 min · 1213 words · Reid

线性回归

介绍 称函数为效用函数 线性回归模型看起来非常简单,简单到让人怀疑其是否有研究价值以及使用价值。但实际上,线性回归模型可以说是最重要的数学模型之一,很多模型都是建立在它的基础之上,可以被称为是“模型之母”。 ...

2023-03-16 19:35 · 6 min · 2544 words · Reid

逻辑回归

一、线性模型预测一个样本的损失量 损失量:模型对样本的预测结果和该样本对应的实际结果的差距; 1)为什么会想到用 y = -log(x) 函数? (该函数称为 惩罚函数:预测结果与实际值的偏差越大,惩罚越大) y = 1(p ≥ 0.5)时,cost = -log(p),p 越小,样本发生概率越小(最小为 0),则损失函数越大,分类预测值和实际值的偏差越大;相反,p 越大,样本发生概率越大(最大为 0.5),则损失函数越小,则预测值和实际值的偏差越小; y = 0(p ≤ 0.5)时,cost = -log(1-p),p 越小,样本发生概率越小(最小为 0.5),则损失函数越大,分类预测值和实际值的偏差越大;相反,p 越大,样本发生概率越大(最大为 1),则损失函数越小,则预测值和实际值的偏差越小; 2)求一个样本的损失量 由于逻辑回归解决的是分类问题,而且是二分类,因此定义损失函数时也要有两类 ...

2023-03-16 19:35 · 4 min · 1856 words · Reid