diff --git "a/MachineLearningAlgorithm/\351\233\206\346\210\220\345\255\246\344\271\240.md" "b/MachineLearningAlgorithm/\351\233\206\346\210\220\345\255\246\344\271\240.md" index 662514f..35a3dac 100644 --- "a/MachineLearningAlgorithm/\351\233\206\346\210\220\345\255\246\344\271\240.md" +++ "b/MachineLearningAlgorithm/\351\233\206\346\210\220\345\255\246\344\271\240.md" @@ -190,7 +190,7 @@ Stacking 应用 基于串行策略 的方式进行学习 - 基分类器:CART,其无论是处理分类还是回归均是将采用回归拟合(将分类问题通过 softmax 转换为回归问题),用当前轮 CART 树拟合前一轮目标函数与实际值的负梯度 ht = -g; - 本质:回归算法; -> 也正是因为 GBDT 采用的 CART 树模型作为基分类器进行负梯度拟合,其是一种对特征样本空间进行划分的策略,不能使用 SGD 等梯度优化算法,而是 CART 树自身的节点分裂策略:均方差(回归) 也带来了算法上的不同; GBDT 损失函数值得是前一轮拟合模型与实际值的差异,而树节点内部分裂的特征选择则是固定为 CART 的均方差,目标损失函数可以自定义,当前轮 CART 树旨在拟合负梯度。 +> 也正是因为 GBDT 采用的 CART 树模型作为基分类器进行负梯度拟合,其是一种对特征样本空间进行划分的策略,不能使用 SGD 等梯度优化算法,而是 CART 树自身的节点分裂策略:均方差(回归) 也带来了算法上的不同; GBDT 损失函数指的是前一轮拟合模型与实际值的差异,而树节点内部分裂的特征选择则是固定为 CART 的均方差,目标损失函数可以自定义,当前轮 CART 树旨在拟合负梯度。 ###### 7.1.1.2.2 从 特征空间 角度