如何对机器学习xgboost中数据集不平衡进行处理
1个回答
展开全部
传统GBDTCART作基类器xgboost支持线性类器候xgboost相于带L1L2则化项逻辑斯蒂归（类问题）或者线性归（归问题）
传统GBDT优化用阶导数信息xgboost则代价函数进行二阶泰勒展同用阶二阶导数顺便提xgboost工具支持自定义代价函数要函数阶二阶求导
xgboost代价函数加入则项用于控制模型复杂度则项包含树叶节点数、每叶节点输scoreL2模平Bias-variance tradeoff角度讲则项降低模型variance使习模型更加简单防止拟合xgboost优于传统GBDT特性
Shrinkage（缩减）相于习速率（xgboosteta）xgboost进行完迭代叶节点权重乘该系数主要削弱每棵树影响让面更习空间实际应用般eta设置点迭代数设置点（补充：传统GBDT实现习速率）
列抽（column subsampling）xgboost借鉴随机森林做支持列抽仅能降低拟合能减少计算xgboost异于传统gbdt特性
缺失值处理于特征值缺失本xgboost自习裂向
xgboost工具支持并行boosting种串行结构?并行注意xgboost并行tree粒度并行xgboost迭代完才能进行迭代（第t迭代代价函数包含前面t-1迭代预测值）xgboost并行特征粒度我知道决策树习耗步骤特征值进行排序（要确定佳割点）xgboost训练前预先数据进行排序保存block结构面迭代重复使用结构减计算量block结构使并行能进行节点裂需要计算每特征增益终选增益特征做裂各特征增益计算线程进行
并行近似直图算树节点进行裂我需要计算每特征每割点应增益即用贪枚举所能割点数据载入内存或者布式情况贪算效率变低所xgboost提种并行近似直图算用于高效候选割点
本回答被提问者采纳
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
