Question

[ML] 特征提取3种基本方法

Answer 1

      嵌入（embed） ：学习 算法 中本来就包含有特征选择的过程，例如决策树一类的分类器，它们在决定分枝点时就会选择最有效的特征来对数据进行划分。但这种方法是在局部空间中进行优选，效果相对有限。
      封装(Wrapper)： 特征选择过程与训练过程整合在一起，以模型的预测能力作为衡量特征子集的选择标准，例如分类精度，有时也可加入复杂度惩罚因子。多元线性回归中的前向搜索和后向搜索可以说是封装方法的一种简单实现。不同的学习算法要搭配不同的封装方法，如果是线性分类器，可以采用之前博文谈到的 LASSO方法 （glmnet包）。如果是非线性分类器，如树模型则可以采用随机森林封装（RRF包）。封装法可以选择出高质量的子集，但速度会比较慢。
      过滤(Filter)： 特征选择过程独立于训练过程，以分析特征子集内部特点来预先筛选，与学习器的选择无关。过滤器的评价函数通常包括了相关性、距离、信息增益等。在数据预处理过程中删除那些取值为常数的特征就是过滤方法的一种。过滤法速度快但有可能删除有用的特征。
      在实务中进行特征选择可以先借由专家知识来初步筛选，再用过滤法快速筛选无关变量，最后采用封装法得到最优子集和模型结果。