Question

特征提取和特征选择

Answer 1

一、特征提取和特征选择异同
1. 特征提取 ：通过映射（变换）的方法，将高维的特征向量变换为低维特征向量。
2. 特征选择 ：从原始特征中挑选出一些最具代表性、分类性能好的特征以达到降低特征空间维数的方法

二、基于距离可分性判据的特征提取方法
1.假设有n个原始特征：

希望通过线性映射压缩为d个特征Y=

其变换关系为 ，W为n*d矩阵。令 为原空间的离散度矩阵， 为映射后（也就是Y）离散度矩阵:

经过变换后的 变为：

对上式的W的各个分量求偏导数并令其为零，即可以确定一个W的值。

三、（选做）

四、
（1）主对角线上代表各个维度内数据的方差，而非主对角线上的元素代表维度之间数据的协方差。（所以一定是一个实对称矩阵）
（2）最佳准则就是尽可能少地减少降维之后的信息损失
（3）因为在矩阵相似对角化以后，矩阵变成了只有主对角线上有元素。也就是说协方差矩阵的维度之间的方差全部变成了0，各维度分量也就没有了相关性
五、
（1） d=2:
整合矩阵->PCA分析：

（2）基本等同上方程序

六、（灰度矩阵）