Question

线性模型

Answer 1

  形式简单、易于建模、具有特别好的可解释性——权重大小就直接表示该属性的重要程度。

1. 定义：给定数据集 ，其中  “线性回归”试图学习得一个线性模型以尽可能准确地预测实际输出标记。

2. 一元线性回归 ：输入属性的数目只有一个，权重w是一个数。即 线性回归试图学得 ，使得 。

3. 线性回归的主要任务在于如何确定w和b，这又决定于如何衡量f(x)与y之间的差别—— 均方误差 是回归任务中最常用的性能度量(均方误差有非常好的几何意义，对应了常用的欧几里得距离，基于均方误差最小化来进行模型求解的方法称为“最小二乘法”)，因此我们可试图让均方误差最小化（找到一条直线，使所有样本到直线上的欧氏距离之和最小），即：

4. 求解w和b使 最小化的过程，称为线性回归模型的 最小二乘“参数估计” 。

5. 求解方法：将 分别对w和b求导，并令倒数为零便可得到w和b最优解的闭式解。

由于 ； ，在一阶倒数最小处必然取得极小值。令：

-->

6. 多元线性回归：样本由d个属性描述，多元回归试图学得，使得 ，使得 。

7.广义线性回归：令 线性模型预测值逼近y的衍生物 ，例如 对数线性回归 ： ，它试图让 逼近y，形式上仍是线性回归，但实质上在求取输入空间到输出空间的非线性函数映射。

1. 若要进行分类，需要将分类任务的真实标记与线性回归模型的预测值联系起来——通过一个单调可微函数。

2. 考虑二分类任务，其输出标记 ，将线性回归产生的实值转换为0/1值，最理想的是“单位阶跃函数”，即若预测值z大于零就判为正例，小于零则判为反例，预测值为临界值零则可任意判别。但是该函数不连续--->选择一定程度上近似单位阶跃函数的 对数几率函数 ——一种“Sigmoid函数”（形似S的函数）。定义如下：

     --->     （对数几率，用线性模型去逼近真实标记的对数几率）--->对数几率回归（logit regression/逻辑斯蒂回归），虽然名字是“回归”，但实际是一种分类学习方法。

3. 对数几率回归的优势：（1）直接对分类可能性进行建模，无需事先假设数据分布，可避免假设分布不准确所带来的问题；（2）它不是仅预测出“类别”，而是可得到近似概率预测，这对许多需利用概率辅助决策的任务很有用；（3）对数几率函数是任意阶可导的凸函数，有很好的数学性质，现有的许多数值优化算法都可直接用于求取最优解。

4. 模型参数估计：若将y视为类后验概率估计p(y=1 | x)，则2中的式子可重写为：

 --->  

（二项逻辑斯蒂回归模型，对于输入x，比较两个条件概率值的大小，将实例x分到概率值较大的那一类）

于是可以通过“极大似然法”来估计w和b。给定数据集 ，对数几率回归模型最大化“对数似然”： 即令每个样本属于真实标记的概率越大越好。

5. 对数似然函数详细推导：对于给定的训练数据集 ，其中 对于单个样本 ， =1的概率是 ， =0的概率是 ，所以对于单个样本应该最大化 ，对于所有m个样本其似然函数为： ，对数似然函数为

，根据逻辑斯蒂回归函数可得以下式子：

则对上式求极大值便能得到w和b得估计值，求极大值通常采用的方法是梯度下降法和拟牛顿法。

6. 多项逻辑斯蒂回归：多分类问题中，变量 ，那么多项逻辑斯蒂回归模型是：

二项逻辑斯蒂回归的参数估计方法也可以推广到多项逻辑斯蒂回归。

备注：《机器学习》第3章笔记，《统计学习方法》第6章。

1. 定义：假设输入空间（特征向量）是 ，输出空间是 。输入 表示实例的特征向量，对应于输入空间（特征空间）的点；输出 表示实例的类别。由输入空间到输出空间的如下函数称为感知机：

，w为权值，b为偏置。

2. 感知机学习目标：求得一个能够将训练集正实例点和负实例点完全分开的分离超平面。

3. 感知机学习策略（损失函数）：误分类点到超平面S的总距离最小。

1）输入空间中 任一点 到超平面S到距离： ；

2） 误分类点 到超平面S的距离： ；

3）所有M个误分类点到超平面S的总距离： ；

4）不考虑常数项，感知机学习的损失函数（经验风险函数）： 。

5）感知机的学习策略：在假设空间中选取使该损失函数最小的模型参数。

4. 感知机学习算法：求解损失函数最优化问题-->随机梯度下降。首先，任意选取一个超平面 ，然后采用梯度下降法不断地极小化目标函数，极小化过程中不是一次使M中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。感知机算法存在许多解，这些解既依赖于初值的选择，也依赖于迭代过程中误分类点的选择顺序。为了得到唯一的超平面，需要对分离超平面增加约束条件-->线性支持向量机。

备注：《统计学习方法》第2章笔记。