线性模型
这里我们先看一下线性模型的基本形式。给出一个含有d个属性的样本对象x=(x1;x2;...;xd)，其中xi表示每个属性上的取值情况。线性模型（linear model）要做的，就是通过一个属性的组合函数来进行预测。
具体公式如下
向量形式为
其中 ， 和 学得之后，模型就可以确定。
可以看出线性模型虽然形式简单、易于建模，但这是机器学习的重要基础，很多其他功能更为强大的非线性模型(nonlinear model)课在线性模型的基础上 通过引入层级结构或者高维映射而得到 。另外，每个 代表着每个属性的权重，这使得线性模型有更好的解释性(comprehensibility)。
下面我们看一下几种经典的线性模型。先从回归问题开始，然后看一下分类问题。
正如之前所讲，线性回归就是说通过学习到的线性模型来与猜测新的样本的输出值。一个很直观的例子就是说，我们通过历年的人口数量预测下一年的人口数量。在这类问题中，我们会先得到一系列有标记的数据，例如 ，可以看到这个时候的输入属性只有一个，就是年份；当然也有输入属性有多个的情况，例如预测一个人的收入情况，那输入属性可能有学历，年龄等等。
很多时候这些属性值并不能直接被我们的学习器所用，需要我们进行一下相应的处理。对于连续的属性值，一般都可以被学习器所用，但是有时候需要归一化等处理；而对于离散的属性值，一般要做这样的处理：
这就是我们上面说到的只用年份来预测人口数量的那种问题。
这是最简单的情况，也是我们高中所熟知的“最小二乘法(Euclidean Distance)”。做法是：先计算出每个预测值和真实值之间的误差并且求和，通过最小化MSE，使用求偏导为零的方法计算出拟合直线 y=wx+b，具体的计算过程如下：
这时候，就是上面提到过的工资收入的那种问题。
对于一个样本含有d个属性{(x1,x2,...,xd) , y}，此时的 变成了
通常对于多元问题，常常使用矩阵的形式表示数据。在本问题中，将具有m个样本的数据集表示成矩阵X，将系数w和b合并成一个列向量，这样每个样本的预测值以及所有样本的MSE最小化就可以写成下面的形式：
需要注意的是，有时候像我们采用的原始的线性回归可能并不能满足需求。如果y值不是线性变化，而是在指数尺度上变化，显然我们的线性模型表现就很差。这个时候我们可以用线性模型来逼近y的衍生物，如lny，实际上就相当于将指数曲线投影在一条直线上面，如下图所示：
更一般地，考虑所有y的衍生物的情形，就得到了“广义的线性模型”（generalized linear model），其中，g（*）称为联系函数（link function）。
回归是通过输入的属性值预测得到一个预测值，利用上面说过的广义线性回归模型，通过一个联系函数，将预测问题转化为分类问题，对数几率回归就是解决这样的问题。对数几率引入一个对数几率函数(logistic funciton)，将预测值投影到0-1之间，从而将回归问题转化为一个二分类问题。
这里具体的推导可以看一下书上写的。
若将y看做样本为正例的概率，（1-y）看做样本为反例的概率，则上式实际上使用线性回归模型的预测结果器逼近真实标记的对数几率。因此这个模型称为“对数几率回归”（logistic regression），也有一些书籍称之为“逻辑回归”。下面使用最大似然估计的方法来计算出w和b两个参数的取值，下面只列出求解的思路，不列出具体的计算过程。
线性判别分析（Linear Discriminant Analysis,LDA）的基本思想是：
实际问题中，分类任务是多类别的。
除了少数能够直接从二分类推广到多分类的方法（如LDA法），其余大多数方法只能应用于二分类问题。所以通常情况下，我们是用 二分类学习器 + solution 来解决多分类问题的，即把多分类问题拆分成为多种二分类问题的组合。
最为经典的拆分方式有三种：“一对一(OvO)”、“一对其余（OvR）”、“多对多（MvM）”：
类别不平衡（class-imbanlance）就是指分类问题中不同类别的训练样本相差悬殊的情况，例如正例有900个，而反例只有100个，这个时候我们就需要进行相应的处理来平衡这个问题。常见的做法有三种：
