参数模型 & 非参数模型
参数模型：通常假设总体服从某个分布，这个分布可以由一些参数确定，如正态分布。
非参数模型：对于总体的分布不做任何假设，无法得到其分布的相关参数。
参数模型和非参数模型中的“参数”并不是模型中的参数，而是数据分布的参数。
线性回归：作为常见的参数模型，它通过假设输入变量与输出变量之间具有线性关系，然后就可以设置目标函数为 Y = a X + b，用最小二乘来拟合目标函数的参数。
逻辑斯蒂回归：假定X的分布函数服从sigmoid函数。
常见的参数机器学习模型有：
1、逻辑回归（logistic regression）
2、线性成分分析（linear regression）
3、感知机（perceptron）
参数机器学习算法有如下优点:
1、简洁：理论容易理解和解释结果。
2、快速：参数模型学习和训练的速度都很快。
3、数据更少：通常不需要大量的数据，在对数据的拟合不很好时表现也不错。
参数机器学习算法的局限性：
1、拘束：以指定的函数形式来指定学习方式。
2、有限的复杂度：通常只能应对简单的问题。
3、拟合度小：实际中通常无法和潜在的目标函数完全吻合，也就是容易出现欠拟合。
当你拥有许多数据而先验知识很少时，非参数学习通常很有用。
常见的非参数机器学习模型有：
1、决策树
2、朴素贝叶斯
3、支持向量机
4、神经网络
非参数机器学习算法的优势有：
1、可变性：可以拟合许多不同的函数形式。
2、模型强大：对于目标函数不做假设或者作出很小的假设。
3、表现良好：对于训练样本数据具有良好的拟合性。
非参数机器学习算法的局限性：
1、需要更多数据：对于拟合目标函数需要更多的训练数据。
2、速度慢：因为需要训练跟多的参数，所以训练过程通常比较慢。
3、过拟合：有较高的风险发生过拟合，对于预测的效果解释性不高。
