Question

常见概率分布介绍

Answer 1

Bernoulli分布 是单个二值随机变量分布, 单参数 ∈[0,1]控制, 给出随机变量等于1的概率. 基本形式为:

其期望为：

其方差为：

Multinoulli分布 也叫 范畴分布 , 是单个 k 值随机分布,经常用来表示 对象分类的分布 . 其中 是有限值.Multinoulli分布由向量 参数化,每个分量 表示第 个状态的概率, 且 .

适用范围 : 伯努利分布 适合对 离散型 随机变量建模.

高斯也叫正态分布(Normal Distribution), 概率度函数如下:

其中, 和 分别是均值和方差, 中心峰值x坐标由 给出, 峰的宽度受 控制, 最大点在 处取得, 拐点为

正态分布中，±1 、±2 、±3 下的概率分别是68.3%、95.5%、99.73%，这3个数最好记住。

此外, 令 高斯分布即简化为标准正态分布:

对概率密度函数高效求值:

其中， 通过参数 来控制分布精度。

问: 何时采用正态分布?
答: 缺乏实数上分布的先验知识, 不知选择何种形式时, 默认选择正态分布总是不会错的, 理由如下:

正态分布的推广:
正态分布可以推广到 空间, 此时称为 多位正态分布 , 其参数是一个正定对称矩阵 :

对多为正态分布概率密度高效求值:

此处， 是一个精度矩阵。

深度学习中, 指数分布用来描述在 点处取得边界点的分布, 指数分布定义如下:

指数分布用指示函数 来使 取负值时的概率为零。

一个联系紧密的概率分布是 Laplace 分布（Laplace distribution），它允许我们在任意一点 处设置概率质量的峰值

Dirac分布可保证概率分布中所有质量都集中在一个点上. Diract分布的狄拉克 函数(也称为 单位脉冲函数 )定义如下:

Dirac 分布经常作为 经验分布（empirical distribution）的一个组成部分出现

, 其中, m个点 是给定的数据集, 经验分布 将概率密度 赋给了这些点.

当我们在训练集上训练模型时, 可以认为从这个训练集上得到的经验分布指明了 采样来源 .

适用范围 : 狄拉克δ函数适合对 连续型 随机变量的经验分布.

在概率论和统计学中，数学期望（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和。它反映随机变量平均取值的大小。

概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。方差是一种特殊的期望。定义为：

协方差是衡量两个变量线性相关性强度及变量尺度。 两个随机变量的协方差定义为：

方差是一种特殊的协方差。当 时， 。

相关系数是研究变量之间线性相关程度的量。两个随机变量的相关系数定义为：