Question

马尔科夫链与马尔科夫过程关系

Answer 1

如果一个过程的“将来”仅依赖“现在”而不依赖“过去”，则此过程具有马尔可夫性,或称此过程为马尔可夫过程
nX(t+1) = f( X(t) )

时间和状态都离散的马尔科夫过程称为马尔科夫链
记作{Xn = X(n), n = 0,1,2,…}
–在时间集T1 = {0,1,2,…}上对离散状态的过程相继观察的结果
链的状态空间记做I = {a1, a2,…}, ai∈R.
条件概率Pij ( m ,m+n)=P{Xm+n = aj|Xm = ai} 为马氏链在时刻m处于状态ai条件下，在时刻m+n转移到状态aj的转移概率。

由于链在时刻m从任何一个状态ai出发，到另一时刻m+n，必然转移到a1，a2…，诸状态中的某一个，所以有
当Pij(m,m+n)与m无关时，称马尔科夫链为齐次马尔科夫链，通常说的马尔科夫链都是指齐次马尔科夫链。
马链的要义就是：如果你想展望未来那么你应立足今日，忘记昨天。

验证是不是马氏链，应该验证是否具有马氏性。所谓马氏性，就是明日只与今日
有关，与前日并无直接的关系。只要验证明日至于今日有关就行了。
立足今日，不能忘记昨天，而是完全记住昨天。未来的成就依赖与以往的历史造就的现在的你。

马尔可夫链应用

什么是Markov链？

马尔可夫链，因安德烈·马尔可夫（A.A.Markov，1856－1922）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。

马尔可夫链是随机变量X_1,X_2,X_3...的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而X_n的值则是在时间n的状态。如果X_{n+1}对于过去状态的条件概率分布仅是X_n的一个函数，则

P(X_{n+1}=x|X_0, X_1, X_2, \ldots, X_n) = P(X_{n+1}=x|X_n). \,
这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。

马尔可夫在1906年首先做出了这类过程 。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。

马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。