Question

随机过程的问题





Answer 1

1>先要验证状态空间是否为本质类，即就是整个状态空间是一个闭集，且为最小闭集，本题是一个极端例子，用它可以说明无限多个非本质类的并集是闭集。因为本题的每一个状态构成一个非本质类，并且并集状态空间{i+1,i+2,...}的集合都是闭集。所以P=
1/2 1/2 0 0 ... ...
0 1/2 1/2 0 0 ...
... ... ... ...
p_ii=p_{i,i+1}=1/2,i>=0.
2>根据上面矩阵写出转移图，（不会写的话可以参考课本例题）
3>显然p_00=1/2>0,0<f_ii<1,故状态0为非周期的常返类。
4>定义：{m>1：p_ii^(m)>0}的最大公因子d称为状态i的周期。通常只对本质类考虑周期。i为常返状态必为本质的（因为任i与j状态可相互可达），所以状态i为常返的充要条件∑_{n=0}^∞ (p_ii^(n))=∞;状态i为非常返的充要条件∑_{n=0}^∞ (p_ii^(n))<∞.