2.1 离散时间马尔可夫过程

马尔可夫过程是一类特别的随机过程，能够较好地展现系统各种状态的时变规律与跃迁过程，其概率分布只取决于当前系统的状态，与系统之前经历的状态无关 [1] 。

1.基本概念

如果马尔可夫过程所对应的状态空间 X 是离散的，且状态数有限、可数，则称马尔可夫过程为马尔可夫链。如果其状态跃迁过程的时序空间 T 也是离散的，且其状态数有限、可数，则称马尔可夫过程为离散时间马尔可夫链 [2] 。

假设状态空间为 X ，时序空间为 T ， X ∈{0,1,2,3,⋯} ； T ∈{0,1,2,3,⋯} ，离散时间马尔可夫链{ X ( n )| T }应满足

式中， n 取0表示离散时间马尔可夫链的时序原点； x 0 为所处的初始状态。式（2.1）表示当前马尔可夫链所处的状态仅与当前状态有关且与过去的状态无关，该效应又称马尔可夫过程的无后效性。

离散时间马尔可夫链的刻画往往需要考虑状态跃迁概率 [3 -4] 。

（1）跃迁概率 p ij ( m , n ) ：马尔可夫链在第 m 步处于状态 x i 、在第 n 步转移至状态 x j 的概率，表示为

（2）跃迁概率 p ij ( n ) ：马尔可夫链经过 n 步跃迁后，状态由 x i 变为 x j 的概率，一般称为 n 步跃迁概率，表示为

此时，离散时间马尔可夫链的跃迁概率 p ij ( m , n ) 可由 m 与 n 的差值唯一确定。当 n =1时，齐次离散时间马尔可夫链的表达式为

式中， p ij (1) 通常可简写为 p ij ，称为马尔可夫链的一步跃迁概率。

在工程应用中，我们仅考虑有限且可数的状态空间 X ={0,1,2,⋯, m } 。此时一步跃迁概率可以转化为一步转移概率矩阵，即

对于所有的 i , j ∈ X ，有0≤ p ij ≤1，且矩阵中每行的和为1，此时矩阵 P (1)是一个随机矩阵。随机值 X (0)代表了马尔可夫链的初始状态，将其概率分布称为初始概率向量，表达式为

2. n 步跃迁概率与状态概率的计算

离散时间马尔可夫链的求解主要利用查普曼—柯尔莫哥洛夫（Chapman- Kolmogorov）方程，表达式为

式（2.7）的含义为：马尔可夫过程中经过 m + n 步达到状态 j 的跃迁概率为 p ij ( m + n ) ，已知经过0步的状态为 i ，为了经过 m + n 步达到状态 j ，在此过程中要先通过 m 步达到中间状态 k x ，跃迁概率为 p ik ( m ) ，再由状态 k x 转移至状态 j ，跃迁概率为 p kj ( n ) 。状态跃迁过程如图2.1所示。

令 n 步转移概率矩阵为 P ( n ) ，令式（2.7）中的 m =1，用 n −1代替 n ，可以得到式（2.7）的矩阵形式，即

式中， P 为马尔可夫链的一步转移概率矩阵。 n 步转移概率矩阵是一步转移

概率矩阵的 n 次方。可知状态概率矩阵 P j ( n ) 的值取决于 n =0时的初始状态概率和后续状态转移的步数，其表达式为

式（2.9）的矩阵推广形式为

式中， p (0) 为初始概率向量（当 n =0时）， p ( n ) 是经过 n 步转移后得到的 n 步状态概率向量。

上述推理表明，齐次马尔可夫链的状态概率向量是由一步转移概率矩阵 P 和初始概率向量 p (0) 决定的。在工程上，当对系统进行可靠性分析时，系统的状态跃迁大多由部件失效或修复引起，此时对应状态之间的跃迁概率可用部件的故障率或修复率表示。 4rwHof5QND0I/4ptEjJ5t2Ng/oW+Tt6DDM3ufQyQW6nC9Wd3yyKiOhY8pRu328GW