| 馬可夫鏈機率一般過程： |
- 起始機率： P(x0=j0) 為已知。
- 前一個狀態移轉至次一個狀態之機率： P(xn-1=jn) 為已知。
- 自第 m 次後移轉 n 次機率，須從第 m+1 次逐次計算至 n 次，亦即： P(xm+n=j | xm=i)。
- 穩態機率是指： P(xm+n=j | xm=i) = P(xn=j | x0=i)，初始機率為已知，經過 n 次移轉後機率為不變常數。
|
| 馬可夫鏈機率穩態過程： |
|
|
| 馬可夫鏈應用： |
|
|
|
- 求穩態機率 (Steady-State Probability)
- 求期望再生時間 (Mean Recurrence Time)
|
|
|
