馬可夫鏈 (Markov Chain)

馬可夫鏈機率一般過程：

• • 起始機率： P(x₀=j₀) 為已知。

  • 前一個狀態移轉至次一個狀態之機率： P(x_n-1=j_n) 為已知。

  • 自第 m 次後移轉 n 次機率，須從第 m+1 次逐次計算至 n 次，亦即： P(x_m+n=j | x_m=i)。

  • 穩態機率是指： P(x_m+n=j | x_m=i) = P(x_n=j | x₀=i)，初始機率為已知，經過 n 次移轉後機率為不變常數。

馬可夫鏈機率穩態過程：

馬可夫鏈應用：