Jika kita mempunyai matriks stokastik \(A\) dan vektor probabilitas \(\xvec_0\text{,}\) kita dapat membentuk barisan \(\xvec_k\) dengan \(\xvec_{k+1} = A \xvec_k\text{.}\) Barisan vektor ini disebut rantai Markov. Latihan 4.5.6.6 menjelaskan mengapa kita dapat menjamin bahwa vektor-vektor \(\xvec_k\) merupakan vektor probabilitas.