Uma matriz de Markov é uma matriz quadrada, que em cada entrada tem um número não negativo e a soma das entradas de qualquer coluna é igual a 1. A ordem de uma matriz de Markov é o número de linhas (ou colunas) dela. Afirmamos:

Item 4: Se !$ \alpha ∈ [0,1] !$ e !$ M !$, !$ N !$ !$ ∈ !$ !$ R^{nxn} !$ são matrizes de Markov, então !$ \alpha M + (1 - \alpha) N !$ também é uma matriz de Markov.