Uma matriz de Markov é uma matriz quadrada, que em cada entrada tem um número não negativo e a soma das entradas de qualquer coluna é igual a 1. A ordem de uma matriz de Markov é o número de linhas (ou colunas) dela. Afirmamos:

Item 3: Se !$ M ∈ R^{nxn} !$ é uma matriz de Markov e !$ v ∈ R^{nx1} !$ é um vetor de componentes não negativos que somam 1, então !$ Mv ∈ R^{nx1} !$ também é um vetor de componentes não negativos que somam 1;