Uma matriz de Markov é uma matriz quadrada, que em cada entrada tem um número não negativo e a soma das entradas de qualquer coluna é igual a 1. A ordem de uma matriz de Markov é o número de linhas (ou colunas) dela. Afirmamos:

Item 2: A inversa de uma matriz de Markov (quando ela exista) é também uma matriz de Markov;