Uma matriz de Markov é uma matriz quadrada, que em cada entrada tem um número não negativo e a soma das entradas de qualquer coluna é igual a 1. A ordem de uma matriz de Markov é o número de linhas (ou colunas) dela. Afirmamos:

Item 0: A soma de duas matrizes de Markov da mesma ordem é uma matriz de Markov;