No nível mais alto da hierarquia (mais próximo do processador), estão os registradores do processador. Em seguida, encontram-se um ou mais níveis de cache. Logo depois, está a memória principal, que é um circuito eletrônico integrado do tipo DRAM.

É possível organizar dados pela hierarquia de modo que a porcentagem de acessos a cada nível sucessivamente inferior é muito menor que para o nível acima.

As memórias secundárias são usadas para compensar o problema causado pelo fato de os processadores serem mais rápidos do que a memória principal.

Quando o processador quer ler uma palavra da memória, primeiro verifica se o bloco que a contém está na cache. Se achar, então o dado é fornecido sem ter que acessar a memória principal. Se não achar, então o bloco da memória interessada é lido e colocado na cache.

Em uma memória volátil, se a energia for desligada, a informação armazenada é perdida. Assim, é necessária a alimentação elétrica constante para manter o conteúdo da memória. Em uma memória não volátil, o conteúdo é estável e não exige uma fonte de alimentação constante.