Os módulos de memória cache são mais rápidos que a memória principal e estão localizados, na hierarquia de memória, entre os módulos de memória principal e os armazenadores secundários, geralmente unidades de disco.

Nos esquemas de gerenciamento de memória baseados em alocação não contígua, um processo é dividido em blocos ou segmentos, que o sistema pode colocar em espaços não adjacentes da memória principal. Em consequência disso, o sistema operacional incorre em maior complexidade computacional para alocar e desalocar memória.

Os sistemas operacionais modernos organizam os módulos de memória em uma estrutura hierárquica. A hierarquia de memória contém níveis caracterizados pela velocidade de acesso, pela capacidade de armazenamento e pelo custo da memória em cada nível.

Sistemas de gerenciamento de memória exploram a hierarquia de memória para se beneficiarem de custos mais baixos e maior capacidade de armazenagem.