Sistemas paralelos constituem-se de múltiplos processadores e múltiplos discos interconectados por uma rede de comunicação veloz. Nesses sistemas, máquinas de alta granularidade possuem poucas e poderosas CPUs, enquanto as máquinas massivamente paralelas utilizam milhares de processadores simples.