Mesmo com diferenças entre a estruturação das memórias nas duas arquiteturas, os principais componentes são: Unidade de Controle, Unidade de Processamento, Memórias de armazenamento, Dispositivos de entrada e saída (I/O), além dos registradores auxiliares para cada estrutura.

O principal elemento na arquitetura de Von Neumann, que não está presente na arquitetura Harvard, é a divisão entre memória de instruções e memória de dados, permitindo o acesso simultâneo aos dois conjuntos de memórias.

A arquitetura de Von Neumann utiliza um conjunto reduzido de instruções (RISC), enquanto a arquitetura Havard é conhecida por utilizar conjuntos complexos de instruções (CISC).

Na arquitetura de Von Neumann a principal unidade de processamento é a ALU (arithmetic logic unit), o que a diferencia da arquitetura Havard que tem como principal unidade de processamento a FPU (float point unit).