As RNNs passam informações em uma direção, através de vários nós de entrada, até que cheguem ao nó de saída. A rede pode ou não ter camadas de nós ocultas, tornando o seu funcionamento mais interpretável.

Nas RNNs, as entradas são de tamanho fixo, apresentam relacionamento espacial e, em geral, são utilizadas para reconhecimento facial.

Nas redes Gated Recurrent Network (GRU), os gradientes fazem com que a relação temporal que a rede deve aprender se perca com o tempo através de uma célula exclusiva para armazenamento e fluxo de memória.

As RNNs possuem uma dependência temporal entre os dados de entrada, pois, além dos dados da camada anterior, os neurônios escondidos da rede também recebem o resultado da operação matemática que eles mesmos realizaram no período temporal anterior. Por essa razão, as RNNs podem ser utilizadas, por exemplo, para a previsão utilizando dados históricos.

Nas redes neurais de memória de curto-prazo longa (LTTM), o portão de entrada e saída é substituído por um portão de atualização, que é responsável por controlar o quanto de informação reter e o quanto atualizar. Em outra localização, há um portão denominado reset, que substitui o portão de esquecimento.