Um dos principais objetivos dos algoritmos de aprendizado de máquinas é o de estabelecer um modelo que melhor descreva as relações entre variáveis de um conjunto de dados. Em algumas situações, ao serem treinados, os modelos ajustam-se demasiadamente aos dados do conjunto, capturando até mesmo padrões relacionados aos ruídos dos dados. Esses modelos tendem a ser excessivamente complexos e a ter um mau desempenho na generalização, isto é, nas etapas em que é necessário processar novas instâncias de dados não pertencentes ao conjunto de treinamento original.

Uma maneira de mitigar esse comportamento inconveniente é usar técnicas de