De uma forma geral, um compilador é um programa que recebe como entrada o texto de um programa (fonte) em uma certa linguagem e produz como saída outro texto de programa em uma linguagem diferente da utilizada no fonte. Para isso, compiladores são estruturados internamente em uma série de módulos que produzem, em sequência, representações intermediárias do programa fonte ou de suas partes.
A quebra do texto do programa fonte em unidades básicas da linguagem denominadas de tokens é realizada pelo módulo denominado