Uma organização decidiu monitorar a opinião do público sobre ela nas redes sociais. Para isso, processou as mensagens com referências ao seu nome, a fim de possibilitar o uso de uma técnica de processamento de linguagem natural conhecida como análise de sentimentos.
Após transformar cada mensagem em uma string, um dos passos importantes nessa técnica é a tokenização, que consiste em