A biblioteca NLTK (Natural Language Toolkit) engloba ferramentas para processamento de linguagem natural, tais como funções de tokenização e radicalização. Dessa forma, considerando o código apresentado:

frase = “Não esqueçam a lista de materiais: 1 lápis e 2 canetas!”

from nltk.tokenize import RegexpTokenizer

tokenizador = RegexpTokenizer(r’w+’)

tokens = tokenizador.tokenize(frase)

print(tokens)

Qual o resultado correto?