Considere o código em Python que utiliza a biblioteca NLTK (Natural Language Toolkit) a seguir.
import nltk
from nltk.tokenize import word_tokenize
nltk.download('punkt')
texto = "Processamento de Linguagem Natural é uma área
da inteligência artificial que lida com a interação
entre computadores e linguagem humana."
tokens = word_tokenize(texto)
print(tokens)
Assinale a opção que corresponde ao propósito do código apresentado.
Provas
Questão presente nas seguintes provas