Igor, analista de dados da CVM, escreveu e rodou o código a seguir.

from nltk.corpus import stopwords from nltk.tokenize import word_tokenize
texto = "Eu sou um analista de dados da CVM!"
stop_words = set(stopwords.words('portuguese')) tokens = word_tokenize(texto)
tokens_processados = [w for w in tokens if not w in stop_words]
print(tokens_processados)

Considerando que o código foi executado sem erros e sabendo que Igor está usando Python 3.10.12 e NLTK 3.8.1, a saída do terminal foi:

Um cientista de dados utiliza a biblioteca scikit-learn para treinar um estimador clf usando um conjunto de treinamento X1 e seu respectivo conjunto de atributos-alvo y. Posteriormente, o cientista estima os atributos-alvo do conjunto X2.

Para realizar o treinamento e a predição, o cientista de dados deve usar, respectivamente, os métodos:

No método tensorflow.keras.layers.Dense(...), se nenhuma função de ativação é especificada, é utilizada por padrão a função:

Considere o código python a seguir.

import spacy

nlp = spacy.load("pt_core_news_lg")

doc = nlp("O rato roeu a roupa do rei de Roma")

print(doc[2].pos_, doc[2].dep_)

Os valores exibidos pela última linha são:

Uma certa organização gostaria de compartilhar dados com um grupo de pesquisadores de uma universidade para a condução de um estudo sobre problemas ergonômicos nos seus escritórios. Entre os dados coletados, há informações sensíveis sobre seus funcionários; portanto, o responsável pela coleta decidiu anonimizar os dados. Isso foi feito removendo-se nomes e outros campos identificadores e adicionando-se um número identificador próprio a cada funcionário. Dessa forma, a identidade dos funcionários seria preservada. Após a verificação de uma amostra, o pesquisador responsável pelo estudo recomendou medidas que deveriam ser aplicadas antes que os dados pudessem ser aceitos para o estudo.

O problema que mais provavelmente motivou a recomendação do pesquisador e uma medida que pode mitigar esse problema são, respectivamente:

Um dos principais fatores que tornam viável a aplicação de modelos grandes de linguagem (LLMs) é o controle do espaço de probabilidade de tokens através da redução de dimensionalidade do vocabulário, sem perda da capacidade de reconstruir qualquer token válido da linguagem sendo modelada.

Considerando esse objetivo, dois algoritmos que podem ser utilizados para esse fim são:

Considere-se a aplicação de um modelo grande de linguagem (LLM) com 3 bilhões de parâmetros, distribuído em formato não quantizado, meia-precisão.

A quantidade mínima de memória necessária para carregar os pesos do modelo para inferência (sem gradientes), considerando apenas o espaço ocupado pelos pesos, é:

Ao receber um conjunto de dados para elaborar um modelo preditivo, uma equipe de analistas de dados percebeu que havia uma quantidade significativa de dados faltantes em certos atributos. Foi então debatido o uso de duas técnicas para lidar com esse problema: (1) remoção de observações contendo dados ausentes e (2) “inputação” multivariável, sendo que apenas uma das duas seria aplicada.

Duas características do conjunto de dados que devem ser prioritariamente consideradas na escolha entre as duas técnicas são:

Para ser utilizado em um modelo neural de regressão, um conjunto de dados precisa ser tratado de tal forma que todos os atributos de entrada sejam representados como um ou mais valores numéricos no intervalo [0, 1].

Os atributos de uma observação são: idade (inteiro >= 18), escolaridade (fundamental, médio, superior, pós-graduação), estado de residência (Acre, Alagoas, …, Tocantins, incluindo Distrito Federal) e local de trabalho (empresa, home office, misto).

O número mínimo de valores necessários para representar uma observação com os atributos acima descritos para o modelo de regressão, de forma que não ocorra perda de informação ordinal nem inserção de vieses nos dados, é: