Uma equipe de análise de risco de um tribunal implanta modelos de classificação para identificar processos com alta probabilidade de resultado desfavorável para a administração, trabalhando com bases historicamente desbalanceadas (poucos casos críticos em relação aos não críticos). Na fase de avaliação, discute-se o uso de validação cruzada, métricas baseadas em limiar de decisão e curvas de desempenho.
Com base nas boas práticas de avaliação de modelos de aprendizado de máquina, inclusive em cenários com classes desbalanceadas, analise as afirmativas a seguir, considerando (V) para a(s) afirmativa(s) verdadeira(s) e (F) para a(s) falsa(s).
( ) Na validação cruzada k-fold estratificada, cada partição de treino e teste preserva aproximadamente a mesma proporção de classes do conjunto original, o que contribui para estimativas de desempenho mais estáveis em problemas com desbalanceamento de classes.
( ) Curvas ROC e a métrica AUC-ROC são tipicamente mais informativas do que curvas precision-recall em cenários com classes fortemente desbalanceadas, justamente porque destacam com maior sensibilidade o comportamento do classificador em relação à classe minoritária.
( ) A métrica F1-score corresponde ao dobro do produto entre precisão (precision) e sensibilidade (recall) dividido pela soma de ambos, de modo que valores muito discrepantes entre precisão e recall tendem a produzir um F1-score relativamente baixo.
( ) Ao diminuir o limiar de decisão de um classificador binário (por exemplo, de 0,7 para 0,3), a precisão tende a aumentar, pois mais exemplos positivos são corretamente identificados como tal, ainda que isso geralmente ocorra às custas de uma redução no recall.
A sequência correta é:
Com base nas boas práticas de avaliação de modelos de aprendizado de máquina, inclusive em cenários com classes desbalanceadas, analise as afirmativas a seguir, considerando (V) para a(s) afirmativa(s) verdadeira(s) e (F) para a(s) falsa(s).
( ) Na validação cruzada k-fold estratificada, cada partição de treino e teste preserva aproximadamente a mesma proporção de classes do conjunto original, o que contribui para estimativas de desempenho mais estáveis em problemas com desbalanceamento de classes.
( ) Curvas ROC e a métrica AUC-ROC são tipicamente mais informativas do que curvas precision-recall em cenários com classes fortemente desbalanceadas, justamente porque destacam com maior sensibilidade o comportamento do classificador em relação à classe minoritária.
( ) A métrica F1-score corresponde ao dobro do produto entre precisão (precision) e sensibilidade (recall) dividido pela soma de ambos, de modo que valores muito discrepantes entre precisão e recall tendem a produzir um F1-score relativamente baixo.
( ) Ao diminuir o limiar de decisão de um classificador binário (por exemplo, de 0,7 para 0,3), a precisão tende a aumentar, pois mais exemplos positivos são corretamente identificados como tal, ainda que isso geralmente ocorra às custas de uma redução no recall.
A sequência correta é:
Provas
Questão presente nas seguintes provas
Analista Judiciário - TI/Inteligência Artificial
70 Questões