Determinada Secretaria da Fazenda implementou um sistema de IA para classificar automaticamente declarações fiscais quanto ao risco de irregularidade. Após seis meses de operação, auditores identificaram que o modelo estava atribuindo pontuações de risco sistematicamente mais altas para empresas de setores específicos, mesmo quando os indicadores financeiros eram similares aos de outros setores com pontuações menores. A análise técnica revelou que a base de dados histórica utilizada no treinamento continha proporcionalmente mais autuações em determinados setores devido a fiscalizações direcionadas realizadas no passado, e não necessariamente por maior incidência real de irregularidades. O modelo aprendeu e perpetuou esse padrão desproporcional. O problema de governança e ética em IA que está caracterizado nessa situação é: