Deriva do modelo

Modelos são treinados com um retrato do mundo, e o mundo muda. A deriva de dados ocorre quando a distribuição das entradas muda (novos perfis de clientes, um sensor novo, comportamento sazonal); a deriva de conceito ocorre quando muda a relação entre as entradas e a resposta correta (fraudadores se adaptam, uma pandemia altera a demanda). Ambas podem reduzir a acurácia e reintroduzir viés para alguns grupos, mesmo quando as métricas gerais parecem estáveis.

O NIST AI RMF espera que sistemas de IA sejam monitorados quanto a desempenho e confiabilidade em operação (funções Measure e Manage), e os controles da ISO/IEC 42001 cobrem operação e monitoramento em todo o ciclo de vida. No AI Act, fornecedores de sistemas de alto risco mantêm monitoramento pós-comercialização. Na prática, as equipes definem métricas e limites de deriva, comparam dados reais com dados de referência, acompanham métricas de equidade por grupo e acionam retreinamento, reversão ou tratamento de incidente quando os limites são ultrapassados.

Exemplo: um modelo de previsão de demanda treinado antes de uma mudança de hábitos de compra passa a superestimar estoques até que alertas de monitoramento disparem o retreinamento.