Métricas de equidade
Definição
Medidas quantitativas que comparam resultados ou taxas de erro de um sistema de IA entre grupos para detectar e acompanhar disparidades injustificadas.
Métricas de equidade transformam o objetivo abstrato de não discriminação em números que podem ser testados e monitorados. Famílias comuns incluem paridade demográfica (taxas semelhantes de resultado positivo entre grupos), equalized odds ou igualdade de oportunidade (taxas semelhantes de verdadeiros e falsos positivos), paridade preditiva (precisão semelhante) e equidade individual (pessoas semelhantes tratadas de forma semelhante). A ISO/IEC TR 24027 e a NIST SP 1270 descrevem essas medidas e seus limites.
Para profissionais e auditores, um ponto central é que várias dessas métricas não podem ser satisfeitas ao mesmo tempo quando as taxas de base diferem entre grupos. Escolher a métrica é, portanto, uma decisão de governança documentada, ligada ao contexto, ao dano que se quer evitar e à lei aplicável, e não um padrão técnico. Os resultados devem constar da ficha do modelo e ser monitorados após a implantação, pois a deriva pode reintroduzir disparidades.
Exemplo: um modelo antifraude tem acurácia geral igual, mas bloqueia transações legítimas de uma região com o dobro da frequência; a equipe adota a paridade de falsos positivos como critério de liberação.
Onde este termo é avaliado
Avaliado na Responsible AI Practitioner (RAIP), domínio 5: Controles técnicos.
Também cobrem este termo: Responsible AI Auditor (AUDAI)
Fontes primárias
- ISO/IEC TR 24027:2021
- NIST SP 1270