Avaliação de riscos de IA
Definição
Processo estruturado para identificar, analisar e avaliar os riscos que um sistema de IA representa para pessoas, organizações e sociedade, permitindo tratá-los e monitorá-los.
A avaliação de riscos de IA aplica o ciclo clássico de gestão de riscos (identificar, analisar, avaliar, tratar) às formas específicas pelas quais sistemas de IA falham: resultados enviesados, previsões pouco confiáveis, ataques de segurança, vazamento de dados, uso indevido e danos a direitos fundamentais. A ISO/IEC 23894 adapta a ISO 31000 à IA, e o NIST AI RMF organiza o mesmo trabalho nas funções Map e Measure, deixando o tratamento para Manage.
Uma boa avaliação parte do contexto de uso: quem é afetado, que decisões o sistema apoia, qual o grau de autonomia e o que acontece quando ele erra. Probabilidade e severidade são comparadas ao apetite a risco da organização, e cada risco recebe um dono, controles e indicadores de monitoramento. No AI Act, fornecedores de sistemas de alto risco devem manter um sistema de gestão de riscos durante todo o ciclo de vida.
Exemplo: um banco que usa um modelo para triar pedidos de crédito classifica como alto o risco de discriminação indireta, inclui testes de viés antes do lançamento e exige revisão humana de toda recusa.
Onde este termo é avaliado
Avaliado na Responsible AI Practitioner (RAIP), domínio 2: Avaliação de risco e de impacto.
Também cobrem este termo: Responsible AI for Executives (RAI-X)
Fontes primárias
- NIST AI RMF 1.0 (Map, Measure)
- ISO/IEC 23894:2023