Incidente de IA

A OCDE distingue incidentes de IA, em que o dano ocorreu, de perigos de IA, em que um evento poderia plausivelmente levar a dano. O AI Act define um conceito mais restrito de incidente grave: incidente ou mau funcionamento que leve à morte ou a dano grave à saúde, à perturbação grave e irreversível de infraestrutura crítica, à violação de obrigações que protegem direitos fundamentais ou a dano grave a bens ou ao ambiente. Fornecedores de sistemas de alto risco devem notificar incidentes graves às autoridades de fiscalização do mercado em prazos curtos, e responsáveis pela implantação devem informar o fornecedor quando identificarem um.

Um plano de resposta a incidentes de IA define canais de detecção, critérios de triagem, papéis, formas de contenção como desligar um modelo, investigação, comunicação e lições aprendidas. Muitos incidentes de IA são também incidentes de segurança com dados pessoais, por isso o plano deve se conectar aos deveres de comunicação à ANPD e às demais autoridades, em vez de correr em paralelo.

Exemplo: após uma atualização, um chatbot passa a revelar pedidos de outros clientes; a empresa o desativa, investiga e avalia se deve comunicar o incidente.