Evidência de auditoria e não conformidade

A ISO 19011 define evidência de auditoria como registros, declarações de fatos ou outras informações pertinentes aos critérios de auditoria e verificáveis. A evidência é obtida por amostragem, com entrevistas, observação e análise de documentos e registros, e sua confiabilidade depende da fonte: um log de sistema independente costuma pesar mais que uma declaração verbal. A comparação com os critérios gera as constatações, que podem indicar conformidade, não conformidade ou oportunidade de melhoria.

Não conformidade é o não atendimento de um requisito da norma, da lei ou da política da própria organização. Organismos de certificação que seguem a ISO/IEC 17021-1 costumam classificá-la como maior, quando compromete a capacidade do sistema de atingir seus resultados, ou menor. Pela cláusula 10.2 da ISO/IEC 42001 e da ISO/IEC 27701, a organização deve reagir, analisar a causa raiz, tomar ação corretiva e manter informação documentada sobre os resultados.

Em auditorias de IA, evidências típicas incluem fichas de modelo, linhagem de dados, resultados de testes, logs de monitoramento e registros de aprovação. Exemplo: o auditor amostra cinco sistemas de IA e encontra dois sem avaliação de impacto documentada, registrando uma não conformidade.