Simulado da Responsible AI Auditor

Questões de exemplo

Duas questões deste simulado, no mesmo estilo do exame de certificação. Responda antes de abrir a explicação.

1. Questão 1

   Um auditor precisa concluir se o filtro de conteúdo de um chatbot de atendimento bloqueia pedidos de instruções de automutilação, como exige a política de IA da organização. Qual fonte de evidência é, por si só, a mais confiável?

   1. O relatório de teste mais recente da equipe de QA, assinado pelo líder de QA, mostrando que todos os prompts de teste foram bloqueados
   2. Um walkthrough em que o engenheiro responsável explica o filtro e mostra a tela de configuração da política
   3. Prompts de teste que o próprio auditor submete ao sistema em produção, numa sessão controlada, observando as respostas
   4. Uma declaração escrita do product owner confirmando que o filtro está ativo desde o lançamento
   Ver resposta e explicação

   Resposta correta: C. Prompts de teste que o próprio auditor submete ao sistema em produção, numa sessão controlada, observando as respostas

   A evidência que o auditor obtém diretamente, reexecutando o controle no sistema que está de fato em uso, é em geral mais confiável do que a evidência produzida ou afirmada pelo auditado. O relatório de QA é útil, mas foi produzido pelo auditado, e seus prompts e o ambiente de teste precisariam ser avaliados antes; ele pode não refletir a produção. Um walkthrough mostra como o filtro foi desenhado e configurado, não que ele bloqueia pedidos reais. Uma declaração escrita é uma afirmação da gestão e não substitui evidência. O teste do auditor mostra o funcionamento num momento; para um período inteiro, ele é combinado com outras evidências, como registros de monitoramento.

2. Questão 2

   Um auditor júnior, ao redigir os papéis de trabalho de uma auditoria de sistema de gestão de IA, chama de "constatações" apenas os pontos em que os requisitos não foram atendidos. Segundo a ISO 19011, como o líder da equipe deve corrigir esse entendimento?

   1. Constatações resultam da avaliação da evidência contra os critérios e podem indicar conformidade ou não conformidade, e levar a oportunidades de melhoria
   2. Constatações são a declaração geral da equipe sobre se os objetivos da auditoria foram atingidos, dada depois de considerar todo o trabalho
   3. Constatações são os registros, as declarações de fatos e outras informações verificáveis coletadas que se relacionam aos critérios de auditoria
   4. Constatações registram só não conformidades; os pontos de conformidade ficam como notas de apoio fora do relatório de auditoria
   Ver resposta e explicação

   Resposta correta: A. Constatações resultam da avaliação da evidência contra os critérios e podem indicar conformidade ou não conformidade, e levar a oportunidades de melhoria

   Na ISO 19011, constatações de auditoria são os resultados da avaliação da evidência de auditoria coletada contra os critérios de auditoria. Elas podem indicar conformidade ou não conformidade e podem levar à identificação de oportunidades de melhoria ou ao registro de boas práticas. A declaração geral sobre os objetivos da auditoria é a conclusão de auditoria, alcançada depois de considerar todas as constatações. Registros e declarações de fatos verificáveis e pertinentes aos critérios são a evidência de auditoria, a matéria-prima das constatações. Restringir constatações a não conformidades é justamente o equívoco do auditor júnior: conformidade também é constatação.