Simulado da Responsible AI Practitioner

Questões de exemplo

Duas questões deste simulado, no mesmo estilo do exame de certificação. Responda antes de abrir a explicação.

1. Questão 1

   Num processo típico de governança de IA, em que momento um novo caso de uso de IA deve passar pela primeira vez pelo intake e por uma classificação inicial de risco?

   1. Depois de um piloto, para que a classificação possa se apoiar em resultados reais de desempenho
   2. Logo antes da entrada em produção, quando a configuração final e o contrato com o fornecedor estão definidos
   3. Quando a ideia ou o pedido de compra surge, antes de grandes compromissos de desenvolvimento ou aquisição
   4. Na primeira revisão programada do inventário depois que o sistema for implantado
   Ver resposta e explicação

   Resposta correta: C. Quando a ideia ou o pedido de compra surge, antes de grandes compromissos de desenvolvimento ou aquisição

   O intake funciona melhor no começo: uma classificação inicial define quais avaliações, controles e cláusulas contratuais o caso de uso vai exigir enquanto o desenho e a contratação ainda podem mudar a baixo custo, e ela pode ser refinada à medida que o sistema toma forma. Esperar um piloto significa que o próprio piloto, que pode já envolver pessoas e dados reais, roda sem saber o que exige. Logo antes da entrada em produção é tarde para mudar o desenho ou o contrato sem custo e atraso. Classificar só depois da implantação deixa o sistema funcionando sem nenhuma avaliação.

2. Questão 2

   Um model card foi escrito quando um modelo de previsão de cancelamento (churn) entrou em produção. Desde então o modelo foi retreinado duas vezes, e a avaliação mais recente mostra desempenho visivelmente pior para clientes com mais de 70 anos. O que deve acontecer com o model card?

   1. Atualizá-lo para a versão atual, com os novos resultados por faixa etária e a limitação para clientes idosos
   2. Mantê-lo como está, porque documenta a versão que foi originalmente revisada e aprovada no lançamento
   3. Deixá-lo inalterado e registrar os resultados piores no chamado interno da equipe para o próximo retreino
   4. Trocar os resultados por grupo pela acurácia geral mais recente, que melhorou depois do segundo retreino
   Ver resposta e explicação

   Resposta correta: A. Atualizá-lo para a versão atual, com os novos resultados por faixa etária e a limitação para clientes idosos

   Um model card só é útil se descreve o modelo que está de fato em uso: cada versão deve trazer seus próprios resultados de avaliação, separados pelos grupos relevantes, e suas limitações conhecidas, para que usuários e revisores decidam até onde confiar nele. Manter a versão do lançamento deixa os leitores com afirmações desatualizadas sobre o modelo atual. Um chamado interno esconde a limitação de quem depende do card. Trocar os resultados por grupo por um número geral remove justamente a informação que mostra para quem o modelo funciona pior.