Red teaming

O red teaming vem da segurança da informação, em que uma equipe faz o papel do atacante. Em IA, cobre tanto ataques de segurança (injeção de prompt, jailbreaks, extração de dados, roubo de modelo) quanto comportamentos nocivos (instruções perigosas, conteúdo discriminatório, vazamento de dados pessoais, conselhos alucinados). O Perfil de IA Generativa do NIST recomenda red teaming com participantes diversos, incluindo especialistas do domínio e pessoas das comunidades afetadas, e o AI Act espera que fornecedores de modelos de IA de uso geral com risco sistêmico realizem e documentem testes adversariais.

Um bom red teaming tem escopo, modelo de ameaça e regras de engajamento definidos, registra cada achado com sua severidade e alimenta mitigações e novos testes. Ele complementa, mas não substitui, a avaliação sistemática e o monitoramento após a implantação. Os resultados são evidência valiosa de asseguração para auditores e conselhos.

Exemplo: antes de lançar um assistente de RH, uma empresa pede que testadores o induzam a revelar salários de colegas; eles conseguem com uma pergunta indireta, e o controle de acesso aos documentos é reforçado.