Injeção de prompt
Definição
Ataque que esconde instruções na entrada do usuário ou em conteúdo lido por um modelo de IA, fazendo-o ignorar suas regras e agir a favor do atacante.
A injeção de prompt ocupa o primeiro lugar no OWASP Top 10 para aplicações com LLM. A injeção direta ocorre quando o usuário digita instruções feitas para sobrepor o prompt de sistema. A indireta é mais sutil: o texto malicioso está em uma página web, e-mail, documento ou resposta de ferramenta que o modelo processa, de modo que um assistente que resume a caixa de entrada pode obedecer a uma linha oculta mandando encaminhar mensagens. O NIST AI 100-2 a trata como forma de ataque adversarial a sistemas generativos.
O risco cresce com a autonomia e as permissões do sistema: um chatbot que só responde fica menos exposto que um agente capaz de enviar e-mails, navegar ou executar código. As mitigações incluem privilégio mínimo, separação entre instruções confiáveis e conteúdo não confiável, confirmação humana antes de ações sensíveis, filtragem de saídas, monitoramento e red teaming. Nenhuma técnica atual elimina o risco por completo, por isso desenho e governança importam.
Exemplo: um candidato esconde texto branco no currículo mandando o assistente de triagem classificá-lo como excelente.
Onde este termo é avaliado
Avaliado na Responsible AI Foundation (RAIF), domínio 2: Riscos e danos.
Também cobrem este termo: Responsible AI Practitioner (RAIP)
Fontes primárias
- OWASP Top 10 for LLM Applications (LLM01)
- NIST AI 100-2 (Adversarial Machine Learning)