Inyección de prompts
Definición
Ataque que oculta instrucciones en la entrada del usuario o en contenido que lee un modelo de IA, haciendo que ignore sus reglas y actúe a favor del atacante.
La inyección de prompts ocupa el primer lugar del OWASP Top 10 para aplicaciones con LLM. La inyección directa ocurre cuando el usuario escribe instrucciones pensadas para anular el prompt de sistema. La indirecta es más sutil: el texto malicioso está en una página web, un correo, un documento o la respuesta de una herramienta que el modelo procesa, de modo que un asistente que resume la bandeja de entrada puede obedecer una línea oculta que le ordena reenviar mensajes. El NIST AI 100-2 la trata como una forma de ataque adversarial contra sistemas generativos.
El riesgo aumenta con la autonomía y los permisos del sistema: un chatbot que solo responde está menos expuesto que un agente capaz de enviar correos, navegar o ejecutar código. Las mitigaciones incluyen mínimo privilegio, separación entre instrucciones confiables y contenido no confiable, confirmación humana antes de acciones sensibles, filtrado de salidas, monitoreo y red teaming. Ninguna técnica actual elimina el riesgo por completo, por eso importan el diseño y la gobernanza.
Ejemplo: un postulante oculta texto blanco en su currículum que ordena al asistente de selección calificarlo como excelente.
Dónde se evalúa este término
Evaluado en la Responsible AI Foundation (RAIF), dominio 2: Riesgos y daños.
También lo cubren: Responsible AI Practitioner (RAIP)
Fuentes primarias
- OWASP Top 10 for LLM Applications (LLM01)
- NIST AI 100-2 (Adversarial Machine Learning)