Red teaming (equipo rojo)

El red teaming (equipo rojo) proviene de la seguridad de la información, donde un equipo asume el papel del atacante. En IA, cubre tanto ataques de seguridad (inyección de prompts, jailbreaks, extracción de datos, robo de modelos) como comportamientos dañinos (instrucciones peligrosas, contenido discriminatorio, filtración de datos personales, consejos alucinados). El Perfil de IA Generativa del NIST recomienda red teaming con participantes diversos, incluidos especialistas del dominio y personas de las comunidades afectadas, y el Reglamento Europeo de IA espera que los proveedores de modelos de IA de uso general con riesgo sistémico realicen y documenten pruebas adversariales.

Un buen ejercicio tiene alcance, modelo de amenazas y reglas de actuación definidos, registra cada hallazgo con su severidad y alimenta mitigaciones y nuevas pruebas. Complementa, pero no reemplaza, la evaluación sistemática y el monitoreo posterior al despliegue. Sus resultados son evidencia valiosa de aseguramiento para auditores y directorios.

Ejemplo: antes de lanzar un asistente de recursos humanos, una empresa pide a los evaluadores que lo induzcan a revelar salarios de colegas; lo logran con una pregunta indirecta y se refuerza el control de acceso a los documentos.