Incidente de IA

La OCDE distingue los incidentes de IA, en los que el daño ocurrió, de los peligros de IA, en los que un evento podría plausiblemente provocar daño. El Reglamento Europeo de IA define un concepto más estrecho de incidente grave: incidente o mal funcionamiento que provoque la muerte o un daño grave a la salud, una alteración grave e irreversible de infraestructura crítica, el incumplimiento de obligaciones que protegen derechos fundamentales o un daño grave a bienes o al ambiente. Los proveedores de sistemas de alto riesgo deben notificar los incidentes graves a las autoridades de vigilancia del mercado en plazos breves, y los responsables del despliegue deben informar al proveedor cuando detecten uno.

Un plan de respuesta a incidentes de IA define canales de detección, criterios de clasificación, funciones, opciones de contención como apagar un modelo, investigación, comunicación y lecciones aprendidas. Muchos incidentes de IA también son brechas de datos personales, por lo que el plan debe conectarse con los deberes de notificación de la protección de datos.

Ejemplo: tras una actualización, un chatbot empieza a revelar pedidos de otros clientes; la empresa lo desactiva, investiga y evalúa si debe notificar la brecha.