Evaluación de riesgos de IA
Definición
Proceso estructurado para identificar, analizar y evaluar los riesgos que un sistema de IA plantea a personas, organizaciones y sociedad, para poder tratarlos y monitorearlos.
La evaluación de riesgos de IA aplica el ciclo clásico de gestión de riesgos (identificar, analizar, valorar, tratar) a las formas específicas en que fallan los sistemas de IA: resultados sesgados, predicciones poco fiables, ataques de seguridad, filtraciones de datos, usos indebidos y daños a derechos fundamentales. La ISO/IEC 23894 adapta la ISO 31000 a la IA, y el NIST AI RMF organiza el mismo trabajo en sus funciones Map y Measure, mientras Manage cubre el tratamiento.
Una buena evaluación parte del contexto de uso: quién resulta afectado, qué decisiones apoya el sistema, cuánta autonomía tiene y qué ocurre cuando se equivoca. La probabilidad y la severidad se comparan con el apetito de riesgo de la organización, y cada riesgo recibe un responsable, controles e indicadores de monitoreo. En el Reglamento Europeo de IA, los proveedores de sistemas de alto riesgo deben mantener un sistema de gestión de riesgos durante todo el ciclo de vida.
Ejemplo: un banco que usa un modelo para filtrar solicitudes de crédito califica como alto el riesgo de discriminación indirecta, agrega pruebas de sesgo antes del lanzamiento y exige revisión humana de cada rechazo.
Dónde se evalúa este término
Evaluado en la Responsible AI Practitioner (RAIP), dominio 2: Evaluación de riesgo e impacto.
También lo cubren: Responsible AI for Executives (RAI-X)
Fuentes primarias
- NIST AI RMF 1.0 (Map, Measure)
- ISO/IEC 23894:2023