Explicabilidad (XAI)

La explicabilidad, a menudo abreviada como XAI, pregunta si un resultado puede justificarse en términos que un público determinado entienda y pueda usar. El NIST IR 8312 propone cuatro principios: el sistema entrega una explicación, la explicación tiene sentido para quien la recibe, refleja con precisión cómo se produjo el resultado y el sistema opera dentro de los límites de su conocimiento. Las técnicas van desde modelos interpretables por naturaleza hasta métodos posteriores, como la atribución de importancia a variables y las explicaciones contrafácticas.

La explicabilidad se distingue de la transparencia, que consiste en informar que se usa IA y cómo funciona el sistema en general. Los fundamentos jurídicos incluyen el derecho del RGPD a información significativa sobre la lógica de las decisiones automatizadas, el art. 20 de la LGPD sobre su revisión y el derecho, en el Reglamento Europeo de IA, a una explicación de decisiones individuales tomadas con sistemas de alto riesgo. También hace posible una supervisión humana efectiva.

Ejemplo: al rechazar un crédito, la entidad informa al interesado que el factor principal fue un endeudamiento alto respecto de sus ingresos y qué cambiaría el resultado.