Sesgo algorítmico

El sesgo algorítmico no es solo un problema de datos. La NIST SP 1270 agrupa sus fuentes en tres categorías: sesgo sistémico, incrustado en instituciones y registros históricos; sesgo estadístico y computacional, derivado de muestras poco representativas o mediciones defectuosas; y sesgo humano, presente en cómo las personas diseñan, etiquetan, interpretan y confían en los resultados. La ISO/IEC TR 24027 describe cómo entra el sesgo en cada etapa del ciclo de vida y cómo medirlo.

El sesgo importa jurídicamente porque puede convertirse en discriminación. La normativa de protección de datos restringe el tratamiento de categorías especiales de datos y las decisiones automatizadas con efectos significativos, y el Reglamento Europeo de IA exige a los proveedores de sistemas de alto riesgo examinar los datos de entrenamiento frente a posibles sesgos y adoptar medidas para detectarlos, prevenirlos y mitigarlos. Las métricas de equidad vuelven medible el sesgo, pero elegir la métrica es una decisión de gobernanza.

Ejemplo: un modelo de selección de personal entrenado con ascensos pasados aprende a favorecer a candidatos de pocas universidades, reproduciendo el perfil histórico del equipo en lugar de predecir desempeño.