Alucinación

Las alucinaciones ocurren porque los grandes modelos de lenguaje generan las palabras estadísticamente más probables, no hechos verificados. El Perfil de IA Generativa del NIST (AI 600-1) prefiere el término confabulación y lo incluye entre los riesgos propios o agravados por la IA generativa, junto con la integridad de la información y el sesgo dañino. El riesgo es mayor cuando el usuario trata un texto fluido como fuente confiable: jurisprudencia inventada en escritos judiciales, dosis equivocadas, referencias inexistentes o reglas comerciales inventadas comunicadas a clientes.

Las mitigaciones combinan medidas técnicas y organizativas: anclar las respuestas en fuentes aprobadas (generación aumentada por recuperación), pedir citas y verificarlas, evaluación y red teaming antes del lanzamiento, restricción de usos críticos, advertencias claras al usuario y, sobre todo, revisión humana donde el error importa. La política de uso aceptable debe indicar qué resultados deben verificarse antes de usarse. Cuando una alucinación causa daño, debe gestionarse como incidente de IA.

Ejemplo: el chatbot de una aerolínea inventa una regla de reembolso y la empresa termina obligada a cumplir la respuesta dada al cliente.