Alucinação

Alucinações acontecem porque grandes modelos de linguagem geram as palavras estatisticamente mais prováveis, e não fatos verificados. O Perfil de IA Generativa do NIST (AI 600-1) prefere o termo confabulação e o inclui entre os riscos próprios ou agravados pela IA generativa, ao lado da integridade da informação e do viés nocivo. O risco é maior quando o usuário trata texto fluente como fonte confiável: jurisprudência inventada em petições, dosagens erradas, referências inexistentes ou regras comerciais fabricadas informadas a clientes.

As mitigações combinam medidas técnicas e organizacionais: ancorar as respostas em fontes aprovadas (geração aumentada por recuperação), pedir citações e conferi-las, avaliação e red teaming antes do lançamento, restrição de usos críticos, avisos claros ao usuário e, sobretudo, revisão humana onde o erro importa. A política de uso aceitável deve dizer quais resultados precisam ser verificados antes do uso. Quando uma alucinação causa dano, deve ser tratada como incidente de IA.

Exemplo: o chatbot de uma companhia aérea inventa uma regra de reembolso, e a empresa acaba obrigada a cumprir a resposta dada ao cliente.