Simulacro de la Responsible AI Auditor

Preguntas de ejemplo

Dos preguntas de este simulacro, con el mismo estilo del examen de certificación. Responde antes de abrir la explicación.

1. Pregunta 1

   Un auditor debe concluir si el filtro de contenido de un chatbot de atención al cliente bloquea solicitudes de instrucciones de autolesión, como exige la política de IA de la organización. ¿Qué fuente de evidencia es, por sí sola, la más confiable?

   1. El informe de pruebas más reciente del equipo de QA, firmado por el líder de QA, que muestra que todos sus prompts de prueba fueron bloqueados
   2. Un recorrido (walkthrough) en el que el ingeniero responsable explica el filtro y muestra la pantalla de configuración de la política
   3. Prompts de prueba que el propio auditor envía al sistema en producción, en una sesión controlada, observando las respuestas
   4. Una declaración escrita del product owner que confirma que el filtro está activo desde el lanzamiento
   Ver respuesta y explicación

   Respuesta correcta: C. Prompts de prueba que el propio auditor envía al sistema en producción, en una sesión controlada, observando las respuestas

   La evidencia que el auditor obtiene directamente, al reejecutar el control en el sistema que realmente está en uso, es en general más confiable que la evidencia producida o afirmada por el auditado. El informe de QA es útil, pero lo produjo el auditado, y sus prompts y su entorno de prueba tendrían que evaluarse primero; puede no reflejar la producción. Un recorrido muestra cómo se diseñó y configuró el filtro, no que bloquee solicitudes reales. Una declaración escrita es una afirmación de la dirección y no reemplaza la evidencia. La prueba del auditor muestra el funcionamiento en un momento dado; para todo un período se combina con otra evidencia, como los registros de monitoreo.

2. Pregunta 2

   Un auditor junior, al redactar los papeles de trabajo de una auditoría de un sistema de gestión de IA, llama "hallazgos" solo a los puntos en los que no se cumplieron los requisitos. Según la ISO 19011, ¿cómo debe corregir el líder del equipo esa interpretación?

   1. Los hallazgos resultan de evaluar la evidencia frente a los criterios y pueden indicar conformidad o no conformidad, y llevar a oportunidades de mejora
   2. Los hallazgos son la declaración general del equipo sobre si se cumplieron los objetivos de la auditoría, emitida tras considerar todo el trabajo
   3. Los hallazgos son los registros, declaraciones de hechos y otra información verificable recopilada que se relaciona con los criterios de auditoría
   4. Los hallazgos registran solo no conformidades; los puntos de conformidad quedan como notas de apoyo fuera del informe de auditoría
   Ver respuesta y explicación

   Respuesta correcta: A. Los hallazgos resultan de evaluar la evidencia frente a los criterios y pueden indicar conformidad o no conformidad, y llevar a oportunidades de mejora

   En la ISO 19011, los hallazgos de auditoría son los resultados de evaluar la evidencia de auditoría recopilada frente a los criterios de auditoría. Pueden indicar conformidad o no conformidad y pueden llevar a identificar oportunidades de mejora o a registrar buenas prácticas. La declaración general sobre los objetivos de la auditoría es la conclusión de la auditoría, a la que se llega después de considerar todos los hallazgos. Los registros y declaraciones de hechos verificables y pertinentes para los criterios son la evidencia de auditoría, el insumo de los hallazgos. Limitar los hallazgos a las no conformidades es precisamente el error del auditor junior: la conformidad también es un hallazgo.