Cómo validar las respuestas de la IA: alucinaciones, quién revisa y cuándo

Por qué la IA se equivoca con tanta seguridad

Un modelo de lenguaje no «sabe» cosas: genera el texto que resulta más probable. Si le falta información, rellena el hueco con algo que suena bien. Es como un becario muy brillante que nunca dice «no lo sé»: responde rápido y con aplomo, también cuando se inventa la cifra, la cita o la norma.

Primero, decide cuánto cuesta equivocarse

No todas las respuestas merecen la misma revisión. Clasifica cada uso de la IA por el daño que causaría un error:

• Bajo: borradores internos, resúmenes, ideas. Basta una revisión por muestreo.
• Medio: respuestas a clientes, informes, contenido publicado. Una persona valida antes de que salga.
• Alto: decisiones sobre personas, asuntos legales, financieros o de salud. La IA solo propone; la decisión y su justificación son humanas.

Cinco controles para respuestas fiables

1. Fuentes aprobadas: que la IA responda a partir de documentos vigentes y revisados, y que cite de cuál procede cada respuesta. Así se puede comprobar.
2. Una persona responsable de validar por cada uso, con conocimiento del tema. No quien usa la herramienta sin más: quien sabe si la respuesta es correcta.
3. Criterio de validación escrito: una lista corta de qué se comprueba siempre (cifras, fechas, nombres, citas, normas) y qué se hace si algo no cuadra.
4. Registro de errores: cada fallo detectado se anota y se corrige en la fuente, no solo en la respuesta.
5. Aviso al usuario: quien recibe la respuesta debe saber que viene de una IA y que puede equivocarse.

Quién valida, y cuándo debe intervenir

Una validación solo sirve si la persona puede entender lo que valida y tiene tiempo para hacerlo. Tres reglas prácticas: que sea alguien distinto de quien generó la respuesta cuando el riesgo es alto, que tenga autoridad para rechazarla, y que se defina de antemano cuándo es obligatorio que intervenga (por ejemplo, cualquier cifra que se vaya a comunicar fuera de la empresa).

Cómo saber si funciona

Cada mes, revisa una muestra de respuestas y calcula tres cosas: el porcentaje con errores, el tiempo medio de corrección y cuántos errores llegaron a un cliente o a una decisión. Fija además un umbral: si los errores superan cierto nivel, se pausa el uso hasta corregir la causa.

Errores habituales

• Revisión de pura forma: se aprueba sin comprobar nada porque «ya lo mira otro».
• Confiar en que RAG lo arregla: conectar la IA a tus documentos reduce los errores, pero no los elimina, y un documento obsoleto produce respuestas obsoletas.
• No medir: sin muestra mensual nadie sabe si el control funciona.
• Tratar todos los usos igual: o se revisa todo (inviable) o no se revisa nada.

Qué dice la normativa

El AI Act exige supervisión humana efectiva en los sistemas de alto riesgo (artículo 14) y niveles adecuados de exactitud y solidez (artículo 15). Si una IA interactúa con personas, pueden aplicar además las obligaciones de transparencia del artículo 50. Aunque tu uso no sea de alto riesgo, estos mismos criterios son una buena base.

Empieza por aquí

1. Lista los usos de IA en tu empresa y clasifícalos en riesgo bajo, medio o alto.
2. Para los de riesgo medio y alto, nombra a la persona que valida.
3. Escribe la lista de comprobaciones (una página como máximo).
4. Programa la muestra mensual y apunta los errores en un registro.

Preguntas frecuentes

¿Se pueden eliminar las alucinaciones?

No del todo. Se reducen con buenas fuentes y se detectan con validación, pero hay que asumir que seguirán apareciendo.

¿Hace falta validar todas las respuestas?

No. Se valida en función del riesgo: más control donde un error cuesta más.

¿Quién debe validar?

Alguien con conocimiento del tema y autoridad para rechazar la respuesta; en riesgo alto, distinto de quien la generó.

Contenido informativo, no asesoramiento jurídico.

Esto te da el criterio. Si prefieres el documento ya hecho: Procedimiento de Supervisión Humana.