Cuando la IA se inventa las cosas: el riesgo silencioso que amenaza el compliance farmacéutico

La inteligencia artificial generativa se ha convertido en una herramienta habitual en todo tipo de organizaciones. Generar contenido, sintetizar información compleja, automatizar respuestas, acelerar la producción de documentos... Sus aplicaciones son innumerables y su adopción, transversal. Pero hay un problema del que se habla menos de lo que se debería: las alucinaciones.

Que una IA "alucine" significa, en términos prácticos, que genera información que parece correcta, está bien redactada, suena completamente convincente... pero es falsa. Una cita bibliográfica que no existe. Un dato inventado. Una referencia que nunca se publicó. En muchos contextos, esto puede ser un inconveniente. En sectores regulados como el farmacéutico, es un riesgo de compliance.

La IA no sabe nada (y eso lo cambia todo)
Para entender por qué ocurre, hay que aceptar una idea que cuesta interiorizar: los modelos de IA generativa no "saben" nada. No son bases de datos ni consultan fuentes cuando les preguntas algo. Lo que hacen es predecir qué palabra viene después de otra, basándose en patrones estadísticos aprendidos durante su entrenamiento.

Cuando le pides a un modelo que resuma un estudio clínico, no va a buscarlo.

Genera texto que "parece" un resumen porque ha procesado millones de textos similares. Si el estudio existe y el modelo lo vio durante su entrenamiento, probablemente el resultado sea razonable. Si no, improvisará. Y lo hará con total seguridad, porque no distingue entre lo que sabe y lo que inventa. Esto no es un fallo que se vaya a corregir; es una característica estructural de cómo funcionan estos modelos.

Cuando una alucinación se convierte en infracción
El problema se agrava en entornos regulados, donde una respuesta inventada puede convertirse en una infracción. Y pocos sectores están tan regulados como el farmacéutico, donde la precisión de la información no es negociable.

Pensemos en un equipo de Market Access que utiliza IA generativa para preparar un dossier de valor. El modelo genera un párrafo que cita un estudio de costeefectividad con datos muy específicos, pero ese estudio no existe. Si el documento llega a una autoridad sanitaria, las consecuencias pueden ir desde una solicitud de aclaración hasta un cuestionamiento de la credibilidad de toda la documentación presentada. El daño reputacional, en estos casos, puede ser tan significativo como el regulatorio.

Los materiales promocionales dirigidos a profesionales sanitarios presentan riesgos similares. El Código de Buenas Prácticas de Farmaindustria y las directrices de EFPIA exigen que cualquier afirmación sobre un medicamento esté respaldada por evidencia científica verificable. Un claim generado por IA sin ese respaldo científico no es solo un error: es una potencial infracción del código.

En farmacovigilancia, las implicaciones son aún más directas y delicadas. Si un sistema basado en IA generativa proporciona información incorrecta sobre efectos adversos, interacciones o contraindicaciones, hablamos de seguridad del paciente. Y si un asistente virtual que responde consultas médicas inventa una respuesta sobre posología o indicaciones, el problema resulta evidente.

Lo que dice la normativa (y no admite interpretaciones)
El marco regulatorio europeo no deja margen para la ambigüedad. El Reglamento de Inteligencia Artificial (AI Act), ya en vigor, clasifica los sistemas de IA utilizados en salud como de "alto riesgo", lo que implica obligaciones concretas: supervisión humana efectiva, trazabilidad de las decisiones y documentación técnica detallada.

Las normativas GxP, por su parte, exigen que cualquier sistema que afecte a la calidad, seguridad o eficacia de un medicamento esté validado, con resultados reproducibles. Un modelo que produce respuestas diferentes cada vez que se le hace la misma pregunta plantea un desafío directo a este principio.

La IA generativa no está exenta de las obligaciones que aplican al resto de sistemas en la industria. La diferencia es que su naturaleza probabilística hace que el riesgo de error sea estructural, no excepcional.

Cinco estrategias para usar IA sin comprometer el compliance
¿Significa esto que no deberíamos usar IA generativa? En absoluto. La tecnología tiene un potencial real para mejorar la eficiencia operativa. El problema no es usarla, sino hacerlo sin los controles adecuados.

1. Preguntar bien para obtener mejores respuestas
La forma en que se interactúa con estos modelos influye directamente en los contexto adecuado que reduzcan el margen de error: responder únicamente con la fuentes que no estén en el documento de referencia.

Esto no garantiza que el modelo no alucine, pero hace que las imprecisiones sean más fáciles de detectar.

2. Anclar la IA a la realidad: arquitectura RAG
En lugar de dejar que el modelo genere respuestas basándose únicamente en su entrenamiento, se conecta a una base de conocimiento verificada. Cuando llega una consulta, el sistema primero recupera información relevante de documentos internos, fichas técnicas o estudios clínicos, y luego genera la respuesta basándose en ese material. Las respuestas quedan ancladas en fuentes reales y citables.

Esto no elimina completamente las alucinaciones, pero las reduce de forma significativa y, sobre todo, hace que sean trazables. La clave está en que esa base de conocimiento esté bien estructurada y gobernada.

3. Que la propia IA valide a la IA: sistemas multiagente
Una de las arquitecturas más efectivas para entornos regulados consiste en diseñar sistemas donde varios agentes de IA trabajan coordinados, cada uno con un rol específico, un prompt especializado y una responsabilidad clara. Uno puede encargarse de recuperar información, otro de generar la respuesta, otro de verificar citas. Al final de este proceso, un agente validador actúa como filtro de calidad.

Este agente no tiene acceso a internet ni a información externa: solo puede ver la documentación de referencia, la pregunta original y la respuesta generada. Su función es evaluar si la respuesta cumple los criterios definidos, está respaldada por la documentación y no contiene información inventada.

4. El humano siempre al final: validación obligatoria
Ninguna salida de IA generativa debería utilizarse en un contexto regulado sin revisión previa. Para sistemas clasificados como alto riesgo bajo el AI Act, esto no es una recomendación: es un requisito legal.

En la práctica, implica definir flujos claros sobre quién revisa qué tipo de contenido, qué nivel de validación requiere cada caso y cómo se documenta el proceso. La IA puede acelerar la generación del primer borrador, pero la responsabilidad final sigue siendo humana.

5. Registrar todo: la trazabilidad como escudo
La monitorización continua resulta imprescindible. Registrar las consultas y respuestas permite detectar patrones de error, identificar áreas de riesgo y, en caso de auditoría, demostrar que existe un proceso de control activo y documentado.

La IA como herramienta, no como oráculo
Hay una tentación comprensible cuando se trabaja con IA generativa: confiar demasiado en ella. Las respuestas suenan bien, están estructuradas, parecen completas y convincentes. Es fácil olvidar que pueden estar equivocadas.

El cambio de mentalidad necesario pasa por tratar a esta tecnología como lo que es: una herramienta que acelera el trabajo, no un experto que lo sustituye. Un asistente que necesita supervisión, no un oráculo infalible.

Las organizaciones que integren la IA generativa con arquitecturas robustas, flujos de validación claros y una cultura de supervisión humana no solo evitarán riesgos regulatorios. Estarán mejor posicionadas para aprovechar su verdadero potencial de forma sostenible.

Porque la pregunta ya no es si usar IA generativa. La pregunta es cómo hacerlo de forma responsable. Y en sectores como el farmacéutico, "responsable" significa seguro, trazable y auditable.