Divulgación

El sitio Nature recién publicó en sus noticias la experiencia de un equipo de investigadores liderado por Almira Osmanovic Thunström, investigadora médica de la Universidad de Gotemburgo, Suecia, que se propuso comprobar si los grandes modelos de lenguaje (large language models, LLM) asimilarían información errónea y la presentarían como orientaciones de salud fiables.

La bixonimanía no existía antes del 15 de marzo de 2024, cuando aparecieron dos artículos al respecto en el sitio web Medium. Posteriormente, el 26 de abril y el 6 de mayo de ese mismo año, se publicaron dos preimpresiones sobre la afección en la red social académica SciProfiles (véase https://doi.org/qzm5 y https://doi.org/qzm4). El autor principal era un investigador ficticio llamado Lazljiv Izgubljenovic, cuya fotografía fue creada con inteligencia artificial.

Osmanovic Thunström afirma que la idea de inventar a Izgubljenovic y la bixonimania surgió de estudios sobre el funcionamiento de los grandes modelos de lenguaje. Cuando enseña a sus alumnos cómo los sistemas de IA formulan su «conocimiento», les muestra cómo la base de datos Common Crawl, un enorme rastreador del contenido de Internet, influye en sus resultados. También les muestra cómo la inyección de indicaciones —proporcionar a un chatbot de IA una indicación que lo desvíe de sus límites de seguridad— puede manipular el resultado.

Como trabaja en el campo de la medicina, decidió inventar una afección relacionada con la salud y eligió el nombre de bixonimanía porque, según ella, le parecía tan ridículo que debería quedar bien claro para cualquier médico o personal sanitario de que se trataba de una afección inventada, porque ninguna afección ocular se llamaría manía; ese es un término propio del área de la psiquiatría.

Por si esto no fuera suficiente para despertar sospechas, Osmanovic Thunström incluyó numerosas pistas en las prepublicaciones para alertar a los lectores de que el trabajo era falso. El supuesto Izgubljenovic trabajaba en una universidad inexistente llamada Universidad Asteria Horizon en la igualmente ficticia Nova City, de California. En los agradecimientos de uno de los artículos se menciona a la «profesora Maria Bohm de la Academia de la Flota Estelar por su amabilidad y generosidad al contribuir con sus conocimientos y su laboratorio a bordo de la USS Enterprise». Ambos artículos afirman haber sido financiados por la Fundación Profesor Sideshow Bob por su trabajo en técnicas avanzadas de manipulación. Este trabajo formaría parte de una iniciativa de financiación más amplia de la Universidad de la Fraternidad del Anillo y la Tríada Galáctica.

Hasta aquí todo sería motivo de risa y jocosidad, si no fuera porque el experimento funcionó “demasiado bien”.

A las pocas semanas de subir la información sobre la afección, atribuida a un autor ficticio, los principales sistemas de IA comenzaron a repetir la afección inventada como si fuera real.

Aún más preocupante, según otros investigadores, fue que los artículos falsos fueron citados en publicaciones revisadas por pares. Osmanovic Thunström señala que esto sugiere que algunos investigadores se basan en referencias generadas por IA sin leer los artículos originales.

La desinformación en línea no es nueva, lo sabemos. Google lleva mucho tiempo luchando contra los intentos de manipular su posicionamiento en los resultados de búsqueda con contenido falso o engañoso. La empresa y otras similares han dedicado años a perfeccionar algoritmos para clasificar y filtrar la información que los motores de búsqueda presentan a los usuarios, pero los LLM aun tienen dificultades con esto.

El artículo es una advertencia reveladora sobre los riesgos de la desinformación generada y propagada por IA en el ámbito sanitario. Su punto fuerte es mostrar, con evidencia empírica y un diseño experimental ingenioso, cómo los modelos de lenguaje priorizan la plausibilidad estadística sobre la veracidad factual, incluso cuando los textos contienen absurdos evidentes para un ser humano. La autora del experimento logra exponer una vulnerabilidad crítica: los chatbots no distinguen entre fuentes reales y ficticias si estas últimas están bien redactadas y alojadas en entornos de apariencia académica. Y lo que es peor, son aprobadas por algunos investigadores.

Esta experiencia tiene numerosas aristas de análisis, incluyendo la paradoja de que al crear desinformación para denunciar la desinformación, la investigadora contribuyó temporalmente al mismo problema que critica.

Por otro lado, exponiendo este artículo al análisis de una herramienta de IA (DeepSeek), se obtuvo la misma crítica y la misma preocupación que movió a la investigadora a realizar este experimento. Incluso, cuestionó posibles dilemas éticos y metodológicos de esta investigación.

Les invitamos a leer el artículo: Scientists invented a fake disease. AI told people it was real. By Chris Stokel-Walker. Nature.