La proliferación de modelos de lenguaje generativos, preocupan cada vez más difusión de información falsa y la falsificación de contenidos académicos.

Se han realizado esfuerzos para desarrollar detectores de contenido para distinguir el contenido generado por IA del contenido escrito por humanos, pero ya sabemos que la fiabilidad de tales detectores todavía resulta, en el mejor de los casos, incierta. Hay soluciones, pero no las utilizamos.

De hecho, un reciente estudio realizado por tres investigadores de la Univ. de Stanford ha detectado graves sesgos un siete de estas aplicaciones 'detectoras' de texto generado por IA. Tras evaluar el rendimiento de las mismas al analizar un dataset con ejemplos de contenido generado por humanos, tanto hablantes nativos como no nativos de inglés, salieron a la luz resultados preocupantes.

Si bien estos detectores identificaron con precisión el contenido escrito por humanos de habla inglesa nativa, clasificaron constantemente las muestras de escritura de inglés no nativo como generadas por IA. La tasa promedio de falsos positivos para los no nativos resultó ser, de hecho, altísima: 61,22%.

Además, los siete detectores identificaron por unanimidad 18 de los 91 textos como escritos por IA, mientras que la gran mayoría (97,80%) fue identificada como generada por IA por al menos un detector.