Cómo medir texto de IA en papers científicos

Si quieres medir cuánto texto de IA hay en papers científicos, el problema no empieza con el modelo. Empieza antes: con qué consideras “texto de IA”, dónde lo buscas y qué haces con los casos mixtos. La pieza original de UnsloP sobre arXiv deja claro algo incómodo: muchas métricas dan una sensación de precisión que no resiste cuando el texto real mezcla borradores humanos, edición asistida y fragmentos generados por modelos.

Eso importa porque en investigación no estás midiendo un post de redes. Estás midiendo introducciones, resúmenes, métodos y respuestas a revisores, donde una frase puede pasar por varias manos y varias herramientas. Si no separas bien esos escenarios, terminas confundiendo asistencia de escritura con autoría automática, y eso cambia por completo la lectura del dato.

Qué intentaron medir realmente

La pregunta de fondo no era “¿este paper fue escrito por una IA sí o no?”. Era más específica: ¿qué porcentaje del texto en arXiv parece haber sido generado o reescrito por modelos de lenguaje, y cómo cambia eso según disciplina, época y sección del documento? Esa diferencia parece pequeña, pero define todo el análisis.

Medir “texto de IA” en papers no es igual que detectar spam. En un paper, el texto puede pasar por edición humana, plantillas de laboratorio, traducciones, correctores, asistentes de redacción y modelos generativos. Si tu métrica solo devuelve una etiqueta binaria, pierdes el contexto que hace útil el dato.

La pieza trabaja sobre arXiv porque ahí hay volumen, diversidad de áreas y un flujo continuo de preprints. Eso permite comparar patrones entre categorías y observar cambios en el tiempo. Pero también introduce sesgos: arXiv no representa toda la literatura científica, y mucho menos toda la ciencia publicada en América Latina, donde pesan más las revistas locales, los repositorios institucionales y los procesos editoriales distintos.

La unidad de análisis importa más de lo que parece

No es lo mismo analizar el paper completo que medir párrafo por párrafo. Tampoco es igual revisar solo el abstract que revisar introducción, discusión y conclusiones. En papers técnicos, el abstract suele estar más pulido, mientras que la sección de métodos puede ser más repetitiva y, por eso, más fácil de marcar erróneamente como “IA”.

Si tú usas una métrica por documento completo, un resumen bien escrito puede tapar un cuerpo de texto con señales raras. Si lo haces por fragmentos, puedes detectar mejor dónde aparece la generación, pero también aumentas los falsos positivos. Ahí está el trade-off: más granularidad no siempre significa más verdad.

Cómo se suele medir y por qué falla

La mayoría de los sistemas de detección de texto de IA se apoyan en señales estadísticas: perplejidad, burstiness, distribución de tokens, patrones de repetición o scores de clasificadores entrenados con ejemplos humanos y sintéticos. El problema es que esas señales no “entienden” intención. Solo ven regularidades.

Eso funciona razonablemente bien en textos cortos y homogéneos. En papers, no tanto. Un abstract académico ya tiene un estilo más uniforme que un correo o una nota de blog, así que puede parecer artificial aunque lo haya escrito una persona. Y si el autor usó un LLM para pulir la redacción, la huella estadística puede ser débil o inconsistente.

La pieza original muestra precisamente ese quiebre: cuando aplicas un método de medición a un corpus grande, obtienes números que parecen sólidos, pero al mirar ejemplos reales aparecen zonas grises. No todo texto “parecido a IA” fue generado por IA, y no todo texto generado por IA deja la misma marca.

Falsos positivos en texto académico

Los falsos positivos aparecen mucho en escritura académica porque el género ya es predecible. Frases como “we propose a method”, “results indicate”, “future work will explore” son tan comunes que un detector puede interpretarlas como patrones de máquina. Si además el paper está en inglés académico no nativo, la redacción puede volverse más simple y más regular, justo lo que varios detectores castigan.

Esto tiene un impacto directo si trabajas con papers de Latinoamérica. Muchos equipos escriben en inglés como segunda lengua, usan estructuras conservadoras y dependen de plantillas de revista. Eso no significa que hayan usado IA. Significa que el estilo científico internacional ya es bastante estandarizado por sí mismo.

Falsos negativos cuando hay edición humana

El otro lado del problema es peor: un texto generado por IA puede pasar desapercibido si fue editado por una persona. Bastan cambios de vocabulario, reordenamiento de párrafos y corrección de tono para que el detector pierda confianza. En la práctica, el texto final puede seguir teniendo una base sintética, pero la señal ya no es evidente.

Ese caso es común en flujos reales de trabajo. La persona pide un borrador al modelo, luego lo corrige, luego lo adapta al estilo del laboratorio. Si solo mides la versión final, estás viendo una mezcla. Y si el método no reconoce mezclas, el resultado te da una falsa sensación de exactitud.

Qué hace útil el enfoque sobre arXiv

La gran ventaja de trabajar con arXiv es el volumen y la comparabilidad. Puedes observar miles de preprints, separar por área y seguir tendencias temporales sin depender de una sola revista. Eso permite ver si el uso de IA crece en ciertas disciplinas, si aparece más en resúmenes o si se concentra en ciertos periodos.

También ayuda a detectar cambios de comportamiento. Por ejemplo, si una categoría empieza a mostrar más textos con señales de generación justo después de la popularización de modelos como ChatGPT, esa correlación vale la pena. No prueba causalidad, pero sí te da un mapa para investigar mejor.

Ahora bien, el enfoque solo sirve si aceptas sus límites. arXiv es un entorno muy específico: no todo lo que sube ahí pasa por el mismo control editorial, y no todas las áreas escriben igual. En física teórica, matemáticas o computer science, la forma del texto ya tiende a ser más formal y repetitiva que en otras disciplinas. Eso afecta la medición.

Lo que sí puedes inferir

Puedes inferir tendencias agregadas. Por ejemplo:

1. Si el porcentaje de textos marcados como IA sube de forma sostenida en una categoría.
2. Si la subida se concentra en ciertas secciones, como abstract o conclusion.
3. Si el cambio coincide con una fecha de adopción masiva de herramientas de escritura asistida.
4. Si hay diferencias claras entre áreas con estilos de escritura más rígidos y áreas más narrativas.

Eso te sirve para análisis de tendencia, no para acusar a un autor concreto. Esa distinción es clave. Un dataset puede mostrar una ola de uso asistido sin darte evidencia suficiente para decir que un paper específico fue “escrito por IA”.

Lo que no puedes inferir

No puedes inferir intención con certeza. Tampoco puedes separar de forma limpia “IA generó” de “IA editó” o “IA tradujo”. Y menos aún puedes asumir que un texto marcado por el detector implica mala práctica. En muchos casos, los autores usan herramientas de apoyo como harías tú con un corrector ortográfico avanzado, solo que más potente.

Si tu lectura del dato depende de una etiqueta binaria, vas a sobrerreaccionar. La forma correcta de interpretar estos resultados es probabilística: hay señales de escritura asistida, hay zonas ambiguas y hay casos que el método no ve.

Dónde se rompe la medición en casos reales

El quiebre más serio aparece cuando el texto no está “limpio”. Un paper real puede tener citas, ecuaciones, fragmentos de código, tablas, bullets y lenguaje técnico repetido. Todo eso altera la distribución que un detector esperaba ver. El modelo no sabe que una lista de variables o una definición formal es normal en un artículo científico.

También se rompe cuando el corpus mezcla idiomas o estilos. En Latinoamérica no es raro ver abstracts escritos por autores que piensan en español pero publican en inglés. Esa traducción mental produce frases más cortas, menos idiomáticas y a veces más mecánicas. Un detector puede confundir eso con generación automática.

Otro problema es la variación entre secciones. El abstract suele ser compacto y más “limpio”; la discusión puede tener más matices; la metodología puede sonar repetitiva. Si la medición no segmenta por sección, el score final puede esconder diferencias importantes. Y si segmenta demasiado, puede perder estabilidad estadística.

Ejemplo práctico de por qué falla

Imagina un paper de 8,000 palabras con estas proporciones:

• 250 palabras de abstract muy pulido.
• 2,000 palabras de metodología con frases repetidas.
• 1,500 palabras de resultados con tablas y referencias a figuras.
• 4,250 palabras de discusión y conclusión con edición humana ligera.

Si el detector marca el abstract y la metodología como “más IA” que la discusión, eso no significa que el autor haya usado un modelo en esas partes. Puede significar que esas secciones tienen un estilo más predecible. El score te está diciendo algo sobre forma, no necesariamente sobre origen.

Qué deberías mirar si quieres medir bien

Si quieres hacer una medición seria, no te alcanza con correr un detector y exportar un CSV. Necesitas una estrategia que combine muestreo, segmentación y validación manual. La pieza original deja una lección útil: la medición de texto de IA no se sostiene solo con scores, se sostiene con contexto.

Una forma más robusta de trabajar es comparar varias señales al mismo tiempo. No para sumar “certezas”, sino para ver si coinciden. Por ejemplo, puedes revisar similitud estilística entre secciones, cambios bruscos de vocabulario, repetición de estructuras y presencia de frases muy genéricas. Si varias señales apuntan al mismo lugar, tienes un caso más interesante.

También conviene mirar el diseño del corpus. Si mezclas papers de distintas áreas sin normalizar por disciplina, vas a confundir diferencias de estilo con diferencias de uso de IA. Y si no separas por año, puedes atribuir a modelos generativos lo que en realidad es una tendencia previa hacia la escritura más estándar.

Un flujo de trabajo más honesto

Si tú tuvieras que montar una medición útil, seguirías algo así:

1. Define el objetivo: tendencia agregada, comparación por disciplina o revisión de casos.
2. Segmenta por sección: abstract, introducción, método, resultados y conclusión.
3. Mide con más de una señal: detector, revisión manual y análisis estilométrico básico.
4. Normaliza por área y año para evitar comparaciones injustas.
5. Revisa una muestra manual de textos marcados como IA y de textos no marcados.
6. Reporta incertidumbre, no solo porcentaje final.

Ese último punto suele faltar. Muchos reportes publican una cifra única, como si fuera un censo. En realidad, lo correcto es decir algo como “en esta muestra observamos una proporción mayor de textos con señales compatibles con escritura asistida, pero la medición tiene falsos positivos en secciones formales”. Eso es menos vistoso, pero mucho más útil.

Herramientas y documentación que vale la pena revisar

Si vas a trabajar con texto científico a escala, te conviene mirar documentación oficial de herramientas y marcos de evaluación. Por ejemplo, Hugging Face tiene guías para pipelines de NLP y modelos de clasificación, y scikit-learn documenta bien métricas y validación cruzada. También puedes revisar la documentación de arXiv para entender su estructura y API.

• https://docs.scikit-learn.org/
• https://huggingface.co/docs
• https://info.arxiv.org/help/api/index.html

No porque esas herramientas te den la respuesta final, sino porque te obligan a ser explícito con el método. Y cuando mides escritura de IA, la claridad metodológica vale más que una etiqueta bonita en un dashboard.

Qué deja esta discusión para LatAm

En América Latina, esta conversación tiene una capa extra. Muchas universidades y revistas están adoptando políticas sobre uso de IA sin tener todavía herramientas de evaluación maduras. Eso crea un vacío: se prohíbe o se regula algo que luego se intenta medir con detectores poco confiables.

Si trabajas en una revista, un comité o un equipo de investigación, te conviene pensar primero en transparencia y no en persecución. Pedir declaración de uso de herramientas, versionado de manuscritos y trazabilidad de edición suele ser más útil que confiar en un score automático. Eso no elimina el problema, pero lo vuelve auditable.

También hay una oportunidad para la región. Como muchos grupos publican en inglés como segunda lengua, los sesgos de los detectores pegan más fuerte aquí. Eso significa que cualquier política basada en “detección automática” debería validarse con corpus locales, no copiarse desde contextos donde el estilo de escritura es distinto.

Tabla resumen

Medir texto de IA en papers suena simple hasta que lo intentas con textos reales. Ahí aparecen la mezcla de estilos, la edición humana, las plantillas académicas y el sesgo disciplinar. Por eso la pregunta correcta no es solo cuánto texto parece generado, sino qué tan confiable es la forma en que lo estás midiendo.

Si te quedas con una sola idea, que sea esta: un detector no te da verdad, te da una señal. Y en investigación, una señal sin contexto puede engañarte más de lo que ayuda.