¿Hasta dónde llega el next-token?

Si hoy usas un asistente de IA para escribir código, resumir un PDF o responder correos, casi seguro estás usando un modelo entrenado con la misma idea base: predecir el siguiente token. Ese token puede ser una palabra, una parte de palabra o un símbolo. El modelo mira el contexto y apuesta por lo que sigue. Así de simple, y así de poderoso.

La pregunta incómoda es otra: ¿esa tarea sigue alcanzando para mejorar la IA de forma seria, o ya nos topamos con un techo? Porque una cosa es que el enfoque funcione muy bien para generar texto fluido, y otra muy distinta es que siga siendo suficiente para construir sistemas que razonen mejor, planifiquen, aprendan con menos datos o se adapten a tareas nuevas sin tanto ajuste fino.

Qué hace realmente next-token prediction

La idea de next-token prediction no es nueva ni glamorosa. Toma una secuencia de tokens y aprende a estimar la probabilidad del siguiente. Si le das “El precio del dólar en”, el modelo calcula qué token viene después según patrones vistos en entrenamiento. Esa mecánica, repetida miles de millones de veces, es la base de muchos LLM modernos.

Lo interesante no es la simplicidad, sino el alcance. Con un objetivo tan básico, los modelos aprenden sintaxis, parte de la semántica, estilos de escritura, código, patrones de razonamiento y hasta ciertos hábitos de formato. No porque “entiendan” como una persona, sino porque predecir bien el siguiente token obliga a capturar regularidades útiles del lenguaje y del mundo.

Por qué funciona tan bien

Funciona porque el lenguaje humano ya viene comprimido en patrones. Las frases, los documentos técnicos, los chats y el código tienen estructura. Si entrenas un modelo a completar secuencias a gran escala, le das una señal de aprendizaje densa, barata de calcular y aplicable a casi cualquier texto. No necesitas etiquetas manuales para cada tarea.

Además, el objetivo escala bien con datos. Si tienes más texto, más cómputo y más parámetros, el sistema suele mejorar. Esa relación ha sido una de las razones por las que el sector apostó tan fuerte por la receta actual. La publicación de OpenAI sobre scaling laws ayudó a formalizar esa intuición; puedes revisarla en https://arxiv.org/abs/2001.08361.

Qué no le pide al modelo

El problema es que next-token prediction no le exige al modelo verificar si lo que dice es cierto, ni planear varios pasos hacia adelante, ni distinguir entre una respuesta plausible y una correcta. El modelo solo necesita sonar coherente con el contexto.

Eso explica por qué puede escribir una respuesta convincente y aun así equivocarse en un dato, inventar una cita o mezclar dos conceptos parecidos. También explica por qué a veces mejora en benchmarks de texto pero sigue fallando en tareas donde necesitas consistencia, memoria de largo plazo o ejecución precisa.

El techo no es obvio, pero sí aparecen señales

Hay una tentación común: pensar que, si seguimos escalando, todo lo demás se arregla solo. La historia reciente muestra que escalar sí ayuda, y mucho. Pero también muestra que no todo mejora al mismo ritmo. Algunas capacidades suben rápido, otras se estancan o requieren trucos adicionales como fine-tuning, RLHF, tool use o retrieval.

Un punto clave es que la métrica del entrenamiento y la utilidad real no siempre van de la mano. Un modelo puede bajar su loss de forma consistente y aun así no volverse mucho mejor en tareas que importan al usuario final, como seguir instrucciones complejas, evitar alucinaciones o manejar contexto largo sin perder el hilo.

Señales prácticas de límite

Mira estos síntomas que ya conoces si trabajas con modelos de lenguaje:

1. Respuestas plausibles pero incorrectas en temas con datos duros.
2. Dificultad para mantener consistencia en conversaciones largas.
3. Errores en tareas de varias etapas, aunque cada paso aislado parezca fácil.
4. Dependencia fuerte de prompts bien diseñados.
5. Necesidad de herramientas externas para navegación, cálculo o verificación.

Ninguno de esos puntos prueba que next-token prediction esté agotado. Pero sí sugieren que el objetivo, por sí solo, no captura todo lo que queremos de un sistema inteligente.

El dato que sí importa

En la práctica, el sector ya está usando objetivos complementarios. No porque la predicción del siguiente token haya fallado, sino porque no basta para todo. Modelos con retrieval augmented generation, entrenamiento con feedback humano, tool calling y agentes con memoria externa intentan cubrir huecos concretos. Es una señal bastante clara de que la industria no confía solo en el objetivo base para llegar más lejos.

Lo que ya está haciendo la industria para salir del molde

Si miras el ecosistema actual, verás una estrategia bastante pragmática: mantener next-token prediction como núcleo, y rodearlo de capas que corrijan sus límites. Eso incluye entrenamiento con instrucciones, preferencias humanas, búsqueda externa, ejecución de herramientas y evaluación más estricta.

No es una crítica a la receta original. Es más bien una admisión de que un solo objetivo de entrenamiento no alcanza para convertir texto probable en comportamiento útil. El modelo puede aprender a completar frases, pero para resolver problemas reales necesita contexto, verificación y, a veces, interacción con sistemas externos.

Tres extensiones que ya cambiaron el juego práctico

1. Instruction tuning: convierte un modelo generalista en uno que sigue órdenes de forma más útil.
2. RLHF o variantes de preference optimization: ajustan respuestas para que sean más alineadas con preferencias humanas.
3. Retrieval y tools: permiten consultar fuentes, calcular, ejecutar código o leer documentos en tiempo real.

La documentación de Hugging Face sobre transformers y fine-tuning es un buen punto de partida para ver cómo se combinan estas piezas: https://huggingface.co/docs/transformers/index.

Un ejemplo concreto

Piensa en un asistente para soporte técnico en una fintech de Ecuador. Con next-token prediction puro, el modelo puede redactar una respuesta elegante sobre por qué una transferencia falló. Pero si no consulta el estado real de la operación, no sabe si el problema fue un KYC incompleto, una caída del proveedor o un límite de monto.

Ahí entra la arquitectura completa: el modelo redacta, pero una herramienta consulta la base de datos, otra revisa reglas de negocio y otra valida si el usuario ya abrió un ticket. El valor no está solo en predecir el siguiente token, sino en coordinar acciones útiles.

¿Necesitamos nuevos objetivos de entrenamiento?

La respuesta corta es sí, pero no como reemplazo total. Lo más probable es que el futuro combine next-token prediction con objetivos que empujen al modelo hacia capacidades específicas. Si quieres razonamiento más robusto, necesitas señales que premien consistencia. Si quieres menor alucinación, necesitas verificación. Si quieres planificación, necesitas tareas que obliguen a pensar en varios pasos.

El reto es que diseñar nuevos objetivos no es gratis. Un objetivo demasiado específico puede hacer que el modelo pierda generalidad. Uno demasiado complejo puede volver el entrenamiento inestable o caro. Por eso el sector avanza con experimentos parciales en vez de apostar todo a una sola idea nueva.

Qué tipo de objetivos suenan más prometedores

Hay varias líneas que vale la pena seguir de cerca:

• Predictive coding más estructurado: no solo predecir tokens, sino relaciones, estados o pasos intermedios.
• Objectivos de verificación: premiar respuestas que se puedan chequear contra evidencia.
• Reasoning traces supervisados: entrenar con cadenas de pasos, no solo con la respuesta final.
• Multi-modal training: mezclar texto con imagen, audio, video y acciones para ampliar la señal de aprendizaje.

No todos estos enfoques son nuevos, pero sí apuntan a la misma idea: el lenguaje por sí solo no captura todo lo que queremos de una IA útil.

El costo de cambiar la receta

Cambiar el objetivo de entrenamiento tiene consecuencias en datos, cómputo y evaluación. Si hoy un modelo se entrena con trillones de tokens, moverlo a una mezcla más compleja puede exigir datasets más caros, más anotación humana y métricas menos simples.

También cambia el producto. Un sistema entrenado para verificar puede ser más lento. Uno entrenado para planificar puede necesitar más pasos de inferencia. Uno entrenado con herramientas puede depender de infraestructura externa. O sea, no solo cambias la investigación; cambias la experiencia de uso y el costo operativo.

Entonces, ¿sigue siendo suficiente?

Si la pregunta es si next-token prediction todavía sirve para escalar modelos de lenguaje, la respuesta es sí. Sigue siendo una base sólida, eficiente y probada. Si la pregunta es si por sí sola va a llevarnos a sistemas realmente más confiables, más razonadores y más autónomos, la respuesta es mucho menos optimista.

La evidencia práctica apunta a un escenario mixto. La predicción del siguiente token sigue siendo el motor central, pero cada vez depende más de otros componentes para cubrir lo que no aprende por sí sola. No estamos viendo su reemplazo inmediato. Estamos viendo su integración dentro de arquitecturas más amplias.

Lo que deberías mirar como lector técnico

Si trabajas con IA o sigues el tema desde Latinoamérica, te conviene observar cuatro cosas:

1. Mejora en benchmarks de razonamiento: no solo en texto fluido, también en tareas con pasos verificables.
2. Reducción de alucinaciones: especialmente en dominios como salud, legal y finanzas.
3. Capacidad de usar herramientas: navegación, código, bases de datos y APIs.
4. Costo por tarea útil: no solo costo por token, sino costo por resolución real.

Ese último punto importa mucho en nuestra región. En muchos equipos de Ecuador, México, Colombia o Perú, la pregunta no es si un modelo genera mejor prosa, sino si resuelve el trabajo sin disparar el gasto mensual.

La lectura más honesta

La predicción del siguiente token fue una gran idea porque convirtió el lenguaje en un problema de aprendizaje masivo y escalable. Pero el lenguaje no es el objetivo final. El objetivo final es hacer cosas útiles con lenguaje, contexto y acción. Ahí es donde entran nuevos objetivos, nuevas arquitecturas y más evaluación del mundo real.

Tabla resumen

Tabla resumen