Un artículo de 2017 reemplazó la recurrencia por la atención
En junio de 2017, ocho investigadores, la mayoría en Google, publicaron un artículo titulado "Attention Is All You Need". Proponía una red para traducir oraciones que eliminaba las capas recurrentes que todos usaban y conservaba una sola operación, la atención, apilada muchas veces. El modelo base tenía 65 millones de parámetros y superó a los mejores sistemas anteriores de traducción de inglés a alemán entrenando en una fracción del tiempo.
La idea era el título. Las redes de lenguaje anteriores leían una oración un token a la vez, arrastrando un resumen acumulado, así que la vigésima palabra solo conocía las primeras a través de lo que sobrevivía a diecinueve pasos de compresión. Un transformer lee toda la secuencia a la vez. Cada token le pregunta a todos los demás "qué tan relevante eres para mí", los pondera y construye su significado a partir de la respuesta. La palabra "banco" atiende a "río" o a "cuenta" y sale distinta cada vez.
Nueve años después, el mismo diseño, ampliado, es lo que responde cuando escribes en ChatGPT. GPT significa generative pretrained transformer. Claude, Gemini, Llama, DeepSeek y Qwen también son transformers, aunque la etiqueta se omite porque no hay nada más con qué compararlos.
La atención es una búsqueda ponderada, y cada token hace una por capa
Toma la frase "El trofeo no cabía en la maleta porque era demasiado grande". Para decidir qué significa "era", un lector mira atrás a "trofeo" y "maleta" y elige el que tiene sentido con "demasiado grande". La atención es esa búsqueda, hecha con números.
Cada token se convierte en tres vectores: una consulta (qué busco), una clave (qué ofrezco) y un valor (qué aporto si me eligen). El token en cuestión compara su consulta con la clave de todos los demás tokens, obtiene una puntuación de relevancia por token, convierte esas puntuaciones en pesos que suman uno y suma los valores según esos pesos. Su nueva representación es principalmente "trofeo" con un poco de todo lo demás. El modelo hace esto en paralelo para cada token, en varias "cabezas" independientes que aprenden a rastrear relaciones distintas, y lo repite en decenas de capas apiladas.
De ahí se siguen dos consecuencias directas. Como cada token se procesa en el mismo paso, toda la capa se ejecuta como una gran multiplicación de matrices, exactamente para lo que está hecha una GPU, y el modelo base del artículo entrenó en doce horas con ocho GPU. Y como cada token se compara con todos los demás, el costo de una capa crece con el cuadrado de la longitud de la secuencia: el doble de tokens, cuatro veces más trabajo de atención.
Por qué el cuadrado es el número que llega a tu factura
Ese costo cuadrático explica por qué la ventana de contexto es la especificación por la que compiten los proveedores, y por qué usarla no es gratis. Un modelo que acepta 1.000.000 de tokens tiene que hacer atención sobre una cuadrícula de un millón por un millón de puntuaciones de relevancia, en cada cabeza, en cada capa, y la ingeniería que hace eso asequible (patrones dispersos, ventanas deslizantes, variantes de atención más baratas y el almacenamiento en caché de las claves y valores de tokens anteriores para que un turno posterior no los rehaga) es la razón por la que una ventana de 1.000.000 de tokens se cobra por token en lugar de rechazarse.
En el índice de costos de modelos de IA, 47 de las 100 filas con precio llevan una ventana de 1.000.000 de tokens o más, frente a los 512 tokens de GPT-1 y los 2.048 de GPT-3. Todos siguen cobrando por token de entrada, porque cada token que envías es una fila en esa cuadrícula. Un documento de 300.000 tokens al que se le hacen diez preguntas son 3 millones de tokens de entrada, y qué son los tokens en IA lo pone en $6 en Claude Sonnet 5. La arquitectura explica la factura.
También explica el fallo. Un transformer no tiene memoria fuera de su ventana. Lo que no está en la secuencia no existe para él, por eso una conversación larga olvida su inicio y por eso existe la recuperación, el tema de qué es RAG, para volver a poner los tokens correctos dentro.
Codificador, decodificador o ambos: la forma decide para qué sirve el modelo
El modelo de 2017 tenía dos mitades: un codificador que leía la oración de origen y un decodificador que escribía la traducción. Casi todos los modelos desde entonces conservan solo una mitad.
| Forma | Qué hace | Entrenado para | Ejemplos |
|---|---|---|---|
| Solo codificador | Lee texto y produce una representación de él | Rellenar palabras enmascaradas | BERT (2018), los modelos de embeddings detrás de la búsqueda |
| Solo decodificador | Escribe texto un token a la vez | Predecir el siguiente token | GPT, Claude, Gemini, Llama, DeepSeek, Qwen |
| Codificador y decodificador | Lee una secuencia, escribe otra | Traducir o transformar | El modelo original de 2017, T5 |
Los modelos de chat que usas son todos solo decodificador. Esa elección, que GPT-1 tomó en 2018 y que ha copiado todo modelo de chat desde entonces, es la razón por la que un modelo de lenguaje genera en lugar de buscar: toda la red es un predictor del siguiente token, qué es la temperatura en IA cubre el ajuste que elige el token, y qué es un LLM sigue ese hilo hasta la alucinación y el resto. Los modelos solo codificador no desaparecieron. Se convirtieron en los modelos de embeddings que convierten texto en vectores para la búsqueda, el otro trabajo para el que resultó ser buena la atención.
La visión siguió el mismo camino. En 2020, el artículo del Vision Transformer cortó una imagen en parches de 16 por 16 píxeles, trató cada parche como un token, e igualó a las mejores redes convolucionales. Por eso el mismo modelo ahora puede leer tu captura de pantalla y tu párrafo: ambos llegan como una secuencia de tokens y pasan por las mismas capas de atención. La generación de imágenes es la excepción; la mayoría de los modelos de imagen son modelos de difusión, un diseño distinto que qué es la IA generativa separa aparte.
Nueve años de un artículo a todos los modelos de vanguardia, con fechas
La cronología de abajo va del artículo de 2017 a los modelos a los que Whizi enruta hoy. El naranja marca los lanzamientos que salieron con pesos abiertos, la forma en que el diseño se extendió más allá de los dos laboratorios que lo crearon primero.
El recuento de parámetros cuenta la historia de la escala en tres números: 65 millones en el modelo base de 2017, 175.000 millones en GPT-3 tres años después, y 2,4 billones en el mayor modelo Qwen que el índice de costos cotiza en 2026, del cual unos 95.000 millones están activos en cualquier token dado. La arquitectura no cambió de naturaleza en ese rango. Se hizo más ancha, más profunda y mejor alimentada. La apuesta de esta página: ningún modelo de vanguardia lanzado antes de 2028 será otra cosa que un transformer, y la cronología de modelos de IA es donde eso se comprueba.
- Lee "transformer" como "el diseño que comparten todos los modelos de texto actuales"; no te dice qué modelo es mejor
- Espera que el costo y la lentitud crezcan más que linealmente con la longitud del contexto, y limita las cargas largas a la sección que necesitas
- Asume que un modelo olvida todo lo que está fuera de su ventana; repite los datos importantes o usa un proyecto para fijarlos
- Trata la visión y el texto como el mismo proceso: una captura de pantalla también son tokens, así que pregúntale como preguntarías por un párrafo
- Revisa la fecha de lanzamiento antes de confiar en lo que sabe un modelo; la arquitectura no tiene reloj
Preguntas frecuentes
¿Qué significa transformer en IA?
Un transformer es una arquitectura de red neuronal del artículo de 2017 Attention Is All You Need. Procesa cada token de una secuencia en paralelo mediante la atención, una operación en la que cada token pondera su relevancia respecto a todos los demás, y es el diseño dentro de GPT, Claude, Gemini, Llama, DeepSeek y Qwen. El artículo no explica por qué eligió ese nombre.
¿Qué significa GPT?
Generative pretrained transformer. Generativo porque produce texto, pretrained porque aprende de un gran corpus antes de ajustarse para el chat, y transformer porque esa es la arquitectura de red. OpenAI introdujo el nombre con GPT-1 en junio de 2018.
¿Qué es el mecanismo de atención?
La operación central de un transformer. Cada token calcula una puntuación de relevancia contra todos los demás tokens de la secuencia, convierte las puntuaciones en pesos y mezcla las representaciones de los otros tokens según esos pesos. Así es como "era" aprende a significar "trofeo" en una oración y "maleta" en otra. Se ejecuta en paralelo en todos los tokens y en varias cabezas por capa.
¿Por qué los transformers reemplazaron a las redes neuronales recurrentes?
Las redes recurrentes leían los tokens uno tras otro y debían pasar la información hacia delante en cada paso, lo que limitaba tanto lo que recordaban como la velocidad de entrenamiento. Los transformers leen toda la secuencia a la vez, así que mantienen acceso directo a cada token anterior y entrenan como operaciones de matrices en paralelo que las GPU ejecutan de forma eficiente. El artículo de 2017 igualó a los mejores sistemas de traducción en una fracción del tiempo de entrenamiento.
¿Todos los modelos de IA son transformers?
Todo LLM de vanguardia lo es, igual que todo modelo de texto que ofrece Whizi; las excepciones son líneas de investigación como Mamba e híbridos como Jamba, ninguno de los cuales lidera un benchmark. Los generadores de imágenes como Stable Diffusion y Flux son modelos de difusión, un diseño distinto, aunque muchos usan un transformer por dentro para leer el prompt. Los modelos de visión que leen imágenes son transformers desde el artículo del Vision Transformer de 2020, que trata los parches de imagen como tokens.
