Um artigo de 2017 substituiu a recorrência pela atenção
Em junho de 2017, oito pesquisadores, a maioria no Google, publicaram um artigo intitulado "Attention Is All You Need". Ele propunha uma rede para traduzir frases que eliminava as camadas recorrentes que todos usavam e mantinha apenas uma operação, a atenção, empilhada várias vezes. O modelo base tinha 65 milhões de parâmetros e superou os melhores sistemas anteriores de tradução do inglês para o alemão, treinando em uma fração do tempo.
A ideia estava no título. As redes de linguagem anteriores liam uma frase um token de cada vez, carregando um resumo contínuo adiante, então a vigésima palavra só conhecia as primeiras através do que sobrevivia a dezenove etapas de compressão. Um transformer lê toda a sequência de uma vez. Cada token pergunta a todos os outros "quão relevante você é para mim", pondera as respostas e constrói seu significado a partir delas. A palavra "banco" presta atenção em "rio" ou em "conta" e sai diferente a cada vez.
Nove anos depois, o mesmo design, em maior escala, é o que responde quando você digita no ChatGPT. GPT significa generative pretrained transformer. Claude, Gemini, Llama, DeepSeek e Qwen também são transformers, com o rótulo omitido porque não há mais nada com que comparar.
Atenção é uma busca ponderada, e cada token faz uma por camada
Pegue a frase "O troféu não coube na mala porque ele era grande demais." Para decidir o que "ele" significa, um leitor olha de volta para "troféu" e "mala" e escolhe o que faz sentido com "grande demais". A atenção é essa busca, feita com números.
Cada token vira três vetores: uma query (o que estou procurando), uma key (o que eu ofereço) e um value (o que eu contribuo se for escolhido). O token "ele" compara sua query com a key de todos os outros tokens, obtém uma pontuação de relevância por token, transforma as pontuações em pesos que somam um e soma os values por esses pesos. Sua nova representação é majoritariamente "troféu" com um pouco de tudo o mais. O modelo faz isso em paralelo para cada token, em várias "cabeças" independentes que aprendem a rastrear relações diferentes, e repete isso em dezenas de camadas empilhadas.
Duas consequências seguem diretamente disso. Como cada token é processado na mesma etapa, a camada inteira roda como uma única grande multiplicação de matrizes, exatamente o que uma GPU foi feita para fazer, e o modelo base do artigo treinou em doze horas em oito GPUs. E como cada token se compara com todos os outros, o custo de uma camada cresce com o quadrado do comprimento da sequência: o dobro de tokens, quatro vezes mais trabalho de atenção.
Por que o quadrado é o número que chega na sua fatura
Esse custo quadrático é o motivo pelo qual a janela de contexto é a especificação em que os provedores competem, e por que usá-la não é de graça. Um modelo que aceita 1.000.000 de tokens precisa fazer atenção sobre uma grade de pontuações de relevância de um milhão por um milhão, em cada cabeça, em cada camada, e a engenharia que torna isso acessível (padrões esparsos, janelas deslizantes, variantes de atenção mais baratas e o cache das keys e values de tokens anteriores para que um turno seguinte não os refaça) é o motivo pelo qual uma janela de 1.000.000 de tokens é precificada por token em vez de recusada.
No índice de custo de modelos de IA, 47 das 100 linhas precificadas carregam uma janela de 1.000.000 de tokens ou mais, uma alta em relação aos 512 tokens do GPT-1 e aos 2.048 do GPT-3. Todos eles ainda cobram por token de entrada, porque cada token que você envia é uma linha nessa grade. Um documento de 300.000 tokens com dez perguntas soma 3 milhões de tokens de entrada, e o que são tokens em ia precifica isso em $6 no Claude Sonnet 5. A arquitetura explica a fatura.
Ela também explica o modo de falha. Um transformer não tem memória fora da sua janela. O que não está na sequência não existe para ele, o que explica por que uma conversa longa esquece o início e por que a recuperação, o tema de o que é rag, existe para colocar os tokens certos de volta.
Encoder, decoder ou os dois: o formato decide para que o modelo serve
O modelo de 2017 tinha duas metades: um encoder que lia a frase de origem e um decoder que escrevia a tradução. Quase todo modelo desde então mantém apenas uma metade.
| Formato | O que faz | Treinado para | Exemplos |
|---|---|---|---|
| Somente encoder | Lê o texto e produz uma representação dele | Preencher palavras mascaradas | BERT (2018), os modelos de embedding por trás da busca |
| Somente decoder | Escreve texto um token de cada vez | Prever o próximo token | GPT, Claude, Gemini, Llama, DeepSeek, Qwen |
| Encoder e decoder | Lê uma sequência, escreve outra | Traduzir ou transformar | O modelo original de 2017, T5 |
Os modelos de chat que você usa são todos somente decoder. Essa escolha, que o GPT-1 fez em 2018 e que todo modelo de chat copiou desde então, é o motivo pelo qual um modelo de linguagem gera em vez de buscar: a rede inteira é um previsor do próximo token, o que é temperatura em ia cobre o controle que escolhe o token, e o que é um llm segue esse fio até a alucinação e o resto. Os modelos somente encoder não desapareceram. Eles se tornaram os modelos de embedding que transformam texto em vetores para busca, que é o outro trabalho para o qual a atenção se mostrou boa.
A visão computacional seguiu o mesmo caminho. Em 2020, o artigo do Vision Transformer cortou uma imagem em patches de 16 por 16 pixels, tratou cada patch como um token, e igualou as melhores redes convolucionais. É por isso que o mesmo modelo agora pode ler sua captura de tela e seu parágrafo: ambos chegam como uma sequência de tokens e passam pelas mesmas camadas de atenção. A geração de imagens é a exceção; a maioria dos modelos de imagem são modelos de difusão, um design diferente que o que é ia generativa separa.
Nove anos de um artigo até todo modelo de fronteira, com datas
A linha do tempo abaixo vai do artigo de 2017 até os modelos para os quais a Whizi encaminha hoje. O laranja marca os lançamentos que vieram com pesos abertos, o que explica como o design se espalhou para além dos dois laboratórios que o criaram primeiro.
As contagens de parâmetros contam a história da escala em três números: 65 milhões no modelo base de 2017, 175 bilhões no GPT-3 três anos depois, e 2,4 trilhões no maior modelo Qwen que o índice de custo precifica em 2026, dos quais cerca de 95 bilhões ficam ativos em qualquer token. A arquitetura não mudou de natureza nessa faixa. Ela ficou mais larga, mais profunda e mais bem alimentada. A aposta desta página: nenhum modelo de fronteira lançado antes de 2028 será outra coisa senão um transformer, e a linha do tempo dos modelos de ia é onde isso será verificado.
- Leia "transformer" como "o design que todo modelo de texto atual compartilha"; isso não diz qual modelo é melhor
- Espere que o custo e a lentidão cresçam mais rápido que linearmente com o comprimento do contexto, e mantenha uploads longos apenas na seção que você precisa
- Assuma que um modelo esquece qualquer coisa fora da sua janela; reafirme os fatos importantes ou use um projeto para fixá-los
- Trate visão e texto como o mesmo pipeline: uma captura de tela também é tokens, então pergunte sobre ela como perguntaria sobre um parágrafo
- Confira a data de lançamento antes de confiar no que um modelo sabe; a arquitetura não tem relógio
Perguntas frequentes
O que significa transformer em IA?
Um transformer é uma arquitetura de rede neural do artigo de 2017 Attention Is All You Need. Ele processa cada token de uma sequência em paralelo usando atenção, uma operação em que cada token pondera sua relevância em relação a todos os outros, e é o design dentro do GPT, do Claude, do Gemini, do Llama, do DeepSeek e do Qwen. O artigo não explica por que escolheu esse nome.
O que significa GPT?
Generative pretrained transformer. Generative porque produz texto, pretrained porque aprende com um grande corpus antes de ser ajustado para chat, e transformer porque essa é a arquitetura de rede. A OpenAI apresentou o nome com o GPT-1 em junho de 2018.
O que é o mecanismo de atenção?
A operação no centro de um transformer. Cada token calcula uma pontuação de relevância em relação a todos os outros tokens da sequência, converte as pontuações em pesos e mistura as representações dos outros tokens por esses pesos. É assim que "ele" aprende a significar "troféu" em uma frase e "mala" em outra. Roda em paralelo em todos os tokens e em várias cabeças por camada.
Por que os transformers substituíram as redes neurais recorrentes?
As redes recorrentes liam os tokens um após o outro e precisavam passar a informação adiante a cada etapa, o que limitava tanto o que elas lembravam quanto a velocidade de treinamento. Os transformers leem a sequência inteira de uma vez, mantendo acesso direto a cada token anterior, e treinam como operações de matriz paralelas que as GPUs executam com eficiência. O artigo de 2017 igualou os melhores sistemas de tradução em uma fração do tempo de treinamento.
Todos os modelos de IA são transformers?
Todo LLM de fronteira é, assim como todo modelo de texto que a Whizi oferece; as exceções são linhas de pesquisa como Mamba e híbridos como Jamba, nenhum dos quais lidera um benchmark. Geradores de imagem como Stable Diffusion e Flux são modelos de difusão, um design diferente, embora muitos usem um transformer internamente para ler o prompt. Modelos de visão que leem imagens são transformers desde o artigo do Vision Transformer de 2020, que trata patches de imagem como tokens.
