Ein Paper von 2017 ersetzte Rekurrenz durch Attention
Im Juni 2017 veröffentlichten acht Forscher, die meisten davon bei Google, ein Paper mit dem Titel "Attention Is All You Need". Es schlug ein Netzwerk zur Übersetzung von Sätzen vor, das die rekurrenten Schichten, die bis dahin jeder nutzte, wegließ und nur eine Operation behielt: Attention, vielfach gestapelt. Das Basismodell hatte 65 Millionen Parameter und schlug die bisher besten Englisch-Deutsch-Übersetzungssysteme, während es einen Bruchteil der Zeit zum Training brauchte.
Die Idee steckte im Titel. Frühere Sprachnetzwerke lasen einen Satz ein Token nach dem anderen und trugen dabei eine laufende Zusammenfassung mit sich. Das zwanzigste Wort kannte vom ersten also nur das, was neunzehn Kompressionsschritte überlebt hatte. Ein Transformer liest die gesamte Sequenz auf einmal. Jedes Token fragt jedes andere Token "wie relevant bist du für mich", gewichtet die Antworten und baut daraus seine Bedeutung. Das Wort "Bank" richtet seine Attention auf "Fluss" oder auf "Konto" aus und kommt dabei jedes Mal anders heraus.
Neun Jahre später ist dasselbe Design, hochskaliert, das, was antwortet, wenn du etwas in ChatGPT eintippst. GPT steht für generative pretrained transformer. Auch Claude, Gemini, Llama, DeepSeek und Qwen sind Transformer, nur wird das Etikett weggelassen, weil es nichts anderes mehr gibt, womit man vergleichen könnte.
Attention ist ein gewichtetes Nachschlagen, und jedes Token macht das pro Schicht
Nimm den Satz "Die Trophäe passte nicht in den Koffer, weil sie zu groß war." Um zu entscheiden, was "sie" bedeutet, schaut ein Leser zurück auf "Trophäe" und "Koffer" und wählt die Option, die zu "zu groß" passt. Attention ist genau dieses Nachschlagen, nur mit Zahlen.
Jedes Token wird in drei Vektoren umgewandelt: eine Query (wonach suche ich), einen Key (was biete ich an) und einen Value (was trage ich bei, wenn ich ausgewählt werde). Das Token "sie" vergleicht seine Query mit dem Key jedes anderen Tokens, erhält pro Token einen Relevanzwert, wandelt diese Werte in Gewichte um, die sich zu eins summieren, und addiert die Values nach diesen Gewichten. Seine neue Darstellung besteht größtenteils aus "Trophäe" mit etwas von allem anderen. Das Modell macht das parallel für jedes Token, in mehreren unabhängigen "Köpfen", die lernen, unterschiedliche Beziehungen zu verfolgen, und wiederholt das über Dutzende gestapelter Schichten.
Daraus folgen zwei Konsequenzen direkt. Weil jedes Token im selben Schritt verarbeitet wird, läuft die ganze Schicht als eine einzige große Matrixmultiplikation, genau das, wofür eine GPU gebaut ist, und das Basismodell des Papers trainierte in zwölf Stunden auf acht GPUs. Und weil jedes Token mit jedem anderen verglichen wird, wachsen die Kosten einer Schicht quadratisch mit der Sequenzlänge: doppelt so viele Token bedeuten viermal so viel Attention-Arbeit.
Warum das Quadrat die Zahl ist, die auf deiner Rechnung landet
Diese quadratischen Kosten sind der Grund, warum das Kontextfenster die Spezifikation ist, um die Anbieter konkurrieren, und warum es nicht kostenlos ist, sie zu nutzen. Ein Modell, das 1.000.000 Token akzeptiert, muss Attention über ein Millionen-mal-Millionen-Raster von Relevanzwerten berechnen, in jedem Kopf, in jeder Schicht. Und die Technik, die das bezahlbar macht (spärliche Muster, Sliding Windows, günstigere Attention-Varianten und das Zwischenspeichern der Keys und Values früherer Token, damit ein Folgeturn sie nicht neu berechnet), ist der Grund, warum ein Fenster von 1.000.000 Token pro Token bepreist statt schlicht verweigert wird.
Im AI-Modellkostenindex tragen 47 der 100 bepreisten Zeilen ein Fenster von 1.000.000 Token oder mehr, gegenüber 512 Token bei GPT-1 und 2.048 bei GPT-3. Jedes einzelne rechnet trotzdem pro Eingabe-Token ab, weil jedes gesendete Token eine Zeile in diesem Raster ist. Ein 300.000-Token-Dokument, dem zehn Fragen gestellt werden, sind 3 Millionen Eingabe-Token, und was sind Token in der KI beziffert das mit $6 bei Claude Sonnet 5. Die Architektur erklärt die Rechnung.
Sie erklärt auch die Fehlerform. Ein Transformer hat kein Gedächtnis außerhalb seines Fensters. Was nicht in der Sequenz steht, existiert für ihn nicht. Deshalb vergisst ein langes Gespräch seinen Anfang, und deshalb gibt es Retrieval, das Thema von was ist RAG, um die richtigen Token wieder hineinzubringen.
Encoder, Decoder oder beides: die Form entscheidet, wofür das Modell taugt
Das Modell von 2017 hatte zwei Hälften: einen Encoder, der den Ausgangssatz las, und einen Decoder, der die Übersetzung schrieb. Fast jedes Modell seither behält nur eine Hälfte.
| Form | Was sie tut | Trainiert auf | Beispiele |
|---|---|---|---|
| Nur Encoder | Liest Text und gibt eine Darstellung davon aus | Maskierte Wörter ausfüllen | BERT (2018), die Embedding-Modelle hinter der Suche |
| Nur Decoder | Schreibt Text ein Token nach dem anderen | Das nächste Token vorhersagen | GPT, Claude, Gemini, Llama, DeepSeek, Qwen |
| Encoder und Decoder | Liest eine Sequenz, schreibt eine andere | Übersetzen oder transformieren | Das ursprüngliche Modell von 2017, T5 |
Die Chat-Modelle, die du nutzt, sind alle reine Decoder. Diese Wahl, die GPT-1 2018 traf und die jedes Chat-Modell seither kopiert hat, ist der Grund, warum ein Sprachmodell generiert statt nachschlägt: das gesamte Netzwerk ist ein Vorhersager für das nächste Token. Was ist Temperatur in der KI behandelt den Regler, der das Token auswählt, und was ist ein LLM führt diesen Faden weiter zu Halluzination und dem Rest. Reine Encoder-Modelle sind nicht verschwunden. Sie wurden zu den Embedding-Modellen, die Text in Vektoren für die Suche verwandeln, dem anderen Job, für den sich Attention als gut erwies.
Auch Vision folgte demselben Weg. 2020 zerschnitt das Vision-Transformer-Paper ein Bild in 16-mal-16-Pixel-Patches, behandelte jedes Patch als Token und erreichte die besten faltenden Netzwerke. Deshalb kann dasselbe Modell heute sowohl deinen Screenshot als auch deinen Absatz lesen: beide kommen als Sequenz von Token an und durchlaufen dieselben Attention-Schichten. Bildgenerierung ist die Ausnahme, die meisten Bildmodelle sind Diffusionsmodelle, eine andere Architektur, die was ist generative KI gesondert behandelt.
Neun Jahre von einem Paper zu jedem Frontier-Modell, datiert
Die Zeitleiste unten reicht vom Paper von 2017 bis zu den Modellen, die Whizi heute nutzt. Orange markiert die Veröffentlichungen mit offenen Gewichten, so verbreitete sich das Design über die beiden Labs hinaus, die es zuerst bauten.
Die Parameterzahlen erzählen die Skalierungsgeschichte in drei Zahlen: 65 Millionen im Basismodell von 2017, 175 Milliarden bei GPT-3 drei Jahre später, und 2,4 Billionen beim größten Qwen-Modell, das der Kostenindex 2026 bepreist, von denen etwa 95 Milliarden bei jedem einzelnen Token aktiv sind. Die Architektur hat sich in dieser Spanne nicht grundlegend geändert. Sie wurde breiter, tiefer und besser gefüttert. Die Wette dieser Seite: Kein vor 2028 veröffentlichtes Frontier-Modell wird etwas anderes als ein Transformer sein, und die KI-Modell-Zeitleiste ist der Ort, an dem das überprüft wird.
- Verstehe "Transformer" als "die Architektur, die jedes aktuelle Textmodell teilt". Es sagt dir nicht, welches Modell besser ist
- Erwarte, dass Kosten und Verlangsamung schneller als linear mit der Kontextlänge wachsen, und beschränke lange Uploads auf den Abschnitt, den du brauchst
- Geh davon aus, dass ein Modell alles außerhalb seines Fensters vergisst. Wiederhole wichtige Fakten oder nutze ein Projekt, um sie festzuhalten
- Behandle Bild und Text als dieselbe Pipeline: auch ein Screenshot besteht aus Token, also frag danach, wie du nach einem Absatz fragen würdest
- Prüfe das Veröffentlichungsdatum, bevor du glaubst, was ein Modell weiß. Die Architektur hat keine Uhr
Häufige Fragen
Was bedeutet Transformer in der KI?
Ein Transformer ist eine Architektur für neuronale Netze aus dem Paper "Attention Is All You Need" von 2017. Er verarbeitet jedes Token einer Sequenz parallel mithilfe von Attention, einer Operation, bei der jedes Token seine Relevanz für jedes andere abwägt, und er ist die Architektur hinter GPT, Claude, Gemini, Llama, DeepSeek und Qwen. Das Paper erklärt nicht, warum dieser Name gewählt wurde.
Wofür steht GPT?
Generative pretrained transformer. Generative, weil es Text erzeugt, pretrained, weil es aus einem großen Korpus lernt, bevor es fürs Chatten feinabgestimmt wird, und transformer, weil das die Netzwerkarchitektur ist. OpenAI führte den Namen mit GPT-1 im Juni 2018 ein.
Was ist der Attention-Mechanismus?
Die zentrale Operation eines Transformers. Jedes Token berechnet einen Relevanzwert gegenüber jedem anderen Token in der Sequenz, wandelt die Werte in Gewichte um und mischt die Darstellungen der anderen Token nach diesen Gewichten. So lernt "sie", in einem Satz "Trophäe" und in einem anderen "Koffer" zu bedeuten. Es läuft parallel über alle Token und in mehreren Köpfen pro Schicht.
Warum haben Transformer rekurrente neuronale Netze abgelöst?
Rekurrente Netze lasen Token nacheinander und mussten Informationen bei jedem Schritt weitergeben, was sowohl begrenzte, was sie sich merken konnten, als auch wie schnell sie trainierten. Transformer lesen die gesamte Sequenz auf einmal, behalten also direkten Zugriff auf jedes frühere Token und trainieren als parallele Matrixoperationen, die GPUs effizient ausführen. Das Paper von 2017 erreichte die besten Übersetzungssysteme in einem Bruchteil der Trainingszeit.
Sind alle KI-Modelle Transformer?
Jedes Frontier-LLM ist einer, und ebenso jedes Textmodell, das Whizi anbietet. Die Ausnahmen sind Forschungslinien wie Mamba und Hybride wie Jamba, von denen keine ein Benchmark anführt. Bildgeneratoren wie Stable Diffusion und Flux sind Diffusionsmodelle, eine andere Architektur, obwohl viele intern einen Transformer nutzen, um den Prompt zu lesen. Vision-Modelle, die Bilder lesen, sind seit dem Vision-Transformer-Paper von 2020 Transformer, das Bildpatches als Token behandelt.
