Что такое трансформер в ИИ?

Одна статья 2017 года заменила рекуррентность вниманием

В июне 2017 года восемь исследователей, в основном из Google, опубликовали статью под названием "Attention Is All You Need". В ней предлагалась сеть для перевода предложений, которая отказалась от рекуррентных слоёв, использовавшихся всеми, и оставила только одну операцию, внимание, повторённую много раз подряд. Базовая модель насчитывала 65 миллионов параметров и превзошла лучшие на тот момент системы перевода с английского на немецкий, при этом обучаясь в разы быстрее.

Идея была прямо в названии. Более ранние языковые сети читали предложение по одному токену за раз, перенося накопленное резюме вперёд, поэтому двадцатое слово знало о первом лишь то, что уцелело после девятнадцати шагов сжатия. Трансформер же читает всю последовательность целиком. Каждый токен спрашивает у каждого другого токена "насколько ты для меня важен", взвешивает ответы и строит своё значение на их основе. Английское слово "bank" означает и "берег", и "банк": рядом со словом "river" оно понимается как берег, а рядом со словом "account" как счёт, и трансформер каждый раз трактует его по-разному.

Девять лет спустя та же архитектура, увеличенная в размерах, отвечает вам, когда вы печатаете в ChatGPT. GPT расшифровывается как generative pretrained transformer (генеративный предобученный трансформер). Claude, Gemini, Llama, DeepSeek и Qwen тоже трансформеры, просто это слово уже не упоминают, потому что сравнивать не с чем.

Внимание, это взвешенный поиск, и каждый токен выполняет его на каждом слое

Возьмём предложение "Кубок не влез в чемодан, потому что он был слишком большой". Чтобы понять, что означает "он", читатель мысленно возвращается к словам "кубок" и "чемодан" и выбирает то, что логично сочетается со "слишком большой". Внимание, это тот же поиск, только выраженный числами.

Каждый токен превращается в три вектора: запрос (query, что я ищу), ключ (key, что я предлагаю) и значение (value, что я привношу, если меня выберут). Токен "он" сравнивает свой запрос с ключом каждого другого токена, получает оценку релевантности для каждого из них, превращает оценки в веса, которые в сумме дают единицу, и складывает значения с этими весами. Его новое представление это в основном "кубок" с небольшой примесью всего остального. Модель делает это параллельно для каждого токена, в нескольких независимых "головах", которые учатся отслеживать разные типы связей, и повторяет процесс в десятках слоёв, уложенных друг на друга.

Отсюда прямо следуют два вывода. Поскольку все токены обрабатываются за один шаг, весь слой сводится к одному большому перемножению матриц, а именно для этого и создан GPU: базовая модель из статьи обучилась за двенадцать часов на восьми GPU. И поскольку каждый токен сравнивается с каждым, стоимость одного слоя растёт пропорционально квадрату длины последовательности: вдвое больше токенов означает вчетверо больше работы для внимания.

Почему именно квадрат оказывается в вашем счёте

Именно из-за этой квадратичной стоимости окно контекста стало характеристикой, за которую конкурируют провайдеры, и именно поэтому использовать его не бесплатно. Модель, принимающая 1,000,000 токенов, вынуждена вычислять внимание по сетке оценок релевантности размером миллион на миллион, причём в каждой голове и на каждом слое, и инженерные приёмы, которые делают это посильным по деньгам (разреженные паттерны, скользящие окна, более дешёвые варианты внимания и кэширование ключей и значений уже обработанных токенов, чтобы следующий запрос не пересчитывал их заново), это и есть причина, по которой окно на 1,000,000 токенов тарифицируется за токен, а не просто отклоняется.

В индексе стоимости моделей ИИ у 47 из 100 моделей с указанной ценой окно контекста составляет 1,000,000 токенов или больше, тогда как у GPT-1 оно было 512 токенов, а у GPT-3 равнялось 2,048 токенам. Каждая из них всё равно тарифицируется за входной токен, потому что каждый отправленный вами токен это строка в той самой сетке. Документ на 300,000 токенов, к которому задали десять вопросов, это 3 миллиона входных токенов, и статья что такое токены в ИИ оценивает это в $6 на Claude Sonnet 5. Архитектура объясняет счёт.

Она же объясняет и типичный сбой. У трансформера нет памяти за пределами его окна. Того, чего нет в последовательности, для него не существует, поэтому длинный разговор забывает своё начало, и именно для этого существует поиск информации (retrieval), тема статьи что такое RAG: он возвращает нужные токены обратно в контекст.

Энкодер, декодер или оба: форма определяет назначение модели

Модель 2017 года состояла из двух половин: энкодера, который читал исходное предложение, и декодера, который писал перевод. Почти каждая модель с тех пор сохраняет только одну из половин.

Все чат-модели, которыми вы пользуетесь, это модели только с декодером. Именно этот выбор, который GPT-1 сделала в 2018 году и с тех пор скопировала каждая чат-модель, объясняет, почему языковая модель генерирует, а не ищет ответ: вся сеть это предсказатель следующего токена, статья что такое температура в ИИ рассказывает про настройку, которая выбирает токен, а что такое LLM продолжает эту тему до галлюцинаций и остального. Модели только с энкодером никуда не делись. Они стали моделями эмбеддингов, которые превращают текст в векторы для поиска, и это вторая задача, с которой внимание справляется отлично.

По тому же пути пошло и компьютерное зрение. В 2020 году в статье про Vision Transformer изображение нарезали на патчи по 16 на 16 пикселей, каждый патч рассматривали как токен, и результат сравнялся с лучшими свёрточными сетями. Именно поэтому одна и та же модель теперь может прочитать и ваш скриншот, и ваш абзац текста: и то и другое приходит как последовательность токенов и проходит через одни и те же слои внимания. Генерация изображений это исключение: большинство моделей для картинок это диффузионные модели, устройство которых другое, и статья что такое генеративный ИИ разбирает это отдельно.

Девять лет от одной статьи до каждой передовой модели, по датам

Таймлайн ниже охватывает период от статьи 2017 года до моделей, на которые сегодня переключает Whizi. Оранжевым отмечены релизы с открытыми весами: именно так архитектура распространилась за пределы двух лабораторий, которые создали её первыми.

Историю масштабирования можно рассказать тремя числами: 65 миллионов параметров в базовой модели 2017 года, 175 миллиардов у GPT-3 три года спустя и 2.4 триллиона у крупнейшей модели Qwen, которую индекс стоимости оценивает в 2026 году, из которых на любой отдельный токен активны около 95 миллиардов. Архитектура на этом пути не менялась по сути. Она стала шире, глубже и лучше обучена на данных. Ставка этой страницы такова: ни одна передовая модель, выпущенная до 2028 года, не окажется ничем, кроме трансформера, и это можно проверить по таймлайну моделей ИИ.