Одна стаття 2017 року замінила рекурентність увагою
У червні 2017 року восьмеро дослідників, здебільшого з Google, опублікували статтю під назвою "Attention Is All You Need". У ній пропонувалася мережа для перекладу речень, яка відмовилася від рекурентних шарів, що використовували всі, і залишила лише одну операцію, увагу, накладену багато разів. Базова модель мала 65 мільйонів параметрів і перевершила найкращі на той момент системи перекладу з англійської на німецьку, тренуючись за частку часу.
Ідея містилася в самій назві. Ранні мовні мережі читали речення по одному токену, переносячи узагальнення вперед, тому двадцяте слово знало лише те, що вижило після дев'ятнадцяти кроків стиснення. Трансформер читає всю послідовність одразу. Кожен токен запитує в кожного іншого токена "наскільки ти для мене важливий", зважує відповіді і будує своє значення на їхній основі. Слово "банк" звертає увагу або на "річку", або на "рахунок" і щоразу виходить іншим.
Через дев'ять років та сама архітектура, масштабована у розмірах, це те, що відповідає, коли ви пишете в ChatGPT. GPT означає generative pretrained transformer. Claude, Gemini, Llama, DeepSeek і Qwen теж є трансформерами, просто цю позначку більше не додають, бо порівнювати вже нема з чим.
Увага, це зважений пошук, і кожен токен виконує його на кожному шарі
Візьмімо речення "Трофей не помістився у валізу, тому що він був завеликий." Щоб зрозуміти, що означає "він", читач озирається на "трофей" і "валізу" й обирає те, що узгоджується з "завеликий". Увага, це той самий пошук, тільки числами.
Кожен токен перетворюється на три вектори: запит (що я шукаю), ключ (що я пропоную) і значення (що я додам, якщо мене обрали). Токен "він" порівнює свій запит із ключем кожного іншого токена, отримує оцінку релевантності для кожного, перетворює ці оцінки на ваги, що в сумі дають одиницю, і додає значення з урахуванням цих ваг. Його нове представлення переважно складається з "трофея" з невеликою домішкою всього іншого. Модель робить це паралельно для кожного токена, у кількох незалежних "головах", які вчаться відстежувати різні типи зв'язків, і повторює це в десятках накладених один на одного шарів.
З цього прямо випливають два наслідки. Оскільки кожен токен обробляється на тому самому кроці, весь шар виконується як одне велике множення матриць, а саме для цього й створено GPU, тож базова модель зі статті натренувалася за дванадцять годин на восьми GPU. І оскільки кожен токен порівнюється з кожним іншим, вартість одного шару зростає пропорційно квадрату довжини послідовності: удвічі більше токенів, учетверо більше роботи для уваги.
Чому саме квадрат виявляється тим числом, що потрапляє у ваш рахунок
Саме через цю квадратичну вартість контекстне вікно стало характеристикою, за якою змагаються провайдери, і саме тому його використання не безкоштовне. Модель, що приймає 1 000 000 токенів, має виконати увагу над сіткою релевантності розміром мільйон на мільйон, у кожній голові, у кожному шарі, і саме інженерні рішення, які роблять це доступним за ціною (розріджені шаблони, ковзні вікна, дешевші варіанти уваги і кешування ключів та значень попередніх токенів, щоб наступний хід не переробляв їх заново), пояснюють, чому вікно на 1 000 000 токенів тарифікується за токен, а не просто заборонене.
В індексі вартості моделей ШІ 47 із 100 рядків із цінами мають вікно від 1 000 000 токенів, тоді як у GPT-1 воно становило 512 токенів, а у GPT-3, 2 048. Кожна з цих моделей все одно виставляє рахунок за вхідний токен, бо кожен надісланий вами токен, це рядок у тій сітці. Документ на 300 000 токенів, до якого поставили десять запитань, це 3 мільйони вхідних токенів, і що таке токени в ШІ оцінює це у $6 на Claude Sonnet 5. Архітектура пояснює рахунок.
Вона також пояснює характер збою. Трансформер не має пам'яті поза своїм вікном. Того, чого немає в послідовності, для нього не існує, тому довга розмова забуває свій початок, і саме для цього існує пошук інформації, тема статті що таке RAG, щоб повернути потрібні токени назад.
Кодувальник, декодувальник або обидва: форма визначає призначення моделі
Модель 2017 року мала дві половини: кодувальник, що читав вихідне речення, і декодувальник, що писав переклад. Майже кожна модель відтоді залишає лише одну половину.
| Форма | Що робить | Тренується на | Приклади |
|---|---|---|---|
| Тільки кодувальник | Читає текст і видає його представлення | Заповнення прихованих слів | BERT (2018), моделі ембеддингів за пошуком |
| Тільки декодувальник | Пише текст по одному токену | Передбачення наступного токена | GPT, Claude, Gemini, Llama, DeepSeek, Qwen |
| Кодувальник і декодувальник | Читає одну послідовність, пише іншу | Переклад чи перетворення | Оригінальна модель 2017 року, T5 |
Чат-моделі, якими ви користуєтеся, усі належать до типу "тільки декодувальник". Цей вибір, зроблений GPT-1 у 2018 році і скопійований відтоді кожною чат-моделлю, пояснює, чому мовна модель радше генерує, ніж шукає: вся мережа є предиктором наступного токена, що таке температура в ШІ описує регулятор, який обирає токен, а що таке LLM продовжує цю тему до галюцинацій та іншого. Моделі лише з кодувальником нікуди не зникли. Вони перетворилися на моделі ембеддингів, які перетворюють текст на вектори для пошуку, а це та інша робота, у якій увага виявилася хорошою.
Зір пройшов той самий шлях. У 2020 році стаття про Vision Transformer розділила зображення на патчі розміром 16 на 16 пікселів, розглядала кожен патч як токен і зрівнялася з найкращими згортковими мережами. Саме тому та сама модель тепер може читати ваш скриншот і ваш абзац: обидва надходять як послідовність токенів і проходять через ті самі шари уваги. Генерація зображень є винятком, більшість моделей зображень, це дифузійні моделі, інша архітектура, яку що таке генеративний ШІ розглядає окремо.
Дев'ять років від однієї статті до кожної провідної моделі, з датами
Наведена нижче хронологія охоплює період від статті 2017 року до моделей, до яких Whizi спрямовує запити сьогодні. Помаранчевим позначено релізи, що вийшли з відкритими вагами, саме так архітектура поширилася за межі двох лабораторій, які створили її першими.
Кількість параметрів розповідає історію масштабу трьома числами: 65 мільйонів у базовій моделі 2017 року, 175 мільярдів у GPT-3 три роки по тому, і 2,4 трильйона у найбільшій моделі Qwen, яку в 2026 році оцінює індекс вартості, з яких активними на кожному токені є близько 95 мільярдів. Архітектура за цей проміжок не змінилася за суттю. Вона стала ширшою, глибшою і краще накачаною даними. Ставка цієї сторінки: жодна провідна модель, випущена до 2028 року, не буде нічим іншим, ніж трансформером, і саме хронологія моделей ШІ покаже, чи так це.
- Сприймайте "трансформер" як "архітектуру, яку поділяють усі сучасні текстові моделі", вона не підказує, яка модель краща
- Очікуйте, що вартість і уповільнення зростатимуть швидше за лінійну залежність від довжини контексту, і завантажуйте довгі документи лише тим розділом, який потрібен
- Пам'ятайте, що модель забуває все поза своїм вікном, повторюйте важливі факти або закріплюйте їх у проєкті
- Ставтеся до зору і тексту як до одного конвеєра: скриншот теж складається з токенів, тому запитуйте про нього так, як запитали б про абзац
- Перевіряйте дату релізу, перш ніж довіряти тому, що модель знає, у архітектури немає власного годинника
Поширені запитання
Що означає трансформер у ШІ?
Трансформер, це архітектура нейронної мережі зі статті 2017 року Attention Is All You Need. Вона обробляє кожен токен послідовності паралельно за допомогою уваги, операції, у якій кожен токен зважує свою релевантність до кожного іншого, і саме ця архітектура лежить в основі GPT, Claude, Gemini, Llama, DeepSeek і Qwen. У статті не пояснюється, чому обрали саме таку назву.
Що означає GPT?
Generative pretrained transformer. Generative, бо генерує текст, pretrained, бо навчається на великому корпусі перед налаштуванням для чату, і transformer, бо саме така архітектура мережі. OpenAI представила цю назву разом із GPT-1 у червні 2018 року.
Що таке механізм уваги?
Операція в центрі трансформера. Кожен токен обчислює оцінку релевантності до кожного іншого токена в послідовності, перетворює ці оцінки на ваги і змішує представлення інших токенів відповідно до цих ваг. Саме так "він" вчиться означати "трофей" в одному реченні і "валізу" в іншому. Це відбувається паралельно для всіх токенів і в кількох головах на кожному шарі.
Чому трансформери замінили рекурентні нейронні мережі?
Рекурентні мережі читали токени один за одним і мусили передавати інформацію вперед через кожен крок, що обмежувало і те, що вони запам'ятовували, і швидкість навчання. Трансформери читають усю послідовність одразу, тому зберігають прямий доступ до кожного попереднього токена і тренуються як паралельні операції з матрицями, які GPU виконують ефективно. Стаття 2017 року зрівнялася з найкращими системами перекладу за частку часу навчання.
Чи всі моделі ШІ є трансформерами?
Кожна провідна LLM є трансформером, як і кожна текстова модель, яку пропонує Whizi, винятки, це дослідницькі напрями на кшталт Mamba і гібриди на кшталт Jamba, жоден з яких не очолює жоден бенчмарк. Генератори зображень на кшталт Stable Diffusion і Flux, це дифузійні моделі, інша архітектура, хоча багато з них використовують трансформер усередині для читання промпту. Моделі зору, що читають зображення, є трансформерами з часів статті про Vision Transformer 2020 року, яка розглядає патчі зображення як токени.
