Что такое LLM? Как работают большие языковые модели

Три слова, и порядок, в котором они важны

Разберём название по словам, в обратном порядке.

Модель. Модель, это функция, которая превращает вход в выход, причём правила выучены из данных, а не написаны программистом. Модель погоды берёт сегодняшние показания и выдаёт завтрашний прогноз. Языковая модель берёт текст и выдаёт вероятность того, что будет дальше.

Язык. Вход и выход, это текст, разбитый на токены, то есть кусочки слов. Что такое токены в ИИ подробно разбирает эту единицу измерения; короткая версия в том, что модель читает и пишет фрагментами примерно в три четверти слова.

Большая. У модели очень много параметров, внутренних чисел, которые настраивает обучение. У GPT-2 в 2019 году было 1,5 миллиарда. У GPT-3 в 2020 году было 175 миллиардов. В каталоге, который этот сайт оценивает в 2026 году, есть модель Qwen с 2,4 триллиона параметров, из которых на каждый токен активны примерно 95 миллиардов. Слово «большая» несёт большую смысловую нагрузку, и за семь лет это число выросло больше чем в тысячу раз.

Итак, LLM представляет собой очень большой предсказатель следующего токена. Все остальные свойства, которые ему приписывают (рассуждения, тон, уверенные ошибки), вытекают именно из этой задачи.

LLM, это не чат-бот, и в этой разнице всё дело

ChatGPT, это приложение. GPT, это модель внутри него. Claude, это одновременно семейство моделей и приложение, которое Anthropic строит вокруг них. У Gemini в Google та же история. Что такое ИИ-чатбот разбирает уровень приложения; эта страница о самом движке.

Это различие перестаёт быть теоретическим, как только вы узнаёте, что движок можно менять. Одно и то же окно чата может отправить сообщение в GPT, Claude, Gemini, DeepSeek или Llama, и ответы будут отличаться по тону, цене, скорости и точности. Мультимодельное рабочее пространство вроде Whizi устроено именно так: одно окно, 280+ моделей за ним, и переключатель, который выбирает, кто отвечает. Приложение, это руль. LLM, это двигатель, и таких двигателей десятки.

Как обучают LLM: два этапа

Этап первый, предобучение. Модель читает огромный корпус текста и на каждой позиции пытается угадать следующий токен. Каждая ошибка немного сдвигает параметры. Meta сообщила, что Llama 3 предобучалась на более чем 15 триллионах токенов, а это, если считать, что в романе на 75 000 слов примерно 100 000 токенов (три четверти слова на токен), текст примерно 150 миллионов книг. После этого этапа модель превосходно продолжает текст, но плохо годится в ассистенты: задайте ей вопрос, и она может продолжить его ещё тремя вопросами, потому что именно так часто устроен текст в интернете.

Этап второй, постобучение. Модели показывают примеры хороших ответов, а люди оценивают, какой из двух вариантов лучше: этот процесс называется обучением с подкреплением на основе отзывов людей, или RLHF. Именно отсюда берётся поведение ассистента: ответ в том формате, который вы попросили, и отказ выполнять некоторые запросы. Это тренировка поведения, а не новые знания. Факты по-прежнему берутся из первого этапа.

Из этих двух этапов следуют две вещи. Знания модели останавливаются на дате окончания данных предобучения, поэтому у каждой модели есть точка отсечения знаний. И ни один из этапов не устанавливает факт-чекер: модель училась выдавать правдоподобный текст, а затем выдавать текст, который нравится людям. Истина, это частый побочный эффект обоих процессов, а не гарантия. Почему ИИ ошибается разбирает это подробнее.

Почему LLM предсказывает, а не ищет ответ

Поисковая система извлекает данные. У неё есть индекс страниц, и она возвращает те, что подходят под запрос. У LLM индекса нет. Всё, что она прочитала во время предобучения, сжато в её параметрах, и во время ответа она заново генерирует текст из этого сжатия, токен за токеном, выбирая каждый токен из распределения вероятностей.

Именно поэтому LLM может написать рабочий рецепт блюда, названия которого она никогда не встречала, и именно поэтому она может выдать несуществующую судебную цитату. И то, и другое, правдоподобное продолжение. У модели нет отдельного механизма, который проверяет, является ли правдоподобное продолжение реальным.

Решение, которое используют продукты, это добавить поиск сбоку: сначала найти в вебе или в ваших файлах, а затем передать модели найденные фрагменты и попросить ответить на их основе. Эта техника называется RAG, и что такое RAG объясняет её подробно. Веб-поиск внутри чат-приложения, это RAG с интернетом в качестве источника. Модель по-прежнему предсказывает, просто предсказывает на основе лучшего материала.

Что покупает цена внутри семейства моделей, в цифрах

Каждое семейство выпускает лестницу моделей: младшую, среднюю и флагманскую. Artificial Analysis Intelligence Index, сводный балл по публичным бенчмаркам рассуждений, кода и знаний, присваивает число каждой ступени, а таблица лидеров указывает рядом смешанную цену за миллион токенов. Четыре лестницы ниже были сняты 2026-09-17.

OpenAI покупает 15 баллов за 18-кратную цену, Anthropic 35 баллов за 36-кратную, Qwen 19 баллов за 16-кратную. DeepSeek ломает эту закономерность: V4 Flash обгоняет V4 Pro по баллам при цене меньше половины. Отсюда следуют две вещи. Внутри семейства последние несколько баллов обходятся дороже всего, поэтому для короткого фактического вопроса младшая модель даёт тот же ответ, что и флагман. А между семействами цена, слабый ориентир качества: DeepSeek V4 Flash по $0.27 за миллион токенов набирает на два балла больше, чем Claude Sonnet 5 по $5.09. Это самое полезное, что нужно знать про LLM как покупателю: модель, это регулятор, а не фиксированная стоимость. Whizi берёт плату по той же логике: одно сообщение на домашней модели стоит один кредит, Claude Opus 5, 20 кредитов, а самые дорогие модели обходятся до 100 кредитов, и как работают кредиты Whizi расписывает это по каждой модели.

Честная оговорка в том, что сводный индекс, это усреднение по задачам. Для длинной цепочки рассуждений флагман оправдывает свою цену; для простого рерайта нет. Для сравнения того, в чём каждое семейство действительно сильно, какую модель ИИ выбрать, это страница с решением.

Что LLM не умеет: один список

Всё ниже, это следствие архитектуры, а не баг, который исправят в следующем релизе.

• Она не знает ничего после точки отсечения обучения, если только поиск не передаст ей нужный текст.
• Она не умеет надёжно считать на длинных входных данных, потому что работает в токенах и вероятностях, а не в цикле по элементам.
• Она не может проверить собственный вывод; повторный проход той же модели, это тот же предсказатель, который снова угадывает.
• Она не помнит вас между разговорами, если продукт сам не сохраняет заметки и не вставляет их обратно; такая память, это функция продукта, а не модели.
• Она не видит весь разговор вечно. У каждой модели есть контекстное окно, максимальный объём текста, который она может учитывать за раз, и что такое контекстное окно объясняет, что происходит, когда вы в него упираетесь.

Практический вывод: относитесь к LLM как к бегло говорящему, но иногда неправому коллеге, а проверку оставляйте за собой. Цикл, который превращает модель в нечто, действующее самостоятельно, это уже другое дело, и что такое ИИ-агент проводит эту границу. Если на кону есть цена ошибки, спросите вторую модель. Согласие двух разных предсказателей, слабое доказательство; их разногласие, сильный сигнал проверить.