Эмбеддинг, это местоположение, а смысл, это расстояние
Дайте модели эмбеддингов фразу «как вернуть деньги», и она вернёт список чисел. Дайте ей «политика возврата», и она вернёт другой список. Эти два списка окажутся рядом друг с другом. Дайте ей «возврат электронов в катод», и список окажется далеко, хотя в нём есть то же слово.
В этом весь фокус. Модель научилась размещать текст в пространстве с сотнями или тысячами измерений так, что расположение определяет именно смысл, а не набор слов. Как только текст становится местоположением, вопросы о смысле превращаются в вопросы о расстоянии, а расстояние компьютер может вычислить для миллиона объектов за миллисекунды.
Знаменитая ранняя демонстрация из работы word2vec 2013 года показывала арифметику с местоположениями слов: возьмите вектор для «king», вычтите «man», прибавьте «woman», и ближайшим к результату словом окажется «queen». Современные модели эмбеддингов делают то же самое с целыми предложениями и документами, только векторы стали длиннее.
Насколько велик эмбеддинг у моделей, которыми реально пользуются
Длина списка называется количеством измерений. Оно росло вместе с моделями.
word2vec в 2013 году использовал 300 измерений, BERT base в 2018 году, 768; Voyage 3 возвращает 1 024, text-embedding-3-small от OpenAI возвращает 1 536 чисел на каждый ввод, а text-embedding-3-large, 3 072; Gemini Embedding от Google тоже по умолчанию выдаёт 3 072. Больше измерений позволяет уловить более тонкие различия ценой места хранения и времени сравнения, поэтому новые модели также позволяют обрезать список до меньшего размера, когда скорость важнее нюансов.
Каждое из этих чисел само по себе бессмысленно. Измерение 412, это не «формальность» и не «тема». Смысл заключён только в том, где весь список оказывается относительно других списков, поэтому эмбеддинг бесполезен без коллекции, с которой его можно сравнить.
Модели эмбеддингов находят, языковые модели пишут
Люди путают эти два понятия, потому что оба они «ИИ для работы с текстом». На самом деле это разные модели, выполняющие противоположные задачи.
| Модель эмбеддингов | Языковая модель (LLM) | |
|---|---|---|
| Вход | Текст (или изображение) | Текст (или изображение) |
| Выход | Фиксированный список чисел | Новый текст, по одному токену за раз |
| Задача | Разместить ввод так, чтобы похожие вещи оказались рядом | Правдоподобно продолжить ввод |
| Применение | Поиск, сопоставление, кластеризация, извлечение данных | Ответы, написание текста, суммаризация |
| Цена за миллион токенов | $0.02 у text-embedding-3-small | $0.20 у самой дешёвой линейки GPT, от $2 до $10 у топовых моделей |
| Может ли ошибаться? | Может поставить неудачное совпадение на первое место | Может выдумать ответ |
Строка с ценой заслуживает внимания. Эмбеддинг миллиона токенов маленькой моделью OpenAI стоит $0.02, против $0.20 за миллион входных токенов у GPT-5.6 Luna, которая делит звание самой дешёвой линейки GPT с Luna Pro и GPT-5.4 Nano, по данным индекса цен на модели ИИ с ценами OpenRouter на 2026-08-20. Поиск в десять раз дешевле самого дешёвого письма GPT и как минимум в сто раз дешевле письма топовыми моделями. Именно поэтому любая серьёзная система сначала ищет, а потом пишет. Что такое LLM раскрывает сторону написания текста.
Где эмбеддинги работают незаметно для вас
Чат с вашими документами. Когда вы загружаете длинный PDF и задаёте вопрос, файл разбивается на фрагменты, каждый фрагмент превращается в эмбеддинг и сохраняется в векторной базе данных, ваш вопрос тоже становится эмбеддингом, а фрагменты с ближайшими векторами передаются языковой модели в качестве контекста. Модель отвечает на основе этих фрагментов. Это генерация с дополненным поиском, и что такое RAG подробно разбирает этот процесс; эмбеддинги, это его этап поиска. Руководство по чату с PDF объясняет, как задавать вопросы загруженному файлу в Whizi.
Ищется документ или просто читается целиком, зависит от окна контекста. Окно контекста каждой модели, в страницах, показано ниже; всё, что помещается, можно загрузить целиком, а поиск нужен для тех коллекций, которые не помещаются.
Поиск, понимающий синонимы. Сайт поддержки, который на запрос «прекратить платить» выдаёт статью об отмене подписки, сравнивает эмбеддинги, а не совпадающие слова.
Рекомендации и кластеризация. Объекты с близкими векторами похожи друг на друга: связанные товары, дублирующиеся обращения, статьи на одну тему.
Функции памяти в чат приложениях. Когда ассистент «вспоминает» факт из старого разговора, одна из распространённых реализаций превращает прошлые заметки в эмбеддинги и подставляет в подсказку ближайшие из них.
В каждом из этих случаев эмбеддинг занимается поиском, а решение или написание текста берёт на себя что-то другое. И сбой везде одинаковый: если ближайший вектор указывает не на тот фрагмент, всё, что происходит дальше, уверенно отвечает не на тот вопрос, а это промах поиска, который что такое галлюцинация ИИ выделяет как отдельный вид сбоя, отличный от выдумывания.
Что можно сделать с этой идеей, не написав ни строчки кода
Напрямую с эмбеддингом вы будете сталкиваться редко, но понимание механизма меняет то, как вы пользуетесь инструментами, построенными на нём.
- Формулируйте вопрос на языке ответа. Поиск сопоставляет ваш вопрос с фрагментами по смыслу. Вопрос, сформулированный так, как это делает документ, окажется ближе, чем вопрос, сформулированный так, как вы сказали бы вслух.
- Разбивайте большие загрузки по темам. Файл на 400 страниц с тремя не связанными между собой темами создаёт перегруженное пространство эмбеддингов; три отдельных файла ищутся чище.
- Читайте цитируемый фрагмент. Если ответ в чате с файлом ссылается на фрагмент, откройте его. Промах поиска выглядит как уверенный ответ на немного другой вопрос.
- Не рассчитывайте на точные строки. Эмбеддинги работают со смыслом; номер счёта или код детали лучше искать обычным текстовым поиском, и хорошие инструменты сочетают оба подхода.
Правило простое: когда задача, найти нужный фрагмент среди многих, нужна модель эмбеддингов, и она должна быть дешёвой. Когда задача, создать фрагмент, нужна языковая модель, и она должна быть хорошей. У продуктов, которые правильно разделили эти задачи, чат с файлами действительно работает.
- Помните разделение: эмбеддинги ищут, языковые модели пишут
- Формулируйте вопросы к загруженному документу его же терминами
- Разбивайте большие загрузки по темам, чтобы поиску было проще работать
- Открывайте цитируемый фрагмент в любом ответе чата с файлом, прежде чем ему доверять
- Используйте обычный текстовый поиск для точных строк вроде идентификаторов и кодов; эмбеддинги совпадают по смыслу, а не по символам
Частые вопросы
Что такое эмбеддинг простыми словами?
Список чисел, который заменяет собой смысл фрагмента текста, расположенный так, что похожие смыслы получают похожие списки. «Политика возврата» и «как вернуть деньги» оказываются рядом; предложение из химии со словом «возврат» оказывается далеко. Расстояние между списками, это то, как компьютер измеряет связанность.
В чём разница между моделью эмбеддингов и LLM?
Модель эмбеддингов выдаёт фиксированный список чисел, представляющий смысл; языковая модель выдаёт новый текст по одному токену за раз. Первая находит и сопоставляет, вторая пишет и отвечает. Чат с вашими документами использует обе: эмбеддинги, чтобы найти нужные фрагменты, LLM, чтобы написать ответ на их основе.
Сколько измерений у эмбеддинга?
Зависит от модели. word2vec в 2013 году использовал 300, BERT base, 768, а современные модели работают в диапазоне от 1 024 до 3 072: text-embedding-3-small от OpenAI возвращает 1 536, а text-embedding-3-large, 3 072, столько же, сколько Gemini Embedding от Google по умолчанию. Новые модели позволяют обрезать список до меньшего числа измерений, когда скорость важнее нюансов.
Дорого ли обходятся эмбеддинги?
Нет, и в этом вся суть. OpenAI указывает цену text-embedding-3-small в $0.02 за миллион токенов, против $0.20 за миллион входных токенов у GPT-5.6 Luna и от $2 до $5 у топовых чат моделей по прайс листу OpenRouter на 2026-08-20. Поиск в десять, сто раз дешевле написания текста, поэтому системы поиска превращают в эмбеддинги всё, а генерируют только сам ответ.
Где используются эмбеддинги в ChatGPT, Claude или Gemini?
В функциях, которые что-то находят: загрузка файлов и чат с документами, поиск по вашим прошлым разговорам и память, которая вспоминает факты из более ранних чатов. В каждом случае обычная схема такая: превратить текст в эмбеддинг, найти ближайшие совпадения и дать языковой модели написать ответ на их основе. Сам эмбеддинг вам не виден; промах поиска, когда он случается, виден.
