Ембедінг це місце, а зміст це відстань
Дайте моделі ембедінгів речення "як мені повернути гроші", і вона поверне список чисел. Дайте їй "політика повернення коштів", і вона поверне інший список. Ці два списки розташовані близько один до одного. Дайте їй "повернення електронів у катоді", і список опиниться далеко, хоча й містить те саме слово.
У цьому вся суть. Модель навчилася розміщувати текст у просторі із сотнями або тисячами вимірів так, що саме зміст, а не словниковий склад, визначає, де опиниться текст. Коли текст стає місцем, питання про зміст перетворюються на питання про відстань, а відстань комп'ютер може обчислити для мільйона елементів за мілісекунди.
Знаменита рання демонстрація, з роботи word2vec 2013 року, це арифметика над положеннями слів: візьміть вектор для "king", відніміть "man", додайте "woman", і найближче слово до результату буде "queen". Сучасні моделі ембедінгів роблять те саме для цілих речень і документів, а вектори стали довшими.
Наскільки великий ембедінг у моделях, якими люди справді користуються
Довжину списку називають кількістю вимірів. Вона зростала разом із моделями.
word2vec у 2013 році використовував 300 вимірів, BERT base у 2018 році 768; Voyage 3 повертає 1024, text-embedding-3-small від OpenAI повертає 1536 чисел на вхід, а text-embedding-3-large 3072; Gemini Embedding від Google також за замовчуванням видає 3072. Більше вимірів дозволяє тримати тонші відмінності ціною зберігання та часу порівняння, тому новіші моделі також дозволяють обрізати список до меншого розміру, коли швидкість важливіша за нюанси.
Кожне з цих чисел саме по собі нічого не означає. Вимір 412 це не "формальність" і не "тема". Зміст криється лише в тому, де опиняється весь список відносно інших списків, тому ембедінг марний без колекції, з якою його можна порівняти.
Моделі ембедінгів знаходять, мовні моделі пишуть
Люди плутають ці дві речі, бо обидві це "ШІ для роботи з текстом". Насправді це різні моделі з протилежними завданнями.
| Модель ембедінгів | Мовна модель (LLM) | |
|---|---|---|
| Вхід | Текст (або зображення) | Текст (або зображення) |
| Вихід | Фіксований список чисел | Новий текст, по одному токену за раз |
| Завдання | Розмістити вхід так, щоб схожі речі опинилися поруч | Правдоподібно продовжити вхід |
| Використання | Пошук, зіставлення, кластеризація, отримання інформації | Відповіді, написання текстів, стиснення змісту |
| Вартість за мільйон токенів | $0.02 у text-embedding-3-small | $0.20 у найдешевшій моделі GPT, від $2 до $10 у флагманських |
| Чи може помилятися? | Може поставити невдалий збіг на перше місце | Може вигадати відповідь |
Рядок із вартістю варто помітити окремо. Обробка мільйона токенів малою моделлю OpenAI коштує $0.02, тоді як GPT-5.6 Luna, найдешевша модель GPT нарівні з Luna Pro та GPT-5.4 Nano, коштує $0.20 за мільйон вхідних токенів, за даними індексу вартості моделей ШІ за цінами OpenRouter, зафіксованими 2026-08-20. Пошук у десять разів дешевший за найдешевше написання GPT і щонайменше у сто разів дешевший за написання флагманськими моделями. Саме цей розрив пояснює, чому кожна серйозна система спочатку шукає, а потім пише. Що таке LLM розглядає бік написання.
Де ембедінги працюють непомітно для вас
Чат із вашими документами. Коли ви завантажуєте довгий PDF і ставите питання, файл розбивається на фрагменти, кожен фрагмент перетворюється на ембедінг і зберігається у векторній базі даних, ваше питання теж перетворюється на ембедінг, а фрагменти з найближчими векторами передаються мовній моделі як контекст. Модель відповідає на основі цих фрагментів. Це і є retrieval augmented generation, і що таке RAG детально розглядає цей конвеєр; ембедінги це його етап пошуку. Посібник із чату з PDF розповідає, як ставити питання завантаженому файлу у Whizi.
Чи шукають документ, чи просто читають цілком, залежить від вікна контексту. Контекстне вікно кожної моделі, у сторінках, наведене нижче; те, що вміщується, можна завантажити цілком, а пошук інформації існує для колекцій, які не вміщуються.
Пошук, що розуміє синоніми. Сайт підтримки, який видає статтю про скасування підписки на запит "перестати платити", порівнює ембедінги, а не слова.
Рекомендації та кластеризація. Елементи з близькими векторами це схожі елементи: пов'язані товари, дублікати заявок, статті на одну тему.
Функції пам'яті в чат-застосунках. Коли асистент "пам'ятає" факт зі старої розмови, поширена реалізація перетворює минулі нотатки на ембедінги і додає найближчі до запиту.
У кожному з цих випадків ембедінг виконує пошук, а щось інше приймає рішення чи пише текст. Сценарій збою всюди однаковий: якщо найближчий вектор це не той фрагмент, усе, що далі, впевнено відповідає на неправильне питання, і саме це що таке галюцинація ШІ виділяє як окремий тип збою, відмінний від вигадування.
Що можна робити з цією ідеєю без написання коду
Ви рідко матимете справу з ембедінгом безпосередньо, але розуміння механізму змінює те, як ви користуєтеся інструментами, побудованими на ньому.
- Формулюйте запитання мовою відповіді. Пошук зіставляє ваше питання з фрагментами за змістом. Питання, сформульоване так, як формулює документ, опиниться ближче, ніж те, що сформульоване так, як ви сказали б уголос.
- Розбивайте великі завантаження за темами. Файл на 400 сторінок із трьома непов'язаними темами перетворюється на переповнений простір; три окремі файли шукаються чисто.
- Читайте цитований фрагмент. Якщо відповідь чату з файлом цитує фрагмент, відкрийте його. Промах пошуку виглядає як впевнена відповідь на трохи інше питання.
- Очікуйте, що це не спрацює для точних рядків. Ембедінги про зміст; номер рахунку чи код деталі краще знайти звичайним текстовим пошуком, і хороші інструменти поєднують обидва підходи.
Правило вибору: коли завдання знайти потрібний фрагмент серед багатьох, потрібна модель ембедінгів, і вона має бути дешевою. Коли завдання створити фрагмент, потрібна мовна модель, і вона має бути хорошою. Продукти, що правильно розділяють ці ролі, це ті, у яких чат із файлами справді працює.
- Пам'ятайте про розподіл ролей: ембедінги шукають, мовні моделі пишуть
- Формулюйте запитання до завантаженого документа його власними термінами
- Розбивайте великі завантаження за темами, щоб пошуку було легше працювати в чистішому просторі
- Відкривайте цитований фрагмент у будь-якій відповіді чату з файлом, перш ніж довіряти їй
- Використовуйте звичайний текстовий пошук для точних рядків, як-от ID та коди; ембедінги зіставляють зміст, а не символи
Поширені запитання
Що таке ембедінг простими словами?
Список чисел, що заміняє зміст фрагмента тексту, розміщений так, що схожі значення отримують схожі списки. "Політика повернення коштів" і "як мені повернути гроші" опиняються поруч; речення з хімії зі словом "повернення" опиняється далеко. Відстань між списками це те, як комп'ютер вимірює спорідненість.
У чому різниця між моделлю ембедінгів і LLM?
Модель ембедінгів видає фіксований список чисел, що представляє зміст; мовна модель видає новий текст по одному токену за раз. Перша знаходить і зіставляє, друга пише і відповідає. Чат із вашими документами використовує обидві: ембедінги, щоб знайти потрібні фрагменти, LLM, щоб написати відповідь на їх основі.
Скільки вимірів має ембедінг?
Залежить від моделі. word2vec у 2013 році використовував 300, BERT base 768, а сучасні моделі працюють у діапазоні від 1024 до 3072: text-embedding-3-small від OpenAI повертає 1536, а text-embedding-3-large 3072, стільки ж, скільки Gemini Embedding від Google за замовчуванням. Новіші моделі дозволяють обрізати до меншої кількості вимірів, коли швидкість важливіша за нюанси.
Чи дорогі ембедінги?
Ні, і в цьому вся суть. OpenAI вказує ціну text-embedding-3-small у $0.02 за мільйон токенів, тоді як GPT-5.6 Luna коштує $0.20 за мільйон вхідних токенів, а флагманські чат-моделі від $2 до $5, за прайс-листом OpenRouter, зафіксованим 2026-08-20. Пошук у десять, а то й сто разів дешевший за написання, тому системи пошуку інформації перетворюють на ембедінги все, а генерують лише відповідь.
Де ембедінги використовуються в ChatGPT, Claude чи Gemini?
У функціях, що щось шукають: завантаження файлів і чат із документами, пошук у ваших минулих розмовах, а також пам'ять, що пригадує факти з попередніх чатів. У кожному випадку типова реалізація перетворює текст на ембедінг, знаходить найближчі збіги і дає мовній моделі написати відповідь на їх основі. Ембедінг для вас невидимий; промах пошуку, коли він трапляється, ні.
