एक embedding एक जगह है, और अर्थ दूरी है
किसी embedding मॉडल को "how do I get my money back" वाक्य दीजिए और यह संख्याओं की एक सूची लौटाएगा। इसे "refund policy" दीजिए और यह एक और सूची लौटाएगा। दोनों सूचियां पास पास हैं। इसे "the refund of electrons in the cathode" दीजिए और सूची दूर जा बैठती है, भले ही यह वही शब्द साझा करती हो।
यही पूरी तरकीब है। मॉडल ने टेक्स्ट को सैकड़ों या हजारों डाइमेंशन वाली एक जगह में इस तरह रखना सीख लिया है कि शब्दावली नहीं बल्कि अर्थ तय करे कि चीजें कहां बैठती हैं। एक बार टेक्स्ट एक जगह बन जाए, तो अर्थ से जुड़े सवाल दूरी से जुड़े सवाल बन जाते हैं, और दूरी वह चीज है जिसे कंप्यूटर मिलीसेकंड में दस लाख आइटम के लिए हिसाब लगा सकता है।
2013 में word2vec के काम से आया मशहूर शुरुआती प्रदर्शन शब्दों की जगहों पर अंकगणित था: "king" के लिए वेक्टर लें, "man" घटाएं, "woman" जोड़ें, और परिणाम के सबसे पास का शब्द "queen" निकलता है। आधुनिक embedding मॉडल पूरे वाक्यों और दस्तावेजों के लिए वही करते हैं, और वेक्टर लंबे होते हैं।
जो मॉडल लोग असल में इस्तेमाल करते हैं, उन पर एक embedding कितना बड़ा होता है
सूची की लंबाई को उसका डाइमेंशन काउंट कहा जाता है। यह मॉडलों के साथ बढ़ता गया है।
2013 में word2vec ने 300 डाइमेंशन इस्तेमाल किए और 2018 में BERT base ने 768; Voyage 3 1,024 लौटाता है, OpenAI का text-embedding-3-small प्रति इनपुट 1,536 संख्याएं लौटाता है और text-embedding-3-large 3,072 लौटाता है; Google का Gemini Embedding भी डिफॉल्ट रूप से 3,072 देता है। ज्यादा डाइमेंशन बारीक अंतर रख सकते हैं, स्टोरेज और तुलना के समय की कीमत पर, इसलिए नए मॉडल आपको सूची को छोटे आकार में काटने भी देते हैं जब बारीकी से ज्यादा स्पीड मायने रखती है।
उनमें से हर संख्या अपने आप में बेमानी है। डाइमेंशन 412 "formality" या "topic" नहीं है। अर्थ केवल इसमें है कि पूरी सूची दूसरी सूचियों के मुकाबले कहां बैठती है, इसीलिए एक embedding बिना तुलना करने के लिए किसी संग्रह के बेकार है।
Embedding मॉडल ढूंढते हैं; language मॉडल लिखते हैं
लोग इन दोनों को गड्डमड्ड कर देते हैं क्योंकि दोनों "टेक्स्ट पर AI" हैं। ये अलग अलग मॉडल हैं जो उल्टे काम करते हैं।
| Embedding मॉडल | Language मॉडल (LLM) | |
|---|---|---|
| इनपुट | टेक्स्ट (या एक इमेज) | टेक्स्ट (या एक इमेज) |
| आउटपुट | संख्याओं की एक तय सूची | नया टेक्स्ट, एक बार में एक टोकन |
| काम | इनपुट को इस तरह रखना कि मिलती जुलती चीजें पास हों | इनपुट को समझदारी से जारी रखना |
| इस्तेमाल | सर्च, मैचिंग, क्लस्टरिंग, रिट्रीवल | जवाब देना, लिखना, सारांश बनाना |
| प्रति मिलियन टोकन कीमत | text-embedding-3-small पर $0.02 | सबसे सस्ते GPT रो पर $0.20, फ्रंटियर वालों पर $2 से $10 |
| क्या यह गलत हो सकता है? | यह एक कमजोर मैच को पहले रैंक कर सकता है | यह एक जवाब गढ़ सकता है |
कीमत वाली रो पर ध्यान देने लायक है। OpenAI के छोटे मॉडल से दस लाख टोकन embed करने की कीमत $0.02 है, जबकि GPT-5.6 Luna के लिए प्रति मिलियन इनपुट टोकन $0.20 है, जो Luna Pro और GPT-5.4 Nano के साथ सबसे सस्ती GPT रो में बराबर है, AI मॉडल कॉस्ट इंडेक्स के मुताबिक जो OpenRouter की कीमतों पर 2026-08-20 को लिया गया। ढूंढना सबसे सस्ते GPT लेखन से दस गुना सस्ता है और फ्रंटियर लेखन से कम से कम सौ गुना सस्ता। यही अंतर है जिसकी वजह से हर गंभीर सिस्टम पहले ढूंढता है, फिर लिखता है। LLM क्या है लिखने वाले पहलू को कवर करता है।
Embeddings बिना दिखे कहां चलते हैं
अपने दस्तावेजों से chat करना। जब आप एक लंबी PDF अपलोड करते हैं और कोई सवाल पूछते हैं, तो फाइल को हिस्सों में बांटा जाता है, हर हिस्से को embed करके एक vector डेटाबेस में स्टोर किया जाता है, आपके सवाल को embed किया जाता है, और जिन हिस्सों के वेक्टर सबसे पास बैठते हैं उन्हें कॉन्टेक्स्ट के तौर पर language मॉडल को दिया जाता है। मॉडल उन्हीं हिस्सों से जवाब देता है। इसे retrieval-augmented generation कहते हैं, और RAG क्या है इस पूरी प्रक्रिया को समझाता है; embeddings इसका सर्च स्टेप हैं। chat with PDF गाइड बताती है कि Whizi में अपलोड की गई फाइल से सवाल कैसे पूछें।
क्या किसी दस्तावेज को खोजा जाए या पूरा पढ़ लिया जाए, यह विंडो पर निर्भर करता है। हर मॉडल की context window नीचे पन्नों में दी गई है; जो भी उसमें समा जाए वह पूरा जा सकता है, और उन संग्रहों के लिए रिट्रीवल है जो नहीं समाते।
समानार्थी शब्दों को समझने वाली सर्च। एक सपोर्ट साइट जो "stop paying" के लिए कैंसिलेशन वाला आर्टिकल लौटाती है, वह embeddings की तुलना कर रही है, शब्दों की मिलान नहीं।
सिफारिशें और क्लस्टरिंग। पास के वेक्टर वाले आइटम मिलती जुलती चीजें हैं: संबंधित प्रोडक्ट, डुप्लीकेट टिकट, एक ही विषय के आर्टिकल।
चैट ऐप्स में मेमोरी फीचर। जब कोई असिस्टेंट किसी पुरानी बातचीत से एक तथ्य "याद" रखता है, तो एक आम तरीका पुराने नोट्स को embed करना और सबसे पास वालों को प्रॉम्प्ट में वापस लाना है।
हर मामले में embedding ढूंढने का काम करता है और कुछ और तय करने या लिखने का काम करता है। नाकामी का तरीका भी हर जगह एक जैसा है: अगर सबसे पास का वेक्टर गलत हिस्सा है, तो आगे की हर चीज भरोसे से गलत सवाल का जवाब दे रही होती है, जिसे AI hallucination क्या है गढ़ने से अलग एक नाकामी के तौर पर गिनाता है।
कोड लिखे बिना आप इस सोच से क्या कर सकते हैं
आप शायद ही कभी सीधे किसी embedding को संभालेंगे, लेकिन इसका तरीका जानना बदल देता है कि आप इस पर बने टूल्स कैसे इस्तेमाल करते हैं।
- जवाब की भाषा में सवाल पूछें। रिट्रीवल आपके सवाल को अर्थ के आधार पर हिस्सों से मिलाता है। जो सवाल दस्तावेज के लहजे में पूछा जाए वह उससे ज्यादा पास बैठता है जो आप बोलचाल में कहते।
- बड़ी अपलोड को विषय के हिसाब से बांटें। तीन अलग विषयों वाली 400 पन्नों की फाइल एक भरी भरी जगह में embed होती है; तीन अलग फाइलें साफ तरीके से रिट्रीव होती हैं।
- जिस हिस्से का हवाला दिया जाए उसे पढ़ें। अगर chat with file वाला जवाब किसी हिस्से का हवाला देता है, तो उसे खोलें। रिट्रीवल की चूक थोड़े अलग सवाल के भरोसेमंद जवाब जैसी दिखती है।
- उम्मीद रखें कि यह ठीक ठीक स्ट्रिंग्स पर चूक जाएगा। Embeddings अर्थ के बारे में हैं; एक इनवॉइस नंबर या पार्ट कोड को सादे टेक्स्ट सर्च से बेहतर ढूंढा जाता है, और अच्छे टूल्स दोनों को मिलाते हैं।
फैसले का नियम यह है: जब काम कई में से सही टुकड़ा ढूंढना है, तो आपको एक embedding मॉडल चाहिए, और वह सस्ता होना चाहिए। जब काम एक टुकड़ा बनाना है, तो आपको एक language मॉडल चाहिए, और वह अच्छा होना चाहिए। जो प्रोडक्ट यह बंटवारा सही करते हैं, उन्हीं की फाइल चैट असल में काम करती है।
- यह बंटवारा याद रखें: embeddings ढूंढते हैं, language मॉडल लिखते हैं
- अपलोड किए गए दस्तावेज से उसी की अपनी भाषा में सवाल पूछें
- बड़ी अपलोड को विषय के हिसाब से बांटें ताकि रिट्रीवल को साफ जगह मिले
- किसी भी chat with file जवाब का हवाला दिया हिस्सा भरोसा करने से पहले खोलें
- IDs और कोड जैसी ठीक ठीक स्ट्रिंग्स के लिए सादा टेक्स्ट सर्च इस्तेमाल करें; embeddings अर्थ मिलाते हैं, अक्षर नहीं
अक्सर पूछे जाने वाले सवाल
आसान शब्दों में embedding क्या है?
संख्याओं की एक सूची जो टेक्स्ट के किसी हिस्से के अर्थ की जगह लेती है, इस तरह रखी गई कि मिलते जुलते अर्थों को मिलती जुलती सूचियां मिलें। "Refund policy" और "how do I get my money back" पास पास बैठते हैं; refund शब्द वाला केमिस्ट्री का वाक्य दूर बैठता है। सूचियों के बीच की दूरी ही है जिससे कंप्यूटर संबंध नापता है।
Embedding मॉडल और LLM में क्या फर्क है?
एक embedding मॉडल अर्थ को दर्शाती संख्याओं की एक तय सूची देता है; एक language मॉडल एक बार में एक टोकन करके नया टेक्स्ट देता है। पहला ढूंढता और मिलाता है, दूसरा लिखता और जवाब देता है। Chat with your documents दोनों इस्तेमाल करता है: संबंधित हिस्सों को लाने के लिए embeddings, और उनसे जवाब लिखने के लिए LLM।
एक embedding में कितने डाइमेंशन होते हैं?
यह मॉडल पर निर्भर करता है। 2013 में word2vec ने 300 इस्तेमाल किए, BERT base ने 768, और मौजूदा मॉडल 1,024 से 3,072 तक चलते हैं: OpenAI का text-embedding-3-small 1,536 लौटाता है और text-embedding-3-large 3,072, जो Google के Gemini Embedding डिफॉल्ट जितना ही है। नए मॉडल आपको कम डाइमेंशन तक काटने देते हैं जब बारीकी से ज्यादा स्पीड मायने रखती है।
क्या embeddings महंगे हैं?
नहीं, और यही खास बात है। OpenAI text-embedding-3-small की कीमत $0.02 प्रति मिलियन टोकन बताता है, जबकि GPT-5.6 Luna के लिए प्रति मिलियन इनपुट टोकन $0.20 है और फ्रंटियर चैट मॉडलों के लिए OpenRouter की लिस्ट कीमतों पर, जो 2026-08-20 को ली गई थीं, $2 से $5 है। ढूंढना लिखने से दस से सौ गुना सस्ता है, इसीलिए रिट्रीवल सिस्टम सब कुछ embed करते हैं और सिर्फ जवाब जनरेट करते हैं।
ChatGPT, Claude या Gemini में embeddings कहां इस्तेमाल होते हैं?
उन फीचर्स में जो चीजें ढूंढते हैं: फाइल अपलोड और chat-with-documents, आपकी पुरानी बातचीत पर सर्च, और मेमोरी जो पुराने चैट के तथ्य याद रखती है। हर मामले में आम तरीका यह है कि टेक्स्ट को embed करें, सबसे पास के मैच रिट्रीव करें, और language मॉडल से उनसे लिखवाएं। Embedding आपको दिखता नहीं है; रिट्रीवल की चूक, जब होती है, दिखती है।
