एक मॉडल क्यों काफ़ी नहीं है
कई AI मॉडल इस्तेमाल करने के पक्ष में आम दलील यह है कि हर मॉडल किसी न किसी चीज़ में बेहतर है, इसलिए हर काम के लिए सबसे अच्छा मॉडल चुनना चाहिए। बात सही है, लेकिन यह सबसे कम दिलचस्प वजह है।
बेहतर वजह यह है कि कोई मॉडल अपने खुद के अंधे धब्बे नहीं देख सकता। किसी मॉडल से उसके ही काम की जांच करवाइए और वह ज़्यादातर उसकी पुष्टि ही कर देगा, क्योंकि जिन वेट्स ने गलती पैदा की, उन्हीं ने वह आत्मविश्वास भी पैदा किया। किसी दूसरे मॉडल से पूछिए, जिसे अलग डेटा पर अलग तरीके से ट्रेन किया गया है और जिसकी कमज़ोरियां अलग हैं, तो वह वे चीज़ें पकड़ लेगा जो पहला नहीं पकड़ सका। यह कोई जुगाड़ नहीं है, यह वही वजह है जिसके चलते आप क्लाइंट को ईमेल भेजने से पहले किसी सहकर्मी से उसे पढ़वाते हैं।
दूसरी वजह व्यावहारिक है: मॉडलों की बादशाहत बदलती रहती है। इस तिमाही जो कोडिंग में सबसे आगे है, ज़रूरी नहीं कि अगली तिमाही में भी हो। एक ही कंपनी पर टिका वर्कफ़्लो हर बार रैंकिंग बदलने पर दोबारा बनाना पड़ता है। जो वर्कफ़्लो इस सोच पर बना है कि आप मॉडल बदलते रहेंगे, उसके साथ यह दिक्कत आती ही नहीं।
आगे चार पैटर्न हैं, इसी क्रम में कि मेहनत के मुकाबले कौन कितना फ़ायदा देता है। आपको चारों की ज़रूरत नहीं है। ज़्यादातर लोगों को पहले दो से ही लगभग सब कुछ मिल जाता है।
पैटर्न 1: ड्राफ्ट बनाएं, फिर किसी दूसरे मॉडल से आलोचना करवाएं
सबसे ज़्यादा फ़ायदा देने वाला पैटर्न, और वही जिसे लगभग कोई इस्तेमाल नहीं करता। लिखवाएं एक मॉडल से, समीक्षा करवाएं दूसरे से।
यह इसलिए काम करता है क्योंकि लिखना और परखना दो अलग काम हैं। टेक्स्ट बनाते वक़्त मॉडल इस बात पर ध्यान लगाता है कि आगे की बात सुसंगत लगे। जो मॉडल ऐसा टेक्स्ट परख रहा है जो उसने लिखा ही नहीं, उसका उस तर्क में कोई दांव नहीं है, इसलिए वह साफ़ कह देगा कि तीसरा पैराग्राफ़ बात से जुड़ता ही नहीं, बजाय इसके कि उस पर पर्दा डाल दे।
यहां प्रॉम्प्ट का बहुत बड़ा फ़र्क पड़ता है। "इसके बारे में तुम्हारा क्या ख़्याल है" पूछने पर सिर्फ़ तारीफ़ मिलती है। इसके बजाय यह मांगें:
नीचे दिया टेक्स्ट तुमने नहीं लिखा है और इसमें तुम्हारा कोई दांव नहीं है। इसकी समीक्षा एक शक्की संपादक की तरह करो। इसी क्रम में गिनाओ: 1) हर वह तथ्यात्मक दावा जो गलत है, बिना सबूत है, या ज़रूरत से ज़्यादा मज़बूत है, 2) हर वह जगह जहां तर्क असल में आगे नहीं बढ़ता, 3) सबसे कमज़ोर एक पैराग्राफ़ और ठीक-ठीक क्यों। कुछ भी दोबारा मत लिखो। मुझे यह मत बताओ कि क्या अच्छा है।
आख़िर की तीन हिदायतें ही असली काम करती हैं। "दोबारा मत लिखो" उसे अपनी आवाज़ में एक नया संस्करण बनाने से रोकता है, जो आपने मांगा ही नहीं था। "क्या अच्छा है यह मत बताओ" उस अपने-आप होने वाली तारीफ़ को हटा देता है जिससे ज़्यादातर AI फ़ीडबैक भरा रहता है। "यह तुमने नहीं लिखा" हैरान करने वाली हद तक कारगर फ़्रेमिंग है, क्योंकि इससे मॉडल उन चुनावों का बचाव करना छोड़ देता है जिन्हें वह अपना समझता है।
फिर जिन बातों से आप सहमत हैं, उन्हें लेकर आलोचना वापस पहले मॉडल के पास ले जाएं। कौन सी बात माननी है यह तय करने वाले संपादक आप हैं, और काम का यही बंटवारा बिल्कुल सही है।
ये दो अतिरिक्त मिनट कहां वसूल हो जाते हैं: कुछ भी जो क्लाइंट के पास जा रहा हो, कुछ भी जो सार्वजनिक हो, कुछ भी जहां गलत होना महंगा पड़े। कहां नहीं: एक Slack मैसेज, पहली कच्ची रूपरेखा, या सामान की लिस्ट।
पैटर्न 2: असहमति जांच
हर चीज़ हाथ से सत्यापित किए बिना हैलुसिनेशन पकड़ने का इससे भरोसेमंद तरीका शायद ही कोई है।
वही तथ्यात्मक सवाल दो अलग मॉडलों से, अलग-अलग, एक ही प्रॉम्प्ट के साथ पूछें। फिर तुलना करें। जहां दोनों सहमत हैं, वहां आप शायद ठीक हैं। जहां वे असहमत हैं, वहीं वह जगह मिल गई जिसकी जांच ज़रूरी है।
बस यही पूरी तरकीब है, और यह इसलिए कारगर है क्योंकि हैलुसिनेशन आमतौर पर साझा नहीं होते। जब कोई मॉडल कोई आंकड़ा, केस का नाम, फ़ंक्शन सिग्नेचर या तारीख गढ़ता है, तो अलग तरीके से ट्रेन किया गया दूसरा मॉडल शायद ही वही चीज़ गढ़ेगा। सहमति सही होने का कमज़ोर सबूत है। असहमति इस बात का मज़बूत सबूत है कि कुछ गड़बड़ है, और वह सीधे उसी जगह उंगली रख देती है।
जहां कई दावे एक साथ हों, वहां तुलना का काम भी मॉडल से करवा लें:
नीचे एक ही सवाल के दो जवाब हैं, A और B के निशान के साथ। शैली और लंबाई को अनदेखा करो। हर उस ठोस बिंदु को गिनाओ जहां वे असहमत हैं, जिसमें संख्याओं, तारीखों, नामों और किसी बात को कितने ज़ोर से कहा गया है, इनका फ़र्क भी शामिल है। हर असहमति के लिए बताओ कि कौन सा ज़्यादा सही लगता है और कौन सा एक स्रोत इसे तय कर देगा।
आपके हाथ में तथ्य-जांच के लिए लंबा दस्तावेज़ नहीं, बल्कि जांचने लायक चीज़ों की एक छोटी सूची आती है, और यह सूची आमतौर पर सही जगह इशारा करती है।
दो चेतावनियां। पहली, अगर कोई गलती इंटरनेट पर आम है तो दोनों मॉडल वही गलती दोहरा सकते हैं, इसलिए यह तरीका गढ़ी हुई बातें पकड़ता है, फैली हुई गलत जानकारी नहीं। दूसरी, दो मॉडल सहमत हो गए इसलिए सत्यापन मत छोड़ दीजिए। इससे यह तय होता है कि क्या जांचना है, जांचने की ज़रूरत खत्म नहीं होती।
इस पर इस्तेमाल करें: आंकड़े, कानूनी और चिकित्सा दावे, ऐतिहासिक तथ्य, API की जानकारी, और कुछ भी जिसके लिए आपको बाद में जवाब देना पड़े। इस पर छोड़ दें: राय, रचनात्मक काम, और कुछ भी जहां लगभग सही होना काफ़ी है।
पैटर्न 3: काम के हिसाब से रूटिंग
ज़ाहिर सा पैटर्न, लेकिन इसे ढंग से करना चाहिए। हर तरह का काम उस मॉडल को भेजें जो उसमें सबसे अच्छा है, बजाय इसके कि सब कुछ उसी को भेज दें जो टैब में खुला पड़ा है।
| काम | किसे भेजें | क्यों |
|---|---|---|
| किसी भी लिखी चीज़ का पहला ड्राफ्ट | सबसे मज़बूत लेखन मॉडल | आप संपादन का समय खरीद रहे हैं |
| उसी ड्राफ्ट की समीक्षा | कोई दूसरा मॉडल | ताज़ा नज़र, अलग तरह की कमज़ोरियां |
| इस हफ़्ते से जुड़ी कोई भी बात | लाइव सर्च वाला मॉडल | ट्रेनिंग डेटा हमेशा पीछे रहता है |
| बहुत लंबा दस्तावेज़ या पूरा कोडबेस | बड़े-संदर्भ वाला मॉडल | पहले पूरा अंदर समाएगा, तभी समझा जाएगा |
| कठिन तर्क, गणित, या पेचीदा बग | विस्तारित सोच वाला रीज़निंग मॉडल | धीमा, पर कई-कदम वाली समस्याओं में कहीं ज़्यादा सटीक |
| ज़्यादा मात्रा वाला दोहराव भरा काम | कोई सस्ता और तेज़ मॉडल | वर्गीकरण और टैगिंग पर फ़्रंटियर गुणवत्ता बर्बाद जाती है |
| कुछ भी संवेदनशील | जो भी आपके डेटा नियमों पर खरा उतरे | क्षमता आपकी ज़िम्मेदारियों से ऊपर नहीं है |
एक आदत बनाने लायक है: डिफ़ॉल्ट पर टिकना बंद करें। ज़्यादातर लोग हर काम के लिए वही मॉडल इस्तेमाल करते हैं जो उनकी सदस्यता में मिला था, उन कामों के लिए भी जिनमें वह कमज़ोर है, और फिर नतीजा निकालते हैं कि AI उन कामों में खराब है। कौन सा मॉडल फिट बैठता है, इस पर दस सेकंड सोचना नतीजे में एक घंटा प्रॉम्प्ट सुधारने से ज़्यादा फ़र्क डालता है।
इस फैसले के ज़्यादा विस्तृत रूप के लिए सही AI मॉडल कैसे चुनें पढ़ें, और लंबे दस्तावेज़ वाली पंक्ति क्यों मौजूद है यह समझने के लिए कॉन्टेक्स्ट विंडो क्या है देखें।
पैटर्न 4: लिखित हैंडऑफ़ के साथ रिले
जो काम कई चरणों में फैला हो, उसमें गड़बड़ी की जगह चरणों के बीच का अंतराल होती है। आप एक मॉडल को प्रोजेक्ट समझाते हैं, कुछ काम की जगह तक पहुंचते हैं, फिर दूसरे मॉडल पर जाकर या तो पिछली पूरी बातचीत की दीवार चिपका देते हैं या सब कुछ दोबारा, और खराब तरीके से, समझाते हैं।
इसे ठीक करने के लिए मॉडल बदलने से पहले साफ़ शब्दों में हैंडऑफ़ मांगें:
किसी दूसरे असिस्टेंट के लिए एक हैंडऑफ़ ब्रीफ़ लिखो जिसने यह बातचीत देखी ही नहीं है। इसमें शामिल करो: हम क्या बनाने की कोशिश कर रहे हैं, अब तक कौन से फैसले लिए गए और क्यों, बाधाएं और किन चीज़ों से बचना है, क्या आज़माया गया और खारिज हुआ, और मुझे आगे ठीक-ठीक क्या चाहिए। इतना ठोस लिखो कि वह मुझसे कोई सवाल पूछे बिना काम आगे बढ़ा सके।
यह तब भी काम आता है जब आप मॉडल नहीं बदल रहे। किसी लंबी बातचीत से निकलने का यह सबसे साफ़ तरीका है जो धीमी और धुंधली हो चुकी हो, क्योंकि इसमें मतलब की बात बच जाती है और जमा हुआ शोर छूट जाता है। ब्रीफ़ को एक नई चैट में पेस्ट कीजिए और गुणवत्ता आमतौर पर तुरंत ऊपर चढ़ जाती है।
एक असली रिले ऐसा दिखता है। 200 पन्नों की रिपोर्ट किसी बड़े-संदर्भ वाले मॉडल को दें और उससे एक व्यवस्थित सारांश मांगें, साथ में वे दस अंश जो मायने रखते हैं, हूबहू उद्धृत। उन्हें किसी मज़बूत लेखन मॉडल में ले जाएं और क्लाइंट के लिए नोट तैयार करें। पैटर्न एक वाली आलोचना किसी तीसरे मॉडल से करवाएं। कुल समय, करीब पंद्रह मिनट, और हर चरण में उसी के लायक टूल इस्तेमाल हुआ।
कब इस झंझट में न पड़ें
मल्टी-मॉडल वर्कफ़्लो की अपनी लागत है, और इसे न मानने का नतीजा यह होता है कि लोग दो लाइन का ईमेल लिखने के लिए पूरा तामझाम खड़ा कर लेते हैं।
एक ही मॉडल इस्तेमाल करें जब: काम छोटा हो, गलत होने की कीमत कम हो, आप कुछ बना नहीं रहे बल्कि टटोल रहे हों, आप तेज़ी से दोहरा रहे हों और हर रुकावट आपकी लय तोड़ देगी, या काम सचमुच रचनात्मक हो और दूसरी राय सिर्फ़ आपकी आवाज़ को गंदला करेगी।
दो या ज़्यादा मॉडल इस्तेमाल करें जब: नतीजा किसी और के पास जा रहा हो, तथ्यात्मक सटीकता मायने रखती हो, काम के अलग-अलग चरणों को अलग-अलग खूबियां चाहिए हों, आप अटक गए हों और वाकई किसी अलग नज़रिये की ज़रूरत हो, या आप मॉडल के बताए के आधार पर कोई फैसला लेने वाले हों।
एक ठीक-ठाक नियम: अगर आप यह किसी सहकर्मी को दिखाते, तो दूसरे मॉडल से भी पूछ लीजिए। अगर नहीं दिखाते, तो मत पूछिए।
इसे व्यावहारिक बनाना
यह सब सिद्धांत में सीधा है और व्यवहार में झंझट भरा, अगर हर मॉडल एक अलग सदस्यता के पीछे बैठा हो। रुकावट असली है: अलग टैब, अलग हिस्ट्री, एक से दूसरे में संदर्भ कॉपी करना, फ़ॉर्मेटिंग का बिगड़ना, और वह छोटी सी अनिच्छा जिसकी वजह से ठीक उसी दिन आप आलोचना का दौर छोड़ देते हैं जिस दिन उसकी सबसे ज़्यादा ज़रूरत होती है।
यही रुकावट है जिसकी वजह से ऊपर वाले पैटर्न कम इस्तेमाल होते हैं। ये मुश्किल नहीं हैं, बस इतने उबाऊ हैं कि व्यस्त होने पर छूट जाते हैं।
मल्टी-मॉडल वर्कस्पेस इसी के लिए बना है। Whizi में सारे मॉडल एक ही बातचीत में बैठते हैं, इसलिए आलोचना करवाने का मतलब है मॉडल बदलकर पूछ लेना, न कि दूसरा प्रोडक्ट खोलकर अपना ड्राफ्ट पेस्ट करना। एक हिस्ट्री, आपने अब तक जो कुछ पूछा है उस सब पर एक सर्च, एक बिल। ये दोनों कदम असल में कैसे काम करते हैं, यह देखने के लिए बातचीत के बीच में मॉडल बदलना और मॉडलों की साथ-साथ तुलना पढ़ें।
अगर आप इसे अलग-अलग सदस्यताओं से खुद जोड़ना पसंद करते हैं, तो ये पैटर्न फिर भी काम करते हैं और आपको इन्हें इस्तेमाल करना ही चाहिए। बस इतना बदलता है कि आप कितनी बार इनका मन बना पाते हैं। अगर आप यह सब मुमकिन बनाने के लिए पहले से दो या तीन प्लान का भुगतान कर रहे हैं, तो पहले बचत कैलकुलेटर चलाएं, क्योंकि वही नतीजा पाने का यह आमतौर पर ज़्यादा महंगा रास्ता है।
पैटर्न एक से शुरू करें। अगली बार जो भी चीज़ आप लिखें और जिसे कोई और पढ़ने वाला हो, उस पर किसी दूसरे मॉडल से आलोचना वाला प्रॉम्प्ट चलाएं और देखें कि वह क्या पकड़ता है। यह अकेली आदत इस पूरे लेख के बाकी हिस्से से ज़्यादा कीमती है।
- कुछ भी बाहर भेजने से पहले एक मॉडल से ड्राफ्ट बनवाएं और दूसरे से उसकी आलोचना करवाएं
- वही आलोचना प्रॉम्प्ट इस्तेमाल करें जो दोबारा लिखने और तारीफ़ करने, दोनों से मना करता है
- वही तथ्यात्मक सवाल दो मॉडलों से पूछें और हर उस बिंदु की जांच करें जहां वे अलग हैं
- लंबे दस्तावेज़, कठिन तर्क और ताज़ा सवाल उनके लायक मॉडलों तक भेजें
- मॉडल बदलने या नई चैट शुरू करने से पहले एक लिखित हैंडऑफ़ ब्रीफ़ मांगें
- छोटे, कम-दांव वाले या सिर्फ़ टटोलने वाले काम के लिए यह सब छोड़ दें
अक्सर पूछे जाने वाले सवाल
एक से ज़्यादा AI मॉडल क्यों इस्तेमाल करें?
क्योंकि कोई मॉडल अपने खुद के अंधे धब्बे नहीं देख सकता। अलग तरीके से ट्रेन किया गया दूसरा मॉडल वे गलतियां पकड़ लेता है जिन पर पहला पूरे आत्मविश्वास से टिका था। इसका मतलब यह भी है कि जब भी किसी काम में कोई दूसरी लैब आगे निकलती है, आपका वर्कफ़्लो हर बार टूटता नहीं।
मैं AI हैलुसिनेशन कैसे पकड़ूं?
वही सवाल दो अलग मॉडलों से अलग-अलग पूछें और जवाबों की तुलना करें। गढ़ी हुई बातें शायद ही दो बार एक ही तरह गढ़ी जाती हैं, इसलिए जिस बिंदु पर जवाब असहमत हों, वहीं आपको पुष्टि करनी चाहिए। सहमति से यह तय होता है कि क्या जांचना है, जांचने की ज़रूरत खत्म नहीं होती।
कौन सा मॉडल लिखे और कौन सा समीक्षा करे?
ड्राफ्ट उस मॉडल से बनवाएं जिसे आपके तरह के काम में सबसे कम संपादन चाहिए, आमतौर पर कोई मज़बूत लेखन मॉडल, और समीक्षा किसी दूसरे से करवाएं। समीक्षक कौन है यह उतना मायने नहीं रखता जितना यह कि वह एक अलग मॉडल है जिसकी कमज़ोरियां अलग हैं।
क्या कई मॉडल इस्तेमाल करना अतिरिक्त समय के लायक है?
जो चीज़ किसी और के पास जा रही हो या जिसके लिए आपको जवाब देना पड़े, उसके लिए हां, और आलोचना में करीब दो मिनट लगते हैं। जल्दी वाले, कम-दांव वाले या टटोलने वाले काम के लिए यह बेकार की मेहनत है। अगर आप यह किसी सहकर्मी को दिखाते, तो दूसरे मॉडल से भी पूछ लीजिए।
क्या इसके लिए कई सदस्यताएं चाहिए?
नहीं। मल्टी-मॉडल वर्कस्पेस आपको एक ही प्लान और एक ही हिस्ट्री में सारे प्रमुख मॉडल दे देता है, जिससे वह रुकावट हट जाती है जिसकी वजह से लोग ये कदम छोड़ देते हैं। अलग-अलग सदस्यताओं से भी काम चल जाता है, बस अच्छी आदतें निभाना मुश्किल हो जाता है।