छोटा जवाब
चैट हेडर में Compare दबाइए, हर कॉलम के लिए एक मॉडल चुनिए, और दोनों को एक ही प्रॉम्प्ट भेजिए। हर कॉलम की अपनी छिपी हुई बातचीत रहती है, इसलिए न तो कोई मॉडल दूसरे का आउटपुट देखता है और न ही कोई जवाब दूसरे से प्रभावित होता है, और यही वजह है कि यह तुलना काम की है। कॉलम एक के बाद एक स्ट्रीम होते हैं, पहले बाएं फिर दाएं, क्योंकि एक समय में हर अकाउंट पर एक ही जनरेशन चलता है।
साइड बाय साइड तुलना एक Powerhouse फ़ीचर है और एक समय में दो मॉडल चलाता है। हर जवाब उसके अपने मॉडल की क्रेडिट दर पर बिल होता है, इसलिए 10 क्रेडिट वाले मॉडल की तुलना 20 क्रेडिट वाले से करने पर कुल 30 क्रेडिट लगते हैं।
इसका इस्तेमाल यह तय करने के लिए कीजिए कि किसी खास काम के लिए कौन सा मॉडल आपका डिफ़ॉल्ट होना चाहिए। अगर आप दो जवाबों की तुलना के बजाय एक जवाब को बेहतर करवाना चाहते हैं, तो दूसरा तरीका अपनाइए: उसी थ्रेड में मॉडल बदलिए और दूसरे से पहले वाले की समीक्षा करवाइए।
बेंचमार्क आपके सवाल का जवाब क्यों नहीं देते
प्रकाशित बेंचमार्क मानकीकृत कामों पर परफ़ॉर्मेंस मापते हैं। आपका सवाल इससे संकरा और ज़्यादा काम का है: कौन सा मॉडल उस काम में बेहतर है जो आप खुद हफ्ते में बीस बार करते हैं। ये दोनों अलग सवाल हैं, और दूसरे का कोई प्रकाशित जवाब नहीं है क्योंकि आपका जैसा कामकाज किसी और का नहीं है।
एक प्रॉम्प्ट को दो मॉडल्स पर चलाने में करीब तीस सेकंड लगते हैं और यह सवाल का सीधा जवाब देता है। अहम बात यह नहीं कि आपको दो जवाब मिले, बल्कि यह कि आपको पता चलता है कि फ़र्क कितना बड़ा है। कभी-कभी आउटपुट लगभग एक जैसे होते हैं, जो बताता है कि उस काम के लिए मॉडल चुनने पर सोचना बंद कर दीजिए। कभी-कभी एक बेकार निकलता है, जो वर्कफ़्लो बनाने से पहले जान लेना ज़रूरी है।
तुलना जो दूसरी चीज़ पकड़ती है वह है भरोसेमंद लगती गलती। जब दो मॉडल एक तथ्यात्मक सवाल पर काफ़ी अलग जवाब देते हैं, तो कम से कम एक गलत होता है, और अकेले किसी एक को पढ़कर आपको यह पता नहीं चलता। यह संकेत किसी भी कीमत पर सिंगल-मॉडल वर्कफ़्लो में नहीं मिलता।
पढ़ने से पहले तय कीजिए कि बेहतर का मतलब क्या है
साइड बाय साइड तुलना में जाल यह है कि जो आउटपुट लंबा, ज़्यादा आत्मविश्वासी या ज़्यादा पॉलिश्ड लगे उसे पसंद कर लिया जाए। ये गुणवत्ता नहीं हैं। पहले अपना मापदंड तय कीजिए, फिर पढ़िए।
| काम | बेहतर का मतलब | क्या नज़रअंदाज़ करें |
|---|---|---|
| लेखन | भेजने लायक बनाने में कम एडिटिंग चाहिए | लंबाई, शब्दावली, उत्साह |
| तथ्यात्मक रिसर्च | ऐसे स्रोत जो दावे को साबित करें और सत्यापित हों | प्रवाह और आत्मविश्वास |
| एक्सट्रैक्शन | सही स्कीमा, कोई गढ़ा हुआ फ़ील्ड नहीं, एक जैसे लेबल | टेबल के आस-पास की भाषा की गुणवत्ता |
| रीज़निंग | कदम सही हों और अपवाद स्थिति को संबोधित किया गया हो | क्या नतीजा आपकी पहले की राय से मेल खाता है |
| कोड | असफलता वाले रास्ते को संभाले, समीक्षा योग्य हो | चतुराई, संक्षिप्तता |
| सारांश बनाना | जो ज़रूरी है उसे रखे, जो नहीं है उसे छोड़े | संपूर्णता |
एक व्यावहारिक तरकीब: कोई भी आउटपुट पढ़ने से पहले, एक वाक्य में लिखिए कि एक अच्छे जवाब में क्या होना चाहिए। फिर पढ़िए। इसमें दस सेकंड लगते हैं और यह पॉलिश बायस को रोकता है, जो काफ़ी मज़बूत और ज़्यादातर अनजाने में होता है।
तथ्यात्मक सवालों के लिए, विजेता की बजाय असहमति को देखिए। जहां दो मॉडल किसी खास आंकड़े और स्रोत पर सहमत हों, वहां भरोसा करना ठीक है। जहां वे अलग-अलग जवाब दें, वही चीज़ है जिसे जाकर सत्यापित करना चाहिए, और यह पूरी कवायद का सबसे कीमती नतीजा है।
प्रॉम्प्ट जो असली फ़र्क उजागर करते हैं
कुछ काम मॉडल्स को साफ़ अलग कर देते हैं और कुछ नहीं। अगर आप तुलना से कुछ सीखना चाहते हैं, तो ऐसे प्रॉम्प्ट इस्तेमाल कीजिए जो किसी खास क्षमता पर दबाव डालें।
- मुश्किल में लहजा।
एक क्लाइंट को नोट लिखिए जिसमें बताएं कि हमसे डेडलाइन छूट गई, ज़िम्मेदारी लीजिए बिना ज़्यादा माफ़ी मांगे और बिना बहाने बनाए। 120 शब्दों से कम में।यहां लहजे में फ़र्क तुरंत दिखता है। - सख़्त एक्सट्रैक्शन।
इस टेक्स्ट से हर तारीख, राशि और पक्ष को बिल्कुल इन्हीं कीज़ के साथ एक JSON ऐरे में निकालिए। अगर कोई फ़ील्ड नहीं है, तो null इस्तेमाल कीजिए। अंदाज़ा मत लगाइए।यह फ़ॉर्मेट अनुशासन और गढ़ने की प्रवृत्ति को परखता है। - जाल वाली रीज़निंग। ऐसा सवाल दीजिए जिसका एक स्वाभाविक पर गलत जवाब हो, जैसे कोई दर या अनुपात वाला सवाल जहां सहज रास्ता गलत हो। मॉडल्स इसमें अलग-अलग व्यवहार करते हैं कि वे शॉर्टकट लेते हैं या नहीं।
- लंबे कॉन्टेक्स्ट की याददाश्त। एक लंबा दस्तावेज़ अपलोड कीजिए और बीच में कुछ के बारे में पूछिए। यह असली इस्तेमाल लायक कॉन्टेक्स्ट दिखाता है, विज्ञापित कॉन्टेक्स्ट नहीं।
- अनजान होना मान लेना।
[कोई सच में अस्पष्ट या हाल का विषय] के बारे में क्या घोषणा हुई?सबसे अच्छा जवाब साफ़ "मुझे नहीं पता है" या स्रोत सहित जवाब होता है। यहां गढ़ना अयोग्य ठहराने वाला है। - नकारात्मक शर्त का पालन।
X को बिना किसी उपमा या रूपक के समझाइए।नकारात्मक निर्देशों का पालन उम्मीद से कहीं ज़्यादा अलग-अलग होता है।
पहेलियों की बजाय अपने असली काम पर तुलना कीजिए। जो मॉडल आपकी तिमाही रिपोर्ट में बेहतर है वह लॉजिक पहेली में बेहतर मॉडल से ज़्यादा काम का है।
एक हफ्ते की तुलनाओं को रूटिंग मैप में बदलना
एक तुलना दिलचस्प होती है। एक हफ्ते की तुलनाएं काम की होती हैं। रूटीन यह है:
- पांच दिनों तक, जब भी कोई काम मायने रखे, उसे एक की बजाय दो मॉडल्स पर चलाइए।
- काम का प्रकार, जीतने वाला, और फ़र्क कितना बड़ा था, नोट कीजिए। तीन शब्द काफ़ी हैं।
- हफ्ते के अंत में देखिए कि कहां एक मॉडल बार-बार जीता और कहां आउटपुट लगभग एक जैसे थे।
- उसी आधार पर अपने डिफ़ॉल्ट सेट कीजिए, और उन कामों पर तुलना करना बंद कीजिए जहां फ़र्क लगातार शून्य के बराबर था।
लोग अक्सर पाते हैं कि तुलना उनके काम के एक छोटे हिस्से पर मायने रखती है और बाकी पर समय की बर्बादी है। जल्दी वाले तथ्यात्मक सवाल, सादी दोबारा लिखाई, और रूटीन फ़ॉर्मेटिंग में मॉडल्स शायद ही अलग दिखते हैं। ऐसा लेखन जो किसी ग्राहक द्वारा पढ़ा जाएगा, ऐसी रिसर्च जो कोई फ़ैसला तय करेगी, और किसी अनजान चीज़ पर रीज़निंग, इनमें बड़ा फ़र्क दिखाते हैं।
यही नतीजा असल फायदा है: आप वहां तुलना करना बंद कर देते हैं जहां कोई फ़र्क नहीं पड़ता, और उसे उन कामों के लिए रखते हैं जहां यह नतीजा बदल देता है।
साइड बाय साइड बनाम क्रमिक
दो अलग तकनीकें, जिन्हें अलग समझना ज़रूरी है।
साइड बाय साइड एक ही प्रॉम्प्ट को दो मॉडल्स पर चलाता है जो एक-दूसरे का आउटपुट नहीं देख सकते। हर कॉलम की अपनी छिपी हुई बातचीत रहती है, जिसे [Compare] प्रीफ़िक्स के साथ नाम दिया जाता है और साइडबार से बाहर रखा जाता है, ताकि फ़ॉलो-अप सवाल भी निष्पक्ष जांच बने रहें: दोनों मॉडल स्वतंत्र मल्टी-टर्न कॉन्टेक्स्ट रखते हैं। यह डिफ़ॉल्ट मॉडल चुनने और तथ्यात्मक असहमति पकड़ने के लिए सही औज़ार है।
क्रमिक का मतलब है एक जवाब लेना, फिर उसी थ्रेड में मॉडल बदलना और नए मॉडल से उसकी समीक्षा करवाना। इसका इस्तेमाल तब कीजिए जब आप तुलना नहीं बल्कि खामी ढूंढ़वाना चाहते हैं, क्योंकि दूसरा मॉडल उस खास तर्क से सीधे जुड़ सकता है। देखें switching models mid-conversation।
मोटा नियम: कौन सा मॉडल तय करने के लिए साइड बाय साइड, जवाब बेहतर करने के लिए क्रमिक।
- तुलना करने से पहले सामान्य चैट में प्रॉम्प्ट लिखिए और उसे बेहतर बनाइए
- किसी भी आउटपुट को पढ़ने से पहले तय कीजिए कि इस काम के लिए बेहतर का मतलब क्या है
- अच्छे जवाब का वर्णन करते हुए एक वाक्य लिखिए, फिर पढ़िए, ताकि पॉलिश बायस से बचा जा सके
- तथ्यात्मक सवालों पर, असहमति को ही नतीजा मानिए और जाकर उसे सत्यापित कीजिए
- पहेलियों की बजाय अपने असली काम पर तुलना कीजिए
- एक हफ्ते तक विजेता और फ़र्क का आकार लॉग कीजिए, फिर उसी पैटर्न से डिफ़ॉल्ट तय कीजिए
- उन कामों पर तुलना करना बंद कीजिए जहां फ़र्क लगातार शून्य के बराबर रहता है
अक्सर पूछे जाने वाले सवाल
मैं एक साथ कितने मॉडल्स की तुलना कर सकता हूं?
साइड बाय साइड तुलना एक Powerhouse फ़ीचर है, और यह एक समय में दो मॉडल चलाता है, जो जानबूझकर है: दो कॉलम ही वह लेआउट है जिसे आप वाकई ध्यान से पढ़ सकते हैं। तीन कॉलम अक्सर सरसरी निगाह में बदल जाते हैं, और सरसरी निगाह मकसद को ही खत्म कर देती है, क्योंकि इस कवायद की कीमत यही जानने में है कि जवाब असल में कहां अलग हैं।
क्या साइड बाय साइड मेरे मासिक मैसेज ज़्यादा इस्तेमाल करता है?
हां, इसकी लागत दोगुनी होती है: दो मॉडल्स हर एक जवाब देते हैं, और हर जवाब उसकी अपनी क्रेडिट दर पर बिल होता है, इसलिए 10 क्रेडिट वाले मॉडल की तुलना 20 क्रेडिट वाले से करने पर 10 या 20 की बजाय 30 क्रेडिट खर्च होते हैं। किसी गलत जवाब या बेकार ड्राफ्ट को भेजने से पहले पकड़ लेना आमतौर पर इसके लायक होता है। सही तरीका यह है कि फ़ैसलों और डिलीवरेबल्स पर तुलना कीजिए, और रूटीन सर्च व जल्दी की दोबारा लिखाई के लिए एक ही मॉडल इस्तेमाल कीजिए।
अगर दोनों जवाब बराबर अच्छे हों तो क्या होगा?
यह एक असली और काम का नतीजा है: यह बताता है कि यह काम मॉडल चुनने पर निर्भर नहीं करता, इसलिए इस पर ध्यान लगाना बंद कीजिए और जो भी आपका डिफ़ॉल्ट हो उसे इस्तेमाल कीजिए। ज़्यादातर कामकाज इसी तरह बंटते हैं, जहां ज़्यादातर काम में मॉडल्स आपस में बदले जा सकते हैं और कुछ में फ़र्क बड़ा होता है। यह पता लगाना कि कौन सा कौन सा है, ही एक हफ्ते तुलना चलाने का मकसद है।
मैं सिर्फ ज़्यादा अच्छा लगने वाला जवाब चुनने से कैसे बचूं?
पढ़ने से पहले अपना मापदंड तय कीजिए। लंबे, ज़्यादा आत्मविश्वासी और ज़्यादा पॉलिश्ड आउटपुट को अक्सर पसंद कर लिया जाता है भले ही वे कमज़ोर हों, और यह झुकाव ज़्यादातर अनजाने में होता है। देखने से पहले एक वाक्य लिखना कि अच्छे जवाब में क्या होना चाहिए, इसे रोकने के लिए काफ़ी है। तथ्यात्मक काम के लिए, यह परखिए कि स्रोत दावे को साबित करते हैं या नहीं, न कि जवाब कैसा पढ़ने में लगता है।
मुझे किन दो मॉडल्स की तुलना करनी चाहिए?
उन दो मॉडल्स की तुलना कीजिए जिनके बीच आप उस खास काम के लिए असल में फ़ैसला ले रहे हैं, जो ज़्यादातर लोगों के लिए लेखन और रीज़निंग में Claude बनाम GPT होता है, या दस्तावेज़ शामिल होने पर बड़े-कॉन्टेक्स्ट वाले मॉडल बनाम आपके डिफ़ॉल्ट का। जिस मॉडल को आप कभी इस्तेमाल ही नहीं करेंगे उसकी अपने पसंदीदा से तुलना करने से आपको ऐसा कुछ नहीं मिलता जिस पर आप कार्रवाई करेंगे।