लॉन्च बेंचमार्क आपके सवाल का जवाब क्यों नहीं देंगे
हर फ्रंटियर रिलीज़ एक चार्ट के साथ आती है जो उसे मानकीकृत मूल्यांकनों के एक सेट में आगे दिखाता है। वे आंकड़े असली होते हैं, और साथ ही यह तय करने के लिए लगभग बेकार भी होते हैं कि आपको सोमवार को क्या इस्तेमाल करना चाहिए, तीन वजहों से।
अंतर छोटे होते हैं और काम आपके नहीं होते। किसी रीज़निंग बेंचमार्क पर दो अंकों का फ़र्क़ यह नहीं बताता कि कोई मॉडल बेहतर क्लाइंट ईमेल लिखता है या दो सौ पंक्तियों में स्कीमा को ज़्यादा भरोसेमंद तरीके से बनाए रखता है।
बेंचमार्क वही काम मापते हैं जिन्हें आसानी से अंक दिए जा सकें। जिनका एक सही जवाब होता है। ज़्यादातर पेशेवर काम में कोई एक सही जवाब नहीं होता: लहजा, ढांचा, यह समझ कि क्या छोड़ना है। यही वे जगहें हैं जहां मॉडल सबसे ज़्यादा अलग होते हैं और जहां कुछ भी नहीं मापा जाता।
लॉन्च की तुलनाएं वेंडर द्वारा की जाती हैं। ज़रूरी नहीं कि बेईमानी से, लेकिन कोई भी वह मूल्यांकन प्रकाशित नहीं करता जिसमें उसका मॉडल दूसरे नंबर पर आया हो।
जिस सवाल का जवाब देना ज़रूरी है वह ज़्यादा संकरा है: जो खास काम आप हफ़्ते में बीस बार करते हैं, उनमें इन दोनों में से कौन बेहतर है? इसका कोई प्रकाशित जवाब नहीं है, और पता लगाने में करीब एक घंटा लगता है।
रिलीज़ के बीच वाकई क्या बदलता है
हाल की फ्रंटियर रिलीज़ों में, रोज़मर्रा के इस्तेमाल में मायने रखने वाले सुधार लगातार एक जैसे क्षेत्रों में होते हैं, और वे शायद ही कभी घोषणा में दिखाए जाते हैं।
| क्या बेहतर हुआ | आप कैसे नोटिस करते हैं | क्या बेंचमार्क इसे दिखाता है |
|---|---|---|
| निर्देशों का पालन | यह आपकी तीसरी शर्त को नज़रअंदाज़ करना बंद कर देता है | कभी-कभार |
| नकारात्मक निर्देश | "उपमाओं का इस्तेमाल न करें" का वाकई पालन होता है | नहीं |
| लॉन्ग-कॉन्टेक्स्ट रिकॉल | यह पेज 140 पर मौजूद चीज़ खोज लेता है, सिर्फ़ पेज 3 पर नहीं | आंशिक रूप से |
| फ़ॉर्मेटिंग अनुशासन | टेबल में हर बार वही कॉलम होते हैं जो आपने मांगे थे | नहीं |
| संतुलित अनिश्चितता | यह गढ़ने के बजाय कहता है कि उसे पता नहीं है | नहीं |
| लहजे पर नियंत्रण | भेजने लायक बनने से पहले कम बार दोबारा लिखना पड़ता है | नहीं |
| रीज़निंग की गहराई | यह वह एज केस पकड़ लेता है जो आपसे छूट गया | हां, यही वह चीज़ है जो वे मापते हैं |
उन सात में से पांच किसी बेंचमार्क चार्ट में अदृश्य होते हैं, और यही वजह है कि नया मॉडल काम करने में बेहतर या बदतर महसूस होता है। ख़ासकर निर्देशों का पालन, उस पहले ड्राफ्ट के बीच का फ़र्क़ है जिसे आप संपादित करते हैं और उस पहले ड्राफ्ट के बीच जिसे आप फेंक देते हैं।
एक घंटे का मूल्यांकन
लॉन्च कवरेज पढ़ने के बजाय यह करें। दोनों मॉडलों को अपनी ही सामग्री पर साथ-साथ चलाएं।
- पिछले दो हफ़्तों के पांच असली काम इकट्ठा करें। असली वाले, आपके असली संदर्भ के साथ, टॉय प्रॉम्प्ट नहीं। कम से कम एक लेखन कार्य, एक स्ट्रक्चर्ड आउटपुट कार्य, और एक ऐसा कार्य शामिल करें जहां आपको किसी अपरिचित चीज़ के बारे में तर्क करना पड़ा हो।
- लिख लें कि एक अच्छे जवाब में क्या होना चाहिए, हर काम के लिए, एक वाक्य में, कुछ भी चलाने से पहले। यह वह कदम है जो आपको उस आउटपुट को पसंद करने से रोकता है जो सिर्फ़ लंबा और ज़्यादा आत्मविश्वासी हो, जो एक मज़बूत और काफ़ी हद तक अनजाने पूर्वाग्रह है।
- हर काम को दोनों मॉडलों पर साथ-साथ चलाएं ताकि कोई भी जवाब दूसरे से प्रभावित न हो।
- संपादन में लगने वाली मेहनत पर अंक दें, यानी आउटपुट और भेजने लायक किसी चीज़ के बीच कितना काम बचता है। यह नहीं कि वह पढ़ने में कैसा लगता है।
- सिर्फ़ विजेता नहीं, अंतर का आकार भी नोट करें। एक जैसे नतीजे आपको बताते हैं कि उस काम के लिए मॉडल चुनने के बारे में सोचना बंद कर दें, जो वाकई काम की जानकारी है।
- लॉग को सहेज कर रखें। तीन महीने बाद, जब अगली रिलीज़ आएगी, आप वही पांच काम दोबारा चलाएंगे और बीस मिनट में असली जवाब पा लेंगे।
वह आख़िरी बिंदु ही असली मुनाफ़ा देने वाला है। एक सहेजा हुआ मूल्यांकन सेट ही वह इकलौती चीज़ है जो हर अगली रिलीज़ का आकलन सस्ता बना देती है।
छह प्रॉम्प्ट जो फ्रंटियर मॉडलों को अलग करते हैं
सामान्य सवालों पर किसी भी सक्षम मॉडल से मिलते-जुलते जवाब आते हैं। अगर आप फ़र्क़ देखना चाहते हैं, तो किसी खास क्षमता पर दबाव डालें।
- कठिन परिस्थिति में लहजा।
एक क्लाइंट को यह बताते हुए नोट लिखें कि हमसे डेडलाइन छूट गई। बिना ज़्यादा माफ़ी मांगे और बिना बहाने बनाए ज़िम्मेदारी लें। 120 शब्दों से कम में।रजिस्टर के फ़र्क़ तुरंत सामने आ जाते हैं। - नकारात्मक शर्त।
[अवधारणा] को बिना किसी उपमा या रूपक का इस्तेमाल किए समझाएं।नकारात्मक निर्देशों का पालन उम्मीद से कहीं ज़्यादा अलग-अलग होता है। - सख़्त निष्कर्षण।
हर तारीख़, राशि और पक्ष को ठीक इन्हीं keys के साथ एक JSON array में निकालें। अगर कोई फ़ील्ड मौजूद न हो तो null इस्तेमाल करें। अनुमान न लगाएं।यह फ़ॉर्मेट अनुशासन और खाली जगह भरने की प्रवृत्ति को परखता है। - लॉन्ग-कॉन्टेक्स्ट रिकॉल। एक लंबा डॉक्यूमेंट अपलोड करें और बीच में मौजूद किसी चीज़ के बारे में पूछें। इससे पता चलता है कि असल में इस्तेमाल होने लायक कॉन्टेक्स्ट कितना है, जो विज्ञापित कॉन्टेक्स्ट जैसा नहीं होता।
- अनभिज्ञता स्वीकार करना। किसी वाकई अस्पष्ट या हाल की चीज़ के बारे में पूछें। सबसे अच्छा जवाब साफ़ "मुझे नहीं पता" या स्रोत के साथ जानकारी लाना है। यहां मनगढ़ंत जवाब देना किसी भी बेंचमार्क की परवाह किए बिना अयोग्य ठहराता है।
- कई शर्तों का पालन। एक साथ छह शर्तें दें और गिनें कि कितनी बची रहती हैं। यह अकेला टेस्ट सूची में मौजूद किसी भी और चीज़ से बेहतर रोज़मर्रा की संतुष्टि का अंदाज़ा देता है।
जवाब आमतौर पर होता है "दोनों, अलग-अलग चीज़ों के लिए"
लोग किसी रिलीज़ के पास एक फ़ैसला चाहते हुए आते हैं, और मूल्यांकन चलाने के बाद ईमानदार नतीजा लगभग हमेशा बंटा हुआ होता है। एक मॉडल लेखन और लहजे में जीतता है। दूसरा सख़्त ढांचे और रफ़्तार में जीतता है। सामान्य रीज़निंग में वे इतने करीब होते हैं कि यह कुछ तय नहीं करता।
यह कोई घुमाव नहीं है, यह असली नतीजा है, और इसका एक व्यावहारिक असर है। अगर आप सिर्फ़ एक मॉडल इस्तेमाल कर सकते हैं, तो आप चुन रहे हैं कि किस तरह के काम में बदतर रहना है। अगर आप दोनों इस्तेमाल कर सकते हैं, तो रिलीज़ का सवाल "क्या मुझे बदलना चाहिए" होना बंद हो जाता है और "कौन से काम बदलने चाहिए" बन जाता है, जो एक कहीं छोटा और कम जोखिम वाला फ़ैसला है।
इससे यह भी बदल जाता है कि रिलीज़ का आपके लिए क्या मतलब है। जब किसी ऐसे वर्कस्पेस में नए मॉडल आते हैं जिसमें पहले से कई मौजूद हों, तो आप अपने पांच काम दोबारा चलाते हैं, अपनी रूटिंग एडजस्ट करते हैं, और आगे बढ़ जाते हैं। कोई माइग्रेशन नहीं, कोई कैंसिल की गई सब्सक्रिप्शन नहीं, और टेस्ट किए बिना कमिट करने की वजह से किसी बदतर चीज़ का महीनों इस्तेमाल नहीं करना पड़ता।
रिलीज़ के दिन क्या करें
अपने डिफ़ॉल्ट तुरंत न बदलें। लॉन्च वीक की धारणाएं नयेपन और सबसे पहले फैले उदाहरणों से हावी होती हैं।
अपना मूल्यांकन सेट दोबारा चलाएं। अगर आपने पिछली बार का सेट रखा है तो बीस मिनट लगेंगे।
उबाऊ चीज़ें जांचें। कॉन्टेक्स्ट विंडो, क्या आपके मौजूदा प्रॉम्प्ट वैसे ही बर्ताव करते हैं, और क्या जिस चीज़ पर आप भरोसा करते थे वह बदल गई है। जो मॉडल सामान्य तौर पर बेहतर है वह आपके खास टेम्पलेट पर बदतर हो सकता है, और प्रोडक्शन काम उस पर ले जाने से पहले यह जानना ज़रूरी है।
रूटिंग को काम के हिसाब से अपडेट करें, पूरी तरह नहीं। जिन श्रेणियों में नया मॉडल साफ़ तौर पर जीता है उन्हें बदलें और बाकी छोड़ दें।
सीमाओं के लिए दो हफ़्ते इंतज़ार करें। नए मॉडल की खामियां व्यापक इस्तेमाल के करीब दो हफ़्तों के अंदर सामने आती हैं, और वे शायद ही कभी घोषणा में होती हैं।
सामान्य फ्रेमवर्क के लिए देखें AI मॉडल कैसे चुनें, और एक ही प्रॉम्प्ट पर दो मॉडल चलाने के तरीके के लिए देखें मॉडलों की साथ-साथ तुलना।
- अपने ही काम से पांच असली कामों का सेट बनाएं और उसे सहेज कर रखें
- कोई भी आउटपुट पढ़ने से पहले लिख लें कि एक अच्छे जवाब में क्या होना चाहिए
- दोनों मॉडलों को साथ-साथ चलाएं ताकि कोई भी दूसरे से प्रभावित न हो
- आउटपुट कैसा दिखता है इसके बजाय संपादन में लगने वाली मेहनत पर अंक दें
- अंतर का आकार दर्ज करें, क्योंकि एक जैसे नतीजे भी काम की जानकारी होते हैं
- नकारात्मक शर्तों और कई शर्तों के पालन को खासतौर पर टेस्ट करें
- प्रोडक्शन काम को नए मॉडल पर ले जाने से पहले दो हफ़्ते इंतज़ार करें
- पूरी तरह बदलने के बजाय रूटिंग को काम के हिसाब से अपडेट करें
अक्सर पूछे जाने वाले सवाल
क्या मुझे सबसे नए मॉडल पर स्विच कर लेना चाहिए?
लॉन्च के दिन नहीं, और पूरी तरह से भी नहीं। अपने असली कामों का एक छोटा सेट दोनों पर दोबारा चलाएं, हर आउटपुट को कितनी संपादन की ज़रूरत है उस पर अंक दें, और सिर्फ़ उन्हीं श्रेणियों को बदलें जहां नया मॉडल साफ़ तौर पर जीतता है। नया मॉडल कुछ चीज़ों में भरोसेमंद तरीके से बेहतर होता है और कभी-कभी दूसरी चीज़ों में बदतर, ख़ासकर उन मौजूदा प्रॉम्प्ट के लिए जो पिछले वर्ज़न के हिसाब से ट्यून किए गए थे।
बेंचमार्क मेरे अनुभव से मेल क्यों नहीं खाते?
क्योंकि वे वही मापते हैं जिसे अपने आप अंक दिया जा सके, यानी जिन कामों का एक सही जवाब हो। ज़्यादातर पेशेवर काम का कोई एक सही जवाब नहीं होता, और जो गुण रोज़मर्रा की संतुष्टि तय करते हैं, यानी निर्देशों का पालन, लहजे पर नियंत्रण, फ़ॉर्मेटिंग अनुशासन, और यह जानना कि कब "मुझे नहीं पता" कहना है, वे काफ़ी हद तक अनमापे रह जाते हैं। कोई मॉडल हर प्रकाशित चार्ट में आगे रह सकता है और फिर भी काम करने में ज़्यादा परेशान करने वाला हो सकता है।
मुझे कितनी बार दोबारा मूल्यांकन करना चाहिए?
जब भी आपके इस्तेमाल किए जाने वाले मॉडल की कोई बड़ी रिलीज़ आए, जो फ़िलहाल हर कुछ महीनों में होता है, साथ ही हर तिमाही में एक बार, चाहे कुछ भी हो। पांच असली कामों का एक तय सेट रखने से यह पूरे एक दोपहर की जगह बीस मिनट का काम बन जाता है, और यही एकमात्र तरीका है जिससे आपको पता चलता है कि छह महीने पहले तय की गई आपकी रूटिंग अब गलत हो चुकी है।
क्या मैं बस वही मॉडल इस्तेमाल कर सकता हूं जो कुल मिलाकर जीतता है?
आप कर सकते हैं, और आप अपने काम के एक अनुमानित हिस्से में बदतर नतीजे स्वीकार कर रहे होंगे। जब लोग अपने ही कामों पर मूल्यांकन करते हैं तो लगातार यही नतीजा मिलता है कि एक मॉडल लेखन और लहजे में जीतता है जबकि दूसरा सख़्त ढांचे और रफ़्तार में, और सामान्य रीज़निंग इतनी करीब होती है कि वह कुछ तय नहीं करती। अगर दोनों आपके पास उपलब्ध हैं, तो चुनाव सब्सक्रिप्शन के बजाय काम के हिसाब से हो जाता है।
क्या इससे फ़र्क़ पड़ता है कि मैं किस प्रोडक्ट के ज़रिए मॉडल तक पहुंचता हूं?
मॉडल तो मॉडल ही है, इसलिए आउटपुट की गुणवत्ता कहीं से भी लगभग एक जैसी रहती है। जो फ़र्क़ पड़ता है वह यह है कि क्या आप तुलना कर सकते हैं, स्विच करने पर कॉन्टेक्स्ट बना रहता है या नहीं, और क्या नई रिलीज़ आपको माइग्रेशन में डालती है या बस पिकर में एक और विकल्प बन जाती है। कई मॉडलों वाला वर्कस्पेस हर रिलीज़ को एक फ़ैसले की जगह एक एडजस्टमेंट बना देता है।