كيف تعرف إن كان نموذج الذكاء الاصطناعي الجديد أفضل فعلًا لعملك

لماذا لن تجيب معايير الإطلاق على سؤالك

يصل كل إصدار متقدم بجدول يُظهره متقدمًا في مجموعة من التقييمات الموحّدة. هذه الأرقام حقيقية، وهي أيضًا شبه عديمة الفائدة لتحديد ما يجب أن تستخدمه يوم الاثنين، لثلاثة أسباب.

الفوارق صغيرة والمهام ليست مهامك. فارق نقطتين على معيار استدلال لا يخبرك بشيء عن كون نموذج ما يكتب رسالة أفضل لعميل أو يحافظ على مخطط بيانات بموثوقية أكبر عبر مئتي صف.

تقيس المعايير المهام السهلة التصحيح. أشياء لها إجابة صحيحة. معظم العمل المهني لا يملك ذلك: النبرة، البنية، الحكم على ما يُترك جانبًا. هذه بالضبط النقاط التي تتباين فيها النماذج أكثر وحيث لا يُقاس شيء.

مقارنات الإطلاق يجريها المورّد نفسه. ليس بالضرورة بشكل غير أمين، لكن لا أحد ينشر التقييم الذي جاء فيه نموذجه في المرتبة الثانية.

السؤال الذي يستحق الإجابة أضيق: في المهام المحددة التي تؤديها عشرين مرة أسبوعيًا، أيّ من هذين أفضل؟ ليس لهذا إجابة منشورة، ويستغرق اكتشافه نحو ساعة.

ما الذي يتغير فعلًا بين الإصدارات

عبر الإصدارات المتقدمة الأخيرة، التحسينات التي تهم في الاستخدام اليومي تقع باستمرار في المجالات ذاتها، ونادرًا ما تكون هي المُبرَزة في الإعلان.

ما تحسّن	كيف تلاحظه	هل يُظهره المعيار
الالتزام بالتعليمات	يتوقف عن تجاهل قيدك الثالث	نادرًا
التعليمات السلبية	"لا تستخدم تشبيهات" تُطاع فعليًا	لا
استرجاع السياق الطويل	يجد الشيء في الصفحة 140، لا الصفحة 3 فقط	جزئيًا
انضباط التنسيق	الجدول يحتوي الأعمدة التي طلبتها، في كل مرة	لا
عدم اليقين المعاير	يقول إنه لا يعرف بدلًا من الاختلاق	لا
التحكم بالنبرة	إعادة كتابة أقل قبل أن يصبح النص جاهزًا للإرسال	لا
عمق الاستدلال	يلتقط الحالة الحدّية التي فاتتك	نعم، هذا ما يقيسونه

خمسة من هذه السبعة غير مرئية في جدول المعايير، وهي سبب شعورك أن نموذجًا جديدًا أفضل أو أسوأ في العمل معه. الالتزام بالتعليمات تحديدًا هو الفارق بين مسودة أولى تحررها وأخرى ترميها.

تقييم الساعة الواحدة

افعل هذا بدلًا من قراءة تغطية الإطلاق. شغّل النموذجين جنبًا إلى جنب على مادتك الخاصة.

1. اجمع خمس مهام حقيقية من الأسبوعين الماضيين. مهام حقيقية، بسياقك الفعلي ملصقًا فيها، لا أوامر تجريبية. أدرج مهمة كتابة واحدة على الأقل، ومهمة إخراج منظّم واحدة، ومهمة تطلّبت استدلالًا حول شيء غير مألوف.
2. دوّن ما تحتويه الإجابة الجيدة لكل مهمة، في جملة واحدة، قبل أن تشغّل أي شيء. هذه الخطوة تمنعك من تفضيل أي إجابة أطول وأكثر ثقة، وهو تحيّز قوي وغير واعٍ إلى حد كبير.
3. شغّل كل مهمة على النموذجين بالتوازي كي لا تتأثر إجابة بالأخرى.
4. قيّم بناءً على جهد التحرير، أي مقدار العمل بين المخرج وشيء تُرسله فعلًا. لا بناءً على شكل النص.
5. دوّن حجم الفارق، لا الفائز فقط. النتائج المتبادلة تخبرك بالتوقف عن التفكير في اختيار النموذج لتلك المهمة، وهذا مفيد فعلًا.
6. احتفظ بالسجل. بعد ثلاثة أشهر، حين يصدر الإصدار التالي، تعيد تشغيل المهام الخمس نفسها وتحصل على إجابة حقيقية خلال عشرين دقيقة.

تلك النقطة الأخيرة هي التراكمية. مجموعة تقييم محفوظة هي الشيء الوحيد الذي يجعل تقييم كل إصدار لاحق رخيصًا.

ستة أوامر تفرّق بين النماذج المتقدمة

الأسئلة العامة تُنتج إجابات متشابهة من أي نموذج قدير. إن أردت رؤية فارق، فاضغط على قدرة محددة.

• النبرة تحت الضغط. اكتب رسالة تخبر عميلًا بأننا تأخرنا عن الموعد النهائي. تحمّل المسؤولية دون اعتذار مبالغ فيه ودون أعذار. أقل من 120 كلمة. فوارق السجل اللغوي تظهر فورًا.
• قيد سلبي. اشرح [المفهوم] دون استخدام أي تشبيه أو استعارة. الالتزام بالتعليمات السلبية يتفاوت أكثر بكثير مما تتوقع.
• استخراج صارم. استخرج كل تاريخ ومبلغ وطرف في مصفوفة JSON بهذه المفاتيح بالضبط. إذا كان الحقل غائبًا استخدم null. لا تستنتج. يختبر انضباط التنسيق والميل إلى ملء الفراغات.
• استرجاع السياق الطويل. ارفع مستندًا طويلًا واسأل عن شيء في منتصفه. يكشف السياق القابل للاستخدام فعليًا، وهو ليس نفس السياق المُعلن.
• الاعتراف بالجهل. اسأل عن شيء غامض حقًا أو حديث جدًا. أفضل إجابة هي "لا أعرف" واضحة أو استرجاع موثّق بمصادر. الاختلاق هنا مُقصٍ بغض النظر عن أي معيار.
• الالتزام بقيود متعددة. أعطِ ستة قيود دفعة واحدة واحسب كم منها بقي محترمًا. هذا الاختبار الوحيد يتنبأ بالرضا اليومي أفضل من أي شيء آخر في القائمة.

الإجابة عادة "كلاهما، لأشياء مختلفة"

يقترب الناس من الإصدار طالبين حكمًا قاطعًا، والنتيجة الصادقة بعد تشغيل التقييم منقسمة دائمًا تقريبًا. نموذج يفوز في الكتابة والنبرة. والآخر يفوز في البنية الصارمة والسرعة. وهما متقاربان بما يكفي في الاستدلال العام بحيث لا يحسمان شيئًا.

هذا ليس تهربًا، إنها النتيجة الفعلية، ولها أثر عملي. إن كنت تستطيع استخدام نموذج واحد فقط، فأنت تختار أي فئة من المهام ستكون أضعف فيها. وإن استطعت استخدام كليهما، فسؤال الإصدار يتوقف عن كونه "هل أنتقل" ويصبح "أي المهام تنتقل"، وهو قرار أصغر بكثير وأقل مخاطرة.

كما يغيّر ما يعنيه الإصدار بالنسبة إليك. حين تصل نماذج جديدة إلى مساحة عمل تضم عدة نماذج بالفعل، تعيد تشغيل مهامك الخمس، وتضبط توجيهك، وتمضي قدمًا. لا هجرة، ولا اشتراك ملغى، ولا شهر من استخدام شيء أسوأ لأنك التزمت قبل الاختبار.

ماذا تفعل يوم الإصدار

لا تغيّر إعداداتك الافتراضية فورًا. انطباعات أسبوع الإطلاق يهيمن عليها الحداثة وأي أمثلة تداولها الناس أولًا.

أعد تشغيل مجموعة تقييمك. عشرون دقيقة إن كنت قد احتفظت بواحدة من المرة الماضية.

تحقق من الأمور المملة. نافذة السياق، وهل أوامرك الحالية لا تزال تتصرف بالطريقة نفسها، وهل تغيّر شيء كنت تعتمد عليه. النموذج الأفضل عمومًا قد يكون أسوأ في قالبك المحدد، ومن المفيد معرفة ذلك قبل نقل عمل الإنتاج إليه.

حدّث التوجيه حسب المهمة، لا بالجملة. انقل الفئات التي فاز فيها النموذج الجديد بوضوح واترك الباقي.

انتظر أسبوعين لمعرفة القيود. أنماط الفشل في نموذج جديد تظهر خلال نحو أسبوعين من الاستخدام الواسع، ونادرًا ما تكون في الإعلان.

للإطار العام راجع كيف تختار نموذج ذكاء اصطناعي، ولآلية تشغيل نموذجين على أمر واحد راجع مقارنة النماذج جنبًا إلى جنب.