چرا معیارهای زمان عرضه به پرسش شما پاسخ نمیدهند
هر انتشار مدل پیشرو با نموداری همراه است که آن را در مجموعهای از ارزیابیهای استاندارد جلوتر نشان میدهد. این اعداد واقعیاند و به همان اندازه هم برای تصمیمگیری دربارهٔ اینکه دوشنبه از چه چیزی استفاده کنید تقریباً بیفایدهاند، به سه دلیل.
فاصلهها کوچکاند و وظایف مربوط به شما نیستند. تفاوت 2 امتیازی در یک معیار استدلال هیچ چیز دربارهٔ اینکه آیا یک مدل ایمیل بهتری برای مشتری مینویسد یا یک ساختار داده را در 200 ردیف پایدارتر حفظ میکند، به شما نمیگوید.
معیارها وظایفی را اندازه میگیرند که نمرهدادن به آنها آسان است. چیزهایی با یک پاسخ درست. بیشتر کار حرفهای چنین پاسخی ندارد: لحن، ساختار، قضاوت دربارهٔ اینکه چه چیزی حذف شود. دقیقاً همینجاست که مدلها بیشترین تفاوت را دارند و هیچچیز اندازهگیری نمیشود.
مقایسههای زمان عرضه را خود فروشنده انجام میدهد. لزوماً نه از روی نادرستی، اما هیچکس ارزیابیای را منتشر نمیکند که در آن مدلش دوم شده باشد.
پرسشی که ارزش پاسخ دادن دارد محدودتر است: در وظایف مشخصی که 20 بار در هفته انجام میدهید، کدامیک از این دو بهتر است؟ برای این پرسش پاسخ منتشرشدهای وجود ندارد، و یافتنش حدود یک ساعت زمان میبرد.
آنچه واقعاً بین نسخهها تغییر میکند
در نسخههای اخیر مدلهای پیشرو، بهبودهایی که در استفادهٔ روزمره اهمیت دارند پیوسته در همان حوزهها رخ میدهند، و بهندرت همانهایی هستند که در اعلامیه برجسته میشوند.
| چه چیزی بهبود یافت | چگونه متوجه میشوید | آیا معیار آن را نشان میدهد |
|---|---|---|
| پیروی از دستورالعمل | دیگر محدودیت سوم شما را نادیده نمیگیرد | بهندرت |
| دستورالعملهای منفی | «از تمثیل استفاده نکن» واقعاً رعایت میشود | خیر |
| یادآوری زمینهٔ طولانی | چیزی را در صفحهٔ 140 پیدا میکند، نه فقط صفحهٔ 3 | تا حدی |
| انضباط قالببندی | جدول هر بار همان ستونهایی را دارد که خواستهاید | خیر |
| عدمقطعیت کالیبرهشده | میگوید نمیداند بهجای اینکه چیزی بسازد | خیر |
| کنترل لحن | ویرایشهای کمتر پیش از ارسالپذیر شدن متن | خیر |
| عمق استدلال | مورد لبهای را که از قلم انداختهاید میگیرد | بله، این همان چیزی است که اندازه میگیرند |
5 مورد از این 7 مورد در نمودار معیارها دیده نمیشوند و دلیل اینکه یک مدل جدید کار کردن با آن بهتر یا بدتر به نظر میرسد همینهاست. پیروی از دستورالعمل بهویژه تفاوت بین پیشنویسی است که ویرایش میکنید و پیشنویسی که دور میریزید.
آزمون یکساعته
بهجای خواندن گزارشهای زمان عرضه، این کار را انجام دهید. هر دو مدل را کنار هم روی مطالب خودتان اجرا کنید.
- 5 وظیفهٔ واقعی جمع کنید از دو هفتهٔ گذشته. واقعی، با زمینهٔ واقعی خودتان که در آن چسباندهاید، نه پرامپتهای آزمایشی. دستکم یک وظیفهٔ نوشتاری، یک وظیفهٔ خروجی ساختیافته، و یکی که در آن به استدلال دربارهٔ چیزی ناآشنا نیاز داشتید بگنجانید.
- پیش از اجرای هر کاری بنویسید که یک پاسخ خوب باید چه داشته باشد، برای هر وظیفه، در یک جمله. این مرحله مانع از آن میشود که هر خروجی طولانیتر و مطمئنتر را ترجیح دهید، سوگیریای قوی و تا حد زیادی ناخودآگاه.
- هر وظیفه را روی هر دو مدل بهطور موازی اجرا کنید تا هیچ پاسخی توسط دیگری تحت تأثیر قرار نگیرد.
- بر اساس میزان تلاش ویرایشی امتیاز بدهید، یعنی چقدر کار بین خروجی و چیزی که واقعاً میفرستید فاصله دارد. نه اینکه چطور خوانده میشود.
- اندازهٔ فاصله را ثبت کنید، نه فقط برنده را. نتایج قابلتعویض به شما میگویند که برای آن وظیفه دیگر لازم نیست به انتخاب مدل فکر کنید، که واقعاً مفید است.
- سیاهه را نگه دارید. سه ماه دیگر، وقتی نسخهٔ بعدی میآید، همان 5 وظیفه را دوباره اجرا میکنید و در 20 دقیقه پاسخ واقعی میگیرید.
آن نکتهٔ آخر همان چیزی است که با گذر زمان ارزشش بیشتر میشود. مجموعهای از ارزیابیهای ذخیرهشده تنها چیزی است که ارزیابی هر نسخهٔ بعدی را ارزان میکند.
شش پرامپتی که مدلهای پیشرو را از هم جدا میکند
پرسشهای کلی از هر مدل توانمندی پاسخهای مشابهی میگیرند. اگر میخواهید تفاوتی ببینید، روی یک توانایی مشخص فشار بیاورید.
- لحن در شرایط دشوار.
یادداشتی بنویس که به مشتری بگوید موعد را از دست دادهایم. بدون عذرخواهی بیش از حد و بدون بهانهتراشی مسئولیت را بپذیر. زیر 120 کلمه.تفاوتهای ثبت فوراً نمایان میشوند. - محدودیت منفی.
[مفهوم] را بدون استفاده از هیچ تمثیل یا استعارهای توضیح بده.پیروی از دستورالعملهای منفی بسیار بیشتر از آنچه انتظار دارید متغیر است. - استخراج دقیق.
هر تاریخ، مبلغ و طرف را در یک آرایهٔ JSON دقیقاً با همین کلیدها استخراج کن. اگر فیلدی وجود نداشت null بگذار. حدس نزن.انضباط قالب و گرایش به پر کردن خلأها را میآزماید. - یادآوری زمینهٔ طولانی. یک سند طولانی بارگذاری کنید و دربارهٔ چیزی در وسط آن بپرسید. زمینهٔ قابلاستفاده را آشکار میکند، که با زمینهٔ تبلیغشده یکسان نیست.
- اعتراف به ندانستن. دربارهٔ چیزی واقعاً مبهم یا بسیار تازه بپرسید. بهترین پاسخ یک «نمیدانم» روشن یا بازیابی مستندشده است. جعل کردن در اینجا صرفنظر از هر معیاری مردود است.
- پیروی از چند محدودیت همزمان. شش محدودیت را همزمان بدهید و بشمارید چند تای آنها باقی میمانند. این یک آزمون بهتنهایی رضایت روزمره را بهتر از هر چیز دیگری در این فهرست پیشبینی میکند.
پاسخ معمولاً «هر دو، برای کارهای متفاوت» است
افراد به سراغ یک نسخهٔ جدید میروند و یک نتیجهٔ قطعی میخواهند، اما یافتهٔ صادقانه پس از اجرای ارزیابی تقریباً همیشه دوپاره است. یک مدل در نوشتار و لحن برنده میشود. مدل دیگر در ساختار دقیق و سرعت برنده میشود. آنها در استدلال عمومی آنقدر به هم نزدیکاند که چیزی را تعیین نمیکند.
این یک ماستمالی نیست، نتیجهٔ واقعی است، و پیامدی عملی دارد. اگر فقط بتوانید از یک مدل استفاده کنید، در واقع دارید انتخاب میکنید در کدام دسته از وظایف ضعیفتر باشید. اگر بتوانید از هر دو استفاده کنید، پرسش نسخهٔ جدید دیگر «آیا عوض کنم» نیست و به «کدام وظایف جابهجا شوند» تبدیل میشود، تصمیمی بسیار کوچکتر و کمریسکتر.
همچنین معنای یک نسخهٔ جدید برای شما را تغییر میدهد. وقتی مدلهای جدید در فضای کاریای فرود میآیند که از قبل چند مدل دارد، شما 5 وظیفهٔ خود را دوباره اجرا میکنید، مسیریابی را تنظیم میکنید و به کار ادامه میدهید. هیچ مهاجرتی، هیچ لغو اشتراکی و هیچ یک ماه استفاده از چیزی بدتر به این دلیل که پیش از آزمایش متعهد شدهاید، وجود ندارد.
روز عرضه چه باید کرد
پیشفرضهای خود را فوراً عوض نکنید. برداشتهای هفتهٔ عرضه بیشتر تحت تأثیر تازگی و مثالهایی است که اول پخش میشوند.
مجموعهٔ ارزیابی خود را دوباره اجرا کنید. اگر یکی از دفعهٔ قبل نگه داشته باشید، 20 دقیقه طول میکشد.
چیزهای ملالآور را بررسی کنید. پنجرهٔ زمینه، اینکه آیا پرامپتهای فعلی شما هنوز همانطور رفتار میکنند، و اینکه آیا چیزی که به آن تکیه میکردید تغییر کرده است. مدلی که بهطور کلی بهتر است میتواند روی الگوی خاص شما بدتر باشد، و این چیزی است که ارزش دانستن پیش از انتقال کار تولیدی به آن را دارد.
مسیریابی را برحسب وظیفه بهروزرسانی کنید، نه یکجا. دستههایی را که مدل جدید بهوضوح برنده شده جابهجا کنید و بقیه را رها کنید.
دو هفته برای دیدن محدودیتها صبر کنید. حالتهای شکست یک مدل جدید طی حدود دو هفته استفادهٔ گسترده آشکار میشوند و بهندرت در اعلامیه ذکر میشوند.
برای چارچوب کلی چگونه یک مدل هوش مصنوعی را انتخاب کنیم را ببینید، و برای جزئیات اجرای دو مدل روی یک پرامپت مقایسهٔ مدلها در کنار هم را ببینید.
- مجموعهای از 5 وظیفهٔ واقعی از کار خودتان بسازید و آن را نگه دارید
- پیش از خواندن هر یک از خروجیها بنویسید که یک پاسخ خوب باید چه داشته باشد
- هر دو مدل را بهطور موازی اجرا کنید تا هیچکدام روی دیگری تأثیر نگذارد
- بر اساس میزان تلاش ویرایشی امتیاز بدهید، نه اینکه خروجی چطور خوانده میشود
- اندازهٔ فاصله را ثبت کنید، زیرا نتایج قابلتعویض اطلاعات مفیدیاند
- بهطور خاص محدودیتهای منفی و پیروی از چند محدودیت همزمان را بیازمایید
- پیش از انتقال کار تولیدی به مدل جدید، دو هفته صبر کنید
- مسیریابی را برحسب وظیفه بهروزرسانی کنید نه با تعویض یکجا
پرسشهای متداول
آیا باید به جدیدترین مدل تغییر دهم؟
نه در روز عرضه و نه یکجا. مجموعهٔ کوچکی از وظایف واقعی خودتان را روی هر دو دوباره اجرا کنید، بر اساس میزان ویرایش لازم برای هر خروجی امتیاز بدهید و فقط دستههایی را جابهجا کنید که مدل جدید بهوضوح برنده است. مدل جدیدتر بهطور قابلاعتماد در برخی چیزها بهتر است و گاهی در برخی دیگر بدتر، بهویژه برای پرامپتهای موجودی که برای نسخهٔ قبلی تنظیم شدهاند.
چرا معیارها با تجربهٔ من مطابقت ندارند؟
چون آنها چیزی را اندازه میگیرند که بهطور خودکار قابل نمرهدهی است، یعنی وظایفی با یک پاسخ درست. بیشتر کار حرفهای یک پاسخ درست منفرد ندارد، و ویژگیهایی که رضایت روزمره را تعیین میکنند، یعنی پیروی از دستورالعمل، کنترل لحن، انضباط قالببندی، و دانستن اینکه چه زمانی «نمیدانم» بگوییم، تا حد زیادی اندازهگیری نمیشوند. یک مدل میتواند در هر نمودار منتشرشده جلو باشد و همچنان کار کردن با آن آزاردهندهتر باشد.
هر چند وقت یکبار باید دوباره ارزیابی کنم؟
هر زمان که مدلی که استفاده میکنید نسخهٔ قابلتوجهی دریافت کند، که در حال حاضر یعنی هر چند ماه یکبار، بهعلاوهٔ یکبار در هر فصل صرفنظر از آن. نگهداشتن مجموعهای ثابت از 5 وظیفهٔ واقعی این کار را به یک کار 20 دقیقهای تبدیل میکند نه یک بعدازظهر کامل، و تنها راهی است که متوجه شوید مسیریابیای که 6 ماه پیش تنظیم کردهاید اکنون اشتباه است.
میتوانم فقط از مدلی که بهطور کلی برنده است استفاده کنم؟
میتوانید، و در این صورت نتایج بدتری را در بخشی قابلپیشبینی از کار خود میپذیرید. یافتهٔ ثابت وقتی افراد روی وظایف خودشان ارزیابی میکنند این است که یک مدل در نوشتار و لحن برنده میشود در حالی که دیگری در ساختار دقیق و سرعت برنده میشود، با استدلال عمومیای که آنقدر نزدیک است که چیزی را تعیین نمیکند. اگر هر دو در دسترس شما باشند، انتخاب بهجای برحسب اشتراک، برحسب وظیفه میشود.
مهم است از چه محصولی به مدل دسترسی پیدا میکنم؟
مدل همان مدل است، پس کیفیت خروجی هر جا که به آن دسترسی پیدا کنید تقریباً یکسان است. آنچه فرق میکند این است که آیا میتوانید مقایسه کنید، آیا هنگام تغییر، زمینه منتقل میشود، و آیا نسخهٔ جدید برای شما هزینهٔ یک مهاجرت دارد یا فقط گزینهٔ دیگری در انتخابگر است. فضای کاریای با چند مدل هر نسخهٔ جدید را از یک تصمیم به یک تنظیم کوچک تبدیل میکند.