چگونه مدل‌های هوش مصنوعی را در Whizi کنار هم مقایسه کنیم

پاسخ کوتاه

روی Compare در بالای چت بزنید، برای هر ستون یک مدل انتخاب کنید و یک prompt را برای هر دو بفرستید. هر ستون یک گفتگوی پنهان مخصوص به خودش دارد، بنابراین هیچ مدلی خروجی دیگری را نمی‌بیند و هیچ پاسخی تحت‌تأثیر دیگری نیست، که خود دلیل ارزشمندبودن این مقایسه است. ستون‌ها یکی پس از دیگری، ابتدا چپ سپس راست، پخش می‌شوند، چون در هر لحظه فقط یک تولید پاسخ برای هر حساب اجرا می‌شود.

مقایسهٔ کنار هم یک قابلیت Powerhouse است و هم‌زمان روی دو مدل اجرا می‌شود. هزینهٔ هر پاسخ بر اساس نرخ اعتبار مدل خودش محاسبه می‌شود، بنابراین مقایسهٔ یک مدل 10 اعتباری با یک مدل 20 اعتباری در مجموع 30 اعتبار هزینه دارد.

از آن برای تصمیم‌گیری استفاده کنید که کدام مدل باید پیش‌فرض شما برای نوعی از کار باشد. اگر می‌خواهید یک پاسخ بهبود پیدا کند نه این‌که دو پاسخ مقایسه شوند، کار دیگری انجام دهید: داخل همان رشتهٔ گفتگو مدل را عوض کنید و از دومی بخواهید اولی را نقد کند.

چرا بنچمارک‌ها به سؤال شما پاسخ نمی‌دهند

بنچمارک‌های منتشرشده عملکرد را روی وظایف استاندارد می‌سنجند. سؤال شما محدودتر و کاربردی‌تر است: کدام مدل در همان کاری که شما شخصاً بیست بار در هفته انجام می‌دهید بهتر است. این‌ها سؤالات متفاوتی هستند و سؤال دوم هیچ پاسخ منتشرشده‌ای ندارد چون هیچ‌کس بار کاری شما را ندارد.

اجرای یک prompt روی دو مدل حدود سی ثانیه طول می‌کشد و مستقیماً به آن پاسخ می‌دهد. نکتهٔ مهم این نیست که دو پاسخ می‌گیرید، بلکه این است که می‌فهمید فاصله چقدر بزرگ است. گاهی خروجی‌ها تقریباً یکسان‌اند، که به شما می‌گوید دیگر لازم نیست برای آن کار به انتخاب مدل فکر کنید. گاهی یکی از آن‌ها غیرقابل‌استفاده است، که ارزش دانستنش را دارد پیش از آن‌که یک گردش‌کار روی آن بسازید.

چیز دیگری که مقایسه آشکار می‌کند خطای مطمئن است. وقتی دو مدل پاسخ‌های اساساً متفاوتی به یک سؤال واقعیت‌محور می‌دهند، دست‌کم یکی اشتباه می‌کند و شما با خواندن تنها یکی از آن‌ها متوجه نمی‌شدید. این سیگنال در یک گردش‌کار تک‌مدلی، به هیچ قیمتی، در دسترس نیست.

پیش از خواندن، تعریف کنید «بهتر» یعنی چه

دام مقایسهٔ کنار هم این است که هر خروجی طولانی‌تر، مطمئن‌تر یا صیقلی‌تر را ترجیح دهید. این‌ها کیفیت نیستند. اول معیار خودتان را انتخاب کنید، بعد بخوانید.

کار	معنای بهتر	چه چیزی را نادیده بگیرید
نوشتن	برای ارسال‌شدنی‌بودن به ویرایش کمتری نیاز دارد	طول، واژگان، شور و اشتیاق
پژوهش واقعیت‌محور	منابعی که برطرف می‌شوند و ادعا را پشتیبانی می‌کنند	روانی و اطمینان
استخراج	ساختار درست، بدون فیلد اختراعی، برچسب‌های یکدست	کیفیت نثر پیرامون جدول
استدلال	مراحل درست‌اند و حالت مرزی پوشش داده شده	این‌که نتیجه با پیش‌فرض شما هم‌خوانی دارد یا نه
کد	مسیر خطا را پوشش می‌دهد، قابل بازبینی است	زیرکی، اختصار
خلاصه‌سازی	آنچه مهم است را نگه می‌دارد و آنچه نیست را حذف می‌کند	جامعیت

یک ترفند کاربردی: پیش از خواندن هر یک از خروجی‌ها، یک جمله بنویسید که یک پاسخ خوب چه چیزی باید داشته باشد. سپس بخوانید. ده ثانیه طول می‌کشد و از سوگیری صیقل جلوگیری می‌کند، سوگیری‌ای که قوی و عمدتاً ناخودآگاه است.

برای سؤالات واقعیت‌محور، به‌جای برنده به اختلاف نگاه کنید. جایی که دو مدل روی یک عدد و یک منبع مشخص توافق دارند، اطمینان معقول است. جایی که واگرا می‌شوند، همان چیزی است که باید بروید و تأیید کنید، و ارزشمندترین خروجی کل این تمرین همین است.

Promptهایی که تفاوت‌های واقعی را آشکار می‌کنند

برخی وظایف مدل‌ها را به‌شدت از هم جدا می‌کنند و برخی نه. اگر می‌خواهید از یک مقایسه چیزی یاد بگیرید، از promptهایی استفاده کنید که روی یک توانایی مشخص فشار می‌آورند.

• لحن در شرایط دشوار. Write a note to a client explaining that we missed the deadline, taking responsibility without over-apologising and without excuses. Under 120 words. تفاوت‌های ثبت زبانی اینجا فوراً ظاهر می‌شود.
• استخراج سخت‌گیرانه. Extract every date, amount, and party from this text into a JSON array with exactly these keys. If a field is absent, use null. Do not infer. انضباط قالب‌بندی و گرایش به اختراع را می‌آزماید.
• استدلال با یک تله. مسئله‌ای با یک پاسخ نادرست باورپذیر بدهید، مثل سؤال نرخ یا تناسبی که مسیر شهودی نادرست است. مدل‌ها در این‌که راه میان‌بر را انتخاب می‌کنند یا نه متفاوت‌اند.
• یادآوری زمینهٔ طولانی. یک سند طولانی آپلود کنید و دربارهٔ چیزی در وسط آن بپرسید. زمینهٔ واقعی قابل‌استفاده را نشان می‌دهد، نه زمینهٔ تبلیغ‌شده.
• اعتراف به نادانی. What was announced about [something genuinely obscure or very recent]? بهترین پاسخ یک «نمی‌دانم» روشن یا یک بازیابی مستندشده است. اختراع‌کردن اینجا صلاحیت را از بین می‌برد.
• پیروی از یک قید منفی. Explain X without using any analogy or metaphor. پیروی از دستورهای منفی بیشتر از آنچه انتظار دارید متفاوت است.

مقایسه را روی کار واقعی خودتان اجرا کنید نه روی معماها. مدلی که در گزارش فصلی شما بهتر است مفیدتر از مدلی است که در یک معمای منطقی بهتر است.

تبدیل یک هفته مقایسه به یک نقشهٔ مسیریابی

یک مقایسهٔ تنها جالب است. یک هفته از آن‌ها قابل‌عمل است. روتین این است:

1. برای پنج روز، هر وقت کاری اهمیت داشت، آن را روی دو مدل به‌جای یکی اجرا کنید.
2. نوع کار، برنده و اندازهٔ فاصله را یادداشت کنید. سه کلمه کافی است.
3. در پایان هفته، ببینید کجا یک مدل به‌طور مکرر برنده شده و کجا خروجی‌ها قابل‌تعویض بوده‌اند.
4. پیش‌فرض‌های خود را بر اساس آن تنظیم کنید و در وظایفی که فاصله پیوسته صفر بوده، مقایسه‌کردن را متوقف کنید.

چیزی که افراد معمولاً می‌فهمند این است که مقایسه در بخش کوچکی از کارشان اهمیت دارد و در بقیه اتلاف وقت است. جست‌وجوهای سریع واقعیت‌محور، بازنویسی‌های ساده و قالب‌بندی روتین به‌ندرت مدل‌ها را از هم جدا می‌کنند. نوشته‌ای که مشتری می‌خواند، پژوهشی که به یک تصمیم شکل می‌دهد و استدلال دربارهٔ چیزی ناآشنا آن‌ها را زیاد از هم جدا می‌کند.

آن نتیجه همان پاداش است: در جایی که فرقی نمی‌کند مقایسه‌کردن را متوقف می‌کنید و آن را برای وظایفی نگه می‌دارید که نتیجه را عوض می‌کنند.

کنار هم در برابر متوالی

دو تکنیک متفاوت که ارزش تمایز دارند.

کنار هم یک prompt یکسان را روی دو مدلی اجرا می‌کند که خروجی یکدیگر را نمی‌بینند. هر ستون گفتگوی پنهان خودش را دارد، با پیشوند [Compare] نام‌گذاری شده و بیرون از نوار کناری نگه داشته می‌شود، بنابراین سؤالات پیگیری یک آزمون منصفانه باقی می‌مانند: هر دو مدل زمینهٔ چندنوبتی مستقل نگه می‌دارند. این ابزار درست برای انتخاب یک مدل پیش‌فرض و برای یافتن اختلاف واقعیت‌محور است.

متوالی یعنی گرفتن یک پاسخ، سپس عوض‌کردن مدل در همان رشتهٔ گفتگو و خواستن نقد آن از مدل جدید. وقتی می‌خواهید عیب پیدا شود نه این‌که مقایسه‌ای انجام شود از آن استفاده کنید، چون مدل دوم می‌تواند مستقیماً با همان استدلال مشخص درگیر شود. ببینید عوض‌کردن مدل در میانهٔ گفتگو.

قاعدهٔ کلی: کنار هم برای تصمیم‌گیری دربارهٔ این‌که کدام مدل، متوالی برای بهبود یک پاسخ.