Cara membandingkan model AI secara bersebelahan dalam Whizi

Jawapan ringkas

Tekan Compare pada pengepala sembang, pilih satu model untuk setiap lajur, dan hantar satu prompt kepada kedua-duanya. Setiap lajur mengekalkan perbualan tersembunyinya sendiri, jadi tiada model melihat output model lain dan tiada jawapan yang dipengaruhi oleh yang lain, itulah sebab sepenuhnya mengapa perbandingan ini bernilai. Lajur-lajur ini menstrim satu demi satu, kiri kemudian kanan, kerana hanya satu penjanaan berjalan bagi setiap akaun pada satu masa.

Perbandingan bersebelahan ialah ciri Powerhouse dan menjalankan dua model pada satu masa. Setiap jawapan dikenakan bayaran mengikut kadar kredit modelnya sendiri, jadi membandingkan model 10 kredit dengan model 20 kredit menelan kos 30 kredit.

Gunakannya untuk menentukan model mana yang patut menjadi lalai anda untuk sesuatu jenis kerja. Jika anda mahu satu jawapan diperbaiki dan bukannya dua jawapan dibandingkan, lakukan perkara lain sebaliknya: tukar model dalam bebenang yang sama dan minta model kedua mengkritik yang pertama.

Mengapa penanda aras tidak menjawab soalan anda

Penanda aras yang diterbitkan mengukur prestasi pada tugasan yang piawai. Soalan anda lebih khusus dan lebih berguna: model mana yang lebih baik dalam perkara yang anda sendiri lakukan dua puluh kali seminggu. Itu soalan yang berbeza, dan soalan kedua tiada jawapan yang diterbitkan kerana tiada siapa mempunyai beban kerja anda.

Menjalankan satu prompt terhadap dua model mengambil masa kira-kira tiga puluh saat dan menjawabnya secara langsung. Bahagian penting bukanlah anda mendapat dua jawapan, tetapi anda mengetahui sebesar mana jurang itu. Kadangkala output hampir sama, yang memberitahu anda untuk berhenti memikirkan pilihan model bagi tugas itu. Kadangkala satu daripadanya tidak boleh digunakan, yang berbaloi untuk diketahui sebelum anda membina aliran kerja berdasarkannya.

Perkara lain yang ditangkap oleh perbandingan ialah kesilapan yang yakin. Apabila dua model memberikan jawapan yang berbeza secara substansial kepada soalan berbentuk fakta, sekurang-kurangnya satu adalah salah, dan anda tidak akan mengetahuinya jika hanya membaca salah satu sahaja. Isyarat itu tidak wujud dalam aliran kerja satu model pada sebarang harga.

Tentukan maksud lebih baik sebelum anda membaca

Perangkap dalam perbandingan bersebelahan ialah lebih menyukai output mana-mana yang lebih panjang, lebih yakin, atau lebih lancar. Itu bukan kualiti. Tetapkan kriteria anda dahulu, kemudian baca.

Tugas	Apa maksud lebih baik	Apa yang harus diabaikan
Penulisan	Memerlukan sedikit penyuntingan untuk boleh dihantar	Panjang, kosa kata, semangat
Penyelidikan berasaskan fakta	Sumber yang boleh disahkan dan menyokong dakwaan	Kelancaran dan keyakinan
Pengekstrakan	Skema yang betul, tiada medan yang direka, label yang konsisten	Kualiti prosa di sekeliling jadual
Penaakulan	Langkah-langkah kukuh dan kes tepi ditangani	Sama ada kesimpulan sepadan dengan jangkaan anda
Kod	Menangani laluan kegagalan, boleh disemak	Kebijaksanaan, keringkasan
Peringkasan	Mengekalkan perkara yang penting dan membuang yang tidak	Kesyumulan

Satu helah praktikal: sebelum membaca mana-mana output, tulis satu ayat menerangkan apa yang sepatutnya terkandung dalam jawapan yang baik. Kemudian baca. Ia mengambil masa sepuluh saat dan ia menghalang bias kelancaran, yang kuat dan kebanyakannya tidak disedari.

Untuk soalan berbentuk fakta, semak percanggahan berbanding pemenang. Apabila dua model bersetuju tentang satu nombor khusus dan satu sumber, keyakinan adalah munasabah. Apabila mereka berbeza pendapat, itulah perkara yang perlu disahkan, dan itulah output paling bernilai daripada keseluruhan latihan ini.

Prompt yang mendedahkan perbezaan sebenar

Sesetengah tugas memisahkan model dengan ketara dan sesetengah tidak. Jika anda mahu mempelajari sesuatu daripada perbandingan, gunakan prompt yang menekan keupayaan tertentu.

• Nada dalam kesukaran. Tulis nota kepada pelanggan yang menerangkan bahawa kami terlepas tarikh akhir, bertanggungjawab tanpa meminta maaf secara berlebihan dan tanpa alasan. Kurang daripada 120 patah perkataan. Perbezaan dalam nada kelihatan serta-merta di sini.
• Pengekstrakan ketat. Ekstrak setiap tarikh, jumlah, dan pihak daripada teks ini ke dalam array JSON dengan kunci-kunci ini dengan tepat. Jika medan tiada, gunakan null. Jangan buat andaian. Menguji disiplin format dan kecenderungan untuk mereka-reka.
• Penaakulan dengan perangkap. Berikan masalah dengan jawapan salah yang munasabah, seperti soalan kadar atau perkadaran di mana laluan intuitif adalah salah. Model berbeza dari segi sama ada mereka mengambil jalan pintas.
• Ingatan konteks panjang. Muat naik dokumen yang panjang dan tanya tentang sesuatu di bahagian tengah. Mendedahkan konteks sebenar yang boleh digunakan, bukan konteks yang diiklankan.
• Mengakui ketidaktahuan. Apakah yang diumumkan tentang [sesuatu yang benar-benar kurang dikenali atau sangat terkini]? Jawapan terbaik ialah "saya tidak tahu" yang jelas atau capaian bersumber. Rekaan di sini adalah pendiskualifikasi.
• Mengikut kekangan negatif. Terangkan X tanpa menggunakan sebarang analogi atau metafora. Pematuhan terhadap arahan negatif berbeza lebih daripada yang anda jangkakan.

Jalankan perbandingan pada kerja sebenar anda sendiri dan bukannya pada teka-teki. Model yang lebih baik dalam laporan suku tahunan anda lebih berguna daripada model yang lebih baik dalam teka-teki logik.

Menukar seminggu perbandingan menjadi peta penghalaan

Satu perbandingan sahaja menarik. Seminggu perbandingan boleh diambil tindakan. Rutinnya:

1. Selama lima hari, apabila-apabila tugas itu penting, jalankannya terhadap dua model dan bukan satu.
2. Catatkan jenis tugas, pemenang, dan sebesar mana jurang itu. Tiga patah perkataan sudah memadai.
3. Pada akhir minggu, lihat di mana satu model menang berulang kali dan di mana output boleh ditukar ganti.
4. Tetapkan lalai anda berdasarkan itu, dan berhenti membandingkan pada tugas di mana jurang itu sentiasa kosong.

Apa yang orang biasanya dapati ialah perbandingan penting pada sebahagian kecil kerja mereka dan membazir masa untuk selebihnya. Carian fakta pantas, penulisan semula yang mudah, dan pemformatan rutin jarang memisahkan model-model itu. Penulisan yang akan dibaca oleh pelanggan, penyelidikan yang akan memaklumkan keputusan, dan penaakulan tentang sesuatu yang tidak biasa memisahkan mereka dengan banyak.

Hasil itulah ganjarannya: anda berhenti membandingkan di mana ia tidak membuat sebarang perbezaan dan mengekalkannya untuk tugas di mana ia mengubah hasil.

Bersebelahan berbanding berurutan

Dua teknik yang berbeza, wajar dibezakan.

Bersebelahan menjalankan prompt yang sama terhadap dua model yang tidak dapat melihat output satu sama lain. Setiap lajur mengekalkan perbualan tersembunyinya sendiri, dinamakan dengan awalan [Compare] dan dikekalkan di luar bar sisi, jadi soalan susulan kekal sebagai ujian yang adil: kedua-dua model memegang konteks berbilang giliran yang bebas. Ini adalah alat yang tepat untuk memilih model lalai dan untuk menangkap percanggahan fakta.

Berurutan bermaksud mendapatkan jawapan, kemudian menukar model dalam bebenang yang sama dan meminta model baharu mengkritiknya. Gunakannya apabila anda mahu kelemahan itu ditemui dan bukannya perbandingan dibuat, kerana model kedua boleh terlibat secara langsung dengan hujah tertentu. Lihat menukar model di tengah perbualan.

Peraturan kasar: bersebelahan untuk memutuskan model mana, berurutan untuk memperbaiki jawapan.