วิธีเปรียบเทียบโมเดล AI แบบเคียงข้างกันใน Whizi

คำตอบสั้น ๆ

กด Compare ที่ส่วนหัวของแชท เลือกโมเดลสำหรับแต่ละคอลัมน์ แล้วส่งพรอมต์เดียวไปยังทั้งสองคอลัมน์ แต่ละคอลัมน์จะเก็บบทสนทนาที่ซ่อนอยู่ของตัวเอง ทำให้โมเดลหนึ่งไม่เห็นผลลัพธ์ของอีกโมเดล และคำตอบหนึ่งไม่ถูกชี้นำโดยอีกคำตอบ ซึ่งเป็นเหตุผลทั้งหมดที่การเปรียบเทียบนี้มีคุณค่า คอลัมน์ทั้งสองจะสตรีมทีละคอลัมน์ ซ้ายก่อนขวา เพราะบัญชีหนึ่งรันการสร้างคำตอบได้ครั้งละหนึ่งรายการ

การเปรียบเทียบแบบเคียงข้างกันเป็นฟีเจอร์ Powerhouse และรันสองโมเดลพร้อมกันในแต่ละครั้ง คำตอบแต่ละอันจะถูกคิดค่าใช้จ่ายตามอัตราเครดิตของโมเดลนั้น ดังนั้นการเปรียบเทียบโมเดลที่ใช้ 10 เครดิตกับโมเดลที่ใช้ 20 เครดิตจะมีค่าใช้จ่ายรวม 30 เครดิต

ใช้ฟีเจอร์นี้เพื่อตัดสินใจว่าโมเดลใดควรเป็นค่าเริ่มต้นของคุณสำหรับงานประเภทหนึ่ง หากคุณต้องการให้คำตอบเดียวดีขึ้นแทนที่จะเปรียบเทียบคำตอบสองอัน ให้ทำอีกวิธีหนึ่งแทน: สลับโมเดลภายในเธรดเดียวกันแล้วขอให้โมเดลที่สองวิจารณ์คำตอบของโมเดลแรก

เหตุใดเบนช์มาร์กจึงไม่ตอบคำถามของคุณ

เบนช์มาร์กที่เผยแพร่วัดประสิทธิภาพบนงานมาตรฐาน แต่คำถามของคุณแคบกว่าและมีประโยชน์มากกว่า นั่นคือโมเดลใดเก่งกว่าในงานที่คุณทำเองยี่สิบครั้งต่อสัปดาห์ นี่เป็นคำถามคนละแบบ และคำถามที่สองไม่มีคำตอบที่เผยแพร่ไว้ เพราะไม่มีใครมีภาระงานเหมือนคุณ

การรันพรอมต์เดียวกับสองโมเดลใช้เวลาประมาณสามสิบวินาทีและตอบคำถามได้โดยตรง สิ่งสำคัญไม่ใช่การที่คุณได้คำตอบสองอัน แต่คือการที่คุณรู้ว่าช่องว่างระหว่างคำตอบใหญ่แค่ไหน บางครั้งผลลัพธ์ใกล้เคียงกันมาก ซึ่งบอกให้คุณเลิกกังวลเรื่องการเลือกโมเดลสำหรับงานนั้น บางครั้งอันหนึ่งใช้งานไม่ได้เลย ซึ่งควรรู้ไว้ก่อนที่คุณจะสร้างเวิร์กโฟลว์บนโมเดลนั้น

อีกสิ่งที่การเปรียบเทียบจับได้คือความผิดพลาดที่มั่นใจเกินไป เมื่อโมเดลสองตัวให้คำตอบที่แตกต่างกันอย่างมีนัยสำคัญต่อคำถามเชิงข้อเท็จจริง อย่างน้อยหนึ่งในนั้นต้องผิด และคุณคงไม่มีทางรู้ได้จากการอ่านคำตอบใดคำตอบหนึ่งเพียงลำพัง สัญญาณนี้ไม่มีในเวิร์กโฟลว์ที่ใช้โมเดลเดียวไม่ว่าจะราคาใดก็ตาม

ตัดสินใจว่า "ดีกว่า" หมายถึงอะไรก่อนที่จะอ่าน

กับดักในการเปรียบเทียบแบบเคียงข้างกันคือการเลือกคำตอบที่ยาวกว่า มั่นใจกว่า หรือขัดเกลากว่า สิ่งเหล่านั้นไม่ใช่คุณภาพ กำหนดเกณฑ์ของคุณก่อน แล้วค่อยอ่าน

งาน	ดีกว่าหมายถึงอะไร	สิ่งที่ควรมองข้าม
งานเขียน	ต้องแก้ไขน้อยลงก่อนส่งได้	ความยาว คำศัพท์ ความกระตือรือร้น
การค้นคว้าข้อเท็จจริง	แหล่งที่มาที่ตรวจสอบได้และสนับสนุนข้อกล่าวอ้าง	ความลื่นไหลและความมั่นใจ
การดึงข้อมูล	สคีมาถูกต้อง ไม่มีฟิลด์ที่แต่งขึ้น ป้ายกำกับสอดคล้องกัน	คุณภาพร้อยแก้วรอบตาราง
การให้เหตุผล	ขั้นตอนสมเหตุสมผลและครอบคลุมกรณีขอบ	ข้อสรุปตรงกับสิ่งที่คุณคิดไว้ก่อนหรือไม่
โค้ด	จัดการเส้นทางความล้มเหลวได้ ตรวจสอบได้	ความฉลาดล้ำ ความกระชับ
การสรุปความ	เก็บสิ่งที่สำคัญและตัดสิ่งที่ไม่สำคัญออก	ความครอบคลุม

เคล็ดลับที่ใช้ได้จริง: ก่อนอ่านผลลัพธ์ทั้งสอง ให้เขียนหนึ่งประโยคอธิบายว่าคำตอบที่ดีควรมีอะไรบ้าง จากนั้นค่อยอ่าน ใช้เวลาสิบวินาทีและช่วยป้องกันอคติจากความขัดเกลา ซึ่งเป็นอคติที่รุนแรงและส่วนใหญ่เกิดขึ้นโดยไม่รู้ตัว

สำหรับคำถามเชิงข้อเท็จจริง ให้ตรวจสอบจุดที่ไม่ตรงกันแทนที่จะดูว่าใครชนะ เมื่อโมเดลสองตัวเห็นตรงกันในตัวเลขและแหล่งที่มาที่เฉพาะเจาะจง ความมั่นใจก็สมเหตุสมผล แต่เมื่อทั้งสองเห็นต่างกัน นั่นคือสิ่งที่ควรไปตรวจสอบ และเป็นผลลัพธ์ที่มีค่าที่สุดเพียงหนึ่งเดียวของแบบฝึกหัดทั้งหมดนี้

พรอมต์ที่เผยความแตกต่างที่แท้จริง

บางงานแยกโมเดลออกจากกันอย่างชัดเจน บางงานไม่แยก หากคุณต้องการเรียนรู้อะไรบางอย่างจากการเปรียบเทียบ ให้ใช้พรอมต์ที่กดดันความสามารถเฉพาะด้าน

• โทนเสียงภายใต้สถานการณ์ยาก เขียนบันทึกถึงลูกค้าเพื่ออธิบายว่าเราพลาดกำหนดส่งงาน โดยรับผิดชอบโดยไม่ขอโทษมากเกินไปและไม่แก้ตัว ความยาวไม่เกิน 120 คำ ความแตกต่างของโทนเสียงจะปรากฏให้เห็นทันทีในจุดนี้
• การดึงข้อมูลอย่างเคร่งครัด ดึงวันที่ จำนวนเงิน และคู่สัญญาทุกรายการจากข้อความนี้ลงใน JSON array ที่มีคีย์เหล่านี้เท่านั้น หากไม่มีฟิลด์ใดให้ใช้ null ห้ามคาดเดา ทดสอบวินัยด้านรูปแบบและแนวโน้มที่จะแต่งข้อมูลขึ้นเอง
• การให้เหตุผลที่มีกับดัก ให้โจทย์ที่มีคำตอบผิดที่ดูสมเหตุสมผล เช่นคำถามเรื่องอัตราหรือสัดส่วนที่ทางลัดตามสัญชาตญาณนั้นผิด โมเดลจะแตกต่างกันในเรื่องว่าใช้ทางลัดนั้นหรือไม่
• การจดจำบริบทยาว อัปโหลดเอกสารยาวและถามเกี่ยวกับสิ่งที่อยู่ตรงกลาง เผยให้เห็นบริบทที่ใช้งานได้จริง ไม่ใช่บริบทที่โฆษณาไว้
• การยอมรับความไม่รู้ มีการประกาศอะไรเกี่ยวกับ [สิ่งที่คลุมเครือจริง ๆ หรือเพิ่งเกิดขึ้นเมื่อไม่นาน] คำตอบที่ดีที่สุดคือ "ฉันไม่ทราบ" ที่ชัดเจน หรือการดึงข้อมูลที่มีแหล่งอ้างอิง การกุเรื่องขึ้นในจุดนี้ถือว่าตกทันที
• การทำตามข้อจำกัดเชิงปฏิเสธ อธิบาย X โดยไม่ใช้การเปรียบเทียบหรืออุปมาใด ๆ การปฏิบัติตามคำสั่งเชิงปฏิเสธแตกต่างกันมากกว่าที่คุณคาดคิด

รันการเปรียบเทียบบนงานจริงของคุณเองแทนที่จะใช้ปริศนา โมเดลที่เก่งกว่าในรายงานประจำไตรมาสของคุณมีประโยชน์มากกว่าโมเดลที่เก่งกว่าในปริศนาเชิงตรรกะ

เปลี่ยนการเปรียบเทียบหนึ่งสัปดาห์ให้เป็นแผนผังการเลือกใช้โมเดล

การเปรียบเทียบครั้งเดียวน่าสนใจ แต่การเปรียบเทียบตลอดหนึ่งสัปดาห์นำไปปฏิบัติได้จริง นี่คือขั้นตอน:

1. เป็นเวลาห้าวัน ทุกครั้งที่มีงานสำคัญ ให้รันงานนั้นกับสองโมเดลแทนที่จะใช้โมเดลเดียว
2. บันทึกประเภทของงาน ผู้ชนะ และช่องว่างระหว่างคำตอบใหญ่แค่ไหน แค่สามคำก็เพียงพอ
3. เมื่อสิ้นสุดสัปดาห์ ให้ดูว่าโมเดลใดชนะซ้ำ ๆ และผลลัพธ์ใดใช้แทนกันได้
4. ตั้งค่าเริ่มต้นของคุณจากข้อมูลนั้น และเลิกเปรียบเทียบในงานที่ช่องว่างคงที่เป็นศูนย์

สิ่งที่คนส่วนใหญ่มักพบคือการเปรียบเทียบมีความสำคัญกับงานส่วนน้อยของพวกเขา และเสียเวลาเปล่ากับงานที่เหลือ การค้นหาข้อเท็จจริงแบบเร็ว การเขียนใหม่แบบง่าย และการจัดรูปแบบตามปกติแทบไม่แยกโมเดลออกจากกันเลย ส่วนงานเขียนที่ลูกค้าจะอ่าน งานวิจัยที่จะใช้ประกอบการตัดสินใจ และการให้เหตุผลเกี่ยวกับสิ่งที่ไม่คุ้นเคยนั้นแยกโมเดลออกจากกันอย่างชัดเจน

ผลลัพธ์นั้นคือรางวัล: คุณเลิกเปรียบเทียบในจุดที่ไม่มีผลต่างใด ๆ และเก็บไว้ใช้เฉพาะกับงานที่เปลี่ยนผลลัพธ์ได้จริง

เคียงข้างกันเทียบกับตามลำดับ

สองเทคนิคที่แตกต่างกัน ควรแยกให้ชัดเจน

เคียงข้างกัน รันพรอมต์เดียวกันกับสองโมเดลที่ไม่สามารถเห็นผลลัพธ์ของกันและกัน แต่ละคอลัมน์เก็บบทสนทนาที่ซ่อนอยู่ของตัวเอง ตั้งชื่อด้วยคำนำหน้า [Compare] และไม่แสดงในแถบด้านข้าง ทำให้คำถามติดตามผลยังคงเป็นการทดสอบที่ยุติธรรม: โมเดลทั้งสองเก็บบริบทหลายรอบแบบอิสระจากกัน นี่คือเครื่องมือที่เหมาะสำหรับเลือกโมเดลเริ่มต้นและจับความไม่ตรงกันเชิงข้อเท็จจริง

ตามลำดับ หมายถึงการได้คำตอบมาก่อน จากนั้นสลับโมเดลในเธรดเดียวกันและขอให้โมเดลใหม่วิจารณ์คำตอบนั้น ใช้วิธีนี้เมื่อคุณต้องการหาข้อบกพร่องมากกว่าการเปรียบเทียบ เพราะโมเดลที่สองสามารถโต้ตอบกับข้อโต้แย้งที่เฉพาะเจาะจงได้โดยตรง ดูเพิ่มเติมที่ การสลับโมเดลกลางบทสนทนา

กฎคร่าว ๆ: ใช้เคียงข้างกันเพื่อตัดสินใจเลือกโมเดล ใช้ตามลำดับเพื่อปรับปรุงคำตอบให้ดีขึ้น