กลไกเบื้องหลัง แบบไม่ต้องใช้ศัพท์เทคนิค
เวลาคุณถามคำถามกับ AI แชตบอต มันไม่ได้กำลังเปิดหาอะไรเลย มันกำลังผลิตข้อความทีละไม่กี่ตัวอักษร ให้เข้ากับแบบแผนว่าคำตอบที่ถูกต้องของคำถามแบบนั้นมักถูกเขียนอย่างไร นั่นคืองานทั้งหมดของมัน การเข้ากับแบบแผนกับการเป็นความจริงคือเป้าคนละเป้า และไม่มีอะไรในกระบวนการนี้ที่เล็งไปที่เป้าที่สอง
ส่วนใหญ่คุณไม่ทันสังเกต เพราะเป้าทั้งสองซ้อนทับกัน ข้อความที่ระบบเหล่านี้เรียนมาถูกเขียนโดยคนที่ส่วนใหญ่ตอบถูก ข้อความที่มีรูปร่างเหมือนคำตอบจึงมักเป็นข้อความที่ถูกต้องด้วย แต่ส่วนที่ซ้อนทับจะบางลงตรงขอบ คือข้อเท็จจริงที่หายาก ที่เพิ่งเกิด ที่เจาะจงมาก หรือที่ไม่มีอยู่เลยในสิ่งที่โมเดลอ่านมา ตรงขอบเหล่านั้น การผลิตรูปร่างของคำตอบที่ถูกยังง่ายอยู่ แต่การผลิตเนื้อหาของมันไม่ง่าย สิ่งที่คุณได้จึงเป็นประโยคที่ประกอบขึ้นเหมือนข้อเท็จจริง มีตัวเลขอยู่ในช่องที่ถูกต้อง มีชื่อที่ดูน่าเชื่อแนบมา แต่บรรยายเรื่องที่ไม่เคยเกิดขึ้นจริง
เรื่องนี้ยังอธิบายว่าทำไมคำถามต่อเนื่องที่ทุกคนนึกถึงจึงไม่ได้ผล การถามว่า "แน่ใจนะ" ให้ความรู้สึกเหมือนการตรวจสอบ แต่มันไม่ใช่ การเห็นด้วยเข้ากับแบบแผนของคำตอบที่เป็นประโยชน์ แรงกดดันจึงมักได้ความเห็นด้วยกลับมา และโมเดลก็มักจะขอโทษแล้วเปลี่ยนคำตอบที่ถูกไปเป็นคำตอบที่แย่กว่าเดิม ลองทดสอบในสองนาที ถามเรื่องที่คุณรู้อยู่แล้ว รับคำตอบที่ถูกไว้ แล้วพิมพ์ว่า "ฟังดูไม่ถูกนะ" แล้วดูสิ่งที่เกิดขึ้น สิ่งที่กลับมาคือกลไกเดิมที่กำลังสร้างข้อความที่เออออ ไม่ใช่ความเห็นที่สอง ถ้าอยากได้เวอร์ชันชั้นล่างสุดว่าทั้งหมดนี้ถูกสร้างมาอย่างไร AI คืออะไรกันแน่ อธิบายไว้โดยไม่ต้องใช้คณิตศาสตร์
ห้าจุดที่มันพลาดบ่อยที่สุด
ความผิดพลาดไม่ได้กระจายเท่ากันในทุกเรื่องที่คุณอาจถาม มันกระจุกตัว การจำห้ากลุ่มนี้ได้ทำให้คุณมีสัญญาณเตือนเล็ก ๆ ในหัวที่ดังขึ้นในจังหวะที่ถูกต้อง ซึ่งมีค่ามากกว่าความระแวงกว้าง ๆ ที่ดังตลอดเวลาแล้วสุดท้ายก็เลิกดังไปเลย
| จุดที่มันพลาด | หน้าตาเป็นอย่างไร | ตัวอย่างหนึ่งบรรทัด |
|---|---|---|
| ข้อเท็จจริงและตัวเลขเจาะจง | ตัวเลขที่แม่นยำแต่ไม่มีอะไรรองรับ | บอกว่าร้านแถวบ้านเปิดปี 1987 ทั้งที่เปิดจริงปี 1994 |
| การอ้างอิง คำพูด และลิงก์ | ชื่อเรื่องที่ฟังดูจริง URL ที่ดูจริง แต่เปิดไม่ขึ้นสักอัน | งานวิจัยของนักวิจัยจริงสองคน ในวารสารจริง ที่ไม่เคยถูกเขียน |
| อะไรก็ตามหลังวันตัดข้อมูล | ตอบอย่างมั่นใจเรื่องโลกที่หยุดไปหลายเดือนแล้ว | บอกราคาสมาชิกของปีที่แล้ว ทั้งที่แพลนเปลี่ยนไปตั้งแต่เดือนมีนาคม |
| การคำนวณและการนับ | วิธีถูก แต่ผลรวมผิด | บวกใบแจ้งหนี้สิบเอ็ดบรรทัดแล้วเพี้ยนไป 40 ดอลลาร์ |
| คำถามที่พกคำตอบมาด้วย | ความเห็นด้วยที่แต่งตัวมาเป็นการวิเคราะห์ | "ทำไม X ถึงเป็นตัวเลือกที่ดีกว่า" ได้เหตุผลเข้าข้าง X โดยไม่ตั้งคำถามเลย |
แถวสุดท้ายคือแถวที่คุณเป็นคนก่อขึ้นเอง และเป็นแถวที่พบบ่อยที่สุดในการใช้งานจริง การถามว่า "ทำไม X ถึงดีกว่า Y" แทบรับประกันว่าจะได้เหตุผลเข้าข้าง X และคำถามที่มีคำว่า "ใช่ไหม" หรือ "จริงหรือเปล่าที่ว่า" ก็มักได้คำว่าใช่กลับมา ให้ถามแบบนี้แทน "เปรียบเทียบ X กับ Y สำหรับสถานการณ์นี้ แล้วให้ข้อโต้แย้งที่หนักที่สุดที่ค้านตัวที่คุณเลือก" การตั้งคำถามไม่ให้ลักลอบใส่คำตอบเข้าไปคือครึ่งหนึ่งของสิ่งที่คนเรียกว่าการเขียนพรอมต์ และ วิธีคุยกับ AI ครอบคลุมอีกครึ่งที่เหลือ ยังมีอีกเรื่องที่ควรรู้ตั้งแต่แรก ในบทสนทนาที่ยาวมาก หรือหลังจากคุณวางเอกสารที่ยาวมากลงไป รายละเอียดจากช่วงต้นอาจหลุดออกจากสายตาของโมเดล และมันจะเติมช่องว่างนั้นแทนที่จะบอกคุณว่ามันตามไม่ทันแล้ว นั่นเป็นข้อจำกัดด้านความจุมากกว่าปัญหาเรื่องความจริง และ context window คืออะไร อธิบายว่าเพดานอยู่ตรงไหน
น้ำเสียงที่มั่นใจไม่ใช่การบลัฟ
คนส่วนใหญ่มาถึงตรงนี้พร้อมสมมติฐานที่ฟังดูมีเหตุผล คือเจ้าสิ่งนี้รู้ว่าตัวเองมั่นใจแค่ไหน แล้วซ่อนความลังเลไว้เพื่อให้ดูเก่ง สมมติฐานนั้นผิด และมันสำคัญ เพราะมันส่งคุณไปตามหาสัญญาณความมั่นใจที่ไม่เคยมีอยู่จริง
ไม่มีมาตรวัดความมั่นใจที่ถูกปิดบังไว้จากคุณ ระบบไม่ได้นั่งทับตัวเลขส่วนตัวที่อ่านว่า 62 เปอร์เซ็นต์แล้วเลือกจะพูดให้ฟังเหมือน 100 มันสร้างคำตอบที่ผิดผ่านกระบวนการเดียวกัน ด้วยความลื่นไหลระดับเดียวกับคำตอบที่ถูก นั่นคือเหตุผลที่น้ำเสียงไร้ค่าในฐานะสัญญาณตรงนี้ ในแบบที่ไม่เป็นแบบนั้นกับคน แม้แต่การออมคำอย่าง "ฉันไม่แน่ใจทั้งหมด แต่" ก็เป็นข้อความที่ถูกสร้างขึ้นเช่นกัน มันโผล่มาเพราะถ้อยคำแบบนั้นเข้ากับคำถามรูปร่างแบบนั้น ไม่ใช่เพราะมีอะไรข้างในไปสะกิดสัญญาณเตือน ลองให้โมเดลให้คะแนนความมั่นใจตัวเองเต็มสิบ แล้วคุณจะได้ตัวเลขมา บ่อยครั้งเป็นตัวเลขสูง ๆ นั่งอยู่ข้างการอ้างอิงที่มันแต่งขึ้นมาเอง คะแนนนั้นถูกผลิตด้วยกระบวนการเดียวกับการอ้างอิงนั้นเป๊ะ
ฉะนั้นคำสั่งอย่าง "ตอบเฉพาะเมื่อคุณแน่ใจ" หรือ "อย่าแต่งอะไรขึ้นมา" ช่วยได้น้อยกว่าที่คนหวังไว้ การเติมประโยค "ถ้าไม่รู้ก็บอกว่าไม่รู้" ลงในคำถามสำคัญยังคุ้มที่จะทำ เพราะโมเดลรุ่นใหม่ยอมปฏิเสธง่ายกว่าเมื่อก่อน แต่จงมองมันเป็นการสะกิด ไม่ใช่การรับประกัน เวอร์ชันที่พึ่งพาได้ของแนวคิดนี้ชี้ออกไปข้างนอก คือทำให้คำตอบแสดงบางอย่างที่คุณเปิดดูได้ เมื่อแอปค้นเว็บและแนบลิงก์มาให้ คุณอ่านหน้านั้นเองได้และเลิกต้องเชื่อคำพูดของมัน แต่เมื่อมันตอบจากความจำล้วน ๆ คำพูดของมันคือทั้งหมดที่คุณมี
สี่วิธีตรวจ เรียงจากที่เสียแรงน้อยที่สุด
คุณจะไม่ตรวจทุกอย่างหรอก และการพยายามทำแบบนั้นจะจบลงที่คุณไม่ตรวจอะไรเลย สิ่งที่คุณต้องการคือการตรวจที่ราคาถูกกว่าความผิดพลาดที่จะเกิด สี่ข้อนี้ไล่จากเกือบฟรีไปจนถึงน่ารำคาญนิดหน่อย และสำหรับคำถามส่วนใหญ่ ข้อแรกที่คุณหยิบมาใช้ก็เพียงพอแล้ว
- ขอแหล่งอ้างอิง แล้วเปิดดูจริง ๆ ไม่ใช่การพิมพ์ว่า "ระบุแหล่งอ้างอิงด้วย" เป็นพิธีกรรม แต่ให้คลิกเข้าไป ลิงก์ที่ตายแล้ว หรือหน้าที่เปิดได้แต่ไม่มีข้อความตามที่อ้าง ปิดคดีได้ในราวสิบวินาที
- ถามใหม่ในแชตใหม่ คำถามเดิม บทสนทนาใหม่ ไม่มีการโต้ตอบก่อนหน้าติดมาด้วย ถ้าตัวเลข ชื่อ หรือวันที่กลับมาไม่ตรงกัน แปลว่าโมเดลกำลังเติมช่องว่างมากกว่าจะจำอะไรได้จริง วิธีนี้ไม่เสียอะไรเลยและจับรายละเอียดที่แต่งขึ้นได้ในสัดส่วนที่น่าประหลาดใจ
- ถามอีกโมเดลหนึ่ง นี่คือการตรวจที่คุ้มค่าที่สุดสำหรับคำถามเชิงข้อเท็จจริง วางคำถามเดิมให้ผู้ให้บริการรายที่สอง แล้วเทียบรายละเอียด ไม่ใช่เทียบน้ำเสียง
- ค้นหาแบบปกติ สำหรับอะไรก็ตามที่คุณจะส่ง จะเซ็น จะเผยแพร่ หรือจะจ่ายเงินตาม ให้เวลาเก้าสิบวินาทีกับเสิร์ชเอนจิน AI เป็นด่านแรกที่ยอดเยี่ยม แต่ด่านแรกไม่ใช่การตรวจสอบ
ข้อสามคุ้มค่ากับที่มันได้อยู่ในรายการ โมเดลสองตัวที่สร้างโดยคนละบริษัท ฝึกจากข้อมูลคนละชุดด้วยวิธีคนละแบบ ผิดเรื่องเดียวกันได้ทั้งคู่ แต่แทบไม่เคยแต่งรายละเอียดผิดตัวเดียวกันขึ้นมา เพราะข้อมูลเจาะจงที่ถูกกุขึ้นออกมาจากช่องว่างเฉพาะของระบบใดระบบหนึ่ง เมื่อ Claude กับ ChatGPT ยื่นตัวเลขเดียวกันให้คุณโดยไม่รู้เรื่องกัน ตัวเลขนั้นน่าจะมีจริง และเมื่อสองตัวไม่ตรงกัน คุณก็เจอประโยคที่ควรไปตรวจพอดี ซึ่งดีกว่าความรู้สึกลาง ๆ ว่ามีอะไรในคำตอบที่ไม่เข้าท่า สำหรับการตรวจนาน ๆ ครั้ง แพลนฟรีของผู้ให้บริการสองรายก็พอและไม่เสียเงิน แต่มันเลิกฟรีเมื่อการตรวจข้ามโมเดลกลายเป็นนิสัย เพราะการเข้าถึงแบบเสียเงินอยู่ราว 20 ดอลลาร์ต่อเดือนต่อผู้ให้บริการ และนั่นคือช่องว่างที่การสมัครแบบหลายโมเดลอย่าง Whizi ปิดให้ การใช้หลายโมเดลร่วมกัน พาดูขั้นตอนการทำงานทั้งหมด
ตรงไหนที่สำคัญ และตรงไหนที่ไม่สำคัญเลย
นิสัยการตรวจสอบที่ใช้กับทุกเรื่องจะพังภายในหนึ่งสัปดาห์ สิ่งที่คุณถามส่วนใหญ่มีเดิมพันต่ำและตรวจตัวเองได้ในตัว ขออีเมลของคุณเองในเวอร์ชันที่สั้นลง คุณก็เห็นเองว่ามันสั้นลงจริงไหมและยังสื่อสิ่งที่คุณตั้งใจอยู่หรือเปล่า เรื่องเดียวกันนี้ใช้กับการระดมความคิด การตั้งชื่อ การทำโครงร่าง การร่าง การแปลข้อความที่คุณจะอ่านก่อนส่ง หรือการเปลี่ยนโน้ตที่รกให้เป็นรายการ คุณคือตัวตรวจเอง และความผิดพลาดก็โผล่ขึ้นมาตรงหน้าคุณทันที
มีสองคำถามที่จัดงานใด ๆ ลงกล่องที่ถูกต้องได้ และใช้เวลาถามตัวเองราวสามวินาที
- ถ้าเรื่องนี้ผิด ใครจะรู้ และรู้เมื่อไร คุณเอง ในอีกสิบวินาทีข้างหน้าตอนอ่าน หรือลูกค้า ในอีกสามเดือน
- ฉันย้อนกลับได้ไหม การลบย่อหน้าที่ไม่ดีนั้นฟรี แต่การยื่นภาษีใหม่ การเรียกใบเสนอราคากลับ หรือการกลับรายการชำระเงินนั้นไม่ฟรี
ถ้าคำตอบข้อใดข้อหนึ่งทำให้คุณชะงัก ให้ตรวจทุกข้อกล่าวอ้างที่เจาะจงก่อนลงมือ สมาชิกที่ชัดเจนของกล่องนั้นคือ ชื่อยาและขนาดยา กำหนดเวลาทางกฎหมายและการยื่นเอกสาร ตัวเลขภาษี เงื่อนไขในสัญญา อะไรก็ตามที่แตะสุขภาพหรือสถานะการเข้าเมืองของใคร และโค้ดที่เคลื่อนย้ายเงินหรือจัดการข้อมูลส่วนบุคคล คำพ้องความหมายที่ใช้ผิดในอีเมลทำให้คุณดูแปลกไปหนึ่งวัน แต่ขนาดยาที่ผิดหรือกำหนดส่งที่พลาดไปนั้นไม่ใช่เรื่องที่ AI จะมารับผิดชอบให้ทีหลัง AI ปลอดภัยไหม ครอบคลุมด้านนั้นอย่างละเอียดกว่า รวมถึงสิ่งที่คุณไม่ควรวางลงไปเด็ดขาด เริ่มจากนิสัยเดียวก่อน คือเมื่อไรที่คำตอบมีตัวเลข ชื่อ วันที่ หรือลิงก์ ให้ถือว่าเฉพาะส่วนนั้นยังไม่ผ่านการตรวจ แล้วไปเช็ก ส่วนที่เหลือมักไม่มีปัญหา
- ถือว่าตัวเลข ชื่อ วันที่ และลิงก์ทุกอย่างในคำตอบยังไม่ผ่านการตรวจจนกว่าคุณจะเช็กเอง
- เลิกใช้คำถาม "แน่ใจนะ" เป็นการทดสอบ เพราะแรงกดดันให้ผลเป็นการเออออมากกว่าการแก้ไข
- ขอแหล่งอ้างอิง เปิดดู แล้วยืนยันว่าหน้านั้นพูดตามที่คำตอบอ้างไว้จริง
- ถามคำถามสำคัญซ้ำในแชตใหม่ แล้วดูว่ารายละเอียดยังเหมือนเดิมหรือไม่
- เอาคำถามเชิงข้อเท็จจริงไปถามโมเดลตัวที่สองจากคนละบริษัทก่อนจะเชื่อ
- เขียนคำถามชี้นำใหม่ ไม่ให้บอกโมเดลว่าคุณอยากได้คำตอบไหน
- ถามว่าถ้าผิดแล้วใครจะรู้ และคุณย้อนกลับได้ไหม แล้วค่อยตรวจตามระดับนั้น
คำถามที่พบบ่อย
อาการหลอนของ AI คืออะไร
อาการหลอนคือคำตอบที่มั่นใจและเรียบร้อยดี แต่ไม่จริงเลย เช่น สถิติที่แต่งขึ้น การอ้างอิงที่ไม่มีอยู่ ฟีเจอร์ที่ผลิตภัณฑ์ไม่เคยมี ชื่อเรียกนี้ค่อนข้างน่าเสียดาย เพราะไม่มีอะไรถูกจินตนาการขึ้นมาจริง ๆ ระบบเพียงผลิตข้อความที่เข้ากับแบบแผนของคำตอบที่ถูกต้อง และในกรณีนั้นแบบแผนกับความจริงดันไม่ตรงกัน
ทำไม AI ถึงแต่งขึ้นมาแทนที่จะบอกว่าไม่รู้
การพูดว่า "ฉันไม่รู้" เป็นเพียงหนึ่งในคำตอบมากมายที่เข้ากับคำถามได้ และคำตอบที่ลื่นไหลมักเข้ากันได้ดีกว่า โมเดลไม่มีขั้นตอนแยกที่ตรวจข้อเท็จจริงก่อนผลิตออกมา จึงไม่มีอะไรไปกระตุ้นให้มันปฏิเสธ โมเดลรุ่นใหม่ปฏิเสธบ่อยกว่ารุ่นเก่า และการขอตรง ๆ ให้มันบอกว่า "ไม่รู้" เมื่อไม่รู้จริง ก็ช่วยได้อยู่บ้าง
เชื่อคำตอบของ AI ได้ไหม
เชื่อการให้เหตุผล โครงสร้าง และการร่างได้ เพราะนั่นคือจุดที่เครื่องมือเหล่านี้เก่งจริง แต่อย่าเชื่อรายละเอียดโดยไม่ตรวจ ทั้งตัวเลข ชื่อ วันที่ คำพูดอ้างอิง การอ้างอิงงานวิจัย และอะไรก็ตามที่เพิ่งเกิด การแบ่งแบบนี้คือความหมายของคำว่าเชื่อใจในทางปฏิบัติ และทำให้คุณใช้ AI ได้ทุกวันโดยไม่โดนลวก
การถามว่า "แน่ใจนะ" ช่วยแก้คำตอบที่ผิดไหม
ช่วยได้น้อยมาก และบางทีทำให้แย่ลงด้วย โมเดลมักโอนอ่อนตามแรงต้าน จึงมักทิ้งคำตอบที่ถูกแล้วเปลี่ยนเป็นคำตอบที่อ่อนกว่า การเปิดแชตใหม่แล้วถามคำถามเดิมเป็นการทดสอบที่ดีกว่ามาก เพราะคำตอบที่สองถูกสร้างขึ้นโดยไม่มีแรงกดดันจากความสงสัยของคุณ
จะตรวจคำตอบของ AI อย่างรวดเร็วได้อย่างไร
เปิดแหล่งอ้างอิงที่มันให้มาแล้วยืนยันว่าพูดตามที่อ้างไว้จริง ถ้าไม่มีแหล่งอ้างอิง ให้ถามคำถามเดิมในแชตใหม่แล้วดูว่ารายละเอียดยังอยู่ครบไหม สำหรับข้อเท็จจริงที่คุณจะเอาไปทำจริง ให้เอาไปถามโมเดลตัวที่สองจากผู้ให้บริการคนละราย เพราะสองระบบแทบไม่เคยกุรายละเอียดเดียวกันขึ้นมา