Knowledge cutoff คืออะไร

โมเดลหยุดอ่านข้อมูลตั้งแต่วันหนึ่ง และมันไม่รู้ด้วยซ้ำว่าเป็นวันไหน

โมเดลภาษาเรียนรู้จากชุดข้อความจำนวนหนึ่งที่รวบรวมไว้ก่อนเริ่มการฝึก LLM คืออะไร อธิบายขั้นตอนการฝึกทั้งสองแบบไว้ ประเด็นตรงนี้คือทั้งสองแบบใช้ข้อมูลที่มีวันสิ้นสุด สิ่งใดที่เผยแพร่หลังจากวันนั้นจะไม่อยู่ในโมเดล ไม่ว่าจะเป็นการเลือกตั้ง การเปลี่ยนแปลงราคา หรือแม้แต่ข่าวเกี่ยวกับตัวโมเดลเอง

ผู้ผลิตเผยแพร่วันนั้นไว้บน model card และเริ่มเผยแพร่สองวันมากขึ้นเรื่อย ๆ Anthropic ระบุ "training data cutoff" ซึ่งเป็นวันสุดท้ายที่มีการรวมข้อมูลเข้ามา และ "reliable knowledge cutoff" ซึ่งเป็นวันก่อนหน้านั้นที่ข้อมูลครอบคลุมหนาแน่นพอจะเชื่อถือได้ ช่องว่างระหว่างสองวันนี้เกิดขึ้นเพราะเว็บใช้เวลาหลายเดือนกว่าจะเขียนถึงเหตุการณ์หนึ่งอย่างครบถ้วน การเปิดตัวในเดือนมีนาคมอาจมีเพียงไม่กี่หน้าเว็บในเดือนเมษายน แต่มีเป็นพันหน้าในเดือนกันยายน โมเดลที่ฝึกในเดือนกรกฎาคมจึงรู้เรื่องเดือนมีนาคมดีแต่รู้เรื่องเดือนกรกฎาคมน้อยมาก

ตัวโมเดลเองไม่สามารถบอกวันใดวันหนึ่งได้เลย มันไม่มีปฏิทินและไม่มีบันทึกการฝึกของตัวเอง เมื่อถูกถามว่า "knowledge cutoff ของคุณคือเมื่อไหร่" มันจะสร้างคำตอบที่น่าจะเป็นไปได้มากที่สุดสำหรับคำถามนั้นจากข้อมูลฝึกของมัน ซึ่งมักเป็นวันที่มันเคยอ่านเกี่ยวกับโมเดลรุ่นก่อนหน้า system prompt ที่ Anthropic เผยแพร่ออกมาบอกวันตัดของ Claude ให้มันรู้ตรง ๆ เป็นข้อความ ซึ่งเป็นการยอมรับว่าถ้าไม่บอก โมเดลก็จะไม่รู้เอง ให้เอาวันจาก model card เสมอ ไม่ใช่จากในแชต

โมเดลล้าสมัยแค่ไหนในวันวางจำหน่าย วัดจากข้อมูลจริง

การฝึกใช้เวลาหลายเดือน และงานประเมินผลกับความปลอดภัยก็ใช้เวลาเพิ่มอีก โมเดลจึงเปิดตัวมาโดยล้าหลังอยู่แล้ว กราฟด้านล่างอ่านจาก model card ของโมเดลแปดตัว เทียบ reliable หรือ stated knowledge cutoff กับวันวางจำหน่ายจริง เป็นหน่วยเดือนเต็ม

มีรูปแบบสองอย่างที่เห็นชัด โมเดลเรือธงของ OpenAI ล้าหลังที่สุด สิบเดือนทั้ง GPT-4.1 และ GPT-5 ขณะที่ Anthropic กับ Google อยู่ที่สองถึงสี่เดือน และช่องว่างนี้ยิ่งขยายขึ้นระหว่างที่ใช้งานอยู่ GPT-4o ยังเป็นโมเดลเริ่มต้นของ ChatGPT อยู่หนึ่งปีหลังเปิดตัว ซึ่งตอนนั้นข้อมูลของมันสิ้นสุดไปแล้ว 19 เดือนก่อนหน้า โมเดลที่ใช้งานประจำวันมักล้าหลังหนึ่งปีหรือมากกว่านั้นในวันที่คุณถามคำถามมัน

วันที่ทั้งหมดข้างต้นมาจากผู้ผลิตเอง อ่านจาก model card ที่ลิงก์ไว้ท้ายหน้านี้ ไทม์ไลน์โมเดล AI มีวันวางจำหน่ายของทุกโมเดลที่เว็บนี้ติดตาม

โมเดลทำอะไรเมื่อคุณถามเกินเส้นตัด

มันตอบ นั่นแหละคือปัญหา โมเดลไม่มีขั้นตอนค้นหาที่ตอบว่า "ไม่พบข้อมูล" มันสร้างคำต่อเนื่องที่น่าจะเป็นไปได้มากที่สุด และสำหรับคำถามเกี่ยวกับเดือนที่แล้ว คำตอบนั้นถูกสร้างจากรูปแบบของคำถามคล้าย ๆ กันในข้อมูลฝึก ถามเกี่ยวกับสินค้าที่ออกหลังวันตัด โมเดลจะบรรยายว่าสินค้าแบบนั้นน่าจะเป็นอย่างไร ถามราคาปัจจุบัน มันจะให้ราคา ณ วันตัด แต่พูดเป็นปัจจุบันกาล

AI hallucination คืออะไร อธิบายว่าทำไมโมเดลถึงมั่นใจแทนที่จะไม่แน่ใจ แต่ในกรณีของ knowledge cutoff มีจุดสังเกตที่ใช้ได้ คำตอบจะดูสอดคล้องแต่เก่าไปนิดหนึ่ง ชื่อโมเดลย้อนไปหนึ่งรุ่น ราคาคือของปีที่แล้ว ฟีเจอร์ "ล่าสุด" คือฟีเจอร์จากช่วงที่ฝึกข้อมูล คำตอบที่ล้าสมัยจะไม่ดูผิดเลย มันดูเหมือนอดีตธรรมดา ๆ

ทางแก้คือการค้นหา และใช้ได้แม้กับโมเดลที่ไม่มีระบบค้นหาในตัว

วันตัดขยับไม่ได้ ทางแก้คือส่งข้อความปัจจุบันให้โมเดลตอนที่มันกำลังตอบ มีสองกลไกที่ทำแบบนี้ได้ การอัปโหลดเอกสารจะใส่ข้อความของคุณเข้าไปในพรอมต์ แล้วโมเดลตอบจากข้อความนั้น เว็บเสิร์ชจะดึงหน้าเว็บมาและทำแบบเดียวกันกับเว็บสาธารณะ ทั้งสองแบบคือ grounding และเป็นกลไกเดียวกับที่ RAG คืออะไร อธิบายไว้ โมเดลยังคงทำนายคำตอบอยู่ แต่ทำนายจากเนื้อหาที่เกิดขึ้นหลังการฝึกของมัน

ใน Whizi เว็บเสิร์ช เปิดเป็นค่าเริ่มต้น อยู่ในช่องพิมพ์ข้อความข้าง ๆ ปุ่มแนบไฟล์ และใช้ได้กับโมเดลไม่ว่าคุณจะเลือกตัวไหน ส่วนนี้แหละที่มีประโยชน์จริง ไม่ว่าจะเป็น Claude หรือโมเดล Llama เมื่อเปิดสวิตช์นี้ ทุกตัวตอบคำถามเกี่ยวกับสัปดาห์นี้จากแหล่งข้อมูลสด ๆ ได้ สวิตช์นี้เป็นการอนุญาต ไม่ใช่คำสั่งบังคับ คำขอให้แต่งกลอนจึงไม่ทริกเกอร์การค้นหา แต่คำถามที่มีวันที่ระบุอยู่จะทริกเกอร์ การค้นหาไม่เสียเครดิตเพิ่ม ข้อความนั้นเสียเครดิตตามระดับของโมเดลที่ตอบเท่านั้น เหมือนตอนไม่เปิดค้นหา

มีข้อจำกัดหนึ่งที่ควรพูดตรง ๆ การค้นหาแก้ปัญหาความล้าสมัยได้ แต่ไม่ได้แก้ปัญหาความน่าเชื่อถือ บล็อกโพสต์ที่ล้าสมัยถูกดึงมาได้ง่ายพอ ๆ กับหน้าเว็บของผู้ผลิต ดังนั้นถ้าเป็นเรื่องราคาหรือสเปก ให้เปิดลิงก์ที่อ้างอิงก่อนนำไปใช้จริง และถ้าเป็นเรื่องสำคัญ ให้ถามอีกโมเดลหนึ่งโดยเปิดค้นหาไว้แล้วเทียบคำตอบกัน

ตั้งสมมติฐานว่าล้าหลังหกเดือน แล้วแยกประเภทคำถาม

ตั้งสมมติฐานว่าโมเดลทุกตัวล้าหลังอย่างน้อยหกเดือน และโมเดลที่คุณใช้มาสักพักหนึ่งแล้วล้าหลังหนึ่งปีหรือมากกว่านั้น จากนั้นแยกประเภทคำถาม ถ้าคำตอบขึ้นอยู่กับข้อเท็จจริงของโลกหลังเส้นตัดนั้น ให้เปิดค้นหาหรืออัปโหลดแหล่งข้อมูล ถ้าคำตอบขึ้นอยู่กับการให้เหตุผลจากสิ่งที่อยู่ในบทสนทนาอยู่แล้ว วันตัดไม่สำคัญและปิดค้นหาได้

ตรวจสอบ model card ไม่ใช่ตัวโมเดล เพื่อหาวันที่ที่ถูกต้อง และเมื่อโมเดลพูดขึ้นมาเองว่า "ณ ข้อมูลล่าสุดของฉัน" ให้อ่านมันว่าโมเดลกำลังอ้างจากข้อมูลฝึกของมัน ไม่ใช่รายงานข้อเท็จจริงเกี่ยวกับตัวเอง และให้สงสัยทุกอย่างที่ตามมาหลังวลีนั้นเช่นเดียวกัน