ChatGPT อ้างอิงมั่วบ่อยแค่ไหน? 7% ถึง 69% ของการอ้างอิง ขึ้นกับโมเดลและปี
ChatGPT แต่งแหล่งอ้างอิงขึ้นเองในอัตราที่วัดได้ 7% ถึง 69% ของการอ้างอิงที่มันสร้าง ขึ้นกับว่าดูโมเดลไหนและปีไหน ผลวัดที่เก่าที่สุดแย่ที่สุด: Gravel และเพื่อนร่วมงานถาม ChatGPT ด้วยคำถามทางการแพทย์ต้นปี 2023 แล้วพบว่า 41 จาก 59 รายการอ้างอิง หรือ 69% เป็นของที่แต่งขึ้น ผลล่าสุดดีที่สุด: Bernstein และเพื่อนร่วมงานขอให้ ChatGPT-5 ที่เปิดการท่องเว็บหาแหล่งอ้างอิงของคำแนะนำในแนวทางเวชปฏิบัติด้านกระดูกและข้อ 70 ข้อ ต้นปี 2026 และพบว่า 7.13% ไม่มีอยู่จริง ไม่มีงานวิจัยใดพบศูนย์ และในการทดลองของเราเอง DOI ที่เปิดได้ปกติก็พาไปเจอบทความผิดเรื่อง
สี่แถวนี้คือสี่งานวิจัยที่ทำโจทย์ต่างกัน จึงควรอ่านกราฟเป็นทิศทาง ไม่ใช่เส้นโค้ง ตารางด้านล่างคือทุกงานวิจัยที่เราเปิดดูจากต้นทางได้ พร้อมปีที่ถามโมเดล ขนาดตัวอย่าง และสัดส่วนการอ้างอิงที่ไม่มีอยู่จริง ทั้งการแพทย์ กฎหมาย และงานวิชาการทั่วไปอยู่ในนี้ เพราะความล้มเหลวเหมือนกันในทุกสาขา
| ปีที่ถาม | งานวิจัย | สาขา | โมเดล | ตัวอย่าง | การอ้างอิงที่ไม่มีอยู่จริง |
|---|---|---|---|---|---|
| 2023 | Gravel et al., Mayo Clinic Proceedings: Digital Health | คำถามทางการแพทย์ | ChatGPT (GPT-3.5) | 59 รายการอ้างอิง | 69% |
| 2023 | Bhattacharyya et al., Cureus | บทความสั้นทางการแพทย์ | ChatGPT-3.5 ถามเมื่อ 12 เมษายน 2023 | 115 รายการอ้างอิง | 47% และมีเพียง 7% ที่แท้จริงและถูกต้อง |
| 2023 | Walters and Wilder, Scientific Reports | 42 หัวข้อวิชาการ | GPT-3.5 | 222 การอ้างอิง | 55% |
| 2023 | Walters and Wilder, Scientific Reports | 42 หัวข้อวิชาการ | GPT-4 | 414 การอ้างอิง | 18% |
| 2024 | Chelli et al., Journal of Medical Internet Research | การทบทวนวรรณกรรมอย่างเป็นระบบ, rotator cuff | GPT-3.5 | 139 รายการอ้างอิง | 39.6% |
| 2024 | Chelli et al., Journal of Medical Internet Research | การทบทวนวรรณกรรมอย่างเป็นระบบ, rotator cuff | GPT-4 | 119 รายการอ้างอิง | 28.6% |
| 2024 | Chelli et al., Journal of Medical Internet Research | การทบทวนวรรณกรรมอย่างเป็นระบบ, rotator cuff | Google Bard | 104 รายการอ้างอิง | 91.4% |
| 2024 | Magesh et al., Stanford RegLab | คำถามค้นคว้าด้านกฎหมาย | Lexis+ AI, Westlaw AI-Assisted Research, Ask Practical Law AI | 202 คำถาม | ตอบแบบหลอนข้อมูล 17% ถึง 33% ของเวลา |
| 2025 | Linardon et al., JMIR Mental Health | การทบทวนวรรณกรรมด้านสุขภาพจิต | GPT-4o ถามเมื่อมิถุนายน 2025 | 176 การอ้างอิง | 19.9% และอีก 45.4% ของรายการจริงมีข้อผิดพลาด |
| 2026 | Bernstein et al., Cureus | คำถามแนวทางเวชปฏิบัติด้านกระดูกและข้อ | ChatGPT-5 ที่เปิดการท่องเว็บ กุมภาพันธ์ถึงมีนาคม 2026 | 2,736 รายการอ้างอิง | 7.13% และถูกต้องครบทุกช่อง 49.34% |
| 2026 | Rao, Wong and Callison-Burch, arXiv | รายงาน deep research (DRBench) | โมเดลเสริมการค้นหาและเอเจนต์ deep research | 53,090 URL | URL ที่อ้างถึงถูกหลอนขึ้น 3% ถึง 13% |
สองข้อในตารางนั้นสำคัญกว่าตัวเลขพาดหัว ข้อแรก สัดส่วนที่แต่งขึ้นเป็นความเสียหายเพียงครึ่งเดียว: ใน Walters และ Wilder "การอ้างอิงของ GPT-3.5 55% แต่ของ GPT-4 เพียง 18% ที่เป็นของแต่งขึ้น ในทำนองเดียวกัน 43% ของการอ้างอิงจริง (ที่ไม่ได้แต่งขึ้น) ของ GPT-3.5 แต่เพียง 24% ของการอ้างอิงจริงของ GPT-4 มีข้อผิดพลาดสำคัญในการอ้างอิง" รายการอ้างอิงที่มีอยู่จริงแต่ปี เล่ม หรือผู้เขียนผิดก็ไม่ผ่านผู้ตรวจเช่นเดียวกัน ข้อสอง อัตราเปลี่ยนไปตามความเฉพาะทางของหัวข้อ Linardon และเพื่อนร่วมงานขอให้ GPT-4o เขียนบทความทบทวนสามโรค และได้การอ้างอิงที่แต่งขึ้น 6% ในโรคซึมเศร้า 28% ในโรคกินมากผิดปกติ และ 29% ในโรคกลัวรูปร่างตนเองบกพร่อง ยิ่งคำถามแคบ ยิ่งมีส่วนของคำตอบที่เป็นการเดามากขึ้น
ทำไม ChatGPT ถึงอ้างอิงมั่ว? มันเขียนรูปแบบของการอ้างอิง ไม่ได้เปิดระเบียนจริง
ChatGPT แต่งแหล่งอ้างอิงเพราะมันสร้างคำถัดไปที่น่าจะเป็นไปได้มากที่สุด และการอ้างอิงเป็นสายอักขระที่เป็นระเบียบมาก: นามสกุล อักษรย่อ ปี ชื่อเรื่อง วารสาร เล่ม หน้า DOI ทุกส่วนของแบบแผนนี้ต่อได้ง่าย และไม่มีส่วนไหนถูกค้นหาจริง โมเดลที่เขียนรายการอ้างอิงไม่เคยเปิดฐานข้อมูล จึงไม่มีขั้นตอนไหนแยกระเบียนจริงออกจากรายการที่เขียนรูปแบบถูกต้องได้
นักวิจัยของ OpenAI เองบอกว่าครึ่งหลังของกลไกนี้คือการฝึกโมเดล ใน Why Language Models Hallucinate (Kalai, Nachum, Vempala และ Zhang, กันยายน 2025) บทคัดย่อเปิดว่า: "เหมือนนักเรียนที่เจอข้อสอบยาก โมเดลภาษาขนาดใหญ่บางครั้งเดาเมื่อไม่แน่ใจ สร้างข้อความที่ฟังดูสมเหตุสมผลแต่ผิด แทนที่จะยอมรับว่าไม่แน่ใจ" การเดาอ้างอิงที่บังเอิญถูกได้คะแนน ส่วน "ไม่ทราบ" ได้ศูนย์ โมเดลจึงเรียนรู้ที่จะเดา AI หลอนข้อมูลคืออะไร อธิบายงานวิจัยชิ้นนี้ไว้ครบ
ของที่แต่งขึ้นแทบไม่เคยสุ่มเลย ในการทดลองของเราด้านล่าง โมเดลให้ผู้เขียนสองคนที่มีอยู่จริงและเคยตีพิมพ์ใน Journal of Adolescent Health ปี 2006 เรื่องคาเฟอีนกับวัยรุ่นจริง แล้วเขียนชื่อเรื่องผิด ฉบับผิด หน้าผิด และ DOI ของบทความอื่น ทุกช่องถูกดึงมาจากบริเวณใกล้ความจริง นี่คือเหตุผลที่การอ้างอิงปลอมรอดสายตาไปได้ และทำไมวิธีตรวจในหัวข้อที่สี่จึงเอาแต่ละช่องมาเทียบกันเอง ไม่ใช่เทียบการอ้างอิงกับความจำของคุณ
การค้นเว็บทำให้ ChatGPT หยุดอ้างอิงมั่วไหม? ลดอัตราได้ แต่ไม่ถึงศูนย์
การค้นเว็บลดการอ้างอิงที่แต่งขึ้นได้มาก แต่ไม่ได้กำจัดหมด ChatGPT-5 ที่เปิดการท่องเว็บยังแต่ง 7.13% ของ 2,736 รายการอ้างอิงในงานวิจัยของ Bernstein และคณะปี 2026 ซึ่งบทคัดย่อปิดท้ายว่า: "ข้อผิดพลาดในการอ้างอิงและรายการอ้างอิงที่แต่งขึ้นยังคงอยู่ใน ChatGPT-5 ดังนั้นจึงยังจำเป็นต้องตรวจสอบรายการอ้างอิงที่สร้างขึ้นอย่างอิสระ" จาก 53,090 URL ที่โมเดลเสริมการค้นหาและเอเจนต์ deep research อ้างถึง Rao, Wong และ Callison-Burch (เมษายน 2026) พบว่า 3% ถึง 13% ชี้ไปยังหน้าที่ไม่มีอยู่ และเอเจนต์ที่อ้างอิงมากที่สุดก็หลอนมากที่สุด ในด้านกฎหมายที่มีการดึงข้อมูลในตัว Magesh และคณะ ของ Stanford (2024) พบว่าเครื่องมือ Lexis+ AI และของ Thomson Reuters "หลอนข้อมูลระหว่าง 17% ถึง 33% ของเวลา" ทั้งคู่
เราทดลองเปรียบเทียบเองเมื่อวันที่ 27 กันยายน 2026 บน GPT-5.6 Luna ผ่าน Whizi ซึ่งการค้นเว็บเป็นสวิตช์ในช่องพิมพ์ ใช้พรอมต์เดียวส่งสองครั้ง ครั้งหนึ่งปิดการค้นหา อีกครั้งเปิด: "List five peer-reviewed journal articles on caffeine and sleep latency in adolescents. For each give authors, year, article title, journal, volume, pages and DOI." จากนั้นนำทุก DOI ไปที่ doi.org และ Crossref API แล้วเทียบระเบียนที่ได้กลับมากับที่โมเดลเขียนทีละช่อง
| การอ้างอิงที่โมเดลให้ | การค้นหา | DOI เปิดได้ | เปิดไปเจอบทความที่ระบุ | ผลสรุป |
|---|---|---|---|---|
| Calamaro, Mason and Ratcliffe, 2009, Pediatrics 123(6) | ปิด | ได้ | ใช่ ตรงทุกช่อง | จริง |
| Orbeta et al., 2006, Journal of Adolescent Health 38(3), 266-272 | ปิด | ได้ | ไม่ DOI เป็นบทความเรื่อง HPV ปี 2005 ส่วนบทความจริงของ Orbeta คือ 38(4), 451-453 และชื่อเรื่องต่างกัน | ผู้เขียนจริง รายละเอียดแต่งขึ้น |
| Reichert et al., 2021, Biochemical Pharmacology 191 | เปิด | ได้ | ใช่ | จริง |
| Lodato et al., 2013, Nutrition Research 33(9), 726-732 | เปิด | ได้ | ใช่ | จริง |
| Chang et al., 2025, Sleep Medicine 136 | เปิด | ได้ | ใช่ เป็นการวิเคราะห์อภิมานในผู้ใหญ่ ซึ่งโมเดลชี้เองแล้ว | จริง แต่ไม่ตรงหัวข้อ |
ทั้งสองครั้งไม่ได้ครบห้ารายการ เมื่อปิดการค้นหา โมเดลให้สองรายการและปฏิเสธที่เหลือ โดยเขียนว่าไม่ "want to invent or misstate DOI details" เมื่อเปิดการค้นหา ให้สามรายการพร้อมลิงก์ PubMed และบอกว่าผลลัพธ์ไม่รองรับอีกสองรายการ การอ้างอิงที่ผิดเพียงรายการเดียวมาจากครั้งที่ปิดการค้นหา และเป็นแบบที่ให้บทเรียน: DOI เปิดได้ การตรวจ DOI อย่างเดียวจึงผ่าน และมีเพียงการอ่านชื่อเรื่องในหน้าปลายทางเท่านั้นที่จับได้ ข้อควรระวังสองข้อ ข้อแรก การทดลองนี้รันผ่าน Whizi ซึ่งมีพรอมต์ระบบของตัวเองเข้ามาเกี่ยวข้อง จึงเป็นโมเดลเดียวในวันเดียว ไม่ใช่อัตราทั่วไป ข้อสอง Whizi เสียเปรียบในเรื่องที่หน้านี้พูดถึง: ณ กันยายน 2026 ยังไม่มีตัวตรวจการอ้างอิง ลิงก์ในคำตอบจึงยังเป็นลิงก์ที่คุณต้องเปิดตรวจเอง และยังไม่มีใครวัดโมเดลกว่า 280+ ตัวของมันในงานนี้ ตัวเลือกโมเดลจึงบอกไม่ได้ว่าตัวไหนแต่งน้อยที่สุด สิ่งที่ สวิตช์ค้นเว็บ ทำคือให้โมเดลมีหน้าเว็บสดไว้อ้างอิง ซึ่งเป็นที่มาของสามรายการที่ตรวจแล้วว่าจริง
ตรวจการอ้างอิงของ ChatGPT ใน 60 วินาทีได้อย่างไร? สี่ขั้นตอน ตามลำดับนี้
คุณตรวจการอ้างอิงของ ChatGPT ได้โดยเอาแต่ละช่องไปเทียบกับฐานข้อมูล: ค้นชื่อเรื่องแบบตรงตัว เปิด DOI แล้วอ่านหน้าปลายทาง เทียบเล่มและหน้ากับปีของวารสาร แล้วเปิดรายการผลงานของผู้เขียน แต่ละขั้นจับความผิดพลาดที่ขั้นก่อนหน้าพลาดไป และเมื่อทำเป็นแล้วสองครั้ง ทั้งลำดับใช้เวลาราวหนึ่งนาทีต่อหนึ่งรายการอ้างอิง
- ค้นชื่อเรื่องแบบตรงตัว วางชื่อเรื่องในเครื่องหมายคำพูดคู่ลงใน Google Scholar หรือช่องค้นหาของ Crossref บทความจริงจะปรากฏหนึ่งครั้งพร้อมผู้เขียนเดียวกัน ถ้าไม่เจอ หรือเจอแต่ผู้เขียนต่างกัน การตรวจจบที่ตรงนี้: การอ้างอิงนี้ใช้ตามที่เขียนไม่ได้
- เปิด DOI แล้วอ่าน วาง DOI ต่อท้าย
https://doi.org/ถ้าขึ้น 404 แปลว่า DOI ถูกแต่งขึ้น แต่หน้าที่โหลดได้ยังไม่ถือว่าผ่าน ต้องอ่านชื่อเรื่องบนหน้านั้น การอ้างอิง Orbeta ของเราเปิดไปเจอบทความเรื่อง HPV อย่างปกติ และระเบียน Crossref แสดงเล่ม 37 ฉบับ 6 ปี 2005 ขณะที่โมเดลเขียน 38(3) ปี 2006 - เล่มและหน้าเทียบกับปี บนเว็บไซต์ของวารสาร เปิดเล่มที่การอ้างอิงระบุ แล้วยืนยันปีและช่วงหน้า Walters และ Wilder พบว่า 24% ของการอ้างอิงจริงของ GPT-4 ผิดในช่องสำคัญ และขั้นนี้คือที่ที่รายการผิดเหล่านั้นโผล่ออกมา
- รายการผลงานของผู้เขียน เปิดโปรไฟล์ Google Scholar ของผู้เขียนคนแรก ระเบียน ORCID หรือหน้าของภาควิชา แล้วหาบทความนั้นที่นั่น ผู้เขียนจริงสองคนที่ไม่เคยเขียนร่วมกันเป็นการแต่งที่พบบ่อย และมองไม่เห็นจนกว่าจะถึงขั้นนี้
การตรวจจะเร็วขึ้นถ้าบังคับให้โมเดลให้ตัวระบุมาด้วย เพิ่มบรรทัดนี้ในทุกคำขอแหล่งอ้างอิง: "Give the DOI and the PubMed ID for every reference, and mark any reference you cannot give a DOI for as unverified." โมเดลที่เปิดการค้นหาจะแนบลิงก์มาให้ ส่วนโมเดลที่ปิดการค้นหาจะให้ DOI ที่เปิดได้ หรือยอมรับว่าไม่มี ซึ่งในการทดลองของเราคือแบบหลัง อย่าถามโมเดลว่าการอ้างอิงของมันจริงไหม เพราะคำยืนยันถูกสร้างด้วยวิธีเดียวกับตัวการอ้างอิง วิธีตรวจสอบข้อเท็จจริงคำตอบ AI เป็นวิธีสองนาทีทั่วไปสำหรับข้ออ้าง ตัวเลข และคำพูด ลำดับขั้นนี้คือส่วนที่เฉพาะกับการอ้างอิง
สำหรับรายการอ้างอิงที่คุณจะส่ง ยื่น หรือเผยแพร่ ให้ทำครบทั้งสี่ขั้น ส่วนรายการที่แค่อ่านเอง ขั้นที่ 1 ก็พอจะตัดสินว่าควรอ่านต่อไหม
ChatGPT เป็นแหล่งที่น่าเชื่อถือไหม? ไม่ใช่สำหรับตัวการอ้างอิงเอง และศาลก็ตีราคาไว้แล้ว
ChatGPT ไม่ใช่แหล่งที่น่าเชื่อถือสำหรับการอ้างอิง เพราะการอ้างอิงเป็นข้ออ้างเกี่ยวกับระเบียน ไม่ใช่ตัวระเบียน มันเป็นวิธีที่เร็วในการหาบทความที่น่าจะใช่ แล้วคุณค่อยเปิดระเบียนจริงของบทความเหล่านั้น ความต่างนี้มีบิลที่กำลังวิ่งอยู่ ฐานข้อมูลของ Damien Charlotin ที่รวบรวมคำตัดสินของศาลซึ่งคู่ความอ้างอิงเนื้อหาที่ AI หลอนขึ้น บันทึกไว้ 2,086 คดี ณ วันที่ 27 กันยายน 2026 โดย 1,430 คดีอยู่ในสหรัฐอเมริกา 828 คดียื่นโดยทนายความ และ 33 คดียื่นโดยผู้พิพากษา นั่นคือเอกสารที่ศาลจับได้และบันทึกไว้เท่านั้น ทำไม AI ถึงตอบผิด อธิบายข้อผิดพลาดที่ไม่เคยไปถึงผู้พิพากษา
กฎการตัดสินใจจึงเป็นอย่างนี้: การอ้างอิงจากแชตบอตเป็นเพียงเบาะแสจนกว่าฐานข้อมูลจะบอกเป็นอย่างอื่น และเบาะแสก็คุ้มกับเวลาหนึ่งนาทีที่ใช้ตรวจพอดี
- ถือว่าทุกการอ้างอิงจากแชตบอตยังไม่ได้รับการยืนยัน จนกว่าฐานข้อมูล ไม่ใช่โมเดล จะยืนยัน
- ค้นชื่อเรื่องแบบตรงตัวในเครื่องหมายคำพูดบน Google Scholar หรือ Crossref ก่อนอ่านอย่างอื่น
- เปิด DOI ที่ doi.org และอ่านชื่อเรื่องบนหน้าปลายทาง หน้าที่โหลดได้ยังไม่ถือว่าผ่าน
- เทียบเล่ม ฉบับ และหน้ากับปีของเล่มนั้นตามที่วารสารเองระบุ
- หาบทความในรายการ Google Scholar หรือ ORCID ของผู้เขียนคนแรก
- เปิดการค้นเว็บทุกครั้งที่ขอแหล่งอ้างอิง และขอ DOI กับ PubMed ID ในพรอมต์
คำถามที่พบบ่อย
ChatGPT ยังอ้างอิงมั่วอยู่ไหมในปี 2026?
ยังมี แต่ต่ำกว่าปี 2023 Bernstein และคณะพบว่า ChatGPT-5 ที่เปิดการท่องเว็บแต่ง 7.13% ของ 2,736 รายการอ้างอิงระหว่างกุมภาพันธ์ถึงมีนาคม 2026 ลดจาก 55% ของ GPT-3.5 ในงานวิจัยของ Walters และ Wilder ปี 2023 และมีเพียง 49.34% ของรายการปี 2026 ที่ถูกต้องครบทุกช่อง ต่ำลงไม่ใช่ศูนย์ ดังนั้นการตรวจสี่ขั้นยังใช้ได้กับทุกอย่างที่คุณจะอ้างอิง
ChatGPT เอาข้อมูลมาจากไหน?
จากข้อมูลฝึกเมื่อปิดการค้นเว็บ และจากหน้าเว็บสดเมื่อเปิด เมื่อปิดการค้นหา โมเดลไม่มีระเบียนให้เปิดดู การอ้างอิงจึงถูกสร้างขึ้นใหม่จากแบบแผนในสิ่งที่มันอ่านตอนฝึก นั่นคือเหตุผลที่แต่ละช่องดูสมเหตุสมผลแต่มักผิด เมื่อเปิดการค้นหา มันอ้างหน้าที่ดึงมาและแนบลิงก์ ข้อผิดพลาดที่เหลือมาจากการสรุปหน้าเหล่านั้นไม่ดี หรือจากหน้าที่ย้ายที่อยู่ไปแล้ว
ChatGPT เลือกแหล่งที่จะอ้างอิงอย่างไร?
เมื่อปิดการค้นหา มันไม่ได้เลือก แต่สร้างรายการอ้างอิงที่น่าจะตามหลังคำถามของคุณมากที่สุด ซึ่งเป็นเหตุผลที่ผู้เขียนจริงสองคนถูกผูกกับชื่อเรื่องที่พวกเขาไม่เคยเขียน เมื่อเปิดการค้นหา มันอ้างหน้าที่เครื่องมือค้นหาส่งกลับมา เรียงตามอันดับของเครื่องมือนั้น แหล่งที่มาจึงสะท้อนสิ่งที่ดึงได้ในวันนั้น ไม่ใช่สิ่งที่ดีที่สุด ในการทดลองของเรา คำตอบที่เปิดการค้นหาดึงทั้งสามรายการมาจาก PubMed
หยุด ChatGPT ไม่ให้แต่งแหล่งอ้างอิงได้ไหม?
ลดอัตราได้ แต่หยุดไม่ได้ เปิดการค้นเว็บ ขอ DOI และ PubMed ID และบอกโมเดลให้ระบุว่ายังไม่ได้ตรวจสอบสำหรับรายการที่ให้ DOI ไม่ได้ งานวิจัยของเครื่องมือที่เปิดการท่องเว็บและแบบอิงการดึงข้อมูลยังพบอัตราผิดพลาด 3% ถึง 33% ดังนั้นการหยุดต้องเป็นคุณเอง: ค้นชื่อเรื่อง เปิด DOI ดูเล่มและหน้า และตรวจรายการผลงานผู้เขียน
