งานวิจัยปี 2017 หนึ่งฉบับแทนที่ recurrence ด้วย attention
ในเดือนมิถุนายน 2017 นักวิจัยแปดคน ส่วนใหญ่ทำงานที่ Google ตีพิมพ์งานวิจัยชื่อ "Attention Is All You Need" งานวิจัยนี้เสนอเครือข่ายสำหรับแปลประโยคที่ตัด recurrent layer ซึ่งทุกคนใช้กันออกไป และเหลือไว้เพียงการทำงานเดียวคือ attention ซ้อนกันหลายชั้น โมเดลพื้นฐานมีพารามิเตอร์ 65 ล้านตัว และเอาชนะระบบแปลอังกฤษเป็นเยอรมันที่ดีที่สุดในตอนนั้น ทั้งที่ใช้เวลาฝึกน้อยกว่ามาก
แนวคิดคือชื่อของมันเอง เครือข่ายภาษายุคก่อนอ่านประโยคทีละโทเคน พร้อมพกสรุปที่วิ่งต่อเนื่องไปเรื่อย ๆ ดังนั้นคำที่ยี่สิบจึงรู้จักคำแรกผ่านสิ่งที่รอดจากการบีบอัดสิบเก้าขั้นตอนเท่านั้น ส่วน transformer อ่านทั้งลำดับพร้อมกันในคราวเดียว โทเคนแต่ละตัวถามโทเคนอื่นทุกตัวว่า "คุณเกี่ยวข้องกับฉันแค่ไหน" ให้น้ำหนัก แล้วสร้างความหมายของตัวเองจากคำตอบนั้น คำว่า "bank" จะให้ความสนใจกับ "river" หรือ "account" และออกมามีความหมายต่างกันในแต่ละครั้ง
เก้าปีต่อมา สถาปัตยกรรมเดียวกันนี้ ขยายขนาดใหญ่ขึ้น คือสิ่งที่ตอบคำถามเมื่อคุณพิมพ์ลงใน ChatGPT GPT ย่อมาจาก generative pretrained transformer Claude, Gemini, Llama, DeepSeek และ Qwen ก็เป็น transformer เช่นกัน เพียงแต่ไม่มีการติดป้ายไว้ เพราะไม่มีอะไรให้เปรียบเทียบอีกแล้ว
Attention คือการค้นหาแบบถ่วงน้ำหนัก และโทเคนแต่ละตัวทำหนึ่งครั้งต่อเลเยอร์
ลองดูประโยค "The trophy did not fit in the suitcase because it was too big." เพื่อตัดสินว่า "it" หมายถึงอะไร ผู้อ่านจะย้อนกลับไปดู "trophy" กับ "suitcase" แล้วเลือกคำที่เข้ากับ "too big" มากกว่า attention คือการค้นหาแบบนั้น เพียงแต่ทำด้วยตัวเลข
โทเคนแต่ละตัวจะถูกแปลงเป็นเวกเตอร์สามตัว คือ query (ฉันกำลังหาอะไร) key (ฉันมีอะไรจะเสนอ) และ value (ฉันจะให้อะไรถ้าถูกเลือก) โทเคน "it" นำ query ของตัวเองไปเทียบกับ key ของโทเคนอื่นทุกตัว ได้คะแนนความเกี่ยวข้องต่อโทเคนหนึ่งตัว แปลงคะแนนเป็นน้ำหนักที่รวมกันได้หนึ่ง แล้วบวก value ตามน้ำหนักเหล่านั้น ผลลัพธ์ใหม่ของมันส่วนใหญ่คือ "trophy" ปนกับส่วนอื่นเล็กน้อย โมเดลทำแบบนี้พร้อมกันสำหรับทุกโทเคน ในหลาย "head" อิสระที่เรียนรู้จะติดตามความสัมพันธ์ต่างกัน และทำซ้ำในหลายสิบเลเยอร์ที่ซ้อนกัน
ผลที่ตามมามีสองอย่างโดยตรง เนื่องจากทุกโทเคนถูกประมวลผลในขั้นตอนเดียวกัน ทั้งเลเยอร์จึงทำงานเป็นการคูณเมทริกซ์ก้อนใหญ่ก้อนเดียว ซึ่งตรงกับสิ่งที่ GPU ถูกออกแบบมาให้ทำพอดี และโมเดลพื้นฐานในงานวิจัยนี้ฝึกเสร็จภายในสิบสองชั่วโมงบน GPU แปดตัว และเนื่องจากทุกโทเคนเทียบกับทุกโทเคนอื่น ต้นทุนของเลเยอร์เดียวจึงเพิ่มขึ้นตามกำลังสองของความยาวลำดับ โทเคนเพิ่มเป็นสองเท่า งาน attention เพิ่มเป็นสี่เท่า
ทำไมกำลังสองคือตัวเลขที่มาถึงบิลของคุณ
ต้นทุนแบบกำลังสองนี้คือเหตุผลที่ context window เป็นสเปกที่ผู้ให้บริการแข่งขันกัน และเหตุผลที่การใช้งานมันไม่ได้ฟรี โมเดลที่รับได้ 1,000,000 โทเคนต้องทำ attention บนตารางคะแนนความเกี่ยวข้องขนาดล้านคูณล้าน ในทุก head ทุกเลเยอร์ และวิศวกรรมที่ทำให้เรื่องนี้คุ้มค่า (รูปแบบแบบ sparse, sliding window, attention รูปแบบที่ถูกกว่า และการแคช key กับ value ของโทเคนก่อนหน้าเพื่อไม่ให้เทิร์นถัดไปต้องทำซ้ำ) คือเหตุผลที่ window ขนาด 1,000,000 โทเคนถูกคิดราคาต่อโทเคน แทนที่จะถูกปฏิเสธไปเลย
ใน ดัชนีต้นทุนโมเดล AI 47 จาก 100 แถวที่มีราคามี window ตั้งแต่ 1,000,000 โทเคนขึ้นไป เพิ่มขึ้นจาก 512 โทเคนใน GPT-1 และ 2,048 ใน GPT-3 ทุกตัวยังคิดราคาต่อโทเคนนำเข้า เพราะทุกโทเคนที่คุณส่งไปคือหนึ่งแถวในตารางนั้น เอกสาร 300,000 โทเคนที่ถูกถามสิบคำถามคือ 3 ล้านโทเคนนำเข้า และ tokens ในโลก AI คืออะไร คิดราคานั้นไว้ที่ $6 บน Claude Sonnet 5 สถาปัตยกรรมนี้เองที่อธิบายใบแจ้งหนี้
มันยังอธิบายรูปแบบความล้มเหลวด้วย transformer ไม่มีความจำนอกเหนือจาก window ของมัน สิ่งที่ไม่อยู่ในลำดับก็ไม่มีอยู่จริงสำหรับมัน นี่คือเหตุผลที่บทสนทนายาว ๆ จะลืมจุดเริ่มต้น และเหตุผลที่ retrieval ซึ่งเป็นหัวข้อของ RAG คืออะไร มีไว้เพื่อนำโทเคนที่ถูกต้องกลับเข้ามาใหม่
Encoder, decoder หรือทั้งสองอย่าง รูปทรงเป็นตัวกำหนดว่าโมเดลใช้ทำอะไร
โมเดลปี 2017 มีสองส่วน คือ encoder ที่อ่านประโยคต้นฉบับ และ decoder ที่เขียนคำแปล เกือบทุกโมเดลตั้งแต่นั้นมาเก็บไว้เพียงครึ่งเดียว
| รูปทรง | ทำหน้าที่อะไร | ถูกฝึกให้ทำอะไร | ตัวอย่าง |
|---|---|---|---|
| Encoder เท่านั้น | อ่านข้อความและให้ผลลัพธ์เป็นตัวแทนของมัน | เติมคำที่ถูกซ่อนไว้ | BERT (2018), โมเดล embedding ที่อยู่เบื้องหลังการค้นหา |
| Decoder เท่านั้น | เขียนข้อความทีละโทเคน | ทำนายโทเคนถัดไป | GPT, Claude, Gemini, Llama, DeepSeek, Qwen |
| Encoder และ decoder | อ่านลำดับหนึ่ง เขียนอีกลำดับหนึ่ง | แปลหรือแปลงรูป | โมเดลต้นฉบับปี 2017, T5 |
โมเดลแชตที่คุณใช้ล้วนเป็น decoder เท่านั้น ทางเลือกนี้ ซึ่ง GPT-1 เลือกไว้ในปี 2018 และโมเดลแชตทุกตัวก็ทำตามมาตลอด คือเหตุผลที่โมเดลภาษาสร้างข้อความขึ้นมาแทนที่จะค้นหา เพราะทั้งเครือข่ายคือตัวทำนายโทเคนถัดไป temperature ใน AI คืออะไร พูดถึงปุ่มปรับที่เลือกโทเคน และ LLM คืออะไร พาต่อไปถึงเรื่อง hallucination และอื่น ๆ โมเดลแบบ encoder เท่านั้นไม่ได้หายไปไหน มันกลายเป็น โมเดล embedding ที่เปลี่ยนข้อความเป็นเวกเตอร์สำหรับการค้นหา ซึ่งเป็นอีกงานหนึ่งที่ attention ทำได้ดี
ฝั่งภาพก็เดินตามเส้นทางเดียวกัน ในปี 2020 งานวิจัย Vision Transformer ตัดภาพออกเป็นแพตช์ขนาด 16 คูณ 16 พิกเซล ถือแต่ละแพตช์เป็นโทเคน และทำได้ทัดเทียมเครือข่าย convolutional ที่ดีที่สุด นี่คือเหตุผลที่โมเดลเดียวกันตอนนี้อ่านภาพหน้าจอของคุณและย่อหน้าของคุณได้ ทั้งสองอย่างมาถึงในรูปของลำดับโทเคนและผ่านเลเยอร์ attention เดียวกัน การสร้างภาพเป็นข้อยกเว้น โมเดลสร้างภาพส่วนใหญ่เป็น diffusion model ซึ่งเป็นการออกแบบที่ต่างออกไป และ generative AI คืออะไร แยกเรื่องนี้ไว้ต่างหาก
เก้าปีจากงานวิจัยหนึ่งฉบับสู่โมเดลระดับแนวหน้าทุกตัว เรียงตามวันที่
ไทม์ไลน์ด้านล่างนี้ไล่ตั้งแต่งานวิจัยปี 2017 จนถึงโมเดลที่ Whizi ใช้ในปัจจุบัน สีส้มระบุรุ่นที่เผยแพร่ open weights ซึ่งเป็นวิธีที่การออกแบบนี้แพร่กระจายออกไปนอกสองแล็บที่สร้างมันขึ้นมาก่อน
จำนวนพารามิเตอร์บอกเรื่องราวของขนาดผ่านตัวเลขสามตัว 65 ล้านในโมเดลพื้นฐานปี 2017, 175 พันล้านใน GPT-3 สามปีต่อมา และ 2.4 ล้านล้านในโมเดล Qwen ตัวใหญ่ที่สุดที่ดัชนีต้นทุนคิดราคาไว้ในปี 2026 ซึ่งมีประมาณ 95 พันล้านตัวที่ทำงานอยู่ต่อหนึ่งโทเคน สถาปัตยกรรมไม่ได้เปลี่ยนไปในเชิงประเภทตลอดช่วงนั้น มันแค่กว้างขึ้น ลึกขึ้น และป้อนข้อมูลได้ดีขึ้น การคาดการณ์ของหน้านี้คือ ไม่มีโมเดลระดับแนวหน้าตัวใดที่ออกก่อนปี 2028 จะเป็นอะไรอื่นนอกจาก transformer และ ไทม์ไลน์โมเดล AI คือที่ที่จะตรวจสอบเรื่องนี้ได้
- อ่านคำว่า "transformer" ว่าคือ "การออกแบบที่โมเดลข้อความทุกตัวในปัจจุบันมีร่วมกัน" มันไม่ได้บอกว่าโมเดลไหนดีกว่ากัน
- คาดหวังว่าต้นทุนและความช้าจะเพิ่มขึ้นเร็วกว่าเชิงเส้นตามความยาว context และเก็บไฟล์อัปโหลดยาว ๆ ไว้เฉพาะส่วนที่ต้องใช้
- สมมติว่าโมเดลลืมทุกอย่างที่อยู่นอก window ของมัน ให้พูดข้อเท็จจริงสำคัญซ้ำอีกครั้ง หรือใช้ project เพื่อปักหมุดไว้
- มองว่าภาพและข้อความเป็นไปป์ไลน์เดียวกัน ภาพหน้าจอก็คือโทเคนเหมือนกัน ดังนั้นถามเกี่ยวกับมันแบบเดียวกับที่คุณจะถามเกี่ยวกับย่อหน้า
- ตรวจวันที่เผยแพร่ก่อนเชื่อสิ่งที่โมเดลรู้ เพราะสถาปัตยกรรมไม่มีนาฬิกาในตัว
คำถามที่พบบ่อย
transformer หมายถึงอะไรใน AI
Transformer คือสถาปัตยกรรมเครือข่ายประสาทเทียมจากงานวิจัยปี 2017 ชื่อ Attention Is All You Need มันประมวลผลทุกโทเคนของลำดับพร้อมกันโดยใช้ attention ซึ่งเป็นการทำงานที่แต่ละโทเคนชั่งน้ำหนักความเกี่ยวข้องของตัวเองกับโทเคนอื่นทุกตัว และมันคือสถาปัตยกรรมที่อยู่ภายใน GPT, Claude, Gemini, Llama, DeepSeek และ Qwen งานวิจัยนี้ไม่ได้บอกไว้ว่าทำไมถึงเลือกใช้ชื่อนี้
GPT ย่อมาจากอะไร
Generative pretrained transformer คำว่า generative เพราะมันสร้างข้อความ pretrained เพราะมันเรียนรู้จากคลังข้อมูลขนาดใหญ่ก่อนถูกปรับแต่งให้ใช้แชต และ transformer เพราะนั่นคือสถาปัตยกรรมเครือข่ายของมัน OpenAI เริ่มใช้ชื่อนี้พร้อมกับ GPT-1 ในเดือนมิถุนายน 2018
attention mechanism คืออะไร
คือการทำงานที่อยู่ตรงกลางของ transformer โทเคนแต่ละตัวคำนวณคะแนนความเกี่ยวข้องกับโทเคนอื่นทุกตัวในลำดับ แปลงคะแนนเป็นน้ำหนัก และผสมผสานตัวแทนของโทเคนอื่นเข้าด้วยกันตามน้ำหนักเหล่านั้น นี่คือวิธีที่ "it" เรียนรู้ที่จะหมายถึง "trophy" ในประโยคหนึ่งและ "suitcase" ในอีกประโยคหนึ่ง มันทำงานพร้อมกันในทุกโทเคนและในหลาย head ต่อหนึ่งเลเยอร์
ทำไม transformer ถึงเข้ามาแทนที่ recurrent neural network
Recurrent network อ่านโทเคนทีละตัวต่อเนื่องกัน และต้องส่งข้อมูลไปข้างหน้าผ่านทุกขั้นตอน ซึ่งจำกัดทั้งสิ่งที่มันจำได้และความเร็วในการฝึก Transformer อ่านทั้งลำดับพร้อมกัน จึงเข้าถึงโทเคนก่อนหน้าทุกตัวได้โดยตรง และฝึกเป็นการคำนวณเมทริกซ์แบบขนานที่ GPU ทำงานได้อย่างมีประสิทธิภาพ งานวิจัยปี 2017 ทำได้ทัดเทียมระบบแปลที่ดีที่สุดในเวลาฝึกเพียงเสี้ยวเดียว
โมเดล AI ทุกตัวเป็น transformer หรือไม่
LLM ระดับแนวหน้าทุกตัวเป็น และโมเดลข้อความทุกตัวที่ Whizi มีให้ก็เป็นเช่นกัน ข้อยกเว้นคือสายงานวิจัยอย่าง Mamba และแบบผสมอย่าง Jamba ซึ่งไม่มีตัวไหนนำหน้าเบนช์มาร์กเลย โมเดลสร้างภาพอย่าง Stable Diffusion และ Flux เป็น diffusion model ซึ่งเป็นการออกแบบที่ต่างออกไป แม้ว่าหลายตัวจะใช้ transformer อยู่ภายในเพื่ออ่านพรอมต์ก็ตาม ส่วนโมเดลวิชันที่อ่านภาพเป็น transformer มาตั้งแต่งานวิจัย Vision Transformer ปี 2020 ซึ่งถือแพตช์ของภาพเป็นโทเคน
