מאמר אחד מ-2017 החליף רקורנטיות ב-attention
ביוני 2017 שמונה חוקרים, רובם ב-Google, פרסמו מאמר בשם "Attention Is All You Need". המאמר הציע רשת לתרגום משפטים שהשמיטה את השכבות הרקורנטיות שכולם השתמשו בהן ושמרה רק על פעולה אחת, attention, מוערמת פעמים רבות. המודל הבסיסי מנה 65 מיליון פרמטרים והביס את מערכות התרגום האנגלית לגרמנית הטובות ביותר שקדמו לו, תוך אימון בשבריר מהזמן.
הרעיון היה בכותרת עצמה. רשתות שפה קודמות קראו משפט טוקן אחד בכל פעם, כשהן נושאות סיכום מתגלגל קדימה, כך שהמילה העשרים ידעה על הראשונה רק דרך מה ששרד תשע עשרה שלבי דחיסה. טרנספורמר קורא את כל הרצף בבת אחת. כל טוקן שואל כל טוקן אחר "עד כמה אתה רלוונטי אליי", מעניק לו משקל, ובונה את המשמעות שלו מהתשובה. המילה "בנק" מתייחסת ל"נהר" או ל"חשבון" ויוצאת שונה בכל פעם.
תשע שנים לאחר מכן, אותה ארכיטקטורה, בקנה מידה גדול בהרבה, היא זו שעונה כשמקלידים ל-ChatGPT. GPT הוא קיצור של generative pretrained transformer. גם Claude, Gemini, Llama, DeepSeek ו-Qwen הם טרנספורמרים, רק שהתווית ירדה כי אין כבר עם מה להשוות.
attention הוא חיפוש משוקלל, וכל טוקן מבצע אחד כזה בכל שכבה
קחו את המשפט "הגביע לא נכנס למזוודה כי הוא היה גדול מדי." כדי להבין למה מתכוון "הוא", קורא אנושי מביט אחורה אל "הגביע" ואל "המזוודה" ובוחר את זה שהגיוני לצד "גדול מדי". attention הוא אותו חיפוש, רק במספרים.
כל טוקן הופך לשלושה וקטורים: שאילתה (query, מה אני מחפש), מפתח (key, מה אני מציע) וערך (value, מה אני תורם אם נבחר). הטוקן "הוא" משווה את השאילתה שלו למפתח של כל טוקן אחר, מקבל ציון רלוונטיות לכל טוקן, הופך את הציונים למשקלים שסכומם אחד, ומסכם את הערכים לפי אותם משקלים. הייצוג החדש שלו הוא בעיקר "הגביע" עם קצת מכל השאר. המודל עושה זאת במקביל עבור כל טוקן, במספר "ראשים" עצמאיים שלומדים לעקוב אחר קשרים שונים, וחוזר על כך בעשרות שכבות מוערמות.
שתי תוצאות נובעות מכך ישירות. מכיוון שכל טוקן מעובד באותו השלב, כל השכבה רצה כפעולת מכפלת מטריצות אחת גדולה, בדיוק מה ש-GPU בנוי לעשות, ומודל הבסיס של המאמר התאמן ב-12 שעות על 8 מעבדי GPU. ומכיוון שכל טוקן משווה את עצמו לכל טוקן אחר, העלות של שכבה אחת גדלה ביחס לריבוע אורך הרצף: פי שניים טוקנים, פי ארבעה עבודת attention.
למה הריבוע הוא המספר שמגיע לחשבונית שלכם
העלות הריבועית הזו היא הסיבה שחלון ההקשר הוא המפרט שספקים מתחרים עליו, והסיבה שהשימוש בו לא חינם. מודל שמקבל 1,000,000 טוקנים צריך לבצע attention על רשת ציוני רלוונטיות של מיליון על מיליון, בכל ראש, בכל שכבה, וההנדסה שהופכת זאת לזול יחסית (דפוסים דלילים, חלונות מחליקים, גרסאות attention זולות יותר, ושמירת ה-keys וה-values של טוקנים קודמים במטמון כדי שתור המשך לא יחשב אותם מחדש) היא הסיבה שחלון של 1,000,000 טוקנים מתומחר לפי טוקן ולא נדחה מראש.
במדד עלות מודלי ה-AI, ל-47 מתוך 100 השורות המתומחרות יש חלון של 1,000,000 טוקנים ומעלה, לעומת 512 טוקנים ב-GPT-1 ו-2,048 ב-GPT-3. כל אחד מהם עדיין מחייב לפי טוקן קלט, כי כל טוקן שאתם שולחים הוא שורה באותה רשת. מסמך בן 300,000 טוקנים שנשאלות עליו עשר שאלות הוא 3 מיליון טוקני קלט, ומהם טוקנים בבינה מלאכותית מתמחר זאת ב-$6 על Claude Sonnet 5. הארכיטקטורה מסבירה את החשבונית.
היא גם מסבירה את אופן הכשל. לטרנספורמר אין זיכרון מחוץ לחלון שלו. מה שלא נמצא ברצף לא קיים עבורו, וזו הסיבה ששיחה ארוכה שוכחת את ההתחלה שלה, ולמה retrieval, נושאו של מהו RAG, קיים כדי להחזיר את הטוקנים הנכונים פנימה.
מקודד, מפענח או שניהם: הצורה קובעת למה המודל מיועד
למודל מ-2017 היו שני חצאים: מקודד (encoder) שקרא את המשפט המקורי ומפענח (decoder) שכתב את התרגום. כמעט כל מודל מאז שומר רק חצי אחד.
| צורה | מה היא עושה | אומנה לצורך | דוגמאות |
|---|---|---|---|
| מקודד בלבד | קוראת טקסט ומפיקה ייצוג שלו | השלמת מילים מוסתרות | BERT (2018), מודלי ה-embedding שמאחורי חיפוש |
| מפענח בלבד | כותבת טקסט טוקן אחד בכל פעם | חיזוי הטוקן הבא | GPT, Claude, Gemini, Llama, DeepSeek, Qwen |
| מקודד ומפענח | קוראת רצף אחד, כותבת רצף אחר | תרגום או המרה | המודל המקורי מ-2017, T5 |
כל מודלי הצ'אט שאתם משתמשים בהם הם מפענח בלבד. הבחירה הזו, שבוצעה ב-GPT-1 ב-2018 והועתקה מאז על ידי כל מודל צ'אט, היא הסיבה שמודל שפה מייצר במקום לחפש: כל הרשת היא חוזה הטוקן הבא, מהי טמפרטורה בבינה מלאכותית עוסק בכפתור שבוחר את הטוקן, ומהו LLM ממשיך את החוט הזה אל ההזיה וכל השאר. מודלי מקודד בלבד לא נעלמו. הם הפכו למודלי embedding שהופכים טקסט לווקטורים לצורך חיפוש, העבודה השנייה שבה attention הוכיח את עצמו כטוב.
גם עולם הראייה הלך באותו כיוון. ב-2020 מאמר Vision Transformer חתך תמונה לפיסות פיקסלים של 16 על 16, התייחס לכל פיסה כטוקן, והשווה לרשתות הקונבולוציה הטובות ביותר. זו הסיבה שאותו מודל יכול היום לקרוא גם צילום מסך וגם פסקה: שניהם מגיעים כרצף של טוקנים ועוברים באותן שכבות attention. יצירת תמונות היא היוצא מן הכלל: רוב מודלי התמונה הם מודלי דיפוזיה, עיצוב שונה לגמרי שמהי בינה מלאכותית גנרטיבית מפריד ממנו.
תשע שנים ממאמר אחד לכל מודל מוביל, לפי תאריך
ציר הזמן שלמטה נע מהמאמר של 2017 ועד המודלים שאליהם Whizi מנתב כיום. כתום מסמן את המהדורות שיצאו עם משקלים פתוחים, וכך ההמצאה התפשטה מעבר לשני המעבדות שבנו אותה ראשונות.
מספרי הפרמטרים מספרים את סיפור קנה המידה בשלושה מספרים: 65 מיליון במודל הבסיס מ-2017, 175 מיליארד ב-GPT-3 שלוש שנים אחר כך, ו-2.4 טריליון במודל Qwen הגדול ביותר שמדד העלות מתמחר ב-2026, שמתוכם כ-95 מיליארד פעילים על כל טוקן בודד. הארכיטקטורה לא השתנתה במהותה לאורך הטווח הזה. היא נעשתה רחבה יותר, עמוקה יותר ומוזנת טוב יותר. ההימור שהעמוד הזה עושה: אף מודל מוביל שייצא לפני 2028 לא יהיה שום דבר חוץ מטרנספורמר, וציר הזמן של מודלי ה-AI הוא המקום שבו זה נבדק.
- קראו "טרנספורמר" בתור "העיצוב שכל מודל טקסט נוכחי חולק", זה לא מלמד אתכם איזה מודל טוב יותר
- צפו לכך שהעלות והאיטיות יגדלו מהר יותר מגידול לינארי עם אורך ההקשר, ושמרו העלאות ארוכות לקטע שאתם באמת צריכים
- הניחו שמודל שוכח כל דבר מחוץ לחלון שלו, חזרו על העובדות החשובות או השתמשו בפרויקט כדי להצמיד אותן
- התייחסו לראייה ולטקסט כאל אותו צינור עיבוד: גם צילום מסך הוא טוקנים, אז שאלו עליו כמו שהייתם שואלים על פסקה
- בדקו את תאריך היציאה לפני שאתם סומכים על מה שמודל יודע, לארכיטקטורה עצמה אין שעון
שאלות נפוצות
מה המשמעות של טרנספורמר בבינה מלאכותית?
טרנספורמר הוא ארכיטקטורת רשת עצבית מהמאמר מ-2017 Attention Is All You Need. הוא מעבד כל טוקן ברצף במקביל באמצעות attention, פעולה שבה כל טוקן שוקל את הרלוונטיות שלו לכל טוקן אחר, וזו הארכיטקטורה בתוך GPT, Claude, Gemini, Llama, DeepSeek ו-Qwen. המאמר עצמו לא מסביר למה נבחר השם הזה.
מה הקיצור GPT אומר?
Generative pretrained transformer. Generative כי הוא מייצר טקסט, pretrained כי הוא לומד מקורפוס גדול לפני שהוא מכוונן לצ'אט, ו-transformer כי זו ארכיטקטורת הרשת. OpenAI הציגה את השם עם GPT-1 ביוני 2018.
מהו מנגנון ה-attention?
הפעולה שנמצאת במרכזו של טרנספורמר. כל טוקן מחשב ציון רלוונטיות מול כל טוקן אחר ברצף, הופך את הציונים למשקלים, ומערבב את הייצוגים של הטוקנים האחרים לפי אותם משקלים. כך "הוא" לומד להתכוון ל"גביע" במשפט אחד ול"מזוודה" באחר. הוא רץ במקביל על כל הטוקנים ובכמה ראשים בכל שכבה.
למה טרנספורמרים החליפו רשתות עצביות רקורנטיות?
רשתות רקורנטיות קראו טוקנים אחד אחרי השני ונאלצו להעביר מידע קדימה דרך כל שלב, מה שהגביל גם את מה שהן זוכרות וגם את מהירות האימון שלהן. טרנספורמרים קוראים את כל הרצף בבת אחת, כך שהם שומרים על גישה ישירה לכל טוקן קודם ומתאמנים כפעולות מטריצה מקבילות ש-GPU מריץ ביעילות. המאמר מ-2017 השתווה למערכות התרגום הטובות ביותר בשבריר מזמן האימון.
האם כל מודלי ה-AI הם טרנספורמרים?
כל LLM מוביל הוא כזה, וכך גם כל מודל טקסט ש-Whizi מציעה. היוצאים מן הכלל הם קווי מחקר כמו Mamba והיברידים כמו Jamba, ואף אחד מהם לא מוביל בבנצ'מרק כלשהו. מחוללי תמונות כמו Stable Diffusion ו-Flux הם מודלי דיפוזיה, עיצוב שונה, אם כי רבים מהם משתמשים בטרנספורמר פנימי כדי לקרוא את ההנחיה. מודלי ראייה שקוראים תמונות הם טרנספורמרים מאז מאמר Vision Transformer מ-2020, שמתייחס לפיסות תמונה כטוקנים.
