מה זה LLM?

שלוש המילים, בסדר שחשוב

נפרק את השם מהסוף להתחלה.

מודל. מודל הוא פונקציה שהופכת קלט לפלט, כשהחוקים נלמדים מנתונים ולא נכתבים בידי מתכנת. מודל מזג האוויר לוקח את הנתונים של היום ומפיק תחזית למחר. מודל שפה לוקח טקסט ומפיק הסתברות למה שיבוא אחר כך.

שפה. הקלט והפלט הם טקסט, פרוס לטוקנים, שהם חלקי מילים. מה זה טוקן בבינה מלאכותית מסביר את היחידה הזו; בקצרה, המודל קורא וכותב בפיסות של בערך שלושת רבעי מילה.

גדול. למודל יש מספר עצום של פרמטרים, המספרים הפנימיים שהאימון מכוונן. ל-GPT-2 ב-2019 היו 1.5 מיליארד. ל-GPT-3 ב-2020 היו 175 מיליארד. הקטלוג שהאתר הזה מתמחר ב-2026 כולל מודל של Qwen עם 2.4 טריליון פרמטרים, שמתוכם כ-95 מיליארד פעילים על כל טוקן. המילה "גדול" עושה כאן עבודה רבה, והכמות גדלה פי יותר מאלף תוך שבע שנים.

אז LLM הוא מנחש טוקן הבא, גדול מאוד. כל תכונה אחרת שמייחסים לו, ההיגיון, הטון, הטעויות הבטוחות בעצמן, נובעת מהתפקיד היחיד הזה.

LLM הוא לא צ'אטבוט, וההבדל הוא כל המוצר

ChatGPT היא אפליקציה. GPT הוא המודל שבתוכה. Claude הוא גם משפחת מודלים וגם האפליקציה ש-Anthropic עוטפת סביבם. Gemini זה אותו סיפור אצל Google. מה זה צ'אטבוט AI מסביר את שכבת האפליקציה; העמוד הזה עוסק במנוע.

ההבחנה מפסיקה להיות תיאורטית ברגע שמבינים שהמנוע ניתן להחלפה. אותו חלון צ'אט יכול לשלוח את ההודעה שלכם ל-GPT, Claude, Gemini, DeepSeek או Llama, והתשובות נבדלות בטון, במחיר, במהירות ובדיוק. סביבת עבודה רב-מודלית כמו Whizi היא בדיוק זה: חלון אחד, מעל 280 מודלים מאחוריו, ובורר שקובע מי עונה. האפליקציה היא ההגה. ה-LLM הוא המנוע, ויש עשרות כאלה.

איך מאמנים LLM, בשני שלבים

שלב ראשון, אימון מוקדם (pretraining). המודל קורא קורפוס עצום של טקסט, ובכל מיקום מנסה לנחש את הטוקן הבא. כל ניחוש שגוי מזיז מעט את הפרמטרים. Meta דיווחה ש-Llama 3 עבר אימון מוקדם על יותר מ-15 טריליון טוקנים, וזה, לפי כ-100,000 טוקנים ברומן של 75,000 מילים (שלושת רבעי מילה לטוקן), טקסט של בערך 150 מיליון ספרים. אחרי השלב הזה המודל הוא משלים טקסט מעולה ועוזר גרוע: אם שואלים אותו שאלה הוא עלול להמשיך בעוד שלוש שאלות, כי זה מה שטקסט באינטרנט עושה לעיתים קרובות.

שלב שני, פוסט-אימון (post-training). אחר כך מראים למודל דוגמאות של תשובות טובות, ואנשים מדרגים איזו משתי תשובות טובה יותר, תהליך שנקרא למידת חיזוק ממשוב אנושי, או RLHF. מכאן מגיעה התנהגות העוזר: מענה לשאלה בפורמט שביקשתם, וסירוב לבקשות מסוימות. זה תדרוך, לא ידע חדש. העובדות עדיין מגיעות מהשלב הראשון.

משני השלבים נובעים שני דברים. הידע של המודל נעצר בתאריך שבו מסתיימים נתוני האימון המוקדם, ולכן לכל מודל יש תאריך קטיעת ידע. ואף אחד מהשלבים לא מתקין בודק עובדות: המודל למד לייצר טקסט סביר ואז לייצר טקסט חביב. האמת היא תוצר לוואי שכיח של שניהם, לא הבטחה. למה AI טועה מרחיב על כך.

למה LLM מנחש במקום לחפש

מנוע חיפוש שולף. יש לו אינדקס של דפים והוא מחזיר את אלה שמתאימים. ל-LLM אין אינדקס. כל מה שהוא קרא במהלך האימון המוקדם נדחס לתוך הפרמטרים שלו, ובזמן התשובה הוא משחזר טקסט מהדחיסה הזו, טוקן אחר טוקן, כשכל טוקן נבחר מהתפלגות הסתברות.

זו הסיבה ש-LLM יכול לכתוב מתכון עובד למנה שהוא מעולם לא ראה בשם הזה, וגם הסיבה שהוא יכול להמציא ציטוט משפטי שלא קיים. שניהם המשכים סבירים. למודל אין מנגנון נפרד שבודק אם המשך סביר הוא גם אמיתי.

הפתרון שמוצרים משתמשים בו הוא להוסיף שליפה: לחפש קודם באינטרנט או בקבצים שלכם, ואז למסור למודל את הקטעים הרלוונטיים ולבקש ממנו לענות מתוכם. הטכניקה הזו נקראת RAG, ומה זה RAG מסביר אותה. חיפוש רשת בתוך אפליקציית צ'אט הוא RAG כשהאינטרנט הוא המקור. המודל עדיין מנחש; הוא רק מנחש מחומר טוב יותר.

מה המחיר קונה בתוך משפחה, במספרים

כל משפחה משיקה סולם: מודל קטן, מודל בינוני, ודגל. מדד האינטליגנציה של Artificial Analysis, ציון מורכב על פני מבחני היגיון, קוד וידע פומביים, נותן מספר לכל שלב, והטבלה המובילה מפרטת לצידו מחיר ממוצע למיליון טוקנים. ארבעת הסולמות למטה נקראו ב-2026-09-17.

OpenAI קונה 15 נקודות תמורת פי 18 מהמחיר, Anthropic 35 נקודות תמורת פי 36, Qwen 19 נקודות תמורת פי 16. DeepSeek שוברת את הדפוס: V4 Flash מנצח את V4 Pro במחיר פחות ממחצית. משני אלה נובעים שני דברים. בתוך משפחה, הנקודות האחרונות הן היקרות, כך שלשאלה עובדתית קצרה המודל הקטן נותן את אותה תשובה כמו הדגל. ובין משפחות, המחיר הוא מדד חלש לאיכות: DeepSeek V4 Flash במחיר $0.27 למיליון טוקנים מקבל שתי נקודות יותר מ-Claude Sonnet 5 במחיר $5.09. זה הדבר השימושי ביותר לדעת על LLM כקונה: המודל הוא חוגה, לא עלות קבועה. Whizi גובה לפי אותה לוגיקה, קרדיט אחד להודעה במודל הבית, 20 עבור Claude Opus 5, ועד 100 עבור השורות היקרות ביותר, ואיך קרדיטים ב-Whizi עובדים מפרט לפי מודל.

ההסתייגות הכנה היא שמדד מורכב הוא ממוצע על פני משימות. לשרשרת היגיון ארוכה הדגל מצדיק את המחיר; לשכתוב הוא לא. להשוואה של מה כל משפחה טובה בו בפועל, באיזה מודל AI כדאי להשתמש הוא עמוד ההחלטה.

מה LLM לא יכול לעשות, ברשימה אחת

כל מה שלמטה הוא תוצאה של הארכיטקטורה, לא באג שהגרסה הבאה תתקן.

• הוא לא יכול לדעת שום דבר אחרי תאריך קטיעת האימון שלו, אלא אם שליפה מוסרת לו את הטקסט.
• הוא לא יכול לספור באופן אמין בקלטים ארוכים, כי הוא עובד בטוקנים ובהסתברויות, לא בלולאה על פריטים.
• הוא לא יכול לאמת את הפלט של עצמו; מעבר נוסף של אותו מודל הוא אותו מנחש שמנחש שוב.
• הוא לא יכול לזכור אתכם בין שיחות, אלא אם המוצר שומר הערות ומדביק אותן בחזרה; הזיכרון הזה הוא תכונת מוצר, לא תכונת מודל.
• הוא לא יכול לראות את כל השיחה לנצח. לכל מודל יש חלון הקשר, כמות הטקסט המקסימלית שהוא יכול לשקול בו זמנית, ומה זה חלון הקשר מסביר מה קורה כשמגיעים אליו.

המסקנה המעשית: תתייחסו ל-LLM כמו לעמית שוטף אבל טועה לפעמים, והשאירו את האימות בצד שלכם. הלולאה שהופכת מודל למשהו שפועל בעצמו היא דבר אחר, ומה זה סוכן AI מסמן את הגבול הזה. לכל דבר עם עלות מעורבת, שאלו מודל שני. הסכמה בין שני מנחשים שונים היא ראיה חלשה; אי הסכמה בין שניים היא אות חזק לבדוק.