מה RAG הוא בעצם
מודל שפה לבדו הוא כמו מבחן ספר סגור. כל מה שהוא יכול לספר לכם נקבע כשהאימון הסתיים, ושאלה על החוזה שלכם, קוד המקור שלכם, או החדשות של אתמול תוביל לסירוב או לניחוש בטוח בעצמו. למה AI טועה מסביר את בעיית הניחושים לעומק.
RAG הופך את מבחן הספר הסגור למבחן ספר פתוח. לפני שהמודל כותב תשובה, המערכת מחפשת במקור ידע, כמו הקבצים שהעליתם, ויקי חברה, או האינטרנט החי, שולפת את הקטעים הרלוונטיים ביותר, ומדביקה אותם לתוך הפרומפט לצד השאלה שלכם. המודל אז עונה מהטקסט שאוחזר במקום מזיכרון בלבד.
זה כל הרעיון. השם מפחיד; המנגנון הוא "קודם תחפש". כל השאר בהנדסת RAG עוסק בלגרום לשלב החיפוש למצוא את הקטעים הנכונים.
למה מודלים בכלל צריכים שלב אחזור
שתי מגבלות קשות יוצרות את הצורך.
לאימון יש תאריך סיום. מודל שאומן עד תחילת 2026 לא יודע כלום על מה שקרה אחר כך, ואימון מחדש של מודל מוביל הוא פרויקט של חודשים ועלות עצומה. אחזור הוא הדרך שבה מוצר AI עונה על הודעה שפורסמה הבוקר בלי שאף אחד יאמן שום דבר מחדש.
נתוני האימון היו ציבוריים. החשבוניות, הקריאות והמסמכים הפנימיים שלכם מעולם לא היו שם, ושום ניסוח פרומפט חכם לא ישחזר מידע שהמודל מעולם לא ראה. אחזור הוא הדרך היחידה שבה מודל כללי יכול לענות מנתונים פרטיים.
יש גם סיבה שלישית עדינה יותר: עיגון. כשהתשובה חייבת להגיע מקטע שסופק, המודל יכול לצטט את המקור שלו, ואתם יכולים לבדוק אותו. תשובה שהופקה מזיכרון לא מציעה כלום לבדיקה מולו, וזה בדיוק אופן הכשל שהופך הזיות למסוכנות.
איך צינור RAG עובד, שלב אחר שלב
כל מערכת RAG, מתכונת צ'אט עם PDF ועד מוצר חיפוש ארגוני, מריצה את אותם חמישה שלבים.
- חלוקה לחתיכות (Chunking). מסמכי המקור מפוצלים לקטעים, בדרך כלל כמה מאות מילים כל אחד, כי אחזור עובד על קטעים ולא על קבצים שלמים.
- אינדוקס. כל חתיכה מומרת לembedding, רשימת מספרים שמייצגת את המשמעות שלה, ונשמרת במסד נתונים וקטורי כך שמשמעויות דומות יושבות קרוב זו לזו.
- אחזור. השאלה שלכם מומרת לembedding באותה שיטה, והמערכת שולפת את החתיכות שהembedding שלהן קרוב אליה ביותר, בדרך כלל 3 עד 10 הקטעים המובילים.
- הרחבה (Augmentation). הקטעים האלה מוכנסים לפרומפט, עטופים בהוראות כמו "ענה רק מתוך ההקשר שלמטה".
- יצירה (Generation). המודל כותב את התשובה מהפרומפט המורחב, רצוי תוך ציון איזה קטע תומך בכל טענה.
כשאתם מעלים מסמך ארוך לכלי צ'אט ושואלים עליו שאלות, גרסה כלשהי של זה היא מה שרץ ברקע. מדריך הצ'אט עם PDF מראה איך זה נראה בפועל בתוך Whizi.
RAG מול הקשר ארוך מול כוונון עדין
השלושה האלה מתבלבלים כי כל אחד מהם "מלמד את המודל על הנתונים שלכם". הם עושים את זה בדרכים לא תואמות.
| גישה | איך זה עובד | הכי טוב עבור | חולשה |
|---|---|---|---|
| RAG | קודם חיפוש, ואז תשובה מהתוצאות | סטים גדולים או משתנים של מסמכים, ציטוטים | איכות התשובה תלויה באיכות האחזור |
| הקשר ארוך | להדביק הכול לתוך הפרומפט | מסמך אחד, הצלבות עמוקות | מגבלות עלות וקשב |
| כוונון עדין | לאמן מחדש את המודל על דוגמאות | סגנון, פורמט והתנהגות | חלש בעובדות; יקר לעדכן |
הכלכלה מכריעה יותר מהתאוריה. חלון הקשר של 1M טוקנים, שמודלים מובילים כמו Gemini ומשפחת GPT-5.6 מציעים כיום, מכיל בערך 1,500 עמודים, אז אפשר באמת להדביק מדריך שלם. אבל בתעריף של GPT-5.6 Terra, $2 למיליון טוקני קלט, שליחת 300,000 טוקנים של מדריך בכל שאלה עולה בערך $0.60 לשאלה, בעוד שאחזור 2,000 הטוקנים הנכונים עולה פחות מחצי סנט. שאלו שלוש שאלות וההקשר הארוך יקר פי 100 עבור אותן תשובות. מה זה חלון הקשר מסביר את המגבלה שבבסיס.
כוונון עדין הוא היוצא מהכלל: הוא משנה איך המודל מתנהג, לא מה הוא יודע. צוותים משתמשים בו לטון ולפורמט הפלט, ועדיין מוסיפים RAG לעובדות.
איפה אתם כבר משתמשים ב-RAG בלי לשים לב
חיפוש אינטרנט בצ'אטבוטים. כש-ChatGPT, Gemini או Perplexity מחפשים באינטרנט ועונים עם קישורים, זה RAG כשהאינטרנט הוא מקור הידע.
צ'אט עם הקבצים שלכם. מעלים PDF ושואלים שאלות: חלוקה לחתיכות, אינדוקס ואחזור רצים מאחורי הקלעים לכל מסמך שארוך מדי כדי להיכנס בנוחות להקשר.
בוטים לשירות לקוחות. אלה שעונים ממרכז עזרה אמיתי, ומצטטים את המאמר, הם מערכות RAG. אלה שמאלתרים לא, וזה ניכר.
עוזרי AI שעונים על אירועים עדכניים. כל תשובה נכונה על משהו שקרה אחרי תאריך האימון של המודל הגיעה דרך אחזור, לא זיכרון.
איפה RAG נכשל, ואיך לזהות את זה
RAG מפחית הזיות; הוא לא מבטל אותן, והוא מוסיף אופני כשל משלו.
החמצות באחזור. אם שלב החיפוש שולף את הקטעים הלא נכונים, המודל עונה בשטף מהקשר לא רלוונטי. תסמין: תשובה שמצטטת את המסמך שלכם אבל עוסקת בשאלה קצת אחרת.
אינדקסים מיושנים. מסד הנתונים הוקטורי מכיר רק מסמכים כפי שהיו באינדוקס האחרון. מערכת RAG על המדיניות של הרבעון הקודם נותנת תשובות מיושנות בביטחון מלא עם ציטוטים מצורפים, וזה משכנע יותר מהזיה פשוטה ולכן גרוע יותר.
מקורות סותרים. כשקטעים שאוחזרו סותרים זה את זה, מודלים נוטים למזג אותם לפסקה אחת חלקה ושגויה במקום לסמן את הסתירה.
ההגנה המעשית זהה לכל תשובת AI: בדקו את הקטע המצוטט, לא רק את קיום הציטוט. תשובת RAG שהמקור שלה לא באמת אומר את מה שהתשובה טוענת היא הכשל החמור הנפוץ ביותר במערכות בייצור.
- השתמשו בכלים בסגנון RAG (העלאה, חיפוש אינטרנט) בכל פעם שהשאלה נוגעת לנתונים שלכם או לאירועים עדכניים
- העדיפו הקשר ארוך למסמך אחד שתבדקו לעומק; העדיפו אחזור לסטים גדולים או משתנים
- אל תצפו שכוונון עדין יוסיף עובדות; הוא משנה התנהגות, לא ידע
- תמיד פתחו את הקטע המצוטט ואשרו שהוא אומר את מה שהתשובה טוענת
- התייחסו לתשובה בטוחה בלי ציטוט כאל ניחוש מבוסס זיכרון
שאלות נפוצות
מה ראשי התיבות RAG אומרים ב-AI?
RAG הם ראשי תיבות של retrieval augmented generation. אחזור (Retrieval) פירושו חיפוש במקור ידע אחר קטעים רלוונטיים, הרחבה (Augmented) פירושה הוספת הקטעים האלה לפרומפט, ויצירה (Generation) פירושה שהמודל כותב את התשובה מהם. הטכניקה מאפשרת למודל לענות ממסמכים ונתונים שהוא מעולם לא אומן עליהם.
האם RAG טוב יותר מכוונון עדין?
הם פותרים בעיות שונות. RAG טוב יותר לעובדות, כי עדכון ידע פירושו אינדוקס מחדש של מסמכים במקום אימון מחדש, והתשובות יכולות לצטט מקורות. כוונון עדין טוב יותר לסגנון, טון ופורמט פלט. מערכות בייצור משתמשות לעיתים קרובות בשניהם: כוונון עדין להתנהגות, RAG לידע.
האם חלון הקשר גדול הופך את RAG למיותר?
לא, הוא משנה את הסף. עם חלונות של 1M טוקנים אפשר להדביק בערך 1,500 עמודים ישירות, מה שבאמת מחליף את RAG לעבודה על מסמך יחיד. אבל הדבקת הכול בכל שאלה עולה טוקני קלט בכל פעם, בערך $0.60 לשאלה עבור מדריך בן 300,000 טוקנים ב-$2 למיליון טוקנים, בעוד שאחזור שולח כמה אלפי טוקנים בלבד. עבור אוספים גדולים, משתנים או שנשאלים לעיתים קרובות, אחזור נשאר התשובה החסכונית.
האם אני צריך לבנות משהו כדי להשתמש ב-RAG?
לא כמשתמש. העלאת מסמך לכלי צ'אט, או הפעלת חיפוש אינטרנט, כבר מריצה אחזור ברקע. בניית צינור משלכם עם מסד נתונים וקטורי הופכת רלוונטית רק כשאתם מפתחים תוכנה שחייבת לענות מאוסף מסמכים פרטי באופן אוטומטי.
האם RAG עוצר הזיות AI?
הוא מפחית אותן משמעותית על ידי עיגון תשובות בטקסט שאוחזר, אבל הוא מכניס כשלים משלו: אחזור הקטע הלא נכון, מענה מאינדקס מיושן, או מיזוג מקורות סותרים. ההרגל האמין הוא לבדוק שהקטע המצוטט באמת תומך בטענה, מה ש-RAG מאפשר ותשובות מבוססות זיכרון בלבד לא.
