ورقة بحثية واحدة من عام 2017 استبدلت التكرار بالانتباه
في يونيو 2017 نشر ثمانية باحثين، معظمهم من جوجل، ورقة بعنوان "Attention Is All You Need". اقترحت الورقة شبكة لترجمة الجمل تتخلى عن الطبقات المتكررة التي كان الجميع يستخدمها وتحتفظ بعملية واحدة فقط، هي الانتباه، مكررة عدة مرات. النموذج الأساسي كان يضم 65 مليون معامل وتفوّق على أفضل أنظمة الترجمة من الإنجليزية إلى الألمانية وقتها، مع تدريب استغرق جزءًا يسيرًا من الوقت المعتاد.
كانت الفكرة موجودة في العنوان نفسه. الشبكات اللغوية السابقة كانت تقرأ الجملة رمزًا واحدًا في كل مرة، حاملة ملخصًا متراكمًا إلى الأمام، فالكلمة العشرون لا تعرف عن الكلمات الأولى إلا ما نجا من تسع عشرة خطوة من الضغط. أما الترانسفورمر فيقرأ التسلسل كله دفعة واحدة. كل رمز يسأل كل رمز آخر "ما مدى صلتك بي"، ويوزن الإجابات، ويبني معناه منها. كلمة "بنك" تنتبه إلى "نهر" أو إلى "حساب" وتخرج بمعنى مختلف في كل مرة.
بعد تسع سنوات، التصميم نفسه، بعد أن توسّع، هو ما يجيبك حين تكتب في ChatGPT. GPT تعني generative pretrained transformer. وClaude وGemini وLlama وDeepSeek وQwen كلها ترانسفورمرات أيضًا، وقد سقط اللقب من الاستخدام لأنه لم يعد هناك ما يُقارن به.
الانتباه هو بحث موزون، وكل رمز يقوم بواحد في كل طبقة
خذ الجملة "The trophy did not fit in the suitcase because it was too big" (الكأس لم يتسع في الحقيبة لأنه كان كبيرًا جدًا). لتحديد معنى "it"، ينظر القارئ إلى "trophy" و"suitcase" ويختار ما يناسب "كبير جدًا". آلية الانتباه هي هذا البحث نفسه، بالأرقام.
يتحول كل رمز إلى ثلاثة متجهات: استعلام (ماذا أبحث عنه)، ومفتاح (ماذا أقدّم)، وقيمة (بماذا أساهم إن وقع الاختيار عليّ). يقارن الرمز "it" استعلامه بمفتاح كل رمز آخر، فيحصل على درجة صلة لكل رمز، ويحوّل هذه الدرجات إلى أوزان مجموعها واحد، ثم يجمع القيم وفق هذه الأوزان. تمثيله الجديد يصبح في معظمه "trophy" مع قليل من كل شيء آخر. يقوم النموذج بهذا بالتوازي لكل رمز، في عدة "رؤوس" مستقلة تتعلم تتبع علاقات مختلفة، ويكرر ذلك في عشرات الطبقات المكدسة.
تترتب على ذلك نتيجتان مباشرتان. لأن كل رمز يُعالج في الخطوة نفسها، تعمل الطبقة بأكملها كضرب مصفوفة واحد كبير، وهو بالضبط ما صُممت وحدة معالجة الرسومات (GPU) لأجله، ولهذا تدرب النموذج الأساسي في الورقة في اثنتي عشرة ساعة على ثماني وحدات GPU. ولأن كل رمز يُقارن بكل رمز آخر، تنمو تكلفة الطبقة الواحدة بتربيع طول التسلسل: ضعف الرموز يعني أربعة أضعاف عمل الانتباه.
لماذا التربيع هو الرقم الذي يصل إلى فاتورتك
هذه التكلفة التربيعية هي سبب كون نافذة السياق هي المواصفة التي يتنافس عليها المزودون، وسبب كون استخدامها ليس مجانيًا. النموذج الذي يقبل مليون رمز عليه أن يجري الانتباه على شبكة درجات صلة بحجم مليون في مليون، في كل رأس، وفي كل طبقة، والهندسة التي تجعل هذا مقبول التكلفة (أنماط متناثرة، نوافذ منزلقة، أشكال أرخص من الانتباه، وتخزين مفاتيح وقيم الرموز السابقة مؤقتًا حتى لا يُعاد حسابها في دورة تالية) هي سبب تسعير نافذة المليون رمز لكل رمز بدلًا من رفضها.
في مؤشر تكلفة النماذج، يحمل 47 من أصل 100 صف مسعّر نافذة بحجم مليون رمز أو أكثر، مقارنة بـ512 رمزًا في GPT-1 و2,048 في GPT-3. وكل واحد منها لا يزال يفرض رسومًا لكل رمز مدخل، لأن كل رمز ترسله هو صف في تلك الشبكة. وثيقة من 300,000 رمز يُطرح عليها عشرة أسئلة تعني 3 ملايين رمز مدخل، وما هي الرموز في الذكاء الاصطناعي يسعّر ذلك بـ$6 على Claude Sonnet 5. البنية هي التي تفسر الفاتورة.
كما تفسر نمط الفشل. الترانسفورمر لا ذاكرة له خارج نافذته. ما ليس موجودًا في التسلسل غير موجود بالنسبة إليه، وهذا سبب نسيان المحادثة الطويلة لبدايتها، وسبب وجود الاسترجاع، موضوع ما هو RAG، لإعادة الرموز الصحيحة إلى الداخل.
ترميز، فك ترميز، أو كلاهما: الشكل يحدد وظيفة النموذج
كان لنموذج 2017 نصفان: مرمّز (encoder) يقرأ الجملة المصدر، وفاك ترميز (decoder) يكتب الترجمة. وتحتفظ معظم النماذج منذ ذلك الحين بنصف واحد فقط.
| الشكل | ماذا يفعل | مدرَّب على | أمثلة |
|---|---|---|---|
| مرمّز فقط | يقرأ النص ويخرج تمثيلًا له | ملء الكلمات المحجوبة | BERT (2018)، نماذج التضمين خلف البحث |
| فاك ترميز فقط | يكتب النص رمزًا بعد رمز | التنبؤ بالرمز التالي | GPT، Claude، Gemini، Llama، DeepSeek، Qwen |
| مرمّز وفاك ترميز | يقرأ تسلسلًا ويكتب آخر | الترجمة أو التحويل | النموذج الأصلي لعام 2017، T5 |
نماذج المحادثة التي تستخدمها كلها من نوع فاك ترميز فقط. هذا الخيار، الذي اتخذه GPT-1 عام 2018 ونسخته كل نموذج محادثة منذ ذلك الحين، هو سبب كون النموذج اللغوي يولّد بدلًا من أن يبحث: الشبكة كلها هي متنبئ بالرمز التالي، وما هي درجة الحرارة في الذكاء الاصطناعي يغطي المقياس الذي يختار الرمز، وما هو النموذج اللغوي الكبير يتبع هذا الخيط إلى الهلوسة وما بعدها. النماذج المرمّزة فقط لم تختفِ. أصبحت نماذج التضمين التي تحوّل النص إلى متجهات لأغراض البحث، وهي الوظيفة الأخرى التي تبيّن أن الانتباه بارع فيها.
سلك المجال البصري المسار نفسه. في عام 2020 قسّمت ورقة Vision Transformer الصورة إلى رقع بحجم 16 في 16 بكسل، وعاملت كل رقعة كرمز، وضاهت أفضل الشبكات الالتفافية. لهذا يستطيع النموذج نفسه اليوم قراءة لقطة شاشتك وفقرتك: كلاهما يصل كتسلسل من الرموز ويمر عبر طبقات الانتباه نفسها. توليد الصور هو الاستثناء؛ فمعظم نماذج الصور هي نماذج انتشار (diffusion)، تصميم مختلف يفصّله ما هو الذكاء الاصطناعي التوليدي.
تسع سنوات من ورقة بحثية واحدة إلى كل نموذج متقدم، بالتواريخ
يمتد الجدول الزمني أدناه من ورقة 2017 إلى النماذج التي توجّهها Whizi اليوم. اللون البرتقالي يحدد الإصدارات التي أطلقت أوزانًا مفتوحة، وهذا كيف انتشر التصميم إلى ما وراء المختبرين اللذين بنياه أولًا.
أعداد المعاملات تروي قصة التوسع في ثلاثة أرقام: 65 مليونًا في نموذج 2017 الأساسي، و175 مليارًا في GPT-3 بعد ثلاث سنوات، و2.4 تريليون في أكبر نموذج Qwen الذي يسعّره مؤشر التكلفة عام 2026، منه نحو 95 مليارًا نشط فعليًا على أي رمز واحد. البنية لم تتغير في جوهرها عبر هذا المدى. بل أصبحت أوسع وأعمق وأفضل تغذية. الرهان الذي تراهن عليه هذه الصفحة: لن يكون أي نموذج متقدم يصدر قبل عام 2028 إلا ترانسفورمر، والجدول الزمني لنماذج الذكاء الاصطناعي هو حيث يُتحقق من ذلك.
- افهم "الترانسفورمر" على أنه "التصميم الذي يشترك فيه كل نموذج نصي حالي"؛ فهو لا يخبرك أي نموذج أفضل
- توقع أن تنمو التكلفة والبطء أسرع من الخطية مع طول السياق، واحصر الرفوعات الطويلة في القسم الذي تحتاجه فعلًا
- افترض أن النموذج ينسى كل ما هو خارج نافذته؛ أعد ذكر الحقائق المهمة أو استخدم مشروعًا لتثبيتها
- عامل الرؤية والنص كخط معالجة واحد: لقطة الشاشة رموز أيضًا، فاسأل عنها كما تسأل عن فقرة
- تحقق من تاريخ الإصدار قبل الوثوق بما يعرفه النموذج؛ فالبنية لا تحمل ساعة
الأسئلة الشائعة
ماذا يعني الترانسفورمر في الذكاء الاصطناعي؟
الترانسفورمر هو بنية شبكة عصبية من ورقة 2017 بعنوان Attention Is All You Need. يعالج كل رمز في التسلسل بالتوازي باستخدام الانتباه، وهي عملية يزن فيها كل رمز صلته بكل رمز آخر، وهو التصميم داخل GPT وClaude وGemini وLlama وDeepSeek وQwen. الورقة لا تذكر سبب اختيار هذا الاسم.
ماذا تعني GPT؟
generative pretrained transformer (محوّل مُدرّب مسبقًا وتوليدي). توليدي لأنه ينتج نصًا، ومُدرّب مسبقًا لأنه يتعلم من مجموعة بيانات كبيرة قبل ضبطه للمحادثة، وترانسفورمر لأن هذه هي بنية الشبكة. قدّمت OpenAI هذا الاسم مع GPT-1 في يونيو 2018.
ما هي آلية الانتباه؟
هي العملية في صميم الترانسفورمر. يحسب كل رمز درجة صلة مقابل كل رمز آخر في التسلسل، ويحوّل الدرجات إلى أوزان، ويمزج تمثيلات الرموز الأخرى وفق هذه الأوزان. هكذا تتعلم "it" أن تعني "trophy" في جملة و"suitcase" في أخرى. تعمل بالتوازي عبر كل الرموز وفي عدة رؤوس لكل طبقة.
لماذا حلّت الترانسفورمرات محل الشبكات العصبية المتكررة؟
كانت الشبكات المتكررة تقرأ الرموز واحدًا بعد آخر وتنقل المعلومات إلى الأمام عبر كل خطوة، ما حدّ مما تتذكره وسرعة تدريبها. الترانسفورمرات تقرأ التسلسل كله دفعة واحدة، فتحتفظ بوصول مباشر إلى كل رمز سابق وتتدرب كعمليات مصفوفة متوازية تنفذها وحدات GPU بكفاءة. ضاهت ورقة 2017 أفضل أنظمة الترجمة في جزء يسير من وقت التدريب.
هل كل نماذج الذكاء الاصطناعي ترانسفورمرات؟
كل نموذج لغوي كبير متقدم كذلك، وكذلك كل نموذج نصي تقدمه Whizi؛ الاستثناءات هي خطوط بحثية مثل Mamba وأنظمة هجينة مثل Jamba، ولا يتصدر أي منها معيار قياس. مولّدات الصور مثل Stable Diffusion وFlux هي نماذج انتشار، تصميم مختلف، وإن كان كثير منها يستخدم ترانسفورمر داخليًا لقراءة الطلب. نماذج الرؤية التي تقرأ الصور هي ترانسفورمرات منذ ورقة Vision Transformer عام 2020، التي تعامل رقع الصورة كرموز.
