ترانسفورمر چیست؟ ایده‌ای که پشت مدل‌های زبانی بزرگ است

یک مقالهٔ سال 2017، بازگشتی‌بودن را با attention جایگزین کرد

در ژوئن 2017 هشت پژوهشگر، که بیشترشان در گوگل بودند، مقاله‌ای با عنوان "Attention Is All You Need" منتشر کردند. این مقاله شبکه‌ای برای ترجمهٔ جملات پیشنهاد داد که لایه‌های بازگشتی رایج آن زمان را کنار گذاشت و فقط یک عملیات، یعنی attention، را چندین بار روی هم انباشت. مدل پایه 65 میلیون پارامتر داشت و در حالی که در زمانی به‌مراتب کوتاه‌تر آموزش می‌دید، از بهترین سامانه‌های ترجمهٔ انگلیسی به آلمانی پیشی گرفت.

ایده همان عنوان بود. شبکه‌های زبانی قدیمی‌تر یک جمله را توکن به توکن می‌خواندند و یک خلاصهٔ در حال پیشرفت را جلو می‌بردند، پس کلمهٔ بیستم فقط چیزی از کلمهٔ اول را می‌دانست که از نوزده گام فشرده‌سازی جان سالم به در برده بود. یک ترانسفورمر کل دنباله را یکجا می‌خواند. هر توکن از هر توکن دیگر می‌پرسد "چقدر برای من مرتبطی"، به آن‌ها وزن می‌دهد، و معنای خودش را از روی پاسخ می‌سازد. کلمهٔ "bank" وقتی به "river" توجه می‌کند یک معنا می‌دهد و وقتی به "account" توجه می‌کند معنایی دیگر.

نه سال بعد، همان طراحی، در مقیاسی بزرگ‌تر، چیزی است که وقتی در ChatGPT تایپ می‌کنید پاسخ می‌دهد. GPT مخفف generative pretrained transformer است. Claude، Gemini، Llama، DeepSeek و Qwen هم ترانسفورمرند، فقط دیگر این برچسب را روی آن‌ها نمی‌گذارند چون چیز دیگری برای مقایسه وجود ندارد.

attention یک جست‌وجوی وزن‌دار است، و هر توکن در هر لایه یکی از آن انجام می‌دهد

جملهٔ "The trophy did not fit in the suitcase because it was too big" را در نظر بگیرید. برای فهمیدن اینکه "it" به چه چیزی اشاره دارد، خواننده به "trophy" و "suitcase" برمی‌گردد و آن‌که با "too big" معنا می‌دهد را انتخاب می‌کند. attention همان جست‌وجوست، فقط با عدد.

هر توکن به سه بردار تبدیل می‌شود: یک query (دنبال چه هستم)، یک key (چه چیزی ارائه می‌دهم) و یک value (اگر انتخاب شوم چه سهمی دارم). توکن "it" پرسش خودش را با key هر توکن دیگر مقایسه می‌کند، برای هر توکن یک امتیاز ارتباط می‌گیرد، امتیازها را به وزن‌هایی تبدیل می‌کند که جمعشان یک می‌شود، و مقادیر را با همان وزن‌ها جمع می‌زند. بازنمایی جدیدش بیشتر شبیه "trophy" است با کمی از هر چیز دیگر. مدل این کار را برای همهٔ توکن‌ها همزمان انجام می‌دهد، در چند "head" مستقل که هرکدام یاد می‌گیرند رابطهٔ متفاوتی را دنبال کنند، و این را در ده‌ها لایهٔ روی‌هم‌چیده تکرار می‌کند.

دو پیامد مستقیم از این ماجرا می‌آید. چون همهٔ توکن‌ها در یک گام پردازش می‌شوند، کل لایه به‌صورت یک ضرب ماتریسی بزرگ اجرا می‌شود، دقیقاً همان چیزی که یک GPU برایش ساخته شده، و مدل پایهٔ همان مقاله در دوازده ساعت روی هشت GPU آموزش دید. و چون هر توکن با هر توکن دیگر مقایسه می‌شود، هزینهٔ یک لایه با توان دوم طول دنباله رشد می‌کند: دو برابر توکن، چهار برابر کار attention.

چرا همین توان دوم است که به صورتحساب شما می‌رسد

همین هزینهٔ درجهٔ دوم است که پنجرهٔ زمینه را به مشخصه‌ای تبدیل کرده که ارائه‌دهندگان روی آن رقابت می‌کنند، و به همین دلیل استفاده از آن رایگان نیست. مدلی که 1,000,000 توکن می‌پذیرد باید attention را روی یک شبکهٔ یک‌میلیون‌در‌یک‌میلیونیِ امتیازهای ارتباط انجام دهد، در هر head و هر لایه، و مهندسی‌ای که این را مقرون‌به‌صرفه می‌کند (الگوهای پراکنده، پنجره‌های لغزان، نسخه‌های ارزان‌تر attention، و کش کردن key و valueِ توکن‌های قبلی تا یک نوبت بعدی مجبور به تکرار آن‌ها نباشد) همان دلیلی است که پنجرهٔ 1,000,000 توکنی به‌جای رد شدن، به ازای هر توکن قیمت‌گذاری می‌شود.

در شاخص هزینهٔ مدل‌های هوش مصنوعی، 47 ردیف از 100 ردیف قیمت‌گذاری‌شده پنجره‌ای 1,000,000 توکنی یا بیشتر دارند، در حالی که در GPT-1 فقط 512 توکن و در GPT-3 فقط 2,048 توکن بود. همهٔ آن‌ها هنوز به ازای هر توکن ورودی هزینه می‌گیرند، چون هر توکنی که می‌فرستید یک ردیف در آن شبکه است. یک سند 300,000 توکنی که ده سؤال از آن پرسیده شود می‌شود 3 میلیون توکن ورودی، و توکن در هوش مصنوعی چیست این را روی Claude Sonnet 5 معادل $6 قیمت‌گذاری می‌کند. معماری، صورتحساب را توضیح می‌دهد.

این معماری، حالت خرابی را هم توضیح می‌دهد. یک ترانسفورمر بیرون از پنجره‌اش هیچ حافظه‌ای ندارد. چیزی که در دنباله نباشد، برایش وجود ندارد، به همین دلیل یک گفت‌وگوی طولانی ابتدای خودش را فراموش می‌کند، و به همین دلیل بازیابی، موضوع RAG چیست، وجود دارد تا توکن‌های درست را دوباره برگرداند.

رمزگذار، رمزگشا یا هر دو: شکل مدل تعیین می‌کند برای چه کاری است

مدل سال 2017 دو نیمه داشت: رمزگذاری که جملهٔ مبدأ را می‌خواند و رمزگشایی که ترجمه را می‌نوشت. تقریباً هر مدلی از آن پس فقط یکی از این دو نیمه را نگه داشته است.

مدل‌های چتی که استفاده می‌کنید همه فقط رمزگشا هستند. همین انتخاب، که GPT-1 در سال 2018 آن را کرد و هر مدل چتی از آن زمان تکرارش کرده، دلیل آن است که یک مدل زبانی تولید می‌کند نه اینکه جست‌وجو کند: کل شبکه یک پیش‌بینی‌کنندهٔ توکن بعدی است، دما در هوش مصنوعی چیست همان دستگیره‌ای را پوشش می‌دهد که توکن را انتخاب می‌کند، و LLM چیست همین نخ را تا توهم و بقیهٔ ماجرا دنبال می‌کند. مدل‌های فقط‌رمزگذار ناپدید نشدند. آن‌ها همان مدل‌های embedding شدند که متن را به بردار تبدیل می‌کنند برای جست‌وجو، همان کار دیگری که attention در آن خوب از آب درآمد.

بینایی هم همین مسیر را رفت. در سال 2020 مقالهٔ Vision Transformer یک تصویر را به قطعه‌های 16‌در‌16 پیکسلی برید، هر قطعه را یک توکن در نظر گرفت، و به بهترین شبکه‌های کانولوشنی رسید. به همین دلیل همان مدل حالا می‌تواند اسکرین‌شات شما و پاراگراف شما را هر دو بخواند: هر دو به‌شکل یک دنباله از توکن می‌رسند و از همان لایه‌های attention عبور می‌کنند. تولید تصویر استثناست؛ بیشتر مدل‌های تصویری diffusion هستند، طراحی متفاوتی که هوش مصنوعی مولد چیست آن را جدا بررسی می‌کند.

نه سال از یک مقاله تا هر مدل پیشرو، با تاریخ

خط زمانی زیر از مقالهٔ سال 2017 تا مدل‌هایی که Whizi امروز به آن‌ها مسیریابی می‌کند را نشان می‌دهد. رنگ نارنجی نشان‌دهندهٔ نسخه‌هایی است که وزن‌های باز عرضه کردند، همان چیزی که باعث شد این طراحی از دو آزمایشگاهی که ابتدا آن را ساختند فراتر برود.

تعداد پارامترها داستان مقیاس را در سه عدد می‌گوید: 65 میلیون در مدل پایهٔ سال 2017، 175 میلیارد در GPT-3 سه سال بعد، و 2.4 تریلیون در بزرگ‌ترین مدل Qwen که شاخص هزینه در سال 2026 قیمت‌گذاری می‌کند، که از این میان حدود 95 میلیارد در هر توکن فعال هستند. معماری در این بازه از نظر نوع تغییر نکرد. فقط پهن‌تر، عمیق‌تر و بهتر تغذیه شد. شرط این صفحه این است: هیچ مدل پیشرویی که پیش از 2028 منتشر شود چیزی جز ترانسفورمر نخواهد بود، و خط زمانی مدل‌های هوش مصنوعی جایی است که این ادعا سنجیده می‌شود.