এআই-তে ট্রান্সফরমার কি?

2017 সালের একটা পেপার recurrence-কে attention দিয়ে বদলে দিয়েছিল

2017 সালের জুনে, বেশিরভাগই Google-এর আটজন গবেষক "Attention Is All You Need" শিরোনামের একটা পেপার প্রকাশ করেন। এতে বাক্য অনুবাদের জন্য এমন একটা নেটওয়ার্ক প্রস্তাব করা হয় যা সবাই ব্যবহার করা recurrent লেয়ারগুলো বাদ দিয়ে শুধু একটা অপারেশন, attention, বহুবার স্তূপীকৃত করে রাখে। বেস মডেলটায় ছিল 65 মিলিয়ন প্যারামিটার, আর এটা আগের সেরা ইংরেজি-থেকে-জার্মান অনুবাদ সিস্টেমগুলোকে হারিয়ে দেয়, তাও অনেক কম সময়ে প্রশিক্ষণ নিয়ে।

আইডিয়াটাই ছিল শিরোনাম। আগের ভাষা নেটওয়ার্কগুলো একটা বাক্য একবারে একটা টোকেন করে পড়ত, একটা চলমান সারাংশ সামনে বয়ে নিয়ে যেত, তাই বিশতম শব্দটা প্রথমটা সম্পর্কে শুধু ততটুকুই জানত যতটুকু ঊনিশটা কম্প্রেশন ধাপের পরও টিকে থাকত। একটা ট্রান্সফরমার পুরো সিকোয়েন্সটা একসঙ্গে পড়ে। প্রতিটা টোকেন প্রতিটা অন্য টোকেনকে জিজ্ঞেস করে "তুমি আমার সঙ্গে কতটা প্রাসঙ্গিক", তাদের ওজন দেয়, আর সেই উত্তর থেকে নিজের অর্থ তৈরি করে। "bank" শব্দটা কখনো "river"-এর দিকে, কখনো "account"-এর দিকে attend করে, আর প্রতিবার আলাদা অর্থে বেরিয়ে আসে।

নয় বছর পর, স্কেল আপ করা সেই একই ডিজাইনটাই উত্তর দেয় যখন আপনি ChatGPT-তে টাইপ করেন। GPT মানে generative pretrained transformer। Claude, Gemini, Llama, DeepSeek আর Qwen ও ট্রান্সফরমার, শুধু লেবেলটা বাদ দেওয়া হয়েছে কারণ তুলনা করার মতো আর কিছুই নেই।

Attention একটা ওজনযুক্ত লুকআপ, আর প্রতিটা টোকেন প্রতি লেয়ারে একবার করে সেটা করে

"The trophy did not fit in the suitcase because it was too big." বাক্যটা ধরুন। "it" মানে কী তা ঠিক করতে, একজন পাঠক পেছনে ফিরে "trophy" আর "suitcase"-এর দিকে তাকায় আর "too big"-এর সঙ্গে যেটা মানানসই সেটা বেছে নেয়। Attention হলো সেই লুকআপটাই, সংখ্যা দিয়ে করা।

প্রতিটা টোকেনকে তিনটা ভেক্টরে রূপান্তর করা হয়: একটা query (আমি কী খুঁজছি), একটা key (আমি কী দিতে পারি) আর একটা value (বাছাই হলে আমি কী অবদান রাখব)। "it" টোকেনটা তার query-কে প্রতিটা অন্য টোকেনের key-এর সঙ্গে তুলনা করে, প্রতিটা টোকেনের জন্য একটা প্রাসঙ্গিকতার স্কোর পায়, স্কোরগুলোকে এমন ওজনে বদলায় যেগুলো যোগ করলে এক হয়, আর সেই ওজন অনুযায়ী value-গুলো যোগ করে। এর নতুন প্রতিনিধিত্ব বেশিরভাগই "trophy", সঙ্গে বাকি সবকিছুর সামান্য অংশ। মডেলটা প্রতিটা টোকেনের জন্য এটা সমান্তরালে করে, বেশ কয়েকটা স্বতন্ত্র "head"-এ, যেগুলো আলাদা আলাদা সম্পর্ক ট্র্যাক করতে শেখে, আর এটা কয়েক ডজন স্তূপীকৃত লেয়ারে বারবার করা হয়।

এখান থেকে সরাসরি দুটো পরিণতি আসে। যেহেতু প্রতিটা টোকেন একই ধাপে প্রসেস করা হয়, পুরো লেয়ারটা একটা বড় ম্যাট্রিক্স গুণন হিসেবে চলে, যেটার জন্যই ঠিক একটা GPU তৈরি হয়েছে, আর পেপারের বেস মডেলটা 8টা GPU-তে 12 ঘণ্টায় প্রশিক্ষিত হয়েছিল। আর যেহেতু প্রতিটা টোকেন প্রতিটা অন্যটার সঙ্গে তুলনা করে, একটা লেয়ারের খরচ সিকোয়েন্স দৈর্ঘ্যের বর্গ অনুপাতে বাড়ে: টোকেন দ্বিগুণ হলে, attention-এর কাজ চারগুণ।

কেন বর্গটাই সেই সংখ্যা যা আপনার বিলে পৌঁছায়

এই quadratic খরচটাই কারণ যে context window হলো সেই স্পেসিফিকেশন যেটা নিয়ে প্রোভাইডাররা প্রতিযোগিতা করে, আর কেন এটা ব্যবহার করা বিনামূল্যে নয়। একটা মডেল যা 1,000,000 টোকেন গ্রহণ করে, তাকে প্রতিটা head-এ, প্রতিটা লেয়ারে, দশ লাখ-বাই-দশ লাখ প্রাসঙ্গিকতা স্কোরের একটা গ্রিডের ওপর attention করতে হয়, আর যে ইঞ্জিনিয়ারিং এটাকে সাশ্রয়ী করে তোলে (স্পার্স প্যাটার্ন, স্লাইডিং উইন্ডো, সস্তা attention ভ্যারিয়েন্ট, আর আগের টোকেনগুলোর key আর value ক্যাশে রাখা যাতে পরের টার্নে সেগুলো আবার না করতে হয়) সেটাই কারণ যে 1,000,000-টোকেন উইন্ডো প্রত্যাখ্যান না করে বরং প্রতি টোকেনে দাম ধার্য করা হয়।

AI model cost index-এ, দাম নির্ধারিত 100টা সারির মধ্যে 47টায় 1,000,000 টোকেন বা তার বেশি উইন্ডো আছে, যেখানে GPT-1-এ ছিল মাত্র 512 টোকেন আর GPT-3-এ 2,048। এদের প্রতিটাই এখনো প্রতি ইনপুট টোকেনে বিল করে, কারণ আপনার পাঠানো প্রতিটা টোকেন সেই গ্রিডের একটা সারি। একটা 300,000-টোকেনের ডকুমেন্টকে দশটা প্রশ্ন করা মানে 3 মিলিয়ন ইনপুট টোকেন, আর what are tokens in AI সেটার দাম ধরে Claude Sonnet 5-এ $6। আর্কিটেকচারটাই ইনভয়েসের ব্যাখ্যা দেয়।

এটা ব্যর্থতার ধরনটাও ব্যাখ্যা করে। একটা ট্রান্সফরমারের তার উইন্ডোর বাইরে কোনো স্মৃতি থাকে না। যা সিকোয়েন্সে নেই সেটা তার কাছে অস্তিত্বহীন, যে কারণে একটা দীর্ঘ কথোপকথন তার শুরুর কথা ভুলে যায়, আর যে কারণে retrieval, what is RAG-এর বিষয়, সঠিক টোকেনগুলো আবার ফিরিয়ে আনতে থাকে।

এনকোডার, ডিকোডার নাকি দুটোই: গঠনটাই ঠিক করে মডেলটা কীসের জন্য

2017 সালের মডেলটার দুটো অংশ ছিল: একটা এনকোডার যা উৎস বাক্যটা পড়ত, আর একটা ডিকোডার যা অনুবাদটা লিখত। তারপর থেকে প্রায় প্রতিটা মডেল শুধু একটা অংশই রাখে।

আপনি যে চ্যাট মডেলগুলো ব্যবহার করেন সেগুলো সবই শুধু ডিকোডার। এই পছন্দটা, যা GPT-1 2018 সালে করেছিল আর তারপর থেকে প্রতিটা চ্যাট মডেল কপি করেছে, সেটাই কারণ কেন একটা ভাষা মডেল লুকআপ না করে জেনারেট করে: পুরো নেটওয়ার্কটা একটা পরের-টোকেন-অনুমানকারী, what is temperature in AI সেই ডায়ালটা কভার করে যা টোকেন বেছে নেয়, আর what is an LLM সেই সূত্র ধরে hallucination আর বাকিটা পর্যন্ত এগিয়ে যায়। শুধু-এনকোডার মডেলগুলো হারিয়ে যায়নি। সেগুলো হয়ে গেছে সেই embedding models যা টেক্সটকে সার্চের জন্য ভেক্টরে বদলায়, attention যে অন্য কাজটায় ভালো প্রমাণিত হয়েছিল সেটাই এটা।

ভিশনও একই পথ অনুসরণ করেছে। 2020 সালে Vision Transformer পেপারটা একটা ছবিকে 16-বাই-16 পিক্সেলের প্যাচে কেটে, প্রতিটা প্যাচকে একটা টোকেন হিসেবে গণ্য করে, আর সেরা কনভোলিউশনাল নেটওয়ার্কগুলোর সমকক্ষ ফল দেখায়। এই কারণেই একই মডেল এখন আপনার স্ক্রিনশট আর আপনার প্যারাগ্রাফ দুটোই পড়তে পারে: দুটোই টোকেনের একটা সিকোয়েন্স হিসেবে আসে আর একই attention লেয়ার দিয়ে যায়। ইমেজ জেনারেশন ব্যতিক্রম; বেশিরভাগ ইমেজ মডেল হলো diffusion মডেল, একটা আলাদা ডিজাইন যেটাকে what is generative AI আলাদা করে ব্যাখ্যা করে।

একটা পেপার থেকে প্রতিটা ফ্রন্টিয়ার মডেল পর্যন্ত নয় বছর, তারিখসহ

নিচের টাইমলাইনটা 2017 সালের পেপার থেকে শুরু করে আজ Whizi যেসব মডেলে রুট করে সেগুলো পর্যন্ত চলে। কমলা রঙ সেইসব রিলিজ চিহ্নিত করে যেগুলো open weights নিয়ে এসেছিল, যেভাবে ডিজাইনটা প্রথমে যে দুটো ল্যাব এটা বানিয়েছিল তার বাইরেও ছড়িয়ে পড়েছিল।

প্যারামিটার সংখ্যা তিনটা সংখ্যায় স্কেলের গল্পটা বলে: 2017 সালের বেস মডেলে 65 মিলিয়ন, তিন বছর পর GPT-3-এ 175 বিলিয়ন, আর 2026 সালে cost index-এ দাম ধরা সবচেয়ে বড় Qwen মডেলে 2.4 ট্রিলিয়ন, যার মধ্যে যেকোনো একটা টোকেনে প্রায় 95 বিলিয়ন সক্রিয় থাকে। এই পরিসরজুড়ে আর্কিটেকচারটা ধরনে বদলায়নি। এটা শুধু চওড়া, গভীর আর ভালোভাবে খাওয়ানো হয়েছে। এই পেজের বাজি: 2028 সালের আগে রিলিজ হওয়া কোনো ফ্রন্টিয়ার মডেলই ট্রান্সফরমার ছাড়া অন্য কিছু হবে না, আর AI model timeline-এ গিয়ে সেটাই যাচাই করা হয়।