Arti 8B AI: 8 miliar parameter, 5 GB untuk menjalankannya

8B adalah jumlah bobot, dan lebih akurat memprediksi memori daripada kualitas

Tiga model 8B meraih skor 6, 7, dan 11 pada Artificial Analysis Intelligence Index (gabungan uji publik penalaran, pemrograman, dan pengetahuan, dibaca pada 26 September 2026), sementara Kimi K3 menyimpan 2,8 triliun parameter, 350 kali lipat, untuk meraih 44. Grafik memetakan 13 model terbuka yang kedua angkanya dipublikasikan; setiap jumlah adalah total dari model card resmi vendornya, dan setiap skor adalah mode bawaan kecuali tiga yang bertanda max effort, yang dinilai pada upaya penalaran maksimum.

Garis putus-putus adalah frontier, skor terbaik pada tiap ukuran, dan naik 33 poin di sepanjang kenaikan parameter 350 kali lipat. Di bawahnya, sebaran pada satu ukuran selebar sebaran antar ukuran. Llama 4 Maverick menyimpan 400 miliar parameter dan meraih 10, satu poin di bawah 8B milik IBM.

Apa itu parameter dalam AI? Angka hasil belajar yang dipakai model untuk memprediksi

Parameter adalah satu angka hasil belajar, sebuah bobot dalam jaringan yang disesuaikan saat pelatihan dan dirujuk model pada setiap token yang diprediksinya. 8B menghitung 8 miliar di antaranya, dan B berarti billion (miliar) seperti G pada GB berarti giga. Model card Meta menyebut Llama 3.1 "a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes". Tidak ada hal lain yang dihitung: bukan data pelatihan, bukan jendela konteks. Apa itu LLM menjelaskan bagaimana bobot itu ditetapkan.

Dua huruf lain muncul di model card. M berarti juta, tempat model embedding dan visi yang kecil berada, dan T berarti triliun: kartu Kimi K3 menulis 2.8T. Nama seperti Qwen3.6 35B A3B, atau "284B parameters, 13B activated" milik DeepSeek, menandai model mixture of experts, yang menyimpan setiap parameter tetapi hanya memakai sebagian kecil (3 miliar dari 35, pada kasus Qwen) untuk setiap token. Parameter aktif menentukan kecepatan. Parameter total menentukan memori, dan dengan begitu menentukan apakah model bisa dimuat sama sekali.

Berapa memori yang dibutuhkan model 8B? 16 GB pada 16 bit, sekitar 5 GB setelah kuantisasi

Model 8B membutuhkan sekitar 16 GB memori pada 16 bit dan sekitar 5 GB sebagai unduhan 4 bit yang dijalankan kebanyakan orang, ditambah memori kerja untuk percakapan. Hitungannya adalah parameter dikali byte per bobot: 2 byte pada format 16 bit yang dipublikasikan vendor (panduan memori Hugging Face menghitung salinan bobot fp16 sebesar 2 byte per parameter), 1 byte pada 8 bit, setengah byte pada 4 bit. Berikut keluarga Llama 3.1, yang disediakan Ollama dalam ketiga ukuran, diperiksa pada 26 September 2026.

Kolom terakhir adalah hasil pembagian kami sendiri, ukuran unduhan dalam bit dibagi jumlah parameter, dan menunjukkan bahwa patokan 4 bit meremehkan ukuran unduhan sebenarnya sekitar 20 persen: setiap ukuran Llama 3.1 berada di 4.8 hingga 4.9 bit per bobot, bukan 4. Jadi anggarkan 5 GB untuk 8B, 43 GB untuk 70B (halaman llama3.3 di Ollama mencantumkan Llama 3.3 70B pada 43 GB yang sama), dan 243 GB untuk 405B.

Itulah sebabnya 8B adalah ukuran yang dibicarakan semua orang: 4.9 GB muat di laptop dengan RAM 16 GB atau kartu grafis 8 GB. Kartu Mistral untuk Ministral 3 8B menyebut model itu muat di VRAM 12 GB pada FP8 dan lebih kecil setelah kuantisasi; kartunya untuk Mistral Small 3.1, model 24B, menyebut satu RTX 4090 atau MacBook 32 GB setelah dikuantisasi. Model 70B pada 43 GB butuh Mac 64 GB atau dua kartu 24 GB, dan di atas itu Anda harus menyewa server.

Mana yang lebih baik, 8B atau 70B? 8B tahun 2026 mengalahkan 70B tahun 2024

Usia mengalahkan ukuran: Granite 4.2 8B milik IBM, dirilis 25 Agustus 2026, meraih 11 pada Intelligence Index, sedangkan Llama 3.3 70B milik Meta dari Desember 2024 meraih 8 dan Llama 3 70B dari April 2024 meraih 5, sebuah perkiraan Artificial Analysis. Model 70B itu punya bobot hampir sembilan kali lipat. Jumlah itu mencatat seberapa besar jaringannya dan tidak mengatakan apa pun tentang data atau resep pelatihannya, di sanalah dua tahun kemajuan terjadi. Skor di bawah per 26 September 2026; jumlah parameter berasal dari vendor masing-masing.

Dalam satu keluarga dan satu generasi, ukuran tetap berguna: Granite 4.2 3B, 8B, dan 30B meraih 9, 11, dan 15. Antar generasi, ukuran berhenti berguna, dan pada baris mixture of experts total dan aktif berselisih 18 hingga 33 kali lipat, sehingga angka utamanya bahkan bukan angka yang bekerja pada setiap token.

Bobot yang sama bisa mendarat berjarak 14 poin. Qwen3.8 27B meraih 20 pada mode bawaan dan 34 dengan upaya penalaran dinaikkan ke xhigh, karena indeks itu juga mengukur berapa lama model berpikir sebelum menjawab. Apa itu model penalaran menjelaskan kenop itu.

Mengapa model unggulan GPT, Claude, dan Gemini tidak mempublikasikan jumlah parameter

Model unggulan tertutup tidak mempublikasikan ukuran karena jumlah itu adalah detail persaingan, dan untuk bobot yang tidak bisa Anda unduh, angka itu tidak memberi tahu hal yang berguna. Jumlah terakhir yang dipublikasikan OpenAI untuk GPT frontier adalah GPT-3 sebesar 175 miliar, dalam makalah 2020 yang memperkenalkannya; ukuran yang dipublikasikannya adalah untuk bobot terbukanya, dan model card gpt-oss Agustus 2025 memberi gpt-oss-120b 116.8 miliar parameter total dan 5.1 miliar aktif. Google hanya memberi ukuran untuk Gemini Nano di perangkat, 1.8 miliar dan 3.25 miliar parameter dalam laporan Gemini 1.0, dan tidak ada untuk Pro atau Ultra. Per September 2026, GPT-6 Astra dan Claude Fable 5.1 sama-sama meraih 53 di papan peringkat Artificial Analysis tanpa ukuran di sebelahnya, sembilan poin di atas Kimi K3, model terbuka terbesar dengan 2.8 triliun.

Baca jumlahnya saat membeli perangkat keras, baca skornya saat membeli jawaban

Jumlah parameter adalah angka pertama yang dibaca jika Anda menjalankan model sendiri, karena menentukan apakah bobotnya bisa dimuat, dan hampir yang terakhir jika Anda memakai produk obrolan yang di-host. Penyedia yang meng-host sudah membeli perangkat kerasnya, jadi yang Anda bayar mengikuti harga token, bukan ukuran.

Untuk penggunaan pribadi atau offline, produk yang di-host adalah alat yang salah: unduh Llama 3.1 8B sebesar 4.9 GB lewat Ollama, atau bobot yang sama lewat LM Studio, dan tidak ada biaya selain ruang disk. Panduan LLM open source membahas lisensinya.