Apa itu token dalam AI?

Token ialah sebahagian perkataan, bukan perkataan

Model tidak membaca huruf dan tidak membaca perkataan. Sebelum mesej anda sampai kepada model, tokenizer memecahkannya kepada cebisan daripada kosa kata tetap yang mengandungi puluhan ribu serpihan. Perkataan biasa ialah satu token. Perkataan jarang ialah dua atau tiga. "The" ialah satu token; "tokenization" biasanya dua atau tiga; URL yang panjang boleh mencecah puluhan.

Panduan kasar yang diterbitkan OpenAI untuk teks bahasa Inggeris: satu token bersamaan kira-kira empat aksara, atau kira-kira tiga suku perkataan. Jadi 100 token lebih kurang 75 perkataan, dan 1,000 token ialah sehalaman setengah.

Dua perkara menyebabkan kiraan itu bergeser. Kod lebih padat, lebih hampir kepada satu token bagi setiap tiga aksara, kerana simbol dan inden. Dan bahasa yang kurang diwakili dalam data latihan tokenizer memakan kos lebih tinggi: makna yang sama dalam bahasa Thai, Hindi atau Arab boleh mengambil dua hingga tiga kali ganda token berbanding versi bahasa Inggeris, yang penting jika anda membayar mengikut token dan menulis dalam salah satu bahasa tersebut.

Anda boleh lihat sendiri. Tampalkan mana-mana teks ke dalam kalkulator kos token dan ia memaparkan kiraan serta harga pada setiap model.

Token input dan token output ialah dua harga yang berbeza

Setiap mesej mempunyai dua bahagian. Token input ialah segala yang dibaca oleh model: soalan anda, arahan sistem, perbualan setakat ini, sebarang fail yang anda lampirkan. Token output ialah apa yang ditulis semula oleh model.

Penyedia mengenakan kadar yang berbeza untuk kedua-duanya, dan jurangnya tidak kecil. Jadual ini ialah harga tersenarai bagi setiap sejuta token daripada indeks kos model AI, dengan harga diambil daripada OpenRouter pada 2026-08-20.

Output lebih mahal kerana cara model beroperasi. Membaca input berlaku dalam satu laluan selari ke atas semua token sekali gus. Menulis output berlaku satu token pada satu masa, setiap token baharu memerlukan satu lagi laluan menerusi keseluruhan model. Jawapan 500 token ialah 500 laluan berjujukan.

Kos mesej sebenar, dikira langkah demi langkah

Ambil satu pertukaran biasa: soalan 300 perkataan dengan satu perenggan konteks, dijawab dalam 400 perkataan. Itu lebih kurang 400 token input dan 530 token output.

• Pada GPT-5.6 Luna: 400 x $0.20 setiap juta ditambah 530 x $1.20 setiap juta, iaitu $0.00008 ditambah $0.00064, lebih kurang $0.0007. Tujuh perpuluh sen.
• Pada Claude Sonnet 5: 400 x $2 ditambah 530 x $10, setiap juta, iaitu $0.0008 ditambah $0.0053, lebih kurang $0.006. Lebih sedikit daripada separuh sen.
• Pada GPT-5.5: 400 x $5 ditambah 530 x $30, setiap juta, iaitu $0.002 ditambah $0.0159, lebih kurang $0.018. Hampir dua sen.

Perhatikan bahawa bahagian output ialah 80 hingga 90 peratus daripada bil pada setiap baris. Bentuk mesej, bukan sekadar model, menentukan kos: soalan satu baris yang meminta esei 2,000 perkataan ialah corak yang mahal, dan dokumen panjang dengan soalan satu baris tentangnya ialah corak yang murah pada model yang sama.

Zum keluar dan sebaran merentasi keseluruhan katalog itulah cerita sebenarnya. Setiap model berharga dalam indeks kos model AI berada pada garis di bawah mengikut kos satu jawapan piawai. Yang termurah, Ling-3.0-flash, ialah $0.000053; yang termahal, Claude Opus 4.7 dalam mod pantasnya, ialah $0.105: lebih kurang 2,000 kali ganda berbeza untuk 1,500 token yang sama.

Pengganda lain ialah sejarah. Dalam sesi sembang, model membaca semula keseluruhan perbualan pada setiap giliran, jadi kiraan input berkembang dengan setiap mesej. Perbualan 40 giliran menghantar mesej pertama sebanyak 40 kali. Itulah sebabnya perbualan panjang menjadi perlahan dan sebabnya apa itu tetingkap konteks ialah had yang akhirnya anda capai.

Sebab langganan menyembunyikan meter tetapi tidak menghapuskannya

Pelan pengguna mengenakan bayaran tetap bulanan, dan di sebalik bayaran itu setiap penyedia masih mengira token. Kiraan itu terserlah sebagai had mesej, dinding "anda telah mencapai had anda", dan pertukaran senyap kepada model lebih kecil apabila bajet semakin nipis.

Whizi mengukur dengan cara yang berlainan. Setiap model mempunyai harga kredit tetap bagi setiap mesej: 1 kredit untuk model rumah, 10 untuk Claude Sonnet 5, 20 untuk Claude Opus 5 dan GPT-5.5, serta 100 pada kemuncak tangga tersebut. Angka itu tidak pernah bergantung pada panjang mesej atau jawapan anda. Tangga ini disauhkan pada satu giliran token sebenar, 3,000 token masuk dan 800 keluar pada model rumah, yang berkos lebih kurang $0.00156 dalam perbelanjaan penyedia dan menentukan satu kredit. Cara kredit Whizi berfungsi mempunyai jadual lengkap.

Pertukaran ini disengajakan. Meter mengikut token adalah tepat dan tidak dapat diramal; kredit mengikut mesej sedikit lebih murah hati kepada mesej panjang dan sedikit lebih kedekut kepada mesej pendek, dan anda sentiasa tahu harganya sebelum menekan hantar.

Token juga merupakan had kapasiti

Sebab kedua token itu penting ialah kapasiti. Setiap model mempunyai tetingkap konteks yang diukur dalam token: had maksimum yang boleh dipertimbangkan pada satu masa, input dan output digabungkan. Claude Haiku 4.5 memuatkan 200,000 token. GPT-5.6 Terra, Claude Sonnet 5 dan Gemini 3.7 Flash memuatkan lebih kurang 1 juta. Pada 750 perkataan bagi setiap 1,000 token, sejuta token bersamaan lebih kurang 750,000 perkataan, atau lebih kurang 1,500 halaman.

Tetingkap itu bukan percuma. Mengisinya memerlukan token input pada setiap giliran, jadi dokumen 300,000 token yang ditanya sepuluh soalan ialah 3 juta token input, iaitu $6 pada Claude Sonnet 5 mengikut harga tersenarai. Retrieval, iaitu apabila aplikasi menggeledah dokumen dan menghantar hanya halaman berkaitan, wujud khusus untuk mengelakkan bil sedemikian. Apa itu RAG menerangkan mekanismenya, dan perbandingan tetingkap konteks mempunyai had setiap model dalam satu jadual. Hantar halaman yang diperlukan oleh soalan, jangan sekali-kali hantar keseluruhan fail.