Apa itu system prompt?

Mesej yang anda tidak pernah hantar tetapi dibaca model dahulu

Setiap aplikasi chat menghantar lebih daripada mesej anda kepada model. Sebelum kata-kata anda datang satu blok teks yang ditulis aplikasi: apa nama pembantu itu, apa yang patut dan tidak patut dilakukannya, cara memformat jawapan, apa tarikh hari ini, alat apa yang boleh dipanggilnya. Blok itu ialah system prompt. Anda menaip "ringkaskan ini"; model menerima satu halaman peraturan diikuti dengan "ringkaskan ini".

Model menganggap system prompt sebagai arahan tetap. Model yang diminta menjadi "pembantu ringkas yang menjawab dalam Bahasa Inggeris British dan tidak pernah menggunakan bullet point" akan melakukannya untuk keseluruhan perbualan tanpa diingatkan, kerana arahan itu tiba semula bersama setiap mesej. Penghantaran semula itulah butiran yang sering terlepas pandang, dan itulah yang memakan kos, yang dinilai dalam bahagian ketiga.

Anda boleh melihat contoh sebenar. Anthropic menerbitkan system prompt yang digunakannya untuk Claude dalam aplikasinya, lengkap dengan nota keluaran apabila ia berubah. Membaca satu daripadanya ialah cara terpantas memahami genre ini: perenggan tentang nada, tentang bila menggunakan senarai, tentang cara mengendalikan permintaan yang patut ditolak, tentang knowledge cutoff, ditulis dalam bahasa Inggeris biasa dan bukan kod. Ada yang bocor; system prompt Bing chat yang menamakan pembantunya "Sydney" telah diekstrak oleh seorang pelajar Stanford pada Februari 2023 dengan meminta model mengulang semula teks di atas perbualan itu.

Kenapa soalan yang sama mendapat jawapan berbeza dalam aplikasi berbeza

API model melabelkan setiap mesej dengan peranan, dan model dilatih untuk memberikan berat yang berbeza kepada setiap satu.

Dua perkara mengikuti daripada susunan ini. System prompt menetapkan rangka, jadi mesej pengguna yang sama mendapat jawapan berbeza dalam rangka yang berbeza: "tulis satu limerick" menghasilkan limerick di bawah satu system prompt dan penolakan di bawah system prompt untuk pembantu perbankan. Dan system prompt itu milik aplikasi, jadi menukar aplikasi pada model yang sama mengubah jawapan walaupun model itu tidak berubah. Apa itu LLM memisahkan model daripada aplikasi; system prompt ialah sebahagian besar pemisahan itu.

Garisan itu tidak mutlak. Model dilatih untuk mengikut system prompt berbanding pengguna, tetapi mesej pengguna masih boleh memujuk model keluar daripada arahannya, yang menjadi keseluruhan topik apa itu AI jailbreaking. System prompt ialah lalai yang kuat, bukan kunci.

Apa kos system prompt, kerana ia dihantar setiap giliran

System prompt ialah token input, dan apa itu token dalam AI menunjukkan input dibilkan pada setiap mesej. Perbualan 100 giliran dengan system prompt 8,000 token menghantar prompt itu 100 kali: 800,000 token input sebelum satu perkataan pun daripada anda.

Kira pada harga senarai. Mesej standard kira-kira 1,000 token masuk dan 500 keluar. Menambah arahan 8,000 token, iaitu bersamaan 32,000 aksara bahasa Inggeris pada kadar empat aksara setiap token, pada setiap satu daripada 100 mesej menghasilkan input tambahan di bawah pada kadar OpenRouter dalam indeks kos model AI, diambil 2026-08-20.

Penyedia melakukan caching: OpenAI mendiskaun input yang dicache sebanyak separuh, dan sebanyak 90 peratus pada model terbarunya, dan Anthropic mengenakan bayaran cache read pada sepersepuluh harga senarai, jadi aplikasi yang menyediakan caching membayar jauh lebih sedikit daripada carta itu. Carta ini ialah harga senarai, iaitu yang disurih oleh indeks kos dan yang dibayar oleh mana-mana aplikasi yang melangkau caching. Arahan tetap yang panjang tetap satu-satunya teks yang dihantar setiap kali.

Whizi mengenakan bayaran secara sebaliknya. Satu mesej berkos bilangan kredit tetap yang ditetapkan oleh model, 1 pada model rumah, 10 pada Claude Sonnet 5, 20 pada Claude Opus 5, dan panjang arahan tidak pernah masuk ke dalam harga. 100 mesej yang sama berkos 100, 1,000 atau 2,000 kredit sama ada dengan atau tanpa arahan itu. Bagaimana kredit Whizi berfungsi mempunyai tangga harganya.

Bahagian system prompt yang dibenarkan untuk anda tulis

Produk mendedahkan sebahagian kecil system prompt untuk anda isi. ChatGPT memanggilnya custom instructions dan memory; Claude ada project instructions dan styles; Gemini ada saved info. Apa pun namanya, teks anda ditambah kepada arahan produk itu sendiri dan dihantar semula setiap giliran.

Di Whizi, bahagian itu ialah projek. Satu projek ialah folder perbualan dengan arahannya sendiri, sehingga 32,000 aksara, digunakan pada setiap chat di dalamnya dan dibina semula ke dalam prompt pada setiap mesej. Fail yang disemat turut serta dengan cara yang sama, dihadkan pada 32,000 aksara teks yang diekstrak bagi setiap fail dan 120,000 untuk keseluruhan blok projek. Tiada medan custom instructions peringkat akaun: arahan per-projek ialah satu-satunya arahan yang ditulis pengguna dalam produk ini, jadi keutamaan yang anda mahu di mana-mana perlu ditampal ke dalam setiap projek.

Empat agen terbina dalam menunjukkan sisi lain. Baris Canadian CPA, Study Mentor, Writing Copilot dan Math Tutor masing-masing membawa system prompt tetap yang ditulis ke dalam katalog model, yang tidak boleh anda edit. Memilih agen bermakna memilih system prompt.

Apa yang patut ada dalam satu, daripada contoh yang diterbitkan

Arahan yang berkesan dibaca seperti taklimat kepada rakan sekerja baharu, dan prompt Claude yang diterbitkan ialah model awam terbaik bagi bentuk ini. Empat perkara membawa kebanyakan berat.

1. Peranan dan khalayak dalam satu ayat. "Anda ialah pembantu cukai untuk pemilik tunggal Kanada" melakukan lebih daripada tiga perenggan kata sifat.
2. Peraturan format dinyatakan sebagai peraturan. "Jawab dalam kurang 150 patah perkataan. Tiada bullet point. Ejaan British." Model mengikut arahan tegas dengan lebih boleh dipercayai berbanding keutamaan.
3. Apa yang perlu dilakukan apabila tidak pasti. "Jika jawapan bergantung pada fakta yang anda tidak ada, tanya satu soalan sebelum menjawab." Tanpa ini, model akan meneka.
4. Apa yang perlu ditolak, dan bagaimana. Namakan kategori dan susunan kata penolakan itu, atau model akan mencipta versinya sendiri.

Apa yang tidak patut ada: fakta yang berubah. Harga, bilangan model atau tarikh yang ditulis ke dalam system prompt ditegaskan semula pada setiap giliran sehingga seseorang mengeditnya, dan itulah cara arahan yang lapuk menjadi jawapan yang salah dengan yakin selama berbulan-bulan. Letakkan fakta yang berubah dalam fail yang disemat atau carian, bukan dalam arahan tetap, kerana knowledge cutoff model itu sendiri menjadikannya lapuk juga. Kejuruteraan prompt untuk pemula meliputi sisi per-mesej bagi kraf yang sama.