Apa itu fine-tuning dalam AI?

Fine-tuning ialah sentuhan kecil di atas model yang besar

Model bahasa sampai kepada anda dalam keadaan sudah terlatih. Pretraining membaca korpus trilion token; Meta melaporkan lebih 15 trilion token untuk Llama 3. Post-training kemudiannya melatihnya menjadi pembantu. Apa itu LLM membincangkan kedua-dua peringkat ini.

Fine-tuning ialah peringkat ketiga yang jauh lebih kecil, yang anda jalankan sendiri. Anda memberi model beberapa ratus hingga beberapa ribu contoh input dan output tepat yang anda mahukan, dan melatihnya sedikit lagi menggunakan contoh tersebut. Panduan fine-tuning OpenAI menyatakan peningkatan yang ketara biasanya kelihatan bermula dari 50 hingga 100 contoh. Parameter model beralih sedikit ke arah menghasilkan jenis jawapan anda secara lalai.

Perbezaan skala inilah intinya. Lima belas trilion token berbanding beberapa ratus contoh: fine-tune tidak boleh menambah pengetahuan yang bermakna, kerana jumlahnya tidak mencukupi untuk mengubah apa yang diketahui oleh model. Apa yang boleh diubahnya ialah cara model itu menjawab, kerana format yang konsisten dan diulang beberapa ratus kali adalah tepat jenis corak yang dapat ditangkap oleh sentuhan kecil.

Fine-tuning mengubah cara model menjawab, bukan apa yang diketahuinya

Garis pemisahnya ialah tingkah laku berbanding pengetahuan.

Kesilapan yang sering berlaku ialah pada baris keempat. Mereka melakukan fine-tune menggunakan pusat bantuan mereka, dengan harapan mendapat model yang mengetahui produk mereka. Sebaliknya mereka mendapat model yang menulis dengan nada pusat bantuan itu dan mereka-reka fakta produk dengan lancar, kerana latihan itu mengajarnya bentuk jawapan, bukan kandungannya. Tugas pengetahuan itu milik retrieval, dan apa itu RAG menerangkan cara ia berfungsi.

Sebab fine-tuning sengaja dilakukan pada model yang murah

Tiada siapa melakukan fine-tune pada model paling mahal dalam sesebuah keluarga untuk tugas yang sempit. Tujuannya ialah untuk menjadikan model kecil yang murah melakukan satu perkara sebaik model frontier melakukannya dengan prompt yang panjang, kemudian menjalankan model murah itu berjuta-juta kali.

Nombor di atas setiap hujung ialah skor Artificial Analysis Intelligence Index, dibaca pada 2026-09-17, dan garis itu ialah jurang harga bagi setiap juta token. Llama 4 Maverick yang bertujuan umum mendapat skor 9 berbanding Claude Sonnet 5 pada 38; pertaruhan sesuatu fine-tune ialah pada satu tugas yang sempit, 29 mata itu boleh dirapatkan dengan penjimatan 127 kali ganda. Pada harga senarai OpenRouter yang diambil pada 2026-08-20, satu jawapan standard sebanyak 1,000 token masuk dan 500 token keluar berharga $0.0006 pada Maverick dan $0.007 pada Sonnet 5, menurut indeks kos model AI, jadi pengelas sokongan yang berjalan 100,000 kali sebulan berharga $60 pada yang pertama dan $700 pada yang kedua. Jika Maverick yang telah di-fine-tune menyamai Sonnet pada tugas itu, fine-tune itu akan pulang modal dalam bulan pertama. Kiraan itulah, bukan kualiti model secara umum, sebab fine-tuning wujud.

Kaedah yang menjadikan ini murah ialah LoRA, diterbitkan pada 2021, yang melatih satu set kecil parameter tambahan berbanding keseluruhan model. Dengan penggantinya yang 4-bit, QLoRA (Dettmers et al., 2023), model 7 bilion parameter boleh di-fine-tune pada satu kad grafik pengguna 24 GB sahaja. Fine-tuning penuh pada model yang sama bermakna mengemas kini setiap parameter merentasi beberapa GPU pusat data.

Prompt, retrieval atau model lain menyelesaikan kebanyakan kes sebelum sebarang latihan

Fine-tuning ialah pilihan terakhir, bukan yang pertama, kerana setiap kaedah ini menyelesaikan kes biasa dengan sebahagian kecil usaha dan boleh diubah dalam masa seminit.

1. Prompt yang lebih baik dengan contoh. Tiga contoh output yang anda mahukan di dalam prompt memberikan kebanyakan manfaat format dan nada sesuatu fine-tune tanpa sebarang latihan. Kejuruteraan prompt untuk pemula membincangkan corak ini.
2. Retrieval. Jika jurangnya ialah pengetahuan, tiada jumlah fine-tuning yang dapat merapatkannya. Muat naik dokumen atau hidupkan carian.
3. Model yang berbeza. Model berbeza dari segi nada lalai. Model yang sudah menulis mengikut cara yang anda mahukan mengatasi fine-tune pada model yang tidak; ruang kerja pelbagai model menjadikan ini ujian satu klik.

Gunakan fine-tuning apabila prompt sudah membesar menjadi sehalaman peraturan yang sentiasa dilupakan model, apabila tugas itu berjalan pada jumlah yang menjadikan panjang prompt sebagai wang sebenar, atau apabila anda memerlukan format yang dikembalikan secara boleh dipercayai sepuluh ribu kali tanpa sebarang penyimpangan. Itu semua adalah keperluan sebenar. Ia juga jarang berlaku.

Bolehkah anda melakukan fine-tune di dalam produk chat?

Secara umumnya tidak, dan Whizi tidak terkecuali. Produk chat untuk pengguna, termasuk Whizi, tidak menawarkan fine-tuning; ia adalah ciri untuk pembangun pada API penyedia dan model open-weight. Perkara yang paling hampir di dalam aplikasi chat ialah arahan tetap. Di Whizi, arahan itu berada pada projek: arahan khusus setiap projek terpakai kepada setiap perbualan dalam projek tersebut, itulah caranya anda mendapat nada dan format yang konsisten merentasi sekumpulan kerja tanpa melatih apa-apa. Cara menggunakan Projects menerangkan cara menyediakannya.

Itulah pertukaran yang tepat bagi kebanyakan orang. Arahan projek ialah prompt yang anda tulis sekali dan sunting bila-bila masa peraturan berubah. Fine-tune pula ialah model yang anda latih semula setiap kali peraturan berubah. Bagi sesiapa yang tidak menjalankan tugas sempit pada skala besar, prompt menang dari segi kos, kelajuan perubahan dan hakikat bahawa anda boleh membacanya.

Peraturan keputusannya: lakukan fine-tune apabila tugas sempit yang sama berjalan pada jumlah di mana penjimatan daripada model murah itu penting. Selain itu, tuliskan sahaja arahan itu.