Apa itu RAG? Bagaimana AI berhenti meneka dan mula memetik sumber

Apa itu RAG sebenarnya

Model bahasa dengan sendirinya adalah seperti peperiksaan buku tertutup. Semua yang boleh diberitahunya telah ditetapkan sejak latihan tamat, dan bertanya tentang kontrak anda, kod anda, atau berita semalam hanya akan mendapat penolakan atau tekaan yang yakin. Mengapa AI membuat kesilapan membincangkan masalah tekaan ini secara mendalam.

RAG mengubah peperiksaan buku tertutup menjadi peperiksaan buku terbuka. Sebelum model menulis jawapan, sistem mencari sumber pengetahuan, seperti fail yang anda muat naik, wiki syarikat, atau web secara langsung, menarik balik petikan yang paling berkaitan, dan menampalnya ke dalam prompt bersama soalan anda. Model kemudian menjawab berdasarkan teks yang didapatkan semula itu, bukan hanya daripada ingatannya.

Itulah keseluruhan ideanya. Namanya menggerunkan; mekanismenya adalah "cari dahulu". Segala-galanya yang lain dalam kejuruteraan RAG adalah tentang menjadikan langkah carian itu menemui petikan yang tepat.

Mengapa model memerlukan langkah dapatan semula

Dua had utama mencipta keperluan ini.

Latihan mempunyai tarikh akhir. Model yang dilatih sehingga awal 2026 tidak mengetahui apa-apa yang berlaku selepasnya, dan melatih semula model peringkat tertinggi adalah projek yang mengambil masa berbulan-bulan dan amat mahal. Dapatan semula adalah cara produk AI menjawab tentang pengumuman pagi ini tanpa sesiapa perlu melatih semula apa-apa.

Data latihan adalah data awam. Invois, tiket, dan dokumen dalaman anda tidak pernah berada di dalamnya, dan tidak kira betapa bijak prompt anda ditulis, ia tidak boleh mendapatkan semula maklumat yang model tidak pernah lihat. Dapatan semula adalah satu-satunya cara model umum boleh menjawab daripada data peribadi.

Terdapat juga sebab ketiga yang lebih halus: pengasasan. Apabila jawapan mesti datang daripada petikan yang dibekalkan, model boleh memetik sumbernya, dan anda boleh menyemaknya. Jawapan yang dihasilkan daripada ingatan tidak menawarkan apa-apa untuk disemak, dan itulah tepatnya corak kegagalan yang menjadikan halusinasi berbahaya.

Bagaimana saluran paip RAG berfungsi, langkah demi langkah

Setiap sistem RAG, daripada ciri chat-with-PDF hinggalah produk carian perusahaan, menjalankan lima langkah yang sama.

1. Pemecahan (Chunking). Dokumen sumber dipecahkan kepada petikan, biasanya beberapa ratus perkataan setiap satu, kerana dapatan semula berfungsi pada petikan bukan keseluruhan fail.
2. Pengindeksan. Setiap petikan ditukar menjadi embedding, senarai nombor yang mewakili maknanya, dan disimpan dalam pangkalan data vektor supaya makna yang serupa berada berhampiran antara satu sama lain.
3. Dapatan semula. Soalan anda di-embed dengan cara yang sama, dan sistem menarik petikan yang embeddingnya paling hampir dengannya, biasanya 3 hingga 10 petikan teratas.
4. Penambahan (Augmentation). Petikan tersebut dimasukkan ke dalam prompt, dibalut dengan arahan seperti "jawab hanya daripada konteks di bawah".
5. Penjanaan (Generation). Model menulis jawapan daripada prompt yang telah ditambah itu, sebaik-baiknya memetik petikan mana yang menyokong setiap dakwaan.

Apabila anda memuat naik dokumen yang panjang ke alat chat dan bertanya soalan mengenainya, versi ini yang berjalan. Panduan chat dengan PDF menunjukkan bagaimana rupanya secara praktikal di dalam Whizi.

RAG berbanding konteks panjang berbanding penalaan halus

Ketiga-tiga ini sering dikelirukan kerana kesemuanya "mengajar model tentang data anda". Mereka melakukannya dengan cara yang tidak serasi antara satu sama lain.

Ekonomi yang menentukan, bukan teori. Tetingkap konteks 1 juta token, yang kini ditawarkan oleh model terkemuka seperti Gemini dan keluarga GPT-5.6, boleh memuatkan kira-kira 1,500 halaman, jadi anda benar-benar boleh menampal keseluruhan manual. Tetapi pada kadar GPT-5.6 Terra sebanyak $2 bagi setiap juta token input, menghantar 300,000 token manual pada setiap soalan berkos sekitar $0.60 setiap soalan, sedangkan mendapatkan semula 2,000 token yang tepat berkos kurang daripada separuh sen. Tanya tiga soalan dan konteks panjang menjadi 100 kali lebih mahal untuk jawapan yang sama. Apa itu tetingkap konteks menerangkan had asas ini.

Penalaan halus (fine tuning) adalah yang paling berbeza: ia mengubah cara model bertindak, bukan apa yang diketahuinya. Pasukan menggunakannya untuk nada dan format output, kemudian masih menambah RAG untuk fakta.

Di mana anda sudah menggunakan RAG tanpa disedari

Carian web dalam chatbot. Apabila ChatGPT, Gemini, atau Perplexity mencari web dan menjawab dengan pautan, itulah RAG dengan internet sebagai sumber pengetahuan.

Berbual dengan fail anda. Muat naik PDF dan tanya soalan: pemecahan, embedding, dan dapatan semula berjalan di sebalik tabir untuk mana-mana dokumen yang terlalu panjang untuk dimuatkan dengan selesa dalam konteks.

Bot sokongan pelanggan. Bot yang menjawab daripada pusat bantuan sebenar, dan memetik artikel tersebut, adalah sistem RAG. Bot yang mengarang jawapan sendiri bukan, dan ia jelas kelihatan.

Pembantu AI yang menjawab tentang peristiwa semasa. Sebarang jawapan yang betul tentang sesuatu selepas tarikh potong latihan model tiba melalui dapatan semula, bukan ingatan.

Di mana RAG gagal, dan bagaimana mengesannya

RAG mengurangkan halusinasi; ia tidak menghapuskannya, dan ia menambah corak kegagalannya sendiri.

Dapatan semula yang tersasar. Jika langkah carian menarik petikan yang salah, model menjawab dengan lancar daripada konteks yang tidak relevan. Simptomnya: jawapan yang memetik dokumen anda tetapi menjawab soalan yang sedikit berbeza.

Indeks yang lapuk. Pangkalan data vektor hanya mengetahui dokumen pada pengindeksan terakhirnya. Sistem RAG ke atas polisi suku tahun lepas memberikan jawapan yang lapuk secara yakin dengan petikan yang disertakan, yang lebih meyakinkan daripada halusinasi biasa dan oleh itu lebih buruk.

Sumber yang bercanggah. Apabila petikan yang didapatkan semula tidak bersetuju antara satu sama lain, model cenderung mencampurkannya menjadi satu perenggan yang lancar tetapi salah, bukan menandakan percanggahan itu.

Pertahanan praktikal adalah sama seperti untuk mana-mana jawapan AI: semak petikan yang disebut, bukan sekadar kewujudan petikan itu. Jawapan RAG yang sumbernya tidak benar-benar menyatakan apa yang didakwa oleh jawapan itu adalah kegagalan serius yang paling biasa dalam sistem produksi.