Apa itu RAG? Bagaimana AI berhenti menebak dan mulai mengutip

Apa sebenarnya RAG itu

Model bahasa yang berdiri sendiri seperti ujian buku tertutup. Semua yang bisa diberitahukannya sudah terkunci sejak pelatihan berakhir, dan menanyakan tentang kontrak Anda, basis kode Anda, atau berita kemarin hanya akan mendapat penolakan atau tebakan yang penuh percaya diri. Alasan AI sering keliru membahas masalah menebak ini secara mendalam.

RAG mengubah ujian buku tertutup itu menjadi ujian buku terbuka. Sebelum model menulis jawaban, sistem mencari sumber pengetahuan, seperti file yang Anda unggah, wiki perusahaan, atau web langsung, mengambil bagian yang paling relevan, dan menempelkannya ke dalam prompt bersama pertanyaan Anda. Model kemudian menjawab dari teks yang diambil itu, bukan hanya dari memorinya.

Itu saja intinya. Namanya memang terdengar rumit, tetapi mekanismenya sederhana: "cari dulu sebelum menjawab". Selebihnya dalam rekayasa RAG hanya soal membuat langkah pencarian itu menemukan bagian yang tepat.

Mengapa model membutuhkan langkah retrieval sama sekali

Dua batasan keras yang menciptakan kebutuhan ini.

Pelatihan punya tanggal berakhir. Model yang dilatih hingga awal 2026 tidak tahu apa pun yang terjadi setelahnya, dan melatih ulang model frontier adalah proyek yang berbulan-bulan dan sangat mahal. Retrieval adalah cara produk AI menjawab tentang pengumuman pagi ini tanpa ada yang perlu melatih ulang apa pun.

Data pelatihan bersifat publik. Faktur, tiket, dan dokumen internal Anda tidak pernah ada di dalamnya, dan tidak ada trik prompting secanggih apa pun yang bisa memunculkan informasi yang tidak pernah dilihat model. Retrieval adalah satu-satunya cara model umum bisa menjawab dari data privat.

Ada juga alasan ketiga yang lebih halus: grounding. Ketika jawaban harus berasal dari bagian teks yang disediakan, model bisa mengutip sumbernya, dan Anda bisa memeriksanya. Jawaban yang dihasilkan dari memori tidak memberi apa pun untuk diverifikasi, dan itulah tepatnya mode kegagalan yang membuat halusinasi berbahaya.

Bagaimana pipeline RAG bekerja, langkah demi langkah

Setiap sistem RAG, dari fitur chat dengan PDF hingga produk pencarian tingkat perusahaan, menjalankan lima langkah yang sama.

1. Chunking. Dokumen sumber dipecah menjadi bagian-bagian teks, biasanya beberapa ratus kata masing-masing, karena retrieval bekerja pada potongan teks, bukan seluruh berkas.
2. Indexing. Setiap potongan diubah menjadi embedding, sebuah daftar angka yang mewakili maknanya, dan disimpan dalam vector database sehingga makna yang serupa berada berdekatan.
3. Retrieval. Pertanyaan Anda diubah menjadi embedding dengan cara yang sama, dan sistem mengambil potongan-potongan dengan embedding yang paling dekat, biasanya 3 hingga 10 bagian teratas.
4. Augmentation. Bagian-bagian tersebut dimasukkan ke dalam prompt, dibungkus dengan instruksi seperti "jawab hanya dari konteks di bawah ini".
5. Generation. Model menulis jawaban dari prompt yang telah diperkaya tersebut, idealnya sambil mengutip bagian mana yang mendukung setiap klaim.

Saat Anda mengunggah dokumen panjang ke alat chat dan menanyakan sesuatu tentangnya, versi dari proses inilah yang berjalan di baliknya. Panduan chat dengan PDF menunjukkan seperti apa itu dalam praktiknya di Whizi.

RAG vs long context vs fine tuning

Ketiganya sering tertukar karena semuanya sama-sama "mengajarkan data Anda ke model". Namun caranya sangat berbeda dan tidak bisa saling menggantikan.

Faktor ekonomi lebih menentukan daripada teorinya. Context window 1 juta token, yang kini ditawarkan model frontier seperti Gemini dan keluarga GPT-5.6, dapat menampung sekitar 1.500 halaman, sehingga Anda memang bisa menempelkan seluruh manual. Tetapi dengan tarif GPT-5.6 Terra sebesar $2 per juta token input, mengirim 300.000 token manual di setiap pertanyaan menghabiskan sekitar $0.60 per pertanyaan, sementara mengambil 2.000 token yang tepat lewat retrieval menghabiskan kurang dari setengah sen. Ajukan tiga pertanyaan dan long context menjadi 100 kali lebih mahal untuk jawaban yang sama. Apa itu context window menjelaskan batasan yang mendasarinya.

Fine tuning adalah yang paling berbeda: ia mengubah cara model berperilaku, bukan apa yang diketahuinya. Tim sering memakainya untuk nada bicara dan format keluaran, lalu tetap menambahkan RAG untuk urusan fakta.

Di mana Anda sudah memakai RAG tanpa menyadarinya

Pencarian web di chatbot. Saat ChatGPT, Gemini, atau Perplexity mencari di web dan menjawab dengan tautan, itu adalah RAG dengan internet sebagai sumber pengetahuannya.

Chat dengan file Anda. Unggah PDF dan ajukan pertanyaan: chunking, embedding, dan retrieval berjalan di belakang layar untuk setiap dokumen yang terlalu panjang untuk masuk dengan nyaman ke dalam konteks.

Bot layanan pelanggan. Bot yang menjawab dari pusat bantuan sungguhan dan mengutip artikelnya adalah sistem RAG. Bot yang mengarang jawabannya sendiri bukan, dan itu terlihat jelas.

Asisten AI yang menjawab soal peristiwa terkini. Setiap jawaban benar tentang sesuatu setelah batas waktu pelatihan model itu didapat lewat retrieval, bukan memori.

Di mana RAG gagal, dan cara mengenalinya

RAG mengurangi halusinasi, bukan menghilangkannya sepenuhnya, dan ia menambahkan mode kegagalannya sendiri.

Retrieval yang meleset. Jika langkah pencarian mengambil bagian yang salah, model tetap menjawab dengan lancar dari konteks yang tidak relevan. Cirinya: jawaban yang mengutip dokumen Anda tetapi sebenarnya menjawab pertanyaan yang sedikit berbeda.

Indeks yang basi. Vector database hanya mengenal dokumen sejak terakhir kali diindeks. Sistem RAG yang bekerja di atas kebijakan kuartal lalu memberi jawaban usang dengan penuh percaya diri lengkap dengan sitasi, yang justru lebih meyakinkan daripada halusinasi biasa dan karena itu lebih berbahaya.

Sumber yang bertentangan. Ketika bagian-bagian teks yang diambil saling bertentangan, model cenderung mencampurnya menjadi satu paragraf yang mulus tapi salah, bukan menandai adanya konflik.

Pertahanan praktisnya sama seperti untuk jawaban AI lainnya: periksa bagian teks yang dikutip, bukan sekadar memastikan sitasinya ada. Jawaban RAG dengan sumber yang sebenarnya tidak mengatakan apa yang diklaim jawaban tersebut adalah kegagalan serius paling umum dalam sistem produksi.