Apa itu embedding dalam AI?

Embedding adalah lokasi, dan makna adalah jarak

Berikan kalimat "bagaimana cara mendapatkan uang saya kembali" ke model embedding, dan ia akan menghasilkan deretan angka. Berikan "kebijakan refund", dan ia menghasilkan deretan angka lain. Kedua deretan itu berdekatan. Berikan "refund elektron pada katoda", dan deretan angkanya jauh sekali, meski kata yang sama muncul.

Itulah seluruh triknya. Model telah belajar menempatkan teks dalam ruang berdimensi ratusan hingga ribuan sedemikian rupa sehingga makna, bukan kosakata, yang menentukan di mana sesuatu berada. Begitu teks menjadi sebuah lokasi, pertanyaan tentang makna berubah menjadi pertanyaan tentang jarak, dan jarak adalah sesuatu yang bisa dihitung komputer untuk sejuta item dalam hitungan milidetik.

Demonstrasi awal yang terkenal, dari riset word2vec pada 2013, adalah aritmatika pada lokasi kata: ambil vektor untuk "king", kurangi "man", tambahkan "woman", dan kata terdekat dari hasilnya adalah "queen". Model embedding modern melakukan hal serupa untuk seluruh kalimat dan dokumen, dan vektornya lebih panjang.

Seberapa besar embedding, pada model yang benar-benar dipakai orang

Panjang deretan angka ini disebut jumlah dimensinya. Angka ini terus bertambah seiring perkembangan model.

word2vec pada 2013 memakai 300 dimensi dan BERT base 768 pada 2018; Voyage 3 menghasilkan 1,024, text-embedding-3-small dari OpenAI menghasilkan 1,536 angka per input dan text-embedding-3-large menghasilkan 3,072; Gemini Embedding dari Google juga defaultnya 3,072. Dimensi yang lebih banyak bisa menyimpan perbedaan yang lebih halus, dengan konsekuensi biaya penyimpanan dan waktu perbandingan, sehingga model yang lebih baru juga mengizinkan Anda memotong deretan angka menjadi ukuran lebih kecil saat kecepatan lebih penting daripada nuansa.

Setiap angka itu tidak berarti apa-apa sendirian. Dimensi ke-412 bukanlah "formalitas" atau "topik". Maknanya hanya ada pada posisi seluruh deretan angka itu relatif terhadap deretan lain, sehingga sebuah embedding tidak berguna tanpa kumpulan data untuk dibandingkan.

Model embedding menemukan; model bahasa menulis

Orang sering menyamakan keduanya karena sama-sama "AI untuk teks". Padahal keduanya adalah model berbeda yang mengerjakan tugas yang berlawanan.

Baris biaya inilah yang perlu diperhatikan. Melakukan embedding pada satu juta token dengan model kecil OpenAI berbiaya $0.02, dibanding $0.20 per juta token input untuk GPT-5.6 Luna, yang setara dengan baris GPT termurah bersama Luna Pro dan GPT-5.4 Nano, menurut indeks biaya model AI berdasarkan harga OpenRouter yang diambil pada 2026-08-20. Menemukan sepuluh kali lebih murah daripada menulis dengan GPT termurah, dan setidaknya seratus kali lebih murah daripada menulis dengan model frontier. Selisih inilah alasan setiap sistem yang serius mencari dulu, baru menulis. Apa itu LLM membahas sisi penulisan ini.

Di mana embedding berjalan tanpa Anda sadari

Chat dengan dokumen Anda. Saat Anda mengunggah PDF panjang dan mengajukan pertanyaan, file itu dipecah menjadi beberapa bagian, setiap bagian di-embed dan disimpan dalam basis data vektor, pertanyaan Anda di-embed, lalu bagian-bagian dengan vektor terdekat diserahkan ke model bahasa sebagai konteks. Model menjawab dari bagian-bagian tersebut. Inilah retrieval-augmented generation, dan apa itu RAG menjelaskan seluruh alurnya; embedding adalah langkah pencariannya. Panduan chat dengan PDF membahas cara mengajukan pertanyaan pada file yang diunggah di Whizi.

Apakah sebuah dokumen dicari sebagian atau dibaca utuh bergantung pada jendela konteksnya. Jendela konteks setiap model, dalam satuan halaman, ada di bawah ini; apa pun yang muat bisa dimasukkan utuh, dan pengambilan data (retrieval) ada untuk koleksi yang tidak muat.

Pencarian yang memahami sinonim. Situs bantuan yang menampilkan artikel pembatalan untuk pencarian "berhenti bayar" sedang membandingkan embedding, bukan mencocokkan kata.

Rekomendasi dan klasterisasi. Item dengan vektor berdekatan adalah item serupa: produk terkait, tiket duplikat, artikel dengan topik yang sama.

Fitur memori pada aplikasi chat. Saat asisten "mengingat" fakta dari percakapan lama, salah satu implementasi umum adalah meng-embed catatan lama dan mengambil yang paling relevan ke dalam prompt.

Dalam setiap kasus, embedding bertugas menemukan, sementara hal lain yang memutuskan atau menulis. Cara gagalnya pun sama di mana pun: jika vektor terdekat ternyata bagian yang salah, semua yang terjadi setelahnya adalah jawaban yang percaya diri untuk pertanyaan yang salah, yaitu kegagalan retrieval yang oleh apa itu halusinasi AI dianggap sebagai kegagalan terpisah dari karangan.

Yang bisa Anda lakukan dengan konsep ini, tanpa menulis kode

Anda jarang akan menangani embedding secara langsung, tapi memahami mekanismenya mengubah cara Anda memakai alat yang dibangun di atasnya.

1. Bertanyalah dengan bahasa jawaban yang diharapkan. Retrieval mencocokkan pertanyaan Anda dengan bagian teks berdasarkan makna. Pertanyaan yang diucapkan dengan gaya dokumen lebih dekat dibanding pertanyaan dengan gaya bicara sehari-hari Anda.
2. Pisahkan unggahan besar berdasarkan topik. File 400 halaman dengan tiga subjek yang tidak berkaitan akan ter-embed menjadi ruang yang penuh sesak; tiga file terpisah lebih mudah diambil dengan bersih.
3. Baca bagian yang dikutip. Jika jawaban chat dengan file mengutip suatu bagian, buka bagian itu. Kegagalan retrieval terlihat seperti jawaban percaya diri untuk pertanyaan yang sedikit berbeda.
4. Jangan berharap embedding cocok untuk string yang persis. Embedding soal makna; nomor faktur atau kode part lebih baik dicari dengan pencarian teks biasa, dan alat yang bagus menggabungkan keduanya.

Aturan keputusannya: saat tugasnya menemukan bagian yang tepat di antara banyak pilihan, Anda butuh model embedding, dan sebaiknya murah. Saat tugasnya menghasilkan sebuah karya, Anda butuh model bahasa, dan sebaiknya bagus. Produk yang membedakan keduanya dengan benar adalah produk yang fitur chat filenya benar-benar berfungsi.