Apa itu embedding AI?

Embedding ialah lokasi, dan makna ialah jarak

Berikan model embedding ayat "bagaimana saya dapatkan wang saya kembali" dan ia mengembalikan senarai nombor. Berikan "dasar bayaran balik" dan ia mengembalikan senarai lain. Kedua-dua senarai itu berdekatan antara satu sama lain. Berikan "pemulangan elektron dalam katod" dan senarai itu mendarat jauh, walaupun ia berkongsi perkataan yang sama.

Itulah keseluruhan helahnya. Model itu telah belajar meletakkan teks dalam ruang berdimensi ratusan atau ribuan supaya makna, bukan perbendaharaan kata, menentukan tempat sesuatu mendarat. Sebaik sahaja teks menjadi lokasi, soalan tentang makna menjadi soalan tentang jarak, dan jarak ialah sesuatu yang boleh dikira komputer untuk sejuta item dalam masa milisaat.

Demonstrasi awal yang terkenal, daripada kerja word2vec pada 2013, ialah aritmetik pada lokasi perkataan: ambil vektor untuk "raja", tolak "lelaki", tambah "perempuan", dan perkataan terdekat dengan hasilnya ialah "ratu". Model embedding moden melakukan perkara yang sama untuk keseluruhan ayat dan dokumen, dan vektornya lebih panjang.

Sebesar mana embedding itu, pada model yang benar-benar digunakan orang

Panjang senarai itu dipanggil bilangan dimensinya. Ia telah berkembang seiring dengan model.

word2vec pada 2013 menggunakan 300 dimensi dan BERT base 768 pada 2018; Voyage 3 mengembalikan 1,024, text-embedding-3-small milik OpenAI mengembalikan 1,536 nombor bagi setiap input dan text-embedding-3-large mengembalikan 3,072; Gemini Embedding milik Google juga lalai kepada 3,072. Lebih banyak dimensi boleh menyimpan perbezaan yang lebih halus, dengan kos storan dan masa perbandingan, itulah sebabnya model yang lebih baharu juga membenarkan anda memendekkan senarai kepada saiz yang lebih kecil apabila kelajuan lebih penting daripada nuansa.

Setiap nombor itu tidak bermakna dengan sendirinya. Dimensi 412 bukanlah "formaliti" atau "topik". Maknanya hanya terletak pada tempat keseluruhan senarai itu mendarat berbanding senarai lain, itulah sebabnya embedding tidak berguna tanpa koleksi untuk dibandingkan.

Model embedding mencari; model bahasa menulis

Orang sering mengelirukan kedua-duanya kerana kedua-duanya adalah "AI pada teks". Ia adalah model berbeza yang menjalankan tugas yang bertentangan.

Baris kos itulah yang perlu diperhatikan. Meng-embed sejuta token dengan model kecil OpenAI berharga $0.02, berbanding $0.20 setiap juta token input untuk GPT-5.6 Luna, seri sebagai baris GPT paling murah bersama Luna Pro dan GPT-5.4 Nano, mengikut indeks kos model AI pada harga OpenRouter yang diambil pada 2026-08-20. Mencari adalah sepuluh kali lebih murah daripada penulisan GPT paling murah dan sekurang-kurangnya seratus kali lebih murah daripada penulisan terkehadapan. Jurang itulah sebabnya setiap sistem yang serius mencari dahulu dan menulis kemudian. Apa itu LLM membincangkan bahagian penulisan.

Di mana embedding berjalan tanpa anda menyedarinya

Sembang dengan dokumen anda. Apabila anda memuat naik PDF panjang dan bertanya soalan, fail itu dipecahkan kepada petikan, setiap petikan di-embed dan disimpan dalam pangkalan data vektor, soalan anda di-embed, dan petikan yang vektornya paling dekat diserahkan kepada model bahasa sebagai konteks. Model itu menjawab daripada petikan tersebut. Inilah retrieval-augmented generation, dan apa itu RAG membincangkan keseluruhan aliran kerja itu; embedding adalah langkah carian di dalamnya. Panduan sembang dengan PDF membincangkan cara bertanya soalan kepada fail yang dimuat naik dalam Whizi.

Sama ada dokumen dicari atau dibaca sepenuhnya bergantung pada tetingkap. Tetingkap konteks setiap model, dalam muka surat, ada di bawah; apa sahaja yang muat boleh dimasukkan sepenuhnya, dan dapatan semula wujud untuk koleksi yang tidak muat.

Carian yang memahami sinonim. Laman sokongan yang memaparkan artikel pembatalan untuk "berhenti membayar" sedang membandingkan embedding, bukan memadankan perkataan.

Cadangan dan pengelompokan. Item dengan vektor berdekatan adalah item yang serupa: produk berkaitan, tiket pendua, artikel pada topik yang sama.

Ciri ingatan dalam aplikasi sembang. Apabila pembantu "mengingati" satu fakta daripada perbualan lama, satu pelaksanaan lazim meng-embed nota lama dan mendapatkan semula yang paling dekat ke dalam gesaan.

Dalam setiap kes, embedding melakukan pencarian dan sesuatu yang lain membuat keputusan atau menulis. Mod kegagalannya juga sama di mana-mana: jika vektor terdekat ialah petikan yang salah, segala-galanya seterusnya akan menjawab dengan yakin soalan yang salah, iaitu kegagalan dapatan semula yang disenaraikan apa itu halusinasi AI sebagai kegagalan berasingan daripada rekaan.

Apa yang boleh anda lakukan dengan idea ini, tanpa menulis kod

Anda jarang akan mengendalikan embedding secara langsung, tetapi mengetahui mekanismenya mengubah cara anda menggunakan alat yang dibina di atasnya.

1. Bertanya dalam bahasa jawapan itu. Dapatan semula memadankan soalan anda dengan petikan mengikut makna. Soalan yang dirangkai seperti cara dokumen itu merangkainya mendarat lebih dekat berbanding satu yang dirangkai seperti cara anda menyebutnya secara lisan.
2. Pecahkan muat naik besar mengikut topik. Fail 400 muka surat dengan tiga subjek yang tidak berkaitan akan di-embed ke dalam ruang yang sesak; tiga fail berasingan didapatkan semula dengan bersih.
3. Baca petikan yang disebut. Jika jawapan sembang dengan fail memetik satu petikan, buka petikan itu. Kegagalan dapatan semula kelihatan seperti jawapan yang yakin kepada soalan yang sedikit berbeza.
4. Jangkakan ia gagal pada rentetan yang tepat. Embedding adalah tentang makna; nombor invois atau kod bahagian lebih baik dicari melalui carian teks biasa, dan alat yang baik menggabungkan kedua-duanya.

Peraturan keputusannya: apabila tugasnya ialah mencari serpihan yang betul antara banyak, anda mahukan model embedding, dan ia perlu murah. Apabila tugasnya ialah menghasilkan satu serpihan, anda mahukan model bahasa, dan ia perlu bagus. Produk yang betul dalam pembahagian ini adalah produk yang sembang failnya benar-benar berfungsi.