Vector database menjawab satu pertanyaan dengan sangat cepat: item tersimpan mana yang maknanya dekat dengan query ini?
Cara kerjanya
Setiap record adalah sebuah embedding, yaitu daftar angka dengan panjang tetap, ditambah metadata seperti teks sumber, ID dokumen, dan tanggal. Saat query, Anda meng-embed pertanyaan dengan model yang sama lalu meminta top k vektor terdekat.
“Terdekat” butuh ukuran jarak. pgvector, ekstensi Postgres, menyediakan tiga operator: <-> untuk jarak Euclidean (L2), <#> untuk negative inner product, dan <=> untuk cosine distance. Pakai yang sesuai dengan cara model embedding Anda dilatih; OpenAI merekomendasikan cosine similarity untuk vektornya.
Membandingkan query dengan setiap vektor tersimpan memang eksak, tetapi lambat pada skala besar. Indeks approximate nearest-neighbour (ANN) menghindarinya:
| Indeks | Cara kerja | Trade-off (menurut dokumentasi pgvector) |
|---|---|---|
| HNSW | Graf kedekatan berlapis | Keseimbangan kecepatan-recall lebih baik, build lebih lambat, memori lebih besar |
| IVFFlat | Vektor dikelompokkan ke dalam list | Build lebih cepat, memori lebih kecil, kecepatan query lebih rendah pada recall yang sama |
Paper HNSW dari Malkov dan Yashunin menjelaskan tumpukan graf tempat pencarian dimulai dari lapisan atas yang jarang, yang “allows a logarithmic complexity scaling.” (terjemahan: memungkinkan penskalaan dengan kompleksitas logaritmik.) README pgvector merangkum kompromisnya: indeks aproksimatif “trades some recall for speed.” (terjemahan: menukar sebagian recall dengan kecepatan.)
Mengapa penting
- Ia adalah retriever di sebagian besar sistem RAG. Jika penyimpanan melewatkan chunk yang tepat, LLM tidak akan pernah melihatnya.
- Recall adalah pengaturan, bukan jaminan. Parameter ANN mengubah hasil yang kembali. Ukur recall dengan query nyata.
- Filter. Query nyata menambahkan kondisi seperti bahasa, pelanggan, atau tanggal. Pastikan filter diterapkan sebelum ranking, bukan setelah pemotongan top-k yang membuang hasil yang valid.
Di BroadNet Inference
BroadNet tidak menyediakan penyimpanan vektor dan dokumentasinya tidak mencantumkan endpoint embeddings. Setup yang umum: vector store milik Anda sendiri, model embedding dari sumber lain, dan model chat BroadNet yang menulis jawaban dari chunk yang diambil. Untuk korpus kecil, context window yang besar bisa menggantikan penyimpanan vektor; lihat long context vs RAG. Untuk teks Arab, pencarian RAG bahasa Arab menjelaskan mengapa indeks kata kunci di samping indeks vektor membantu.
Kesalahan umum
- Melakukan query dengan model embedding yang berbeda dari yang dipakai saat indexing.
- Mengutak-atik prompt LLM padahal masalah sebenarnya adalah recall retrieval yang rendah.