BroadRouter
Mulai

Vector database (basis data vektor)

Diperbarui

Vector database adalah penyimpanan data yang menyimpan vektor embedding, sering kali bersama teks sumber dan metadatanya, dan menjawab query nearest-neighbour: untuk sebuah vektor query, ia mengembalikan vektor tersimpan yang paling mirip, biasanya berdasarkan cosine distance, jarak Euclidean, atau inner product.

Disebut juga: vector database, database vektor, basis data vektor, penyimpanan vektor, indeks vektor, pencarian kemiripan, vector store, vector DB, vector index, vector search engine, similarity search database

Vector database menjawab satu pertanyaan dengan sangat cepat: item tersimpan mana yang maknanya dekat dengan query ini?

Cara kerjanya

Setiap record adalah sebuah embedding, yaitu daftar angka dengan panjang tetap, ditambah metadata seperti teks sumber, ID dokumen, dan tanggal. Saat query, Anda meng-embed pertanyaan dengan model yang sama lalu meminta top k vektor terdekat.

“Terdekat” butuh ukuran jarak. pgvector, ekstensi Postgres, menyediakan tiga operator: <-> untuk jarak Euclidean (L2), <#> untuk negative inner product, dan <=> untuk cosine distance. Pakai yang sesuai dengan cara model embedding Anda dilatih; OpenAI merekomendasikan cosine similarity untuk vektornya.

Membandingkan query dengan setiap vektor tersimpan memang eksak, tetapi lambat pada skala besar. Indeks approximate nearest-neighbour (ANN) menghindarinya:

Indeks Cara kerja Trade-off (menurut dokumentasi pgvector)
HNSW Graf kedekatan berlapis Keseimbangan kecepatan-recall lebih baik, build lebih lambat, memori lebih besar
IVFFlat Vektor dikelompokkan ke dalam list Build lebih cepat, memori lebih kecil, kecepatan query lebih rendah pada recall yang sama

Paper HNSW dari Malkov dan Yashunin menjelaskan tumpukan graf tempat pencarian dimulai dari lapisan atas yang jarang, yang “allows a logarithmic complexity scaling.” (terjemahan: memungkinkan penskalaan dengan kompleksitas logaritmik.) README pgvector merangkum kompromisnya: indeks aproksimatif “trades some recall for speed.” (terjemahan: menukar sebagian recall dengan kecepatan.)

Mengapa penting

  • Ia adalah retriever di sebagian besar sistem RAG. Jika penyimpanan melewatkan chunk yang tepat, LLM tidak akan pernah melihatnya.
  • Recall adalah pengaturan, bukan jaminan. Parameter ANN mengubah hasil yang kembali. Ukur recall dengan query nyata.
  • Filter. Query nyata menambahkan kondisi seperti bahasa, pelanggan, atau tanggal. Pastikan filter diterapkan sebelum ranking, bukan setelah pemotongan top-k yang membuang hasil yang valid.

Di BroadNet Inference

BroadNet tidak menyediakan penyimpanan vektor dan dokumentasinya tidak mencantumkan endpoint embeddings. Setup yang umum: vector store milik Anda sendiri, model embedding dari sumber lain, dan model chat BroadNet yang menulis jawaban dari chunk yang diambil. Untuk korpus kecil, context window yang besar bisa menggantikan penyimpanan vektor; lihat long context vs RAG. Untuk teks Arab, pencarian RAG bahasa Arab menjelaskan mengapa indeks kata kunci di samping indeks vektor membantu.

Kesalahan umum

  • Melakukan query dengan model embedding yang berbeda dari yang dipakai saat indexing.
  • Mengutak-atik prompt LLM padahal masalah sebenarnya adalah recall retrieval yang rendah.

Pertanyaan umum

Apakah saya perlu vector database khusus?

Belum tentu. Ekstensi seperti pgvector menambahkan kolom vektor dan similarity search ke Postgres, sehingga vektor bisa tinggal bersama data Anda yang lain. Penyimpanan khusus membantu pada skala sangat besar atau kebutuhan filter yang berat.

Apakah pencarian vektor itu eksak?

Bisa. pgvector secara default menjalankan pencarian nearest-neighbour eksak, yang memberi recall sempurna. Menambahkan indeks HNSW atau IVFFlat membuatnya aproksimatif dan lebih cepat.

Apakah vector database menyimpan teks saya?

Biasanya Anda menyimpan chunk asli atau ID dokumen di samping setiap vektor, karena prompt membutuhkan teksnya dan vektor bukan cara yang andal untuk mendapatkannya kembali. Meski begitu, Morris et al. (2023) berhasil merekonstruksi persis 92% input uji 32 token dari embedding-nya, jadi lindungi vektor seperti teksnya sendiri.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity