BroadRouter
Mulakan

Pangkalan data vektor (vector database)

Dikemas kini

Pangkalan data vektor ialah stor data yang menyimpan vektor embedding, selalunya bersama teks sumber dan metadata, dan menjawab pertanyaan jiran terdekat: berikan vektor pertanyaan dan ia memulangkan vektor tersimpan yang paling serupa dengannya, biasanya mengikut jarak kosinus, jarak Euclidean atau hasil darab dalam.

Juga dikenali sebagai: vector database, vector DB, vector store, stor vektor, indeks vektor, vector index, vector search engine, similarity search database, carian vektor

Pangkalan data vektor menjawab satu soalan dengan sangat pantas: item tersimpan yang mana maksudnya hampir dengan pertanyaan ini?

Cara ia berfungsi

Setiap rekod ialah satu embedding, senarai nombor dengan panjang tetap, ditambah metadata seperti teks sumber, ID dokumen dan tarikh. Semasa pertanyaan, anda menukar soalan kepada embedding dengan model yang sama dan meminta k vektor terdekat teratas.

“Terdekat” memerlukan ukuran jarak. pgvector, sambungan Postgres itu, menawarkan tiga operator: <-> untuk jarak Euclidean (L2), <#> untuk hasil darab dalam negatif dan <=> untuk jarak kosinus. Gunakan yang sepadan dengan latihan model embedding anda; OpenAI mengesyorkan persamaan kosinus untuk vektornya.

Membandingkan pertanyaan dengan setiap vektor tersimpan adalah tepat tetapi perlahan pada skala besar. Indeks approximate nearest-neighbour (ANN) mengelakkannya:

Indeks Cara ia berfungsi Pertukaran (menurut dokumentasi pgvector)
HNSW Graf kedekatan berlapis Nisbah kelajuan-recall lebih baik, binaan lebih perlahan, lebih banyak memori
IVFFlat Vektor dikumpulkan dalam senarai Binaan lebih pantas, kurang memori, kelajuan pertanyaan lebih rendah pada recall yang sama

Kertas HNSW oleh Malkov dan Yashunin menerangkan timbunan graf di mana carian bermula pada lapisan atas yang jarang, yang “allows a logarithmic complexity scaling.” (Terjemahan: “membolehkan penskalaan kerumitan logaritma.”) README pgvector meringkaskan tawarannya: indeks anggaran “trades some recall for speed.” (Terjemahan: “menukar sedikit recall dengan kelajuan.”)

Mengapa ia penting

  • Ia ialah retriever dalam kebanyakan sistem RAG. Jika stor terlepas cebisan yang betul, LLM tidak akan nampak cebisan itu.
  • Recall ialah tetapan, bukan sesuatu yang dijamin. Parameter ANN mengubah hasil yang dipulangkan. Ukur recall dengan pertanyaan sebenar.
  • Penapisan. Pertanyaan sebenar menambah syarat seperti bahasa, pelanggan atau tarikh. Pastikan penapis digunakan sebelum penarafan, bukan selepas potongan top-k yang membuang hasil yang sah.

Di BroadNet Inference

BroadNet tidak menghoskan storan vektor dan dokumentasinya tidak menyenaraikan endpoint embeddings. Persediaan biasa ialah stor vektor anda sendiri, model embedding daripada sumber lain, dan model chat BroadNet yang menulis jawapan daripada cebisan yang diambil. Untuk korpus kecil, tetingkap konteks yang besar boleh menggantikan stor; lihat konteks panjang vs RAG. Untuk teks bahasa Arab, carian RAG bahasa Arab menerangkan mengapa indeks kata kunci di sebelah indeks vektor membantu.

Kesilapan biasa

  • Membuat pertanyaan dengan model embedding yang berbeza daripada model yang digunakan untuk mengindeks.
  • Menala prompt LLM sedangkan masalah sebenar ialah recall pengambilan yang rendah.

Soalan lazim

Adakah saya perlukan pangkalan data vektor khusus?

Tidak semestinya. Sambungan seperti pgvector menambah lajur vektor dan carian persamaan pada Postgres, jadi vektor boleh disimpan bersama data anda yang lain. Stor khusus membantu pada skala yang sangat besar atau apabila keperluan penapisan berat.

Adakah carian vektor tepat?

Boleh jadi. pgvector menjalankan carian jiran terdekat yang tepat secara lalai, yang memberi recall sempurna. Menambah indeks HNSW atau IVFFlat menjadikannya anggaran dan lebih pantas.

Adakah pangkalan data vektor menyimpan teks saya?

Biasanya anda menyimpan cebisan asal atau ID dokumen di sebelah setiap vektor, kerana prompt memerlukan teks dan vektor bukan cara yang boleh dipercayai untuk mendapatkannya semula. Namun, Morris et al. (2023) membina semula 92% input ujian 32 token dengan tepat daripada embedding-nya, jadi lindungi vektor seperti teks itu sendiri.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity