Pangkalan data vektor menjawab satu soalan dengan sangat pantas: item tersimpan yang mana maksudnya hampir dengan pertanyaan ini?
Cara ia berfungsi
Setiap rekod ialah satu embedding, senarai nombor dengan panjang tetap, ditambah metadata seperti teks sumber, ID dokumen dan tarikh. Semasa pertanyaan, anda menukar soalan kepada embedding dengan model yang sama dan meminta k vektor terdekat teratas.
“Terdekat” memerlukan ukuran jarak. pgvector, sambungan Postgres itu, menawarkan tiga operator: <-> untuk jarak Euclidean (L2), <#> untuk hasil darab dalam negatif dan <=> untuk jarak kosinus. Gunakan yang sepadan dengan latihan model embedding anda; OpenAI mengesyorkan persamaan kosinus untuk vektornya.
Membandingkan pertanyaan dengan setiap vektor tersimpan adalah tepat tetapi perlahan pada skala besar. Indeks approximate nearest-neighbour (ANN) mengelakkannya:
| Indeks | Cara ia berfungsi | Pertukaran (menurut dokumentasi pgvector) |
|---|---|---|
| HNSW | Graf kedekatan berlapis | Nisbah kelajuan-recall lebih baik, binaan lebih perlahan, lebih banyak memori |
| IVFFlat | Vektor dikumpulkan dalam senarai | Binaan lebih pantas, kurang memori, kelajuan pertanyaan lebih rendah pada recall yang sama |
Kertas HNSW oleh Malkov dan Yashunin menerangkan timbunan graf di mana carian bermula pada lapisan atas yang jarang, yang “allows a logarithmic complexity scaling.” (Terjemahan: “membolehkan penskalaan kerumitan logaritma.”) README pgvector meringkaskan tawarannya: indeks anggaran “trades some recall for speed.” (Terjemahan: “menukar sedikit recall dengan kelajuan.”)
Mengapa ia penting
- Ia ialah retriever dalam kebanyakan sistem RAG. Jika stor terlepas cebisan yang betul, LLM tidak akan nampak cebisan itu.
- Recall ialah tetapan, bukan sesuatu yang dijamin. Parameter ANN mengubah hasil yang dipulangkan. Ukur recall dengan pertanyaan sebenar.
- Penapisan. Pertanyaan sebenar menambah syarat seperti bahasa, pelanggan atau tarikh. Pastikan penapis digunakan sebelum penarafan, bukan selepas potongan top-k yang membuang hasil yang sah.
Di BroadNet Inference
BroadNet tidak menghoskan storan vektor dan dokumentasinya tidak menyenaraikan endpoint embeddings. Persediaan biasa ialah stor vektor anda sendiri, model embedding daripada sumber lain, dan model chat BroadNet yang menulis jawapan daripada cebisan yang diambil. Untuk korpus kecil, tetingkap konteks yang besar boleh menggantikan stor; lihat konteks panjang vs RAG. Untuk teks bahasa Arab, carian RAG bahasa Arab menerangkan mengapa indeks kata kunci di sebelah indeks vektor membantu.
Kesilapan biasa
- Membuat pertanyaan dengan model embedding yang berbeza daripada model yang digunakan untuk mengindeks.
- Menala prompt LLM sedangkan masalah sebenar ialah recall pengambilan yang rendah.