Iisang tanong ang napakabilis na sinasagot ng vector database: aling mga naka-store na item ang may kahulugang malapit sa query na ito?
Paano ito gumagana
Ang bawat record ay isang embedding, isang fixed-length na listahan ng mga numero, kasama ang metadata gaya ng source text, document ID at petsa. Sa oras ng query, ie-embed mo ang tanong gamit ang parehong model at hihingin ang top k na pinakamalapit na vector.
Kailangan ng sukatan ng layo ang “pinakamalapit”. May tatlong operator ang pgvector, ang Postgres extension: <-> para sa Euclidean (L2) distance, <#> para sa negative inner product at <=> para sa cosine distance. Gamitin ang bagay sa kung paano tinrain ang embedding model mo; cosine similarity ang inirerekomenda ng OpenAI para sa mga vector nito.
Eksakto ang pagkumpara ng query sa bawat naka-store na vector, pero mabagal kapag malaki na ang scale. Iniiwasan iyon ng mga approximate nearest-neighbour (ANN) index:
| Index | Paano gumagana | Trade-off (ayon sa docs ng pgvector) |
|---|---|---|
| HNSW | Patong-patong na proximity graph | Mas magandang speed-recall, mas mabagal i-build, mas maraming memory |
| IVFFlat | Naka-grupo ang mga vector sa mga list | Mas mabilis i-build, mas kaunting memory, mas mabagal ang query sa parehong recall |
Inilalarawan ng HNSW paper nina Malkov at Yashunin ang isang patong ng mga graph kung saan nagsisimula ang search sa kalat-kalat na itaas na layer, na “allows a logarithmic complexity scaling.” (Salin: “nagbibigay-daan sa logarithmic na pag-scale ng complexity.”) Ganito binubuod ng README ng pgvector ang kapalit: ang approximate index ay “trades some recall for speed.” (Salin: “ipinagpapalit ang kaunting recall para sa bilis.”)
Bakit ito mahalaga
- Ito ang retriever sa karamihan ng RAG system. Kung hindi makuha ng store ang tamang chunk, hinding-hindi ito makikita ng LLM.
- Setting ang recall, hindi garantisado. Binabago ng mga ANN parameter kung aling resulta ang bumabalik. Sukatin ang recall gamit ang totoong query.
- Filtering. May dagdag na kondisyon ang totoong query gaya ng wika, customer o petsa. Siguraduhing nailalapat ang filter bago ang ranking, hindi pagkatapos ng top-k na cut na nagtatapon ng mga valid na resulta.
Sa BroadNet Inference
Hindi nagho-host ang BroadNet ng vector storage at walang nakalistang embeddings endpoint sa docs nito. Karaniwang setup: sarili mong vector store, embedding model mula sa ibang source, at BroadNet chat model na sumusulat ng sagot mula sa mga nakuhang chunk. Para sa maliliit na corpus, puwedeng pumalit sa store ang malaking context window; tingnan ang long context vs RAG. Para sa Arabic na text, ipinapaliwanag ng Arabic RAG search kung bakit nakakatulong ang keyword index katabi ng vector index.
Mga karaniwang pagkakamali
- Pag-query gamit ang ibang embedding model kaysa sa ginamit sa pag-index.
- Pag-tune ng LLM prompt kahit ang totoong problema ay mababang retrieval recall.