BroadRouter
Magsimula

Vector database

Na-update

Ang vector database ay isang data store na naglalaman ng mga embedding vector, kadalasang kasama ang source text at metadata, at sumasagot sa nearest-neighbour query: bigyan mo ito ng query vector at ibabalik nito ang mga naka-store na vector na pinakakahawig nito, karaniwang batay sa cosine distance, Euclidean distance o inner product.

Tinatawag ding: vector DB, vector store, vector index, vector search engine, similarity search database, ano ang vector database, database ng vector

Iisang tanong ang napakabilis na sinasagot ng vector database: aling mga naka-store na item ang may kahulugang malapit sa query na ito?

Paano ito gumagana

Ang bawat record ay isang embedding, isang fixed-length na listahan ng mga numero, kasama ang metadata gaya ng source text, document ID at petsa. Sa oras ng query, ie-embed mo ang tanong gamit ang parehong model at hihingin ang top k na pinakamalapit na vector.

Kailangan ng sukatan ng layo ang “pinakamalapit”. May tatlong operator ang pgvector, ang Postgres extension: <-> para sa Euclidean (L2) distance, <#> para sa negative inner product at <=> para sa cosine distance. Gamitin ang bagay sa kung paano tinrain ang embedding model mo; cosine similarity ang inirerekomenda ng OpenAI para sa mga vector nito.

Eksakto ang pagkumpara ng query sa bawat naka-store na vector, pero mabagal kapag malaki na ang scale. Iniiwasan iyon ng mga approximate nearest-neighbour (ANN) index:

Index Paano gumagana Trade-off (ayon sa docs ng pgvector)
HNSW Patong-patong na proximity graph Mas magandang speed-recall, mas mabagal i-build, mas maraming memory
IVFFlat Naka-grupo ang mga vector sa mga list Mas mabilis i-build, mas kaunting memory, mas mabagal ang query sa parehong recall

Inilalarawan ng HNSW paper nina Malkov at Yashunin ang isang patong ng mga graph kung saan nagsisimula ang search sa kalat-kalat na itaas na layer, na “allows a logarithmic complexity scaling.” (Salin: “nagbibigay-daan sa logarithmic na pag-scale ng complexity.”) Ganito binubuod ng README ng pgvector ang kapalit: ang approximate index ay “trades some recall for speed.” (Salin: “ipinagpapalit ang kaunting recall para sa bilis.”)

Bakit ito mahalaga

  • Ito ang retriever sa karamihan ng RAG system. Kung hindi makuha ng store ang tamang chunk, hinding-hindi ito makikita ng LLM.
  • Setting ang recall, hindi garantisado. Binabago ng mga ANN parameter kung aling resulta ang bumabalik. Sukatin ang recall gamit ang totoong query.
  • Filtering. May dagdag na kondisyon ang totoong query gaya ng wika, customer o petsa. Siguraduhing nailalapat ang filter bago ang ranking, hindi pagkatapos ng top-k na cut na nagtatapon ng mga valid na resulta.

Sa BroadNet Inference

Hindi nagho-host ang BroadNet ng vector storage at walang nakalistang embeddings endpoint sa docs nito. Karaniwang setup: sarili mong vector store, embedding model mula sa ibang source, at BroadNet chat model na sumusulat ng sagot mula sa mga nakuhang chunk. Para sa maliliit na corpus, puwedeng pumalit sa store ang malaking context window; tingnan ang long context vs RAG. Para sa Arabic na text, ipinapaliwanag ng Arabic RAG search kung bakit nakakatulong ang keyword index katabi ng vector index.

Mga karaniwang pagkakamali

  • Pag-query gamit ang ibang embedding model kaysa sa ginamit sa pag-index.
  • Pag-tune ng LLM prompt kahit ang totoong problema ay mababang retrieval recall.

Mga tanong

Kailangan ko ba ng hiwalay na vector database?

Hindi palagi. Nagdaragdag ang mga extension gaya ng pgvector ng vector column at similarity search sa Postgres, kaya puwedeng katabi ng iba mong data ang mga vector. Nakakatulong ang dedicated na store sa napakalaking scale o kapag mabigat ang pangangailangan sa filtering.

Eksakto ba ang vector search?

Puwede. Exact nearest-neighbour search ang default ng pgvector, na nagbibigay ng perpektong recall. Kapag nagdagdag ka ng HNSW o IVFFlat index, nagiging approximate ito at mas mabilis.

Iniimbak ba ng vector database ang text ko?

Karaniwan, iniimbak mo ang orihinal na chunk o document ID katabi ng bawat vector, dahil kailangan ng prompt ang text at hindi maaasahang paraan ang vector para mabawi ito. Gayunman, nabuo muli nina Morris et al. (2023) nang eksakto ang 92% ng mga 32-token na test input mula sa embeddings ng mga ito, kaya protektahan ang mga vector gaya ng mismong text.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity