वेक्टर डेटाबेस एक सवाल का जवाब बहुत तेज़ी से देता है: सेव की गई कौन-सी चीज़ें इस क्वेरी के अर्थ के सबसे क़रीब हैं?
यह कैसे काम करता है
हर रिकॉर्ड एक embedding होता है, यानी तय लंबाई वाली संख्याओं की सूची, साथ में मेटाडेटा जैसे सोर्स टेक्स्ट, डॉक्यूमेंट ID और तारीख़। क्वेरी के समय आप सवाल का embedding उसी मॉडल से बनाते हैं और सबसे नज़दीकी top k वेक्टर माँगते हैं।
“नज़दीकी” के लिए दूरी का कोई पैमाना चाहिए। Postgres एक्सटेंशन pgvector तीन ऑपरेटर देता है: Euclidean (L2) दूरी के लिए <->, negative inner product के लिए <#> और cosine दूरी के लिए <=>। वही इस्तेमाल करें जिसके लिए आपका embedding मॉडल ट्रेन हुआ है; OpenAI अपने वेक्टर के लिए cosine similarity की सलाह देता है।
हर सेव वेक्टर से क्वेरी की तुलना सटीक है, पर बड़े पैमाने पर धीमी है। Approximate nearest-neighbour (ANN) इंडेक्स इससे बचाते हैं:
| इंडेक्स | कैसे काम करता है | समझौता (pgvector डॉक्स के अनुसार) |
|---|---|---|
| HNSW | परतों वाला proximity ग्राफ़ | बेहतर स्पीड-recall, धीमा बिल्ड, ज़्यादा मेमोरी |
| IVFFlat | वेक्टर सूचियों में समूहबद्ध | तेज़ बिल्ड, कम मेमोरी, उसी recall पर कम क्वेरी स्पीड |
Malkov और Yashunin का HNSW पेपर ग्राफ़ों के एक ढेर का वर्णन करता है जिसमें सर्च ऊपर की विरल परतों से शुरू होती है, जो “allows a logarithmic complexity scaling.” (अनुवाद: लॉगरिदमिक जटिलता वाली स्केलिंग संभव बनाता है।) pgvector का README सौदे का सार बताता है: approximate इंडेक्स “trades some recall for speed.” (अनुवाद: स्पीड के बदले कुछ recall छोड़ता है।)
यह क्यों मायने रखता है
- ज़्यादातर RAG सिस्टम में यही retriever है. अगर स्टोर सही चंक चूक जाए, तो LLM उसे कभी देखता ही नहीं।
- Recall एक सेटिंग है, पक्की गारंटी नहीं. ANN पैरामीटर बदलते हैं कि कौन-से नतीजे लौटेंगे। असली क्वेरी पर recall मापें।
- फ़िल्टरिंग. असली क्वेरी में भाषा, ग्राहक या तारीख़ जैसी शर्तें जुड़ती हैं। जाँचें कि फ़िल्टर रैंकिंग से पहले लगते हैं, न कि top-k कटौती के बाद, जो सही नतीजे गिरा देती है।
BroadNet Inference पर
BroadNet वेक्टर स्टोरेज होस्ट नहीं करता और उसके डॉक्स में कोई embeddings एंडपॉइंट सूचीबद्ध नहीं है। आम सेटअप है: आपका अपना वेक्टर स्टोर, किसी दूसरे सोर्स का embedding मॉडल, और BroadNet का चैट मॉडल जो निकाले गए चंक से जवाब लिखता है। छोटे कॉर्पस के लिए बड़ी कॉन्टेक्स्ट विंडो स्टोर की जगह ले सकती है; लंबा कॉन्टेक्स्ट बनाम RAG देखें। अरबी टेक्स्ट के लिए अरबी RAG सर्च बताता है कि वेक्टर इंडेक्स के साथ कीवर्ड इंडेक्स क्यों मदद करता है।
आम ग़लतियाँ
- इंडेक्स बनाने वाले embedding मॉडल से अलग मॉडल से क्वेरी करना।
- असली समस्या कम retrieval recall हो, तब LLM प्रॉम्प्ट ट्यून करते रहना।