Vektör veritabanı tek bir soruyu çok hızlı yanıtlar: kayıtlı öğelerden hangileri bu sorguya anlamca yakın?
Nasıl çalışır
Her kayıt bir embedding, yani sabit uzunlukta bir sayı listesi, artı kaynak metin, belge kimliği ve tarih gibi meta verilerdir. Sorgu anında soruyu aynı modelle embedding’e çevirir ve en yakın k vektörü istersiniz.
“En yakın” bir mesafe ölçüsü gerektirir. Postgres eklentisi pgvector üç operatör sunar: Öklid (L2) mesafesi için <->, negatif iç çarpım için <#> ve kosinüs mesafesi için <=>. Embedding modelinizin hangisi için eğitildiyse onu kullanın; OpenAI kendi vektörleri için kosinüs benzerliğini öneriyor.
Bir sorguyu kayıtlı her vektörle karşılaştırmak kesin sonuç verir ama ölçek büyüdükçe yavaşlar. Yaklaşık en yakın komşu (ANN) dizinleri bunu önler:
| Dizin | Nasıl çalışır | Ödünleşim (pgvector belgelerine göre) |
|---|---|---|
| HNSW | Katmanlı yakınlık grafı | Daha iyi hız-isabet dengesi, daha yavaş oluşturma, daha fazla bellek |
| IVFFlat | Vektörler listelere gruplanır | Daha hızlı oluşturma, daha az bellek, aynı isabette daha düşük sorgu hızı |
Malkov ve Yashunin’in HNSW makalesi, aramanın seyrek üst katmanlardan başladığı bir graf yığınını anlatır; bu yapı “allows a logarithmic complexity scaling.” (çeviri: logaritmik karmaşıklıkla ölçeklenmeyi sağlar.) pgvector’ün README’si alışverişi şöyle özetler: yaklaşık bir dizin “trades some recall for speed.” (çeviri: hız için isabetten biraz ödün verir.)
Neden önemli
- Çoğu RAG sisteminde getirici (retriever) odur. Depo doğru parçayı kaçırırsa LLM onu hiç görmez.
- İsabet (recall) verili değil, bir ayardır. ANN parametreleri hangi sonuçların döneceğini değiştirir. İsabeti gerçek sorgular üzerinde ölçün.
- Filtreleme. Gerçek sorgulara dil, müşteri veya tarih gibi koşullar eklenir. Filtrelerin, geçerli sonuçları düşüren bir top-k kesiminden sonra değil, sıralamadan önce uygulandığını kontrol edin.
BroadNet Inference’ta
BroadNet vektör depolama barındırmıyor ve belgelerinde bir embedding uç noktası listelenmiyor. Tipik bir kurulum şöyledir: kendi vektör deponuz, başka bir kaynaktan bir embedding modeli ve getirilen parçalardan yanıtı yazan bir BroadNet sohbet modeli. Küçük külliyatlarda büyük bir bağlam penceresi deponun yerini tutabilir; bkz. uzun bağlam ve RAG. Arapça metin için Arapça RAG araması, vektör dizininin yanında bir anahtar kelime dizininin neden işe yaradığını açıklıyor.
Sık yapılan hatalar
- Dizinlemede kullanılandan farklı bir embedding modeliyle sorgulamak.
- Asıl sorun düşük getirme isabetiyken LLM istemiyle uğraşmak.