İlk geçiş araması hızlıdır ama kabadır. Reranking, sıralamayı doğru yapmak için kısa bir listeye daha fazla hesaplama gücü harcar.
Nasıl çalışır
İki aşamalı bir işlem hattı:
- Getir. Bir vektör veritabanındaki embedding’ler, BM25 veya hibrit arama gibi hızlı bir yöntem en iyi 50 ila 100 adayı döndürür.
- Yeniden sırala. Reranker sorguyu ve her adayı birlikte okur ve her çifte bir alaka puanı verir. En iyi 3 ila 10 tanesini tutun.
Çoğu reranker bir cross-encoder’dır. Sentence Transformers belgelerine göre bir cross-encoder “Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model,” (çeviri: genellikle bir Sentence Transformer (diğer adıyla bi-encoder) modeline göre daha üstün performans sağlar) ama “Often slower” (çeviri: çoğu zaman daha yavaştır), çünkü “it requires computation for each pair rather than each text.” (çeviri: her metin için değil, her çift için hesaplama gerektirir.) Belgeler cross-encoder’ları bir bi-encoder’dan gelen “often used to re-rank the top-k results” (çeviri: ilk k sonucu yeniden sıralamak için sıkça kullanılan) modeller olarak tanımlar.
from sentence_transformers import CrossEncoder
model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages) # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]
Yaklaşım en azından Nogueira ve Cho’ya (2019) kadar uzanır; BERT’i bir pasaj yeniden sıralayıcı olarak ince ayar yapmışlar ve MS MARCO pasaj erişiminde önceki en iyi sonuca göre MRR@10’da %27 göreli iyileşme bildirmişlerdir.
Barındırılan rerank API’leri de var. Cohere’in rerank uç noktası “takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score,” (çeviri: bir sorgu ve bir metin listesi alır ve her metne bir alaka puanı atanmış sıralı bir dizi üretir); puanlar 0 ile 1 aralığına normalize edilir ve sonuçları sınırlamak için bir top_n alanı vardır.
Neden önemli
- Yanıt kalitesi. LLM yalnızca ona gönderdiğiniz şeyi kullanabilir. Daha iyi sıralama doğru parçayı isteme koyar.
- Token maliyeti. İyi bir reranker ile 10 yerine 3 parça gönderebilirsiniz; bu da her soruda girdi token’larını azaltır.
- Gecikme. Reranker bir adım ekler. Maliyeti aday sayısıyla birlikte artar; bu yüzden listeyi kısa tutun.
BroadNet Inference’ta
BroadNet bir rerank uç noktası veya embedding uç noktası sunmaz. Bir cross-encoder’ı kendiniz çalıştırın (örneğin Sentence Transformers ile) ya da barındırılan bir rerank API’si kullanın; ardından en iyi parçaları OpenAI uyumlu Chat Completions API üzerinden bir BroadNet sohbet modeline gönderin.
Arapça belgeler için reranker’ınızın Arapça veya çok dilli verilerle eğitildiğini kontrol edin; işlem hattının geri kalanı Arapça RAG araması yazısında. Derleminiz küçükse DeepSeek V4.1 Flash gibi uzun bağlamlı bir model erişim adımını atlamanıza izin verebilir; bkz. uzun bağlam ve RAG.