Mabilis pero magaspang ang unang search. Gumagastos ang reranking ng mas maraming compute sa isang maikling listahan para maitama ang pagkakasunod.
Paano ito gumagana
Isang pipeline na may dalawang yugto:
- Retrieve. Nagbabalik ng top 50 hanggang 100 na kandidato ang isang mabilis na paraan, gaya ng embeddings sa isang vector database, BM25 o hybrid search.
- Rerank. Sabay na binabasa ng reranker ang query at ang bawat kandidato at binibigyan ng relevance score ang bawat pares. Panatilihin ang top 3 hanggang 10.
Cross-encoder ang karamihan ng mga reranker. Sinasabi ng docs ng Sentence Transformers na ang cross-encoder ay “Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model,” (Salin ng BroadRouter: “Karaniwang mas mahusay ang performance kumpara sa isang Sentence Transformer (a.k.a. bi-encoder) model,”) pero “Often slower” (Salin ng BroadRouter: “Madalas na mas mabagal”) dahil “it requires computation for each pair rather than each text.” (Salin ng BroadRouter: “nangangailangan ito ng computation kada pares sa halip na kada text.”) Inilalarawan ng docs ang mga cross-encoder bilang “often used to re-rank the top-k results” (Salin ng BroadRouter: “madalas gamitin para i-re-rank ang top-k na resulta”) mula sa isang bi-encoder.
from sentence_transformers import CrossEncoder
model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages) # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]
Nagmula ang paraang ito kahit man lang kina Nogueira at Cho (2019), na nag-fine-tune ng BERT bilang passage re-ranker at nag-ulat ng 27% na relative improvement sa MRR@10 kumpara sa dating pinakamahusay na resulta sa MS MARCO passage retrieval.
May mga hosted na rerank API din. Ang rerank endpoint ng Cohere ay “takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score,” (Salin ng BroadRouter: “tumatanggap ng query at listahan ng mga text at naglalabas ng nakaayos na array kung saan may relevance score ang bawat text,”) na naka-normalize ang mga score sa range na 0 hanggang 1 at may top_n na field para limitahan ang mga resulta.
Bakit ito mahalaga
- Kalidad ng sagot. Ang ipinapadala mo lang ang magagamit ng LLM. Mas mahusay na pagkakasunod, nasa prompt ang tamang chunk.
- Gastos sa token. Sa mahusay na reranker, 3 chunk sa halip na 10 ang maipapadala mo, na nagbabawas ng input token sa bawat tanong.
- Latency. Nagdadagdag ng hakbang ang reranker. Lumalaki ang gastos nito kasabay ng bilang ng kandidato, kaya panatilihing maikli ang listahang iyon.
Sa BroadNet Inference
Walang rerank endpoint o embeddings endpoint ang BroadNet. Magpatakbo ng sarili mong cross-encoder, halimbawa gamit ang Sentence Transformers, o gumamit ng hosted na rerank API, saka ipadala ang mga nangungunang chunk sa isang chat model ng BroadNet sa OpenAI-compatible na Chat Completions API.
Para sa mga dokumentong Arabic, tiyaking na-train ang reranker mo sa Arabic o multilingual na data; sakop ng Arabic RAG search ang natitirang bahagi ng pipeline. Kung maliit ang corpus mo, baka hindi mo na kailangan ng retrieval kung gagamit ka ng long-context model gaya ng DeepSeek V4.1 Flash; tingnan ang long context vs RAG.