Pencarian tahap pertama cepat tetapi kasar. Reranking menghabiskan lebih banyak komputasi pada daftar pendek agar urutannya tepat.
Cara kerjanya
Pipeline dua tahap:
- Retrieve. Metode cepat, seperti embeddings di vector database, BM25, atau hybrid search, mengembalikan 50 sampai 100 kandidat teratas.
- Rerank. Reranker membaca query dan setiap kandidat bersama-sama dan memberi setiap pasangan skor relevansi. Simpan 3 sampai 10 teratas.
Sebagian besar reranker adalah cross-encoder. Dokumentasi Sentence Transformers menyebut cross-encoder “Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model,” (terjemahan: umumnya memberikan performa lebih unggul dibanding model Sentence Transformer (alias bi-encoder)), tetapi “Often slower” (terjemahan: sering lebih lambat) karena “it requires computation for each pair rather than each text.” (terjemahan: membutuhkan komputasi untuk setiap pasangan, bukan setiap teks.) Dokumentasi tersebut menggambarkan cross-encoder sebagai model yang “often used to re-rank the top-k results” (terjemahan: sering dipakai untuk memeringkat ulang hasil top-k) dari bi-encoder.
from sentence_transformers import CrossEncoder
model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages) # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]
Pendekatan ini setidaknya sudah ada sejak Nogueira dan Cho (2019), yang melakukan fine-tuning BERT sebagai passage re-ranker dan melaporkan peningkatan relatif 27% pada MRR@10 dibanding hasil terbaik sebelumnya pada passage retrieval MS MARCO.
API rerank yang di-host juga ada. Endpoint rerank Cohere “takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score,” (terjemahan: menerima query dan daftar teks lalu menghasilkan array terurut dengan skor relevansi untuk setiap teks), dengan skor yang dinormalisasi ke rentang 0 sampai 1 dan field top_n untuk membatasi hasil.
Mengapa penting
- Kualitas jawaban. LLM hanya bisa memakai apa yang Anda kirim. Urutan yang lebih baik menempatkan chunk yang tepat di dalam prompt.
- Biaya token. Dengan reranker yang bagus, Anda bisa mengirim 3 chunk alih-alih 10, sehingga token input berkurang di setiap pertanyaan.
- Latensi. Reranker menambah satu langkah. Biayanya naik seiring jumlah kandidat, jadi jaga daftarnya tetap pendek.
Di BroadNet Inference
BroadNet tidak menyediakan endpoint rerank maupun endpoint embeddings. Jalankan cross-encoder sendiri, misalnya dengan Sentence Transformers, atau gunakan API rerank yang di-host, lalu kirim chunk teratas ke model chat BroadNet melalui Chat Completions API yang kompatibel dengan OpenAI.
Untuk dokumen berbahasa Arab, pastikan reranker Anda dilatih dengan data bahasa Arab atau multibahasa; pencarian RAG bahasa Arab membahas sisa pipeline-nya. Jika korpus Anda kecil, model berkonteks panjang seperti DeepSeek V4.1 Flash mungkin memungkinkan Anda melewati retrieval; lihat konteks panjang vs RAG.