BroadRouter
Mulai

Reranking (pemeringkatan ulang)

Diperbarui

Reranking adalah tahap retrieval kedua di mana model yang lebih akurat tetapi lebih lambat, biasanya cross-encoder, menilai setiap pasangan query dan dokumen kandidat dari pencarian tahap pertama lalu mengurutkannya ulang, sehingga hanya beberapa yang paling relevan diteruskan ke model bahasa.

Disebut juga: reranking, pemeringkatan ulang, reranker, rerank, re-ranking, cross-encoder reranker

Pencarian tahap pertama cepat tetapi kasar. Reranking menghabiskan lebih banyak komputasi pada daftar pendek agar urutannya tepat.

Cara kerjanya

Pipeline dua tahap:

  1. Retrieve. Metode cepat, seperti embeddings di vector database, BM25, atau hybrid search, mengembalikan 50 sampai 100 kandidat teratas.
  2. Rerank. Reranker membaca query dan setiap kandidat bersama-sama dan memberi setiap pasangan skor relevansi. Simpan 3 sampai 10 teratas.

Sebagian besar reranker adalah cross-encoder. Dokumentasi Sentence Transformers menyebut cross-encoder “Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model,” (terjemahan: umumnya memberikan performa lebih unggul dibanding model Sentence Transformer (alias bi-encoder)), tetapi “Often slower” (terjemahan: sering lebih lambat) karena “it requires computation for each pair rather than each text.” (terjemahan: membutuhkan komputasi untuk setiap pasangan, bukan setiap teks.) Dokumentasi tersebut menggambarkan cross-encoder sebagai model yang “often used to re-rank the top-k results” (terjemahan: sering dipakai untuk memeringkat ulang hasil top-k) dari bi-encoder.

from sentence_transformers import CrossEncoder

model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages)   # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]

Pendekatan ini setidaknya sudah ada sejak Nogueira dan Cho (2019), yang melakukan fine-tuning BERT sebagai passage re-ranker dan melaporkan peningkatan relatif 27% pada MRR@10 dibanding hasil terbaik sebelumnya pada passage retrieval MS MARCO.

API rerank yang di-host juga ada. Endpoint rerank Cohere “takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score,” (terjemahan: menerima query dan daftar teks lalu menghasilkan array terurut dengan skor relevansi untuk setiap teks), dengan skor yang dinormalisasi ke rentang 0 sampai 1 dan field top_n untuk membatasi hasil.

Mengapa penting

  • Kualitas jawaban. LLM hanya bisa memakai apa yang Anda kirim. Urutan yang lebih baik menempatkan chunk yang tepat di dalam prompt.
  • Biaya token. Dengan reranker yang bagus, Anda bisa mengirim 3 chunk alih-alih 10, sehingga token input berkurang di setiap pertanyaan.
  • Latensi. Reranker menambah satu langkah. Biayanya naik seiring jumlah kandidat, jadi jaga daftarnya tetap pendek.

Di BroadNet Inference

BroadNet tidak menyediakan endpoint rerank maupun endpoint embeddings. Jalankan cross-encoder sendiri, misalnya dengan Sentence Transformers, atau gunakan API rerank yang di-host, lalu kirim chunk teratas ke model chat BroadNet melalui Chat Completions API yang kompatibel dengan OpenAI.

Untuk dokumen berbahasa Arab, pastikan reranker Anda dilatih dengan data bahasa Arab atau multibahasa; pencarian RAG bahasa Arab membahas sisa pipeline-nya. Jika korpus Anda kecil, model berkonteks panjang seperti DeepSeek V4.1 Flash mungkin memungkinkan Anda melewati retrieval; lihat konteks panjang vs RAG.

Pertanyaan umum

Mengapa tidak memakai cross-encoder untuk seluruh pencarian?

Cross-encoder menilai setiap pasangan query dan dokumen secara terpisah, jadi terlalu lambat untuk dijalankan pada seluruh koleksi. Tahap pertama mempersempit jutaan dokumen menjadi puluhan atau ratusan, dan reranker hanya mengurutkan itu.

Bisakah LLM dijadikan reranker?

Bisa. Anda bisa meminta model chat untuk menilai atau mengurutkan kandidat. Biasanya lebih lambat dan lebih mahal per query dibanding cross-encoder kecil, jadi uji keduanya dengan data Anda.

Berapa banyak kandidat yang sebaiknya di-rerank?

Cukup banyak sehingga jawaban yang benar biasanya ada di antaranya. Ukur seberapa sering chunk yang benar muncul di top 20, 50, dan 100 tahap pertama, lalu pilih angka terkecil dengan recall yang baik.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity