Carian peringkat pertama pantas tetapi kasar. Reranking membelanjakan lebih banyak pengiraan pada senarai pendek untuk membetulkan susunannya.
Cara ia berfungsi
Saluran paip dua peringkat:
- Dapatkan. Kaedah pantas, seperti embedding dalam pangkalan data vektor, BM25 atau carian hibrid, memulangkan 50 hingga 100 calon teratas.
- Rerank. Reranker membaca pertanyaan dan setiap calon bersama-sama dan memberi setiap pasangan skor relevan. Simpan 3 hingga 10 teratas.
Kebanyakan reranker ialah cross-encoder. Dokumentasi Sentence Transformers menyatakan cross-encoder “Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model,” (Terjemahan BroadRouter: “Secara umumnya memberi prestasi yang lebih baik berbanding model Sentence Transformer (juga dikenali sebagai bi-encoder),”) tetapi “Often slower” (Terjemahan BroadRouter: “Selalunya lebih perlahan”) kerana “it requires computation for each pair rather than each text.” (Terjemahan BroadRouter: “ia memerlukan pengiraan bagi setiap pasangan dan bukan setiap teks.”) Dokumentasi itu menerangkan cross-encoder sebagai “often used to re-rank the top-k results” (Terjemahan BroadRouter: “sering digunakan untuk menyusun semula hasil top-k”) daripada bi-encoder.
from sentence_transformers import CrossEncoder
model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages) # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]
Pendekatan ini bermula sekurang-kurangnya sejak Nogueira dan Cho (2019), yang melakukan fine-tuning BERT sebagai re-ranker petikan dan melaporkan peningkatan relatif 27% dalam MRR@10 berbanding hasil terbaik sebelumnya pada dapatan semula petikan MS MARCO.
API rerank yang dihoskan juga wujud. Endpoint rerank Cohere “takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score,” (Terjemahan BroadRouter: “menerima pertanyaan dan senarai teks lalu menghasilkan tatasusunan tersusun dengan setiap teks diberi skor relevan,”) dengan skor dinormalkan kepada julat 0 hingga 1 dan medan top_n untuk mengehadkan hasil.
Mengapa ia penting
- Kualiti jawapan. LLM hanya boleh menggunakan apa yang anda hantar. Susunan yang lebih baik meletakkan cebisan yang betul dalam prompt.
- Kos token. Dengan reranker yang baik, anda boleh menghantar 3 cebisan dan bukan 10, yang mengurangkan token input pada setiap soalan.
- Kependaman. Reranker menambah satu langkah. Kosnya meningkat mengikut bilangan calon, jadi pastikan senarai itu pendek.
Di BroadNet Inference
BroadNet tidak menawarkan endpoint rerank atau endpoint embedding. Jalankan cross-encoder sendiri, contohnya dengan Sentence Transformers, atau gunakan API rerank yang dihoskan, kemudian hantar cebisan teratas kepada model chat BroadNet melalui Chat Completions API yang serasi OpenAI.
Untuk dokumen bahasa Arab, pastikan reranker anda dilatih pada data bahasa Arab atau berbilang bahasa; Arabic RAG search meliputi bahagian lain saluran paip. Jika korpus anda kecil, model konteks panjang seperti DeepSeek V4.1 Flash mungkin membolehkan anda melangkau dapatan semula; lihat long context vs RAG.