Die erste Suche ist schnell, aber grob. Reranking steckt mehr Rechenleistung in eine kurze Liste, um die Reihenfolge richtig hinzubekommen.
So funktioniert es
Eine zweistufige Pipeline:
- Retrieval. Eine schnelle Methode, etwa Embeddings in einer Vektordatenbank, BM25 oder hybride Suche, liefert die besten 50 bis 100 Kandidaten.
- Rerank. Ein Reranker liest die Anfrage und jeden Kandidaten zusammen und gibt jedem Paar einen Relevanzwert. Behalten Sie die besten 3 bis 10.
Die meisten Reranker sind Cross-Encoder. Die Dokumentation von Sentence Transformers sagt über den Cross-Encoder: „Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model“ (Übersetzung: „bietet im Allgemeinen bessere Leistung als ein Sentence-Transformer-Modell (auch Bi-Encoder genannt)“), ist aber „Often slower“ (Übersetzung: „oft langsamer“), weil „it requires computation for each pair rather than each text.“ (Übersetzung: „er für jedes Paar statt für jeden Text rechnen muss.“) Die Dokumentation beschreibt Cross-Encoder als „often used to re-rank the top-k results“ (Übersetzung: „oft genutzt, um die Top-k-Ergebnisse neu zu ordnen“) eines Bi-Encoders.
from sentence_transformers import CrossEncoder
model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages) # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]
Der Ansatz geht mindestens auf Nogueira und Cho (2019) zurück, die BERT als Passage-Re-Ranker feingetunt haben und eine relative Verbesserung von 27 % bei MRR@10 gegenüber dem bisher besten Ergebnis auf MS MARCO Passage Retrieval berichteten.
Es gibt auch gehostete Rerank-APIs. Der Rerank-Endpoint von Cohere „takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score“ (Übersetzung: „nimmt eine Anfrage und eine Liste von Texten entgegen und liefert ein geordnetes Array, in dem jedem Text ein Relevanzwert zugeordnet ist“), mit Werten, die auf den Bereich 0 bis 1 normalisiert sind, und einem Feld top_n, um die Ergebnisse zu begrenzen.
Warum es wichtig ist
- Antwortqualität. Das LLM kann nur nutzen, was Sie ihm senden. Eine bessere Reihenfolge bringt den richtigen Chunk in den Prompt.
- Token-Kosten. Mit einem guten Reranker können Sie 3 Chunks statt 10 senden, was bei jeder Frage Input-Tokens spart.
- Latenz. Der Reranker fügt einen Schritt hinzu. Seine Kosten wachsen mit der Zahl der Kandidaten, halten Sie diese Liste also kurz.
Bei BroadNet Inference
BroadNet bietet weder einen Rerank- noch einen Embeddings-Endpoint. Betreiben Sie einen Cross-Encoder selbst, zum Beispiel mit Sentence Transformers, oder nutzen Sie eine gehostete Rerank-API, und senden Sie dann die besten Chunks über die OpenAI-kompatible Chat Completions API an ein Chat-Modell von BroadNet.
Prüfen Sie bei arabischen Dokumenten, ob Ihr Reranker mit arabischen oder mehrsprachigen Daten trainiert wurde; Arabische RAG-Suche behandelt den Rest der Pipeline. Ist Ihr Korpus klein, können Sie mit einem Long-Context-Modell wie DeepSeek V4.1 Flash womöglich auf Retrieval verzichten; siehe Long Context vs. RAG.