BroadRouter
Loslegen

Reranking

Aktualisiert

Reranking ist eine zweite Retrieval-Stufe, in der ein genaueres, aber langsameres Modell, meist ein Cross-Encoder, jedes Paar aus Anfrage und Kandidatendokument aus einer ersten Suche bewertet und neu ordnet, sodass nur die wenigen relevantesten an das Sprachmodell gehen.

Auch genannt: Reranker, Rerank, Re-Ranking, Neuordnung von Suchergebnissen, Cross-Encoder-Reranker, reranker, rerank, re-ranking, cross-encoder reranker

Die erste Suche ist schnell, aber grob. Reranking steckt mehr Rechenleistung in eine kurze Liste, um die Reihenfolge richtig hinzubekommen.

So funktioniert es

Eine zweistufige Pipeline:

  1. Retrieval. Eine schnelle Methode, etwa Embeddings in einer Vektordatenbank, BM25 oder hybride Suche, liefert die besten 50 bis 100 Kandidaten.
  2. Rerank. Ein Reranker liest die Anfrage und jeden Kandidaten zusammen und gibt jedem Paar einen Relevanzwert. Behalten Sie die besten 3 bis 10.

Die meisten Reranker sind Cross-Encoder. Die Dokumentation von Sentence Transformers sagt über den Cross-Encoder: „Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model“ (Übersetzung: „bietet im Allgemeinen bessere Leistung als ein Sentence-Transformer-Modell (auch Bi-Encoder genannt)“), ist aber „Often slower“ (Übersetzung: „oft langsamer“), weil „it requires computation for each pair rather than each text.“ (Übersetzung: „er für jedes Paar statt für jeden Text rechnen muss.“) Die Dokumentation beschreibt Cross-Encoder als „often used to re-rank the top-k results“ (Übersetzung: „oft genutzt, um die Top-k-Ergebnisse neu zu ordnen“) eines Bi-Encoders.

from sentence_transformers import CrossEncoder

model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages)   # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]

Der Ansatz geht mindestens auf Nogueira und Cho (2019) zurück, die BERT als Passage-Re-Ranker feingetunt haben und eine relative Verbesserung von 27 % bei MRR@10 gegenüber dem bisher besten Ergebnis auf MS MARCO Passage Retrieval berichteten.

Es gibt auch gehostete Rerank-APIs. Der Rerank-Endpoint von Cohere „takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score“ (Übersetzung: „nimmt eine Anfrage und eine Liste von Texten entgegen und liefert ein geordnetes Array, in dem jedem Text ein Relevanzwert zugeordnet ist“), mit Werten, die auf den Bereich 0 bis 1 normalisiert sind, und einem Feld top_n, um die Ergebnisse zu begrenzen.

Warum es wichtig ist

  • Antwortqualität. Das LLM kann nur nutzen, was Sie ihm senden. Eine bessere Reihenfolge bringt den richtigen Chunk in den Prompt.
  • Token-Kosten. Mit einem guten Reranker können Sie 3 Chunks statt 10 senden, was bei jeder Frage Input-Tokens spart.
  • Latenz. Der Reranker fügt einen Schritt hinzu. Seine Kosten wachsen mit der Zahl der Kandidaten, halten Sie diese Liste also kurz.

Bei BroadNet Inference

BroadNet bietet weder einen Rerank- noch einen Embeddings-Endpoint. Betreiben Sie einen Cross-Encoder selbst, zum Beispiel mit Sentence Transformers, oder nutzen Sie eine gehostete Rerank-API, und senden Sie dann die besten Chunks über die OpenAI-kompatible Chat Completions API an ein Chat-Modell von BroadNet.

Prüfen Sie bei arabischen Dokumenten, ob Ihr Reranker mit arabischen oder mehrsprachigen Daten trainiert wurde; Arabische RAG-Suche behandelt den Rest der Pipeline. Ist Ihr Korpus klein, können Sie mit einem Long-Context-Modell wie DeepSeek V4.1 Flash womöglich auf Retrieval verzichten; siehe Long Context vs. RAG.

Häufige Fragen

Warum nicht den Cross-Encoder für die ganze Suche verwenden?

Er bewertet jedes Paar aus Anfrage und Dokument einzeln und ist deshalb zu langsam für eine ganze Sammlung. Die erste Stufe engt Millionen Dokumente auf Dutzende oder Hunderte ein, und der Reranker ordnet nur diese.

Kann ein LLM der Reranker sein?

Ja. Sie können ein Chat-Modell bitten, Kandidaten zu bewerten oder zu ordnen. Das ist pro Anfrage meist langsamer und teurer als ein kleiner Cross-Encoder, testen Sie also beides mit Ihren Daten.

Wie viele Kandidaten sollte ich reranken?

So viele, dass die richtige Antwort meist darunter ist. Messen Sie, wie oft der richtige Chunk in den Top 20, 50 und 100 der ersten Stufe auftaucht, und wählen Sie die kleinste Zahl mit gutem Recall.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen