La première recherche est rapide mais grossière. Le reranking consacre plus de calcul à une liste courte pour obtenir le bon ordre.
Comment ça marche
Un pipeline en deux étapes :
- Récupération. Une méthode rapide, comme des embeddings dans une base de données vectorielle, BM25 ou la recherche hybride, renvoie les 50 à 100 meilleurs candidats.
- Reranking. Un reranker lit la requête et chaque candidat ensemble, et attribue à chaque paire un score de pertinence. Gardez les 3 à 10 meilleurs.
La plupart des rerankers sont des cross-encoders. La documentation de Sentence Transformers dit d’un cross-encoder qu’il « Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model » (traduction : « offre en général de meilleures performances qu’un modèle Sentence Transformer (ou bi-encoder) »), mais qu’il est « Often slower » (traduction : « souvent plus lent ») parce qu’« it requires computation for each pair rather than each text. » (traduction : « il demande un calcul pour chaque paire plutôt que pour chaque texte. ») La documentation présente les cross-encoders comme « often used to re-rank the top-k results » (traduction : « souvent utilisés pour reclasser les k meilleurs résultats ») d’un bi-encoder.
from sentence_transformers import CrossEncoder
model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages) # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]
L’approche remonte au moins à Nogueira et Cho (2019), qui ont affiné BERT pour en faire un reclasseur de passages et ont rapporté une amélioration relative de 27 % du MRR@10 par rapport au meilleur résultat précédent sur la recherche de passages MS MARCO.
Il existe aussi des API de rerank hébergées. L’endpoint rerank de Cohere « takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score » (traduction : « prend une requête et une liste de textes, et produit un tableau ordonné où chaque texte reçoit un score de pertinence »), avec des scores normalisés entre 0 et 1 et un champ top_n pour limiter les résultats.
Pourquoi c’est important
- Qualité des réponses. Le LLM ne peut utiliser que ce que vous lui envoyez. Un meilleur ordre met le bon chunk dans le prompt.
- Coût en tokens. Avec un bon reranker, vous pouvez envoyer 3 chunks au lieu de 10, ce qui réduit les tokens d’entrée à chaque question.
- Latence. Le reranker ajoute une étape. Son coût augmente avec le nombre de candidats : gardez cette liste courte.
Sur BroadNet Inference
BroadNet ne propose ni endpoint de rerank ni endpoint d’embeddings. Faites tourner un cross-encoder vous-même, par exemple avec Sentence Transformers, ou utilisez une API de rerank hébergée, puis envoyez les meilleurs chunks à un modèle de chat BroadNet via l’API Chat Completions compatible OpenAI.
Pour des documents en arabe, vérifiez que votre reranker a été entraîné sur des données arabes ou multilingues ; la recherche RAG en arabe couvre le reste du pipeline. Si votre corpus est petit, un modèle à long contexte comme DeepSeek V4.1 Flash peut vous permettre de vous passer de récupération ; voir long contexte ou RAG.