La prima ricerca è veloce ma grossolana. Il reranking spende più calcolo su una lista breve per ottenere l’ordine giusto.
Come funziona
Una pipeline in due fasi:
- Retrieval. Un metodo veloce, come gli embeddings in un database vettoriale, BM25 o la ricerca ibrida, restituisce i primi 50-100 candidati.
- Reranking. Un reranker legge insieme la query e ogni candidato e dà a ogni coppia un punteggio di pertinenza. Tieni i primi 3-10.
La maggior parte dei reranker sono cross-encoder. La documentazione di Sentence Transformers dice che un cross-encoder “Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model,” (traduzione: in genere offre prestazioni superiori rispetto a un modello Sentence Transformer, detto anche bi-encoder) ma è “Often slower” (traduzione: spesso più lento) perché “it requires computation for each pair rather than each text.” (traduzione: richiede un calcolo per ogni coppia invece che per ogni testo). La documentazione descrive i cross-encoder come “often used to re-rank the top-k results” (traduzione: spesso usati per riordinare i primi k risultati) di un bi-encoder.
from sentence_transformers import CrossEncoder
model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages) # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]
L’approccio risale almeno a Nogueira e Cho (2019), che hanno fatto fine-tuning di BERT come re-ranker di passaggi e hanno riportato un miglioramento relativo del 27% dell’MRR@10 rispetto al miglior risultato precedente sul passage retrieval di MS MARCO.
Esistono anche API di rerank ospitate. L’endpoint rerank di Cohere “takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score,” (traduzione: riceve una query e una lista di testi e produce un array ordinato in cui a ogni testo è assegnato un punteggio di pertinenza), con punteggi normalizzati nell’intervallo da 0 a 1 e un campo top_n per limitare i risultati.
Perché è importante
- Qualità delle risposte. L’LLM può usare solo ciò che gli invii. Un ordine migliore mette nel prompt il chunk giusto.
- Costo in token. Con un buon reranker puoi inviare 3 chunk invece di 10, riducendo i token di input a ogni domanda.
- Latenza. Il reranker aggiunge un passaggio. Il suo costo cresce con il numero di candidati, quindi tieni corta quella lista.
Su BroadNet Inference
BroadNet non offre né un endpoint di rerank né un endpoint di embeddings. Esegui un cross-encoder per conto tuo, per esempio con Sentence Transformers, oppure usa un’API di rerank ospitata, poi invia i chunk migliori a un modello di chat di BroadNet tramite la Chat Completions API compatibile con OpenAI.
Per documenti in arabo, verifica che il tuo reranker sia stato addestrato su dati arabi o multilingue; la ricerca RAG in arabo copre il resto della pipeline. Se il tuo corpus è piccolo, un modello a contesto lungo come DeepSeek V4.1 Flash può permetterti di saltare il retrieval; vedi contesto lungo o RAG.