BroadRouter
Inizia

Reranking (riordinamento dei risultati)

Aggiornato

Il reranking è una seconda fase di retrieval in cui un modello più accurato ma più lento, di solito un cross-encoder, assegna un punteggio a ogni coppia query-documento candidato di una prima ricerca e le riordina, così solo i pochi documenti più pertinenti arrivano al modello linguistico.

Detto anche: reranker, riordinamento, re-ranking, rerank, riclassificazione dei risultati, cross-encoder reranker

La prima ricerca è veloce ma grossolana. Il reranking spende più calcolo su una lista breve per ottenere l’ordine giusto.

Come funziona

Una pipeline in due fasi:

  1. Retrieval. Un metodo veloce, come gli embeddings in un database vettoriale, BM25 o la ricerca ibrida, restituisce i primi 50-100 candidati.
  2. Reranking. Un reranker legge insieme la query e ogni candidato e dà a ogni coppia un punteggio di pertinenza. Tieni i primi 3-10.

La maggior parte dei reranker sono cross-encoder. La documentazione di Sentence Transformers dice che un cross-encoder “Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model,” (traduzione: in genere offre prestazioni superiori rispetto a un modello Sentence Transformer, detto anche bi-encoder) ma è “Often slower” (traduzione: spesso più lento) perché “it requires computation for each pair rather than each text.” (traduzione: richiede un calcolo per ogni coppia invece che per ogni testo). La documentazione descrive i cross-encoder come “often used to re-rank the top-k results” (traduzione: spesso usati per riordinare i primi k risultati) di un bi-encoder.

from sentence_transformers import CrossEncoder

model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages)   # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]

L’approccio risale almeno a Nogueira e Cho (2019), che hanno fatto fine-tuning di BERT come re-ranker di passaggi e hanno riportato un miglioramento relativo del 27% dell’MRR@10 rispetto al miglior risultato precedente sul passage retrieval di MS MARCO.

Esistono anche API di rerank ospitate. L’endpoint rerank di Cohere “takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score,” (traduzione: riceve una query e una lista di testi e produce un array ordinato in cui a ogni testo è assegnato un punteggio di pertinenza), con punteggi normalizzati nell’intervallo da 0 a 1 e un campo top_n per limitare i risultati.

Perché è importante

  • Qualità delle risposte. L’LLM può usare solo ciò che gli invii. Un ordine migliore mette nel prompt il chunk giusto.
  • Costo in token. Con un buon reranker puoi inviare 3 chunk invece di 10, riducendo i token di input a ogni domanda.
  • Latenza. Il reranker aggiunge un passaggio. Il suo costo cresce con il numero di candidati, quindi tieni corta quella lista.

Su BroadNet Inference

BroadNet non offre né un endpoint di rerank né un endpoint di embeddings. Esegui un cross-encoder per conto tuo, per esempio con Sentence Transformers, oppure usa un’API di rerank ospitata, poi invia i chunk migliori a un modello di chat di BroadNet tramite la Chat Completions API compatibile con OpenAI.

Per documenti in arabo, verifica che il tuo reranker sia stato addestrato su dati arabi o multilingue; la ricerca RAG in arabo copre il resto della pipeline. Se il tuo corpus è piccolo, un modello a contesto lungo come DeepSeek V4.1 Flash può permetterti di saltare il retrieval; vedi contesto lungo o RAG.

Domande frequenti

Perché non usare il cross-encoder per tutta la ricerca?

Valuta separatamente ogni coppia query-documento, quindi è troppo lento per un’intera collezione. La prima fase riduce milioni di documenti a decine o centinaia, e il reranker ordina solo quelli.

Un LLM può fare da reranker?

Sì. Puoi chiedere a un modello di chat di assegnare un punteggio ai candidati o di ordinarli. Di solito è più lento e costa di più per query di un piccolo cross-encoder, quindi testali entrambi sui tuoi dati.

Quanti candidati devo passare al reranking?

Abbastanza perché la risposta giusta sia di solito tra loro. Misura quanto spesso il chunk corretto compare nei primi 20, 50 e 100 risultati della prima fase, e scegli il numero più piccolo con una buona recall.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity