BroadRouter
Inizia

BM25

Aggiornato

BM25 (Okapi BM25) è una funzione di ranking per la ricerca per parole chiave che assegna un punteggio a un documento in base a quanto spesso vi compaiono i termini della query, a quanto sono rari nella collezione e alla lunghezza del documento. È la similarità predefinita in Lucene ed Elasticsearch.

Detto anche: ricerca lessicale, ranking BM25, algoritmo BM25, Okapi BM25, lexical search

BM25 è la metà “parole chiave” della maggior parte dei sistemi di ricerca: veloce, economico e bravo con i termini esatti.

Come funziona

BM25 nasce dal probabilistic relevance framework, riassunto da Robertson e Zaragoza in “The Probabilistic Relevance Framework: BM25 and Beyond” (2009). La classe di Lucene ricorda che è stato introdotto da Robertson, Walker, Jones e altri a TREC-3.

Per ogni termine della query, BM25 combina tre segnali:

  • Frequenza del termine: più occorrenze nel documento alzano il punteggio, ma con rendimenti decrescenti.
  • Frequenza inversa nei documenti (IDF): i termini rari contano di più. Lucene la implementa come log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)).
  • Normalizzazione per lunghezza: una corrispondenza in un documento breve conta più della stessa corrispondenza in uno lungo.

Due parametri lo regolano. Dalla documentazione di Elasticsearch:

Parametro Default Cosa controlla
k1 1.2 “non-linear term frequency normalization (saturation)” (traduzione: normalizzazione non lineare della frequenza del termine, saturazione)
b 0.75 “to what degree document length normalizes tf values” (traduzione: in che misura la lunghezza del documento normalizza i valori di tf)

BM25 è la similarità predefinita in Elasticsearch.

Perché è importante

  • Corrispondenze esatte. Codici prodotto, nomi e messaggi di errore sono il punto in cui gli embedding sono più deboli e BM25 è forte.
  • Costo. Non richiede chiamate a modelli né GPU, solo un indice invertito.
  • Ricerca ibrida. La maggior parte dei sistemi RAG in produzione lo abbina alla ricerca vettoriale; vedi ricerca ibrida.

Testo arabo e BM25

BM25 confronta i token in modo esatto, quindi dipende da come il testo viene analizzato. In arabo la stessa parola può essere scritta con forme diverse di alef, con o senza diacritici, o con la teh marbuta (ة) scritta come heh (ه), e articoli e congiunzioni si attaccano alla parola. Senza normalizzazione del testo arabo e stemming, queste varianti non combaciano.

L’analyzer arabic integrato in Elasticsearch concatena questi filtri: lowercase, decimal_digit, arabic_stop, arabic_normalization, un keyword marker e arabic_stemmer. Normalizza query e documenti nello stesso modo. Normalizzazione del testo arabo per la ricerca verifica quali regole aiutano e quali peggiorano, e lo strumento normalizzatore di testo arabo ti fa provare sul tuo testo.

Su BroadNet Inference

BM25 gira nel tuo motore di ricerca, non nell’LLM. BroadNet non offre endpoint per embedding o rerank; serve i modelli di chat che leggono ciò che recuperi. Invia i migliori risultati BM25 o ibridi a un modello come Qwen3.8 27B tramite la Chat Completions API. Ricerca RAG in arabo mostra una pipeline completa.

Domande frequenti

BM25 serve ancora se ho gli embedding?

Sì. BM25 è forte sui termini esatti come nomi, codici e messaggi di errore, che gli embedding possono rendere sfocati. Molti sistemi RAG usano entrambi e uniscono i risultati con la ricerca ibrida.

A cosa servono k1 e b?

k1 controlla quanto in fretta i termini ripetuti smettono di aggiungere punteggio (saturazione della frequenza del termine). b controlla quanto pesa la normalizzazione per lunghezza del documento. Lucene ed Elasticsearch usano come default k1 1.2 e b 0.75.

BM25 funziona con l’arabo?

Sì, se prima il testo viene analizzato per l’arabo. Senza normalizzazione e stemming, le varianti grafiche e i prefissi attaccati impediscono alle parole di combaciare.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity