BroadRouter

BM25

Mis à jour

BM25 (Okapi BM25) est une fonction de classement pour la recherche par mots-clés qui note un document selon la fréquence des termes de la requête dans ce document, la rareté de ces termes dans la collection et la longueur du document. C’est la similarité par défaut de Lucene et d’Elasticsearch.

Aussi appelé : BM25, Okapi BM25, classement BM25, recherche lexicale, lexical search

BM25 est la moitié « mots-clés » de la plupart des systèmes de recherche : rapide, peu coûteux et efficace sur les termes exacts.

Comment ça marche

BM25 est issu du cadre probabiliste de pertinence, résumé par Robertson et Zaragoza dans « The Probabilistic Relevance Framework: BM25 and Beyond » (2009). La classe Lucene précise qu’il a été introduit par Robertson, Walker, Jones et d’autres à TREC-3.

Pour chaque terme de la requête, BM25 combine trois signaux :

  • Fréquence du terme : plus d’occurrences dans le document augmentent le score, mais avec des rendements décroissants.
  • Fréquence inverse de document (IDF) : les termes rares comptent davantage. Lucene l’implémente ainsi : log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)).
  • Normalisation par la longueur : une correspondance dans un document court compte plus que la même dans un document long.

Deux paramètres l’ajustent. D’après la documentation d’Elasticsearch :

Paramètre Défaut Ce qu’il règle
k1 1,2 « non-linear term frequency normalization (saturation) » (traduction : « normalisation non linéaire de la fréquence des termes (saturation) »)
b 0,75 « to what degree document length normalizes tf values » (traduction : « dans quelle mesure la longueur du document normalise les valeurs tf »)

BM25 est la similarité par défaut d’Elasticsearch.

Pourquoi c’est important

  • Correspondances exactes. Codes produits, noms et messages d’erreur : c’est là que les embeddings sont les plus faibles et BM25 le plus fort.
  • Coût. Il ne nécessite ni appel de modèle ni GPU, seulement un index inversé.
  • Recherche hybride. La plupart des systèmes RAG en production l’associent à la recherche vectorielle ; voir recherche hybride.

Texte arabe et BM25

BM25 compare les tokens à l’identique : il dépend donc de la façon dont le texte est analysé. En arabe, un même mot peut s’écrire avec différentes formes d’alif, avec ou sans diacritiques, ou avec le teh marbuta (ة) écrit comme un heh (ه), et les articles et conjonctions s’attachent au mot. Sans normalisation du texte arabe ni racinisation, ces variantes ne correspondent pas.

L’analyseur arabic intégré à Elasticsearch enchaîne ces filtres : lowercase, decimal_digit, arabic_stop, arabic_normalization, un marqueur de mots-clés et arabic_stemmer. Normalisez requêtes et documents de la même manière. La normalisation du texte arabe pour la recherche teste les règles qui aident et celles qui nuisent, et l’outil normaliseur de texte arabe vous permet de les essayer sur votre propre texte.

Sur BroadNet Inference

BM25 s’exécute dans votre moteur de recherche, pas dans le LLM. BroadNet ne propose pas d’endpoints d’embeddings ou de reranking ; il sert les modèles de chat qui lisent ce que vous récupérez. Envoyez vos meilleurs résultats BM25 ou hybrides à un modèle comme Qwen3.8 27B via la Chat Completions API. La recherche RAG en arabe présente un pipeline complet.

Questions fréquentes

BM25 est-il encore utile quand on a des embeddings ?

Oui. BM25 excelle sur les termes exacts, comme les noms, les codes et les messages d’erreur, que les embeddings peuvent brouiller. Beaucoup de systèmes RAG utilisent les deux et fusionnent les résultats par recherche hybride.

À quoi servent k1 et b ?

k1 règle la vitesse à laquelle les termes répétés cessent d’ajouter du score (saturation de la fréquence des termes). b règle l’ampleur de la normalisation par la longueur du document. Lucene et Elasticsearch utilisent par défaut k1 = 1,2 et b = 0,75.

BM25 fonctionne-t-il pour l’arabe ?

Oui, si le texte est d’abord analysé pour l’arabe. Sans normalisation ni racinisation, les variantes orthographiques et les préfixes attachés empêchent les mots de correspondre.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity