BroadRouter
Начать

BM25

Обновлено

BM25 (Okapi BM25) — это функция ранжирования для поиска по ключевым словам, которая оценивает документ по тому, как часто в нём встречаются слова запроса, насколько эти слова редки во всей коллекции и какова длина документа. Это сходство по умолчанию в Lucene и Elasticsearch.

Также называют: Okapi BM25, алгоритм BM25, ранжирование BM25, лексический поиск, полнотекстовый поиск, поиск по ключевым словам, lexical search, keyword search

BM25 — это «ключевословная» половина большинства поисковых систем: быстрая, дешёвая и хорошая на точных терминах.

Как это работает

BM25 вырос из вероятностной модели релевантности, которую Robertson и Zaragoza обобщили в работе «The Probabilistic Relevance Framework: BM25 and Beyond» (2009). В описании класса в Lucene сказано, что функцию представили Robertson, Walker, Jones и другие на TREC-3.

Для каждого слова запроса BM25 объединяет три сигнала:

  • Частота термина: чем чаще слово встречается в документе, тем выше балл, но с убывающей отдачей.
  • Обратная частота документа (IDF): редкие термины весят больше. В Lucene она реализована как log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)).
  • Нормализация по длине: совпадение в коротком документе весит больше, чем такое же совпадение в длинном.

Настраивают её два параметра. Из документации Elasticsearch:

Параметр По умолчанию Что задаёт
k1 1.2 “non-linear term frequency normalization (saturation)” (перевод: «нелинейная нормализация частоты термина (насыщение)»)
b 0.75 “to what degree document length normalizes tf values” (перевод: «в какой степени длина документа нормализует значения tf»)

BM25 — сходство по умолчанию в Elasticsearch.

Почему это важно

  • Точные совпадения. Коды товаров, имена и сообщения об ошибках — то, где эмбеддинги слабее всего, а BM25 силён.
  • Стоимость. Ему не нужны ни вызовы модели, ни GPU — только инвертированный индекс.
  • Гибридный поиск. Большинство RAG-систем в продакшене сочетают его с векторным поиском; см. гибридный поиск.

Арабский текст и BM25

BM25 сопоставляет токены точно, поэтому всё зависит от того, как анализируется текст. В арабском одно и то же слово можно написать с разными формами алифа, с огласовками или без них, с та марбутой (ة), записанной как ха (ه), а артикли и союзы пишутся слитно со словом. Без нормализации арабского текста и стемминга эти варианты не совпадут.

Встроенный анализатор arabic в Elasticsearch выстраивает цепочку фильтров: lowercase, decimal_digit, arabic_stop, arabic_normalization, маркер ключевых слов и arabic_stemmer. Нормализуйте запросы и документы одинаково. В статье о нормализации арабского текста для поиска проверено, какие правила помогают, а какие вредят, а инструмент нормализатор арабского текста позволяет опробовать их на своём тексте.

В BroadNet Inference

BM25 работает в вашем поисковом движке, а не в LLM. Эндпоинтов для эмбеддингов или реранкинга BroadNet не предлагает; она обслуживает чат-модели, которые читают найденное вами. Отправляйте лучшие результаты BM25 или гибридного поиска модели вроде Qwen3.8 27B через Chat Completions API. Полный конвейер показан в статье о поиске для арабского RAG.

Вопросы и ответы

Нужен ли BM25, если уже есть эмбеддинги?

Да. BM25 силён на точных терминах — именах, кодах, текстах ошибок, — которые эмбеддинги могут размывать. Многие RAG-системы используют оба подхода и объединяют результаты гибридным поиском.

Что делают параметры k1 и b?

k1 задаёт, как быстро повторы термина перестают добавлять баллы (насыщение частоты термина). b задаёт, насколько сильно нормализуется длина документа. В Lucene и Elasticsearch по умолчанию k1 1.2 и b 0.75.

Работает ли BM25 с арабским?

Да, если сначала обработать текст анализатором для арабского. Без нормализации и стемминга варианты написания и присоединённые приставки мешают словам совпадать.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity